Confluent hilft OTTO, ein vielseitiges und skalierbares Online-Shopping-Erlebnis zu bieten

Nachdem OTTO Apache Kafka^® einige Jahre lang on-premises betrieben hatte, wurde festgestellt, dass das Wachstum des Marktplatzes die Kapazitäten der eigenen Ressourcen überstieg, so dass ein Weiterbetrieb von Kafka in Eigenregie nicht mehr als sinnvoll erschien. Um die Lücken zu schließen und den Managementaufwand zu verringern, entschied sich OTTO für Confluent Cloud als Basis für ihre neue, erweiterte Event-Streaming-Plattform.

„Kafka selbst zu betreiben war angesichts der Größe unseres Teams und unserer Anforderungen ein No-Go. Wir haben im Team beschlossen, uns lieber auf die technischen Funktionen der Plattform zu konzentrieren. Wir wollten unsere Energie der Funktionalität widmen und alles andere Leuten überlassen, die darauf spezialisiert sind“, sagt Fabian Schmidt, Senior Expert Product Data Technology bei OTTO.

Im Ergebnis hat OTTO alle Datenströme standardisiert, den allgemeinen Zugriff auf die Funktionalität verbessert und viele Hürden beim Onboarding neuer Plattform-Partner aus dem Weg geräumt.

Ein komplexes Netz unterschiedlicher Datenquellen entwirren

Als führende E-Commerce-Plattform dreht sich bei OTTO alles um die Kundinnen und Kunden. Dazu gehört auch, dass eine möglichst große Produktpalette angeboten wird, um die unterschiedlichsten Bedürfnisse zu erfüllen. Die Event-Streaming-Lösung, welche OTTO intern aufgebaut hatte, basierte jedoch auf monolithische Datenbanken und nutzte Replay-Mechanismen, um Ereignisse zu reproduzieren und an verschiedene Teams und verschiedene interne und externe Kunden zu senden.

„Wir verließen uns auf eine Event-Streaming-Lösung, die wir selbst entwickelt hatten. Das bedeutete, dass jeder neue Kunde, der unsere Daten verwenden wollte, eine eigene Implementierung benötigte“, sagt Schmidt.

Um ein optimales Ergebnis zu erzielen, mussten die Produktdaten als Service zur Verfügung stehen. Dies wurde jedoch durch ein komplexes System behindert, das versuchte, viele unterschiedliche Datenänderungen gleichzeitig zu lesen und zu schreiben. „Wir wollten, dass unsere Clients in der Lage sind, unsere Daten möglichst einfach zu konsumieren und jederzeit alle Änderungen und Löschung verarbeiten können“, sagt Schmidt.

Aufbau einer zukunftsfähigen Event-Streaming-Plattform

Eigenschaften einer modernen Daten-Streaming-Plattform

Mit einer zukunftssicheren Event-Streaming-Plattform powered by Confluent hat OTTO beeindruckende Ergebnisse erzielt:

Verarbeitung der Produktdaten in nur 15 Minuten

Das schnelle und einfache Event-Streaming von Confluent hat monolithische Datenbanken überflüssig gemacht und die Kunden bzw. Partner von OTTO können viel schneller auf geschäftskritische Daten zugreifen. „Unser Ziel ist es, Produktdaten in 15 Minuten durch den gesamten Prozess zu bringen. Das ist ein wichtiger KPI für uns und erhöht die Aktualität unserer Daten massiv, was wiederum ein großer Gewinn für unsere Kundinnen und Kunden ist“, so Schmidt.

Eine auf Skalierung ausgelegte Plattform

Mit einer agilen, wartungsarmen Lösung, die sich leicht auf sich ändernde Geschäftsanforderungen einstellen kann, verfügt OTTO nun über eine auf Wachstum ausgelegte Plattform, die schnell skalieren, neue Partner einbinden und bei Bedarf mit neuer Funktionalität erweitert werden kann. „Confluent skaliert viel besser als die meisten anderen Plattformen, da sie kein HTTP für den Datenaustausch verwendet und out-of-the-box einen extrem schnellen Durchsatz bietet“, sagt Torsten Rascher.

Standardisierte Daten für schnelles Partner-Onboarding

Die über mehrere Teams verteilten Aufgaben und Zuständigkeiten standen in der Vergangenheit der Kommunikation ebenso im Weg wie dem Datenzugriff. Letzterer erfolgt heute auf Knopfdruck, was sowohl das Onboarding als auch die funktionale Erweiterung der Plattform beschleunigt. 

„Wir sind jetzt in der Lage, nicht nur den gesamten Datenstrom zu standardisieren, sondern viele einzelne kleinere Datenströme. Das Starten neuer Topics ist wirklich intuitiv“, sagt Fabian Schmidt. „Unsere Daten gelangen viel schneller in Live-Szenarien, was das Onboarding neuer Kunden und die Implementierung produktiver neuer Fälle erleichtert.“

Technische Lösung

• Schema Registry (Stream Governance)
• CSID Accelerators (E2E-Verschlüsselung)
• SSO über Keycloak auf Azure AD
• Galapagos als Self-Service-Portal für alle Teams

Was bei OTTO noch ansteht

OTTO ist nun mit den erforderlichen Tools ausgestattet, um sein E-Commerce-Geschäft in Deutschland weiter auszubauen. „Wir fügen ständig neue Teams und neue Anwendungsfälle hinzu, und wir gehen davon aus, dass sich das fortsetzen wird, wenn wir als Unternehmen weiter wachsen. Aktuell sind wir dabei die Migration aller Abnehmer unserer Daten auf die neue Produktversorgung abzuschließen und schauen uns unsere interne Analytics-Infrastruktur an und überlegen, wie wir den Prozess der Datenverteilung beschleunigen können“, sagt Fabian Schmidt.

OTTO verfügt heute über eine Plattform, die neue Teams, spannende Anwendungsfälle, unterschiedliche Produktlinien und vieles mehr problemlos bewältigen kann. „Für das, was wir aktuell tun, ist das System sehr gut zugeschnitten – aber es ist auch beruhigend zu wissen, dass wir bei Bedarf auf mehr Bandbreite zurückgreifen können“, so Schmidt.