A/B-Testing im E-Commerce

Der E-Commerce-Bereich ist bei uns in „Produkte“ aufgeteilt: Ein interdisziplinäres Fachteam betreut zum Beispiel die Storefront otto.de, ein anderes die Suche. In jedem dieser Teams unterstützen wir und begleiten die gesamte Customer Journey mit dem Ziel, das Erlebnis auf otto.de besser zu machen. Vom Einsprung der User bis hin zum Kaufabschluss im Check-out-Prozess. Dabei folgen wir einem Schema, um zu wertvollen Ergebnissen zu kommen:

Ist eine Lösung gefunden, beginnt das Fachteam mit der Entwicklung eines Features und wir beginnen mit der Konzeption des Tests. Doch was möchten wir mit dem neuen Feature erreichen? Dieser Frage begegnen wir mit belastbaren Hypothesen: „Mit der Ausspielung personalisierter Banner, sehen sich in der Testgruppe 10% mehr User Produkte aus dem Sortiment an.“ Zur Hypothesenformulierung wird eine KPI (Kennzahl) herangezogen, auf die sich das Feature auswirkt, zum Beispiel die Click-Through-Rate. Außerdem bestimmen wir mit einer Laufzeitschätzung, wie lange wir testen müssen, um valide Ergebnisse zu erhalten. Ein Test auf der Storefront beansprucht einen kürzeren Testzeitraum, da ihn mehr User sehen als eine Veränderung im Check-out-Prozess.

Wirkt das neue Feature jetzt positiv auf die User Experience? Ja oder nein. So simpel lässt sich die Idee des A/B-Testings herunterbrechen: Dabei werden die Besucher*innen der Website per Zufall in zwei Gruppen eingeteilt. Einer Gruppe wird der Status-Quo ausgespielt, die Testgruppe bekommt die Veränderung zu sehen. Oder, um es noch konkreter zu machen: Die einen sehen immer noch Backformen und dir werden die neusten Gaming-Monitore empfohlen. Das „Zielgruppen-Splitting“ hilft, die beiden Gruppen für den A/B-Test zu bilden. Durch einen Cookie können wir erkennen, ob du zum ersten Mal auf otto.de unterwegs bist. Ist das der Fall, wirst du zufällig einer der beiden Gruppen zugeordnet. Mit den definierten KPIs können wir jetzt messen, ob wir dir bei der Suche nach Monitoren helfen konnten.

Wenn du von uns inspiriert einen neuen Bildschirm gefunden hast, war der Test erfolgreich. So einfach ist es leider nicht. Mit Hilfe von deskriptiven Analysen schauen wir, worauf sich unser Feature noch auswirkt: Wirkt es je Warengruppe unterschiedlich? Wie wird das Feature auf verschiedenen Devices angenommen? Und gehen einzelne Altersgruppen anders mit der Veränderung um? 

Die angefallenen Daten verwalten wir mit Technologien wie Hadoop, der Google Cloud oder mit eigenen Tools der OTTO Business Intelligence. Mittels SQL fragen wir alle für den Test relevanten Daten ab und verarbeiten sie mit Python oder PySpark. Aber auch Sprachen wie R, oder Scala können hierfür genutzt werden. Für die Auswertung der jetzt strukturierten Daten nutzen wir inferenzstatistische Methoden wie den Wilcoxon- oder den T-Test. Erst wenn wir alle Daten ausgewertet haben und alle Testergebnisse vorliegen, sprechen wir Handlungsempfehlungen aus. Vielleicht sollte das Feature noch weiterentwickelt werden oder es war ein voller Erfolg und wir können es für alle User ausspielen.

Du siehst also: Das Testen von neuen Ideen ist wichtig, damit wir stetig dazu lernen. Unser Ziel ist es, dass die User ihre Zeit effizient auf unserer Seite verbringen und Inhalte mit Mehrwert sehen. Und wir zeigen dir Backformen erst dann, wenn du sie auch wirklich brauchst. Weitere spannende Themen rund um die Entwicklung von otto.de, findest du in unserem Tech-Blog