Prognose der Rücklaufquote mit Überlebensanalyse

Gerade im OTTO-Einzelhandelsgeschäft spielt die genaue Prognose von Retourenquoten und deren Schwankungen eine große Rolle, um unnötige Kosten zu minimieren. Bei großen Warenlieferungen (Kühlschränke, Sofas etc.) führt jede einzelne Retoure zu ganz erheblichen Kosten.

Das OTTO-Controlling verfolgt die Rücklaufquoten für jeden Artikel sehr genau, um bei ungewöhnlich hohen Rücklaufquoten schnell handeln zu können. So können wir z.B. vermeiden, weitere Produkte an den Kunden zu schicken, die z.B. aufgrund von Produktionsfehlern wahrscheinlich zurückgeschickt werden.

Die beiden Diagramme in Abbildung 1 unten zeigen eine typische Retourenhäufigkeit nach dem Verkaufsdatum für alle Käufe einer Artikelgruppe, die an einem bestimmten Tag getätigt wurden, sowohl in dichter als auch in kumulierter Form. Die Diagramme zeigen, dass die meisten Rückgaben in den ersten 30 Tagen erfolgen, die Bearbeitung aber manchmal länger dauert.

Abbildung 1: Typisches Rückgabeverhalten x Tage nach einem bestimmten Verkaufsdatum.

Bestimmte Faktoren machen es jedoch schwierig, die Rücklaufquoten mit einfachen Statistiken zu vergleichen. Aus diesem Grund möchte OTTO Data Science nutzen, um die Rücklaufquoten, Vorhersagen und die Priorisierung von Maßnahmen besser in den Griff zu bekommen.

Die Controlling-Abteilung verfügt über ein ausgeklügeltes Instrument zur Analyse der Retourenquoten: RASY" erfasst Verkäufe und Retouren für jedes OTTO-Produkt (Einzelhandel), zusammen mit der Zeit, die zwischen Rechnungsdatum und Abschluss der potenziellen Retoure verging.
Das System analysiert "Kohorten" von SKUs - Sortimente, die im selben Monat verkauft wurden. Der Grund für diesen Ansatz ist, dass die (realisierten) Rückgabequoten aktueller Kohorten immer niedriger erscheinen als die früherer Kohorten, da OTTO Rückgaben innerhalb von 30 Tagen und in vielen Fällen noch viel länger zulässt.

Abbildung 2: Die realisierten Rücklaufquoten der Kohorten sinken natürlich, je näher wir der Gegenwart kommen

In Abbildung 2 ist dieses Problem für einen fiktiven Artikel dargestellt. Nehmen wir an, heute ist der 10. Mai. Die Monate unten stellen die Verkaufsmonate des Artikels dar, wobei die Gesamtverkäufe in blau und die absoluten Retouren in rot dargestellt sind. Während die Verkaufszahlen für April und früher bereits endgültig sind, sind es die Retouren noch nicht, da viele Retouren für im April verkaufte Produkte erst im Mai oder noch später eintreffen. Daher unterschätzt die (realisierte) Retourenquote (RQ) des Aprils derzeit die endgültige Retourenquote. Noch stärker ist der Effekt für den Mai, in dem weder die Verkäufe noch die Retouren abgeschlossen sind.

Da also ein direkter Vergleich von historischen (realisierten) Rücklaufquoten (Jan, Feb, März) mit aktuellen (realisierten) Rücklaufquoten keinen Sinn macht, führt das Controlling überkomplexe Vergleiche mit der Vergangenheit durch, in der Hoffnung, schnell signifikante Abweichungen zur Prognose zu finden. Diese Vergleiche stehen jedoch auf einem wackeligen Fundament, wenn man bedenkt, dass die gesamte Retourenkette nicht nur die Auswahl und Prüfung der Ware durch den Kunden umfasst, sondern auch das "Rauschen" von Verzögerungen beim Versand und bei der Bearbeitung von Retouren aufgrund von Feiertagen, Covid oder Streiks u.v.m. enthält.

Unsere Aufgabe bestand darin, die endgültige Rückgabequote für jeden Verkaufsmonat und jede SKU zu modellieren , die vier Monate nach Ablauf des jeweiligen Verkaufsmonats realisiert wird. Vier Monate sind der absolute Maximalzeitraum bis zur endgültigen Retoure eines Artikels, wobei die besonderen Bedingungen bei OTTO einen 3-monatigen Retourenzeitraum zulassen. Anhand dieser Schätzungen und ihrer Unsicherheitsintervalle können die OTTO-Retourenmanager schnell erkennen, welche Artikel ein abnormales Verhalten zeigen - und dann schnell handeln.

Da es ein Herzenswunsch von OTTO Returns war, RASY beizubehalten, das auf der Ebene der Verkaufspositionen arbeitet, bestand unsere Aufgabe darin, jede einzelne Verkaufsposition mit ihrer Rückgabewahrscheinlichkeit am Ende eines Zeitraums von vier Monaten nach dem Verkaufsdatum zusammen mit einem Unsicherheitsmaß anzureichern. Diese Statistiken können dann dynamisch auf SKU-Ebene aggregiert und in einer Zeitreihe visualisiert werden, so dass der Tool-Benutzer Anomalien schnell erkennen kann.

Die Art des Problems (Zeit-zu-Ereignis-Daten) erfordert den Einsatz der Toolbox"Überlebensanalyse". Dieser Bereich hat seinen Ursprung in der Sterblichkeitsmodellierung, wurde aber schnell in viele andere Bereiche übernommen, indem das Ereignis "Tod" einfach durch ein anderes Ereignis ersetzt wurde, das modellwürdig erschien - z. B. ob ein Verkauf mit einer Rückgabe endet.

Die Besonderheit von Zeit-zu-Ereignis-Daten ist, dass...

• ... zu verschiedenen Zeitpunkten (Verkaufsdaten) ...
• ... Probanden (Produkte) ...
• ... in die Studie eintreten (indem sie verkauft werden) ...
• ... und werden beobachtet, bis ...
• ... entweder der Tod eintritt (Rückgabe) ...
• ... oder die Studie ereignislos verlassen (unser Viermonatszeitraum endet).

Produkte, die vor weniger als vier Monaten verkauft und nicht zurückgegeben wurden, werden als"zensierte Beobachtungen" bezeichnet, da ihr endgültiger Status noch unklar ist, sie aber die Information enthalten, dass das Ereignis noch nicht eingetreten ist.

Zusammen mit dem Verkaufsdatum und dem Rückgabestatus (inkl. Rückgabedatum) erfassen wir auch Merkmale, die uns bei der Modellierung helfen. Dazu gehören u. a.:

• % Rabatt zum Verkaufsdatum
• Preis zum Verkaufsdatum
• # Bewertungen zum Verkaufsdatum
• durchschnittliche Bewertung zum Zeitpunkt des Verkaufs
• durchschnittliche Bewertung innerhalb eines Monats vor dem Verkauf
• Nachhaltigkeitskennzeichen
• Marke
• Zahlungsart.

Alles in allem bildet ein Datensatz, der wie in Abbildung 3 unten aussieht, die Grundlage für unsere Modellierung.

Abbildung 3: Datensatz

Es wurden mehrere verschiedene Survival-Modelle trainiert und ihre Leistung in Bezug auf kuratierte Fehlermessungen anhand eines dreimonatigen Hold-out-Sets aufgezeichnet.

• Benchmark: Rücklaufquote der gleichen SKU im gleichen Verkaufsmonat des Vorjahres
• Kaplan-Meyer-Schätzer: nicht parametrisch* und ohne Merkmale; geschichtet nach SKU
• Random Survival Forest und Extra Survival Trees: Merkmale, aber nicht-parametrisch*
• (zeitvariables) Cox-PH-Modell: parametrisches* Modell.

*Nicht-parametrische Modelle arbeiten nur mit Statistiken, die auf empirischen Daten basieren; parametrische Modelle schätzen Gewichtungen für jedes im Modell enthaltene Merkmal.

Eine andere Möglichkeit, das Problem der Vorhersage der endgültigen Rücklaufquote anzugehen, wäre, es als Zeitreihenproblem zu formulieren. Insbesondere kann es in kleinere Zeitreihenprobleme zerlegt werden, die wir dann für die endgültigen Prognosen kombinieren können.

Genauer gesagt, betrachten wir die endgültige Rücklaufquote, die die Verkäufe an einem bestimmten Tag betrifft. Wenn wir alle diese Raten täglich hintereinander aufreihen, erhalten wir bereits eine Zeitreihe, mit der wir vorhersagen können, wie die nächsten täglichen Rücklaufraten aussehen könnten. Es wird schnell klar, dass die Beschränkung unseres Ansatzes auf die endgültigen Rücklaufquoten eine wichtige Information außer Acht lässt: die gesamte Verteilung der täglichen Rücklaufquoten über die mögliche Zeitspanne des Rücklaufzeitraums. Abbildung 1 zeigt ein Beispiel für die Verteilung der Renditen.

Wenn wir diese (Dichte-)Verteilungen chronologisch nacheinander anordnen, bleibt viel mehr von der ursprünglichen Information erhalten, und wir können das Problem als eine funktionale Zeitreihe behandeln - eine, bei der jeder Zeitschritt einer ganzen Funktion (d. h. der Verteilung der täglichen Renditen) entspricht und nicht nur einem Wert (d. h. der Gesamtrendite).

Abbildung 4: Funktionale Zeitreihen. Zu jedem Zeitschritt haben wir die beobachtete Ertragsdichte der Verkäufe an diesem bestimmten Tag (eine Zeitreihe für jedes Verkaufsdatum; ein Beispiel ist rot hervorgehoben).

Abbildung 5: Umstellung der Zeitreihenorientierung, jetzt Modellierung einer Zeitreihe für jede "Dauer-Zeit" (ein Beispiel ist rot hervorgehoben).

Abbildung 6 zeigt die Vorhersage des Modells als Funktion der Zeit* für EINE bestimmte SKU, unter Berücksichtigung aller Verkäufe im Januar 2022 bis heute. Obwohl die Verkäufe (geschweige denn die Retouren) nicht vor dem 01. Februar 2022 abgeschlossen sind, liegen die Vorhersagen des Modells (blau) bereits ziemlich nahe an der endgültigen Retourenquote (rot). Die Unsicherheit nimmt von Tag zu Tag ab, da immer mehr Daten eingespeist werden. Noch bevor der Verkaufsmonat vorbei ist, weicht die Vorhersage nie wieder mehr als 10 % von der "Wahrheit" (der Realität) ab (eine benutzerdefinierte Kennzahl, die wir "Frühzeitigkeit" nennen) - und es scheint, dass die Wahrheit immer innerhalb der Konfidenzgrenze der Vorhersage lag. Die realisierte Rückgabequote zu einem bestimmten Zeitpunkt ist in schwarzer Farbe dargestellt. Es ist leicht zu erkennen, dass sich diese Linie erst um den 15. März herum deutlich der roten Linie annähert.

Abbildung 6: Prognosen und Fehler

*Das bedeutet, dass nur die bis zu diesem Datum beobachteten Daten zur Vorhersage der endgültigen Rücklaufquote herangezogen werden (= "Wahrheit" = rot).

Die Zusammenstellung dieser Art von Metriken war Teil unseres Modellauswahlschemas. Zu unserer Überraschung schnitt das einfachste Modell, Kaplan-Meyer, bei unseren Metriken am besten ab und war daher das erste Modell, das in der ersten Iteration in unsere Pipeline aufgenommen wurde. Unsere Auswertung für diese Produktklasse ergab, dass es im Durchschnitt nur 8 Tage nach Ende des aktuellen Monats dauert, bis die Vorhersage des Modells nicht mehr als 1 % pt von der endgültigen Rücklaufquote (des Monats für eine SKU) abweicht.

Abbildung 7: Meilensteine bei der Rückkehr

Hinzu kommt, dass das Erhebungsdatum im Durchschnitt 12 Tage vor dem Abschlussdatum liegt. Bei Verwendung dieses Datums wird der Status unserer Rückgaben daher 12 Tage früher klar, was zu einem höheren Vertrauen in unsere Schätzungen führt.

Das folgende Diagramm in Abbildung 8 zeigt, dass die Rückgabegefahr* bei Verwendung des Abholdatums (blau) viel früher eintritt (Höchststand am dritten Tag) als bei Verwendung des Abschlussdatums (orange, Höchststand am 14. Tag).

Abbildung 8: Rendite-Risiko, unter Berücksichtigung von zwei verschiedenen Meilensteinen

Die ersten Analysen deuten darauf hin, dass dieser Ansatz unsere Unsicherheitsintervalle um etwa 30 % verringert und Schätzungen derselben Qualität 12 Tage früher liefert als der Ansatz von Iteration I.
Leider ist es aufgrund des unerwarteten Kundenverhaltens und der nicht abgestimmten Datenstrukturen der verschiedenen Zustellunternehmen, mit denen OTTO zusammenarbeitet, schwierig, diese erforderlichen Zeitstempel für jede Rücksendung zuverlässig zu erhalten.

*Die "Gefahr" ist die Wahrscheinlichkeit, das "Ereignis" genau im nächsten Zeitschritt zu erleben, wenn das "Ereignis" noch nicht eingetreten ist.

Zusammen mit jeder Rücksendung wird auch ein Rücksendegrund in einer von 6 Hauptkategorien verfolgt. Dazu gehören Probleme mit der Bestellung/Lieferung, unzureichende Qualität, falsche Größe und andere.
Eine grafische Darstellung der ursachenspezifischen Überlebensraten zeigt, dass diese sehr unterschiedlich sind und für die jeweilige Kategorie (Mode vs. Unterhaltungselektronik vs. Wohnen) eigenwillig sind.

Abbildung 9: Renditechancen für verschiedene Risiken