1
 
 
Profil
In deinem persönlichen Profilbereich kannst du den Status deiner Bewerbung einsehen, unvollständige Bewerbungen zwischenspeichern und aktuelle News und Events einsehen
EinloggenRegistrieren
16. August 2022

Offline-Ranking-Validierung - Vorhersage von A/B-Test-Ergebnissen

Testing
Events & Kultur
Andrea Schüttvon Andrea Schütt
Yunus Lutzvon Yunus Lutz
0 Kommentare
 

Unser Ansatz zur Offline-Ranking-Validierung

Die Implementierung eines maschinellen Lernmodells für das Ranking in einer E-Commerce-Suche erfordert einen gut durchdachten Ansatz für die Definition der Zielmetrik. In unserem Team validieren wir unsere Zielmetriken mit Online-Tests am Live-Verkehr. Dies erfordert sowohl eine lange Vorbereitungszeit als auch ausreichend lange Laufzeiten, um valide Ergebnisse zu erzielen. Die Auswahl von nur wenigen Kandidaten für den nächsten A/B-Test ist schwierig und verlangsamt uns erheblich. Was wäre also, wenn wir eine Möglichkeit hätten, die Kandidaten vorher zu bewerten, um eine fundiertere Entscheidung zu treffen?

Wir haben einen Ansatz entwickelt, um vorherzusagen, wie ein bestimmtes Ranking in einem Onsite-Test abschneiden wird. Wir nutzen historische Nutzerinteraktionsdaten aus Suchereignissen und versuchen, sie mit Ranking-Metriken wie NDCG zu korrelieren. Dies gibt uns Aufschluss darüber, wie gut das Ranking die Nutzerabsicht erfüllt. Dies soll kein Ersatz für einen echten A/B-Test sein, sondern ermöglicht es uns, das Feld der Kandidaten auf eine überschaubare Anzahl einzugrenzen. In diesem Vortrag werden wir unseren Ansatz zur Offline-Ranking-Validierung vorstellen und zeigen, wie er sich in der Praxis bewährt hat.

Hier ist eine Videoaufzeichnung der Berlin Buzzword vom 12. Juni 2022 mit dem Vortrag von Andrea und Yunus:

0Noch keine Kommentare

Dein Kommentar
Antwort auf:  Direkt auf das Thema antworten

Geschrieben von

Andrea Schütt
Andrea Schütt
Data Scientist
Yunus Lutz
Yunus Lutz
Data Scientist

Ähnliche Beiträge

We want to improve out content with your feedback.

How interesting is this blogpost?

We have received your feedback.

Close

Cookies erlauben?

OTTO und drei Partner brauchen deine Einwilligung (Klick auf "OK") bei einzelnen Datennutzungen, um Informationen auf einem Gerät zu speichern und/oder abzurufen (IP-Adresse, Nutzer-ID, Browser-Informationen).
Die Datennutzung erfolgt für personalisierte Anzeigen und Inhalte, Anzeigen- und Inhaltsmessungen sowie um Erkenntnisse über Zielgruppen und Produktentwicklungen zu gewinnen. Mehr Infos zur Einwilligung gibt’s jederzeit hier. Mit Klick auf den Link "Cookies ablehnen" kannst du deine Einwilligung jederzeit ablehnen.

Datennutzungen

OTTO arbeitet mit Partnern zusammen, die von deinem Endgerät abgerufene Daten (Trackingdaten) auch zu eigenen Zwecken (z.B. Profilbildungen) / zu Zwecken Dritter verarbeiten. Vor diesem Hintergrund erfordert nicht nur die Erhebung der Trackingdaten, sondern auch deren Weiterverarbeitung durch diese Anbieter einer Einwilligung. Die Trackingdaten werden erst dann erhoben, wenn du auf den in dem Banner auf otto.de wiedergebenden Button „OK” klickst. Bei den Partnern handelt es sich um die folgenden Unternehmen:
Google Ireland Limited, Meta Platforms Ireland Limited, LinkedIn Ireland Unlimited Company
Weitere Informationen zu den Datenverarbeitungen durch diese Partner findest du in der Datenschutzerklärung auf otto.de/jobs. Die Informationen sind außerdem über einen Link in dem Banner abrufbar.
Du kannst deine Einwilligung auch jederzeit grundlos mit Wirkung für die Zukunft widerrufen, indem du auf den Button "Cookie-Einstellungen" im Footer der Website und "Cookies ablehnen" klickst.

mehr Informationen