Teil 2: Datenerhebung für Learning to Rank

Unser derzeitiger Ansatz zur Berechnung der Zielmetrik ist die Modellierung der Klickwahrscheinlichkeit für ein Produkt bei einer Suchanfrage. Wir berücksichtigen Klicks und Views von Produkten und berechnen die Klickwahrscheinlichkeit (Klicks/Views ~ Klickwahrscheinlichkeit). Wie in Abb. 1 zu sehen ist, führt die ausschließliche Verwendung von Klicks und Views zur Berechnung der Klickwahrscheinlichkeit zu wenig aussagekräftigen Ergebnissen, insbesondere bei niedrigen View-Zahlen. Um Produkten mit mehr Interaktion eine höhere statistische Signifikanz zu verleihen, wenden wir eine Bayes'sche Wahrscheinlichkeitsmethode an. Da wir die binomiale Wahrscheinlichkeitsverteilung betrachten, ob ein Produkt angeklickt wird (=1) oder nicht (=0), können wir die vorherige Wahrscheinlichkeitsverteilung mit der Beta-Verteilung modellieren. Wir bestimmen die Parameter der Beta-Verteilung aus historischen Interaktionsdaten. Für jedes Abfrage-Produkt-Paar modifizieren wir den Prior mit den beobachteten Klicks und Nicht-Klicks, um eine bessere Schätzung der Klickwahrscheinlichkeit zu erhalten (siehe Abb. 1).

Positionsverzerrung
Eine zusätzliche Herausforderung bei der Erfassung von Daten über gerankte Produkte ist die Positionsverzerrung. Wir testen derzeit verschiedene Ansätze, um diesen zu kompensieren, indem wir sein Ausmaß schätzen und auf der Grundlage dieses Wertes eine inverse Wahrscheinlichkeitsgewichtung anwenden. Insbesondere schätzen wir die zugrundeliegende Funktion der Positionsverzerrung und debias Interaktionsdaten mit dieser. Ein anderer Ansatz besteht darin, Klickwahrscheinlichkeiten oder Beta-Verteilungsprioritäten pro Position zu berechnen und die Positionsverzerrung zu schätzen, indem man ihre Unterschiede für Produkte betrachtet, die an unterschiedlichen Positionen in der Geschichte erscheinen. Neuere Ansätze in der Literatur versuchen, den Positionsbias direkt in das Learning-to-Rank-Modell einzubauen und so das Modell seinen Einfluss auf die Daten lernen zu lassen. Wir werden solche Ansätze in zukünftigen Iterationen testen.

Sobald wir die zu verwendende Zielmetrik definiert haben, können wir uns darauf konzentrieren, die richtigen Merkmale für das Training unseres Modells zu finden. Die derzeit verwendeten Merkmale sind abfrageabhängig, produktabhängig und beschreiben die Beziehungen zwischen Abfrage und Produkt (siehe Abb. 2). Wir beginnen mit einer fundierten Vermutung, die auf unserem Geschäftswissen basiert. Von diesem Punkt an iterieren wir und untersuchen die Merkmalskorrelationen und die Modellleistung (siehe Abb. 3). In Zukunft möchten wir auch Personalisierungsmerkmale, wie Alter oder Geschlecht, und Echtzeitmerkmale, wie Tageszeit oder Wochentag, einbeziehen.

Wenn diese Themen für Sie interessant klingen und/oder Sie Erfahrung im Aufbau von LTR-Modellen und der Gestaltung von Features oder Urteilen haben, würden wir uns freuen, mit Ihnen Ideen zu diskutieren oder Sie in unserem Team willkommen zu heißen -> kontaktieren Sie uns unter JARVIS@otto.de.