Rethinking semantic product search: ein neuer Ansatz für Suchanfragen mit ungewöhnlichen Rechtschreibvarianten

Bildbeschreibung: Eine Null-Treffer-Seite auf otto.de. Während das lexikalische System für die Suchanfrage "aifon13promax" keine Produkte findet (lila Kasten), findet der neue semantische Retriever die richtigen Ergebnisse (roter Kasten).

Lexikalische Systeme haben den Markt für Suchsysteme lange Zeit dominiert. Mit dem Vormarsch der künstlichen Intelligenz hat die semantische Produktsuche in den letzten Jahren jedoch an Bedeutung gewonnen. Da diese Systeme jedoch noch relativ neu sind, wurden viele Aspekte bisher noch nicht vollständig erforscht. Einer dieser Aspekte ist die Frage, inwieweit semantische Systeme so angepasst werden können, dass sie schwierige Suchanfragen mit Rechtschreibfehlern besser beantworten können. Das neue System, das wir vorstellen, fällt in dieses Forschungsgebiet und überschreitet dessen Grenzen.

Um die Vorteile unserer neuen Architektur zu verstehen, müssen wir zunächst erklären, wie die semantische Produktsuche funktioniert. Die semantische Produktsuche basiert auf Abfrage-Produkt-Klickdaten. Wenn ein Benutzer eine Suchanfrage "q1" eingibt, definiert er die Bedeutung, d. h. die Semantik des Suchbegriffs, indem er auf Produkte wie "p1" oder "p2" klickt. Wir wissen nur, dass die Abfrage "eiphone" "iphone" bedeutet, wenn ein Nutzer auf das entsprechende Produkt klickt. Die Hauptidee der Verteilungssemantik, die auf dieses Klick-Problem angewandt wird, ist, dass die Bedeutung einer Anfrage durch den Kontext der angeklickten Produkte definiert wird. Diese Interpretation definiert die Semantik der Anfrage unabhängig von ihrer Schreibweise.

Sobald wir die Bedeutung einer Suchanfrage ermittelt haben, müssen wir die relevanten Produkte für die Suche bestimmen. Dazu verwenden wir einen geclusterten bipartiten Graphen, den wir aus den Abfrage-Produkt-Klickdaten aus dem Clickstream unseres E-Commerce-Shops erstellen. Die Kanten definieren positive Klicks zwischen einer Anfrage und einem Produkt. Der Vorteil der Verwendung eines solchen Produkt-Anfrage-Klick-Graphen als Grundlage für ein semantisches Suchsystem ist, dass man ihn clustern und so alle relevanten Produkte in Bezug auf eine Anfrage aufdecken kann, auch wenn sie nicht direkt in Bezug auf die Anfrage angeklickt wurden (siehe Abbildung 2). Aus dem Abfrage-Produkt-Graphen kann man z.B. ableiten, dass p3 für die Abfrage q1 relevant ist. Die Suche nach relevanten Produkten aus benachbarten Clustern relevanter Produkte für eine bestimmte Anfrage ist die Grundlage der semantischen Produktsuche.

Bildbeschreibung: Ein zweiseitiger Abfrage-Produkt-Klick-Graph. Der rote Kreis zeigt den Cluster der relevanten Produkte. Der Cluster definiert die Relevanzgrenze für die Suche nach einem zusätzlichen Produkt p3 in Relation zu q1, das nicht direkt verlinkt ist. Die Links sind über die Zeit aggregiert. Unterschiedliche Zeitpunkte sind durch t1 und t2 gekennzeichnet. Abbildung teilweise basierend auf Graph in: Zhang et.al (2019): Neural IR meets Graph Embedding. In: WWW Conference 2019, pp. 2390-2400.

Bildbeschreibung: Generalisierungsproblem eines semantischen Suchsystems der vorherigen Generation in den Segmenten mit niedrigem Abrufwert: Das System wird durch Rechtschreibfehler bei Anfragen verwirrt.

Anschließend haben wir das Sprachmodell in eine Pipeline-Architektur für die semantische Suche integriert. Für die Lösungsarchitektur haben wir unser System in drei Module unterteilt: einen Aggregator, ein Modul zum Verstehen von Anfragen mit dem neuen Sprachmodell und einen semantischen Retriever.

Bildbeschreibung: Die Lösungsarchitektur besteht aus drei Modulen und einem zusätzlichen Ranking-System.