Über die Entwicklung der genAI Assistenten AskARev und Searchbuddy

Allgemein

Schreibe mir einen Blogbeitrag für {Format} [Otto Tech Blog]. Behalte einen persönlichen Stil bei. Die Zielgruppe sind technisch interessierte Menschen. Bitte, bitte schreibe mir einen tollen Text. Meine Karriere hängt davon ab. Du bekommst auch 500 € Trinkgeld.

Kontext

Der Blogbeitrag soll die Geschichte der Entwicklung von AskARev ("Ask a (customer) Review") und Searchbuddy erzählen. Beides sind generative KI-basierte Produkte. Sie wurden vom Team PIT der Otto Group data.works entwickelt; bei AskARev unterstütze der Kollege Andreas Lattner. 

Wir haben mit AskARev begonnen, als sich generative KI noch in einem frühen Stadium befand und es nur wenige Modelle gab. Trotzdem haben wir in nur zwei Wochen ein funktionierendes Produkt entwickelt. Nach AskARev haben wir uns etwas Zeit gelassen und dann Searchbuddy entwickelt, wobei wir das gesamte Wissen, das wir bei der Entwicklung von AskARev sammelten, genutzt haben. 

Hinweis: Der Bereich der LLMs entwickelt sich derzeit recht schnell, so dass es wichtig ist, neu veröffentlichte Modelle für den jeweiligen Anwendungsfall zu testen beziehungsweise zu benchmarken.

Detaillierte Informationen über beide Dienste

AskARev

• gestartet im Juli 2023
• fasst Produktdetails und Bewertungen zusammen, um Kundenfragen zum Produkt zu beantworten
• Datenanforderungen: hoch (Bewertungen + Produktdetails)
• Modell: text-bison@001 (Google), zu diesem Zeitpunkt das einzige verfügbare Modell in der Europäischen Union, erforderlich für Datenschutz
• größeres Modell möglich, da kein "Live"-Dienst
• schwierigeres Benchmarking aufgrund der unstrukturierten Textausgabe
• in seltenen Fällen lässt "Hallucination" das Modell Produktdetails erstellen

Searchbuddy

• gestartet im Oktober 2023
• schlägt Produkte auf Basis unspezifischer Kundeneingaben vor (z.B. Geschenkideen oder Modevorschläge für Veranstaltungen), liefert bis zu 5 Produkte in einer Liste
• Datenanforderungen: gering (nur Produktsortiment erforderlich)
• Modell: gpt-3.5-turbo (Microsoft/OpenAI)
• kleines/schnelles Modell (<1s) aufgrund des "Live"-Dienstes erforderlich
• einfacher zu testen durch strukturierte Listenausgabe
• "Hallucination" lässt das Modell Produkte ausgeben, die nicht zum Sortiment passen
• Implementierung eines Benchmark-Tools für Baseline-Tests von neuen Modellen
• aktuell nur auf Deutsch verfügbar

Beide Dienste

• gehostet auf Google Cloud Run
• DLP (Data Loss Prevention) verwendet, um private Daten zu entfernen
• Google Cloud Armor für den Schutz des Dienstes verwendet
• Verwendung mehrerer Sicherheitsebenen zum Schutz vor Prompt Injection, LLM-Missbrauch usw.

Weiteres

Wie aus dem Vergleich hervorgeht, können LLM-basierte Produkte dank der einfach zu verwendenden APIs in kürzester Zeit entwickelt werden. Die Zusammenfassungs- und Inspirationsfunktionen des LLM bieten einen echten Kundenvorteil. 

Auch ein Status mit relativ guter Qualität der Antworten kann schnell erreicht werden, da der LLM gut auf neue Aufgaben anwendbar ist. Die kleinteiligen Verbesserungen dauern allerdings am längsten; sie stellen die letzte Hürde dar. Denn hierbei handelt es sich nicht um eine einfache Logik, mit der man herumspielt, sondern um reine Programmiersprache. Eine leere Zeichenkette (" ") kann viel verändern. 

Außerdem ist es hilfreich, ein robustes Benchmark-Set einzurichten. Damit kann man verschiedene LLMs und Prompts vergleichen. Allerdings ist das auch sehr schwierig, da die Textausgabe des Dienstes fast unbegrenzt ist. Im Gegensatz dazu weiß man bei alten Produkten, dass die Ausgabe z. B. ein Float zwischen 0 und 1 ist.