Die Wissenschaft hinter den Empfehlungsalgorithmen von Target

Artikelbasierte Algorithmen: Fügen Sie Algorithmen ein, die der Logik folgen: "Personen, die diesen Artikel angesehen/gekauft haben, haben auch diese Artikel angesehen/gekauft." Diese Algorithmen werden unter dem Dachbegriff kollaboratives Filtern von item-item sowie Items with Similar Attributes Algorithmen gruppiert.

Benutzerbasierte Algorithmen: Schließen Sie die Algorithmen Recently Viewed und Recommended for You ein.

Beliebtheitsbasierte Algorithmen: Binden Sie Algorithmen ein, die die am häufigsten angezeigten oder am häufigsten gekauften Artikel auf der Website oder die am häufigsten angezeigten Artikel oder die am häufigsten angezeigten Artikel nach Kategorie oder Artikelattribut zurückgeben.

Warenkorb-basierte Algorithmen: Schließen Sie Empfehlungen, die auf mehreren Artikeln basieren, mit der Logik ein, "Personen, die diese Artikel angesehen/gekauft haben, haben auch diese Artikel angesehen/gekauft".

Benutzerdefinierte Kriterien: Schließen Sie Empfehlungen basierend auf benutzerdefinierten Dateien ein, die in Target hochgeladen wurden.

Eingabedaten: Verhaltensdaten in Form von Ansichten und Käufen von Besuchern, die erfasst werden, wenn Sie Target oder Adobe Analytics implementieren.

Modellschulung:

• Datenbereinigung und -bearbeitung: Für Algorithmen mit einem N-Tage-Lookback werden die Verhaltensdaten zunächst so gefiltert, dass nur die n Tage an Daten einbezogen werden. Sammlungsregeln und globale Ausschlüsse werden dann angewendet, um alle Elemente zu entfernen, die nicht empfohlen werden sollten. Schließlich lassen sich bei Besuchern, die mit mehr als 1.000 Artikeln interagiert haben, nur Nutzungsdaten von 1.000 Artikeln abrufen.
• Berechnung der Artikelähnlichkeit: Dies ist der wichtigste Rechenschritt: Berechnung der Protokollwahrscheinlichkeitsverhältnisähnlichkeit zwischen allen Kandidaten-Element-Paaren und Rangpaaren von Elementen anhand dieses Ähnlichkeitswerts.
• Offline-Filterung: Schließlich werden alle weiteren anwendbaren dynamischen Filter angewendet (z. B. dynamische Kategorieausschlüsse). Nach diesem Schritt werden vorberechnete Empfehlungen global zwischengespeichert und stehen somit zur Verfügung.

Modellbereitstellung: Recommendations-Inhalte werden vom Target globalen "Edge"-Netzwerk bereitgestellt 🔗. Wenn Mbox-Anfragen an Target gesendet werden und festgestellt wird, dass Empfehlungsinhalte an die Seite gesendet werden sollen, wird die Anforderung für den entsprechenden Elementschlüssel für den Empfehlungsalgorithmus entweder aus der Anforderung analysiert oder aus dem Benutzerprofil nachgeschlagen und dann zum Abrufen der Empfehlungen verwendet, die in den vorherigen Schritten berechnet wurden. Zu diesem Zeitpunkt werden weitere dynamische Filter angewendet, bevor das entsprechende Design gerendert wird.

Eingabedaten: Wie zuvor beschrieben, basiert dieser Algorithmus ausschließlich auf Katalogdaten (die über einen Katalog-Feed, die Entitäten-API oder über On-Page-Updates in Target erfasst werden).

Modellschulung:

• Attributextraktion: Nach der Anwendung regulärer statischer Filter, Katalogregeln und globaler Ausnahmen extrahiert dieser Algorithmus relevante Textfelder aus dem Entitätsschema. Target verwendet automatisch die Felder Name, Nachricht und Kategorie aus den Entitätsattributen und versucht, alle Zeichenfolgenfelder aus benutzerdefinierten Entitätsattributen zu extrahieren. Dies geschieht, indem sichergestellt wird, dass die meisten Werte für dieses Feld nicht als Zahl, Datum oder boolesch analysiert werden können.

• Entfernen von Wortstämmen und Stoppwörtern: Für eine genauere Übereinstimmung der Textähnlichkeit ist es ratsam, sehr häufig verwendete "Stoppwörter"zu entfernen, die die Bedeutung eines Elements nicht wesentlich ändern (z. B. "war", "ist", "und"usw.). Auf ähnliche Weise bezieht sich Wortstamm auf den Prozess der Reduzierung von Wörtern mit verschiedenen Suffixen auf ihr Stammwort, das eine identische Bedeutung hat (z. B. "Verbinden", "Verbinden"und "Verbindung"haben alle dasselbe Stammwort: "Verbinden"). Target verwendet den Snowballstempel. Target führt zuerst eine automatische Spracherkennung durch und kann das Entfernen von Wörtern für bis zu 50 Sprachen und für 18 Sprachen stoppen.

• n-Gramm-Erstellung: Nach den vorherigen Schritten wird jedes Wort als Token behandelt. Der Prozess, zusammenhängende Sequenzen von Token zu einem einzigen Token zu kombinieren, wird als n-Gramm-Erstellung bezeichnet. Die Algorithmen von Target berücksichtigen bis zu 2 Gramm.

• tf-idf computation: Der nächste Schritt umfasst die Erstellung von tf-idf-Vektoren, die die relative Wichtigkeit von Token in der Elementbeschreibung widerspiegeln. Für jeden Token/Begriff t in einem Element i in einem Katalog D mit |D| -Elemente, wird der Begriff Häufigkeit TF(t, i) zuerst berechnet (die Häufigkeit, mit der der Begriff im Element i erscheint), sowie die Dokumentfrequenz DF(t, D). Im Wesentlichen die Anzahl der Elemente, in denen das Token vorhanden ist. Die tf-idf-Maßnahme ist dann

  

  Target verwendet die Apache Spark-Funktionsimplementierung tf-idf, die unter der Haube jedes Token auf einen Bereich von 218 Token hasst. In diesem Schritt wird das kundenspezifische Attribut Boosting und Burying auch angewendet, indem die Begriffsfrequenzen in jedem Vektor basierend auf den in den Kriterien angegebenen Einstellungen angepasst werden.

• Berechnung der Elementähnlichkeit: Die Berechnung der endgültigen Elementähnlichkeit erfolgt mithilfe einer Näherungskosinähnlichkeit. Bei zwei Elementen, A und B, mit den Vektoren tA und tB, wird die Kosinähnlichkeit wie folgt definiert:

  

  Um eine signifikante Komplexität bei der Berechnung der Ähnlichkeiten zwischen allen N x N Elementen zu vermeiden, wird der Vektor tf-idf so abgeschnitten, dass er nur die größten 500 Einträge enthält, und dann werden die Kosinähnlichkeiten zwischen Elementen mithilfe dieser abgeschnittenen Vektordarstellung berechnet. Dieser Ansatz erweist sich als robuster für die Berechnung der geringen Vektorähnlichkeit im Vergleich zu anderen nahe gelegenen Angrenzenmethoden (ANN), z. B. beim Hashing durch lokale Gegebenheiten.

• Modellbereitstellung: Dieser Prozess entspricht den kollaborativen Filtertechniken für Elemente, die im vorherigen Abschnitt beschrieben wurden.

Eingabedaten: Dies entspricht den Methoden des partizipativen Filterns (CF) von Elementen. Both Recommended For You- und Warenkorbbasierte Algorithmen verwenden Verhaltensdaten in Form von Ansichten und Käufen von Benutzern, die erfasst werden, wenn Sie Target oder Adobe Analytics implementieren.

Modellschulung:

• Datenbereinigung und -bearbeitung: Dies entspricht auch bei kollaborativen Filtermethoden, bei denen das Lookback-Fenster angewendet wird, um Verhaltensdaten in einen geeigneten Datumsbereich zu filtern, gefolgt von der Anwendung von Katalogregeln und globalen Ausschlüssen. Bei Besuchern, die mit mehr als 1.000 Artikeln interagiert haben, werden nur die letzten 1.000 Verwendungen berücksichtigt.
• Trainingstest-Aufspaltung: Führen Sie für jeden Benutzer eine chronologische Aufspaltung der Nutzung durch, wobei die ersten 80 % seiner Nutzung Trainings-Daten zugeordnet werden, wobei die verbleibenden 20 % den Testdaten zugeordnet werden.
• Trainieren des Modells für die Ähnlichkeit von Elementen: Die Berechnung der Ähnlichkeit von Kernelementen unterscheidet sich für Recommended For You und kartenbasierte Algorithmen in der Art und Weise, wie die Vektorobjektvektor erstellt werden. Für Recommended For You haben die Element-Vektoren die Dimension "Benutzer", wobei jeder Eintrag die Summe der impliziten Bewertungen für diesen Benutzer des Artikels darstellt. Für Käufe eines Artikels wird eine Gewichtung von 2x so hoch wie für Ansichten des Artikels angegeben. Für kartbasierte Empfehlungen haben die Element-Vektoren binäre Einträge. Wenn nur das Verhalten innerhalb einer Sitzung berücksichtigt werden soll, gibt es einen neuen Eintrag für jede Sitzung. Andernfalls gibt es einen Eintrag in diesem Element-Vektor für jeden Besucher.

Der Schulungsschritt berechnet verschiedene Arten von Vektorähnlichkeiten: die LLR-Ähnlichkeit (hier besprochen), die Kosinähnlichkeit (zuvor definiert) und eine normalisierte L2-Ähnlichkeit, definiert als:

• Bewertung des Modells für Elementähnlichkeit: Die Modellauswertung erfolgt anhand der im vorherigen Schritt generierten Empfehlungen und anhand von Prognosen zum Testdatensatz. Die Online-Scoring-Phase wird nachgeahmt, indem die Elementverwendungen der einzelnen Benutzer im Testdatensatz chronologisch geordnet werden und dann 100 Empfehlungen für geordnete Untergruppen von Artikeln abgegeben werden, um zu versuchen, nachfolgende Ansichten und Käufe vorherzusagen. Eine Metrik zum Abrufen von Informationen, die "Mittlere durchschnittliche Genauigkeit"🔗, wird verwendet, um die Qualität dieser Empfehlungen zu bewerten. Diese Metrik berücksichtigt die Reihenfolge der Empfehlungen und bevorzugt relevante Artikel, die höher oben in der Empfehlungsliste stehen. Dies ist eine wichtige Eigenschaft für Ranking-Systeme.
• Modellauswahl: Nach der Offline-Auswertung wird das Modell mit der höchsten durchschnittlichen Genauigkeit ausgewählt und alle für das Element berechneten Empfehlungen.
• Offline-Filterung: Der letzte Schritt der Modellschulung ist die Anwendung aller zutreffenden dynamischen Filter. Nach diesem Schritt werden vorberechnete Empfehlungen global zwischengespeichert und stehen somit zur Verfügung.

Modellbereitstellung: Im Gegensatz zu früheren Algorithmen, bei denen Empfehlungen bereitgestellt werden, indem ein einzelner Schlüssel für den Abruf und anschließend die Anwendung von Geschäftsregeln spezifiziert wird, verwenden die Recommended for You- und Warenkorbbasierten Algorithmen einen komplexeren Laufzeitprozess.

• Abrufen und Zusammenführen mit mehreren Schlüsseln: Bei kartbasierten Empfehlungen werden bis zu zehn im Warenkorb übergebene Artikel als Schlüssel für den Abruf betrachtet und Empfehlungen aus jedem dieser Artikel werden gleichmäßig gewichtet. Für Recommended for You werden bis zu den letzten fünf einzelnen angezeigten Artikeln und den letzten fünf individuellen gekauften Artikeln als Schlüssel zum Abrufen betrachtet, wobei Empfehlungen aus gekauften Artikeln doppelt so stark gewichtet werden wie Empfehlungen aus aufgerufenen Artikeln. Wenn beim Zusammenführen von Empfehlungen ein Element in mehreren individuellen Empfehlungslisten angezeigt wird, werden seine gewichteten Ähnlichkeitswerte hinzugefügt. Die endgültige Liste der Empfehlungen aus dieser Phase ist dann die zusammengeführte Liste neu gewichteter Empfehlungen, die in absteigender Reihenfolge aufgeführt werden.
• Filterung: Als Nächstes werden Filterregeln wie das Entfernen zuvor angezeigter und/oder gekaufter Artikel sowie andere dynamische Geschäftsregeln angewendet.