Die Wissenschaft hinter den Empfehlungsalgorithmen von Target

Elementbasierte Algorithmen: beinhalten Algorithmen, die der Logik folgen: „Personen, die diesen Artikel angesehen/gekauft haben, haben auch diese Artikel angesehen/gekauft.“ Diese Algorithmen sind unter dem Oberbegriff Item-Item-Collaborative-Filterung gruppiert, sowie Items with Similar Attributes.

Benutzerbasierte Algorithmen: Schließen Sie die Recently Viewed und Recommended for You Algorithmen ein.

Beliebtheitsalgorithmen Schließen Sie Algorithmen ein, die die am häufigsten angezeigten oder am häufigsten gekauften Artikel auf der Website oder die am häufigsten angezeigten oder am häufigsten gekauften Artikel nach Kategorie oder Artikelattribut zurückgeben.

Warenkorb-Algorithmen: Schließen Sie auf mehreren Artikeln basierende Empfehlungen mit der Logik „Personen, die diese Artikel angesehen/gekauft haben, haben diese Artikel auch angesehen/gekauft“ ein.

Benutzerdefinierte Kriterien: Schließen Sie Empfehlungen ein, die auf benutzerdefinierten Dateien basieren, die in Target hochgeladen wurden.

Eingabedaten: Verhaltensdaten in Form von Ansichten und Käufen von Besucherinnen und Besuchern, die beim Implementieren von Target oder von Adobe Analytics erfasst.

Modell-:

• Datenbereinigung und -: Bei Algorithmen mit einem N-tägigen Lookback werden die Verhaltensdaten zunächst so gefiltert, dass nur die N Tage der Daten einbezogen werden. Sammlungsregeln und globale Ausschlüsse werden dann angewendet, um alle Elemente zu entfernen, die nicht empfohlen werden sollten. Schließlich werden bei allen Besuchern, die mit mehr als 1.000 Elementen interagiert haben, die Nutzungsdaten nur auf 1.000 Elemente gesampelt.
• Berechnung der Elementähnlichkeit: Dies ist der wichtigste Berechnungsschritt: Berechnung der Ähnlichkeit des Log-Wahrscheinlichkeitsverhältnisses zwischen allen möglichen Elementpaaren und Rangfolge der Elementpaare nach diesem Ähnlichkeitswert.
• Offline-: Schließlich werden alle weiteren anwendbaren dynamischen Filter angewendet (z. B. dynamische Kategorieausschlüsse). Nach diesem Schritt werden vorberechnete Empfehlungen global zwischengespeichert, um für die Bereitstellung verfügbar zu sein.

Modellbereitstellung: Recommendations-Inhalte werden vom globalen "EdgeNetzwerk“ von Target bereitgestellt. Wenn Mbox-Anfragen an Target gesendet werden und festgelegt wird, dass Recommendations-Inhalte an die Seite gesendet werden sollen, wird die Anfrage für den entsprechenden Elementschlüssel für den Recommendations-Algorithmus entweder aus der Anfrage analysiert oder aus dem Benutzerprofil nachgeschlagen und dann zum Abrufen der in den vorherigen Schritten berechneten Recommendations verwendet. Zu diesem Zeitpunkt werden weitere dynamische Filter angewendet, bevor das entsprechende Design gerendert wird.

Eingabedaten: Dieser Algorithmus basiert, wie zuvor beschrieben, ausschließlich auf Katalogdaten (die über einen -KatalogFeed, die Entitäten-API oder aus Aktualisierungen auf der Seite in Target aufgenommen.

Modell-:

• Attributextraktion: Nach der Anwendung regulärer statischer Filter, Katalogregeln und globaler Ausschlüsse extrahiert dieser Algorithmus relevante Textfelder aus dem Entitätsschema. Target verwendet automatisch die Felder Name, Nachricht und Kategorie aus den Entitätsattributen und versucht, Zeichenfolgenfelder aus benutzerdefinierten (Entitätsattributen zu. Dieser Prozess erfolgt, indem sichergestellt wird, dass die meisten Werte für dieses Feld nicht als Zahl, Datum oder Boolesch parabel werden können.

• Stemmen und Entfernen von Stoppwörtern: Für eine genauere Textähnlichkeitsübereinstimmung ist es ratsam, sehr gängige „Stopp“-Wörter zu entfernen, die die Bedeutung eines Elements nicht wesentlich ändern (z. B. „was“, „ist“, „and“ usw.). In ähnlicher Weise bezieht sich das Wortstammen auf den Prozess, Wörter mit unterschiedlichen Suffixen auf ihr Stammwort zu reduzieren, das eine identische Bedeutung hat (z. B. haben „connect“, „connector“ und „connection“ alle dasselbe Stammwort: „connect„). Target verwendet den Schneeballstamm. Target führt zuerst die automatische Spracherkennung durch und kann die Wortentfernung für bis zu 50 Sprachen und das Stemmen für 18 Sprachen stoppen.

• N-Gramm-Erstellung: Nach den vorherigen Schritten wird jedes Wort als Token behandelt. Der Prozess des Kombinierens zusammenhängender Sequenzen von Token zu einem einzigen Token wird als n-Gram-Erstellung bezeichnet. Die Algorithmen von Target berücksichtigen bis zu 2 Gramm.

• tf-idf computation: Der nächste Schritt umfasst die Erstellung von tf-idf-Vektoren, um die relative Bedeutung von Token in der Artikelbeschreibung widerzuspiegeln. Für jedes Token/jeden Begriff in einem Element i in einem Katalog D mit |D| Als Erstes wird die Termfrequenz TF(t, i) berechnet (die Anzahl, wie oft der Term in der Item i) erscheint, sowie die Dokumentenfrequenz DF(t, D). Im Wesentlichen die Anzahl der Elemente, in denen das Token vorhanden ist. Die tf-idf-Kennzahl wird dann

  

  Target verwendet die Implementierung der Funktionen von tf-idf von Apache Spark, bei der jedes Token im Hintergrund auf ein Leerzeichen von 218 Token hasht. In diesem Schritt wird auch eine kundenspezifische Attributverstärkung und -vergrabung angewendet, indem die Begriffsfrequenzen in jedem Vektor auf der Grundlage der in den angegebenen Einstellungen angepasst.

• Berechnung der Artikelähnlichkeit: Die letzte Berechnung der Artikelähnlichkeit erfolgt mit einer ungefähren Kosinusähnlichkeit. Für die beiden Positionen A und B mit den Vektoren tA und tB wird die Kosinusähnlichkeit wie folgt definiert:

  

  Um eine erhebliche Komplexität bei der Berechnung der Ähnlichkeiten zwischen allen N x N Elementen zu vermeiden, wird der tf-idf-Vektor abgeschnitten, sodass er nur die größten 500 Einträge enthält, und dann werden Kosinusähnlichkeiten zwischen Elementen mithilfe dieser abgeschnittenen Vektordarstellung berechnet. Dieser Ansatz erweist sich bei dünnen Vektorähnlichkeitsberechnungen als robuster im Vergleich zu anderen Ann-Techniken (Approximate Nearest Neighbor), wie z. B. lokalitätsempfindliches Hashing.

• Modellbereitstellung: Dieser Prozess ist identisch mit den im vorherigen Abschnitt beschriebenen kollaborativen Filtertechniken für Elemente.

Eingabedaten: Dies ist identisch mit den Methoden für das kollaborative Filtern (CF) nach Elementen. Both Recommended For You- und Warenkorbalgorithmen verwenden Verhaltensdaten in Form von Ansichten und Käufen von Benutzenden, die beim Implementieren von Target oder von Adobe Analytics erfasst.

Modell-:

• Datenbereinigung und -: Dies ist wieder dasselbe wie bei kollaborativen Filtermethoden, bei denen das Lookback-Fenster angewendet wird, um Verhaltensdaten nach einem geeigneten Datumsbereich zu filtern, gefolgt von der Anwendung von Katalogregeln und globalen Ausschlüssen. Bei Besucherinnen und Besuchern, die mit mehr als 1.000 Elementen interagiert haben, werden nur die letzten 1.000 Anwendungen berücksichtigt.
• Testaufspaltung trainieren: Führen Sie eine chronologische Aufspaltung der Nutzung für jeden Benutzer durch und weisen Sie die ersten 80 % seiner Nutzung Schulungsdaten zu, während die restlichen 20 % den Testdaten zugewiesen werden.
• Modell-Training für die Artikelähnlichkeit: Die Berechnung der Artikelähnlichkeit im Kern unterscheidet sich bei Recommended For You und Warenkorb-basierten Algorithmen in der Art und Weise, wie Vektoren für mögliche Artikel konstruiert werden. Recommended For You haben die Artikelvektoren die Dimension NUsers, wobei jeder Eintrag die Summe der impliziten Bewertungen für diesen Benutzer des Artikels darstellt - Käufe eines Artikels erhalten eine Gewichtung von 2x der der Ansichten des Artikels. Bei Empfehlungen auf Warenkorbbasis verfügen die Elementvektoren über binäre Einträge. Wenn nur das Verhalten innerhalb einer Sitzung berücksichtigt werden soll, gibt es für jede Sitzung einen neuen Eintrag. Andernfalls gibt es für jeden Besucher einen Eintrag in diesem Elementvektor.

Im Trainingsschritt werden mehrere Typen von Vektorähnlichkeiten berechnet: LLR-Ähnlichkeit ( hier erörtert), Kosinusähnlichkeit (zuvor definiert) und eine normalisierte L2-Ähnlichkeit, definiert als:

• Bewertung des Elementähnlichkeitsmodells: Die Modellevaluierung erfolgt anhand der im vorherigen Schritt generierten Empfehlungen und anhand von Prognosen zum Testdatensatz. Die Online-Bewertungsphase wird nachgeahmt, indem die Elementnutzung jedes Benutzers im Testdatensatz chronologisch sortiert und dann 100 Empfehlungen für sortierte Untergruppen von Elementen gegeben werden, um spätere Ansichten und Käufe vorherzusagen. Eine Metrik zum Abrufen von Informationen, Mean Average Precision, wird verwendet, um die Qualität dieser Empfehlungen zu bewerten. Diese Metrik berücksichtigt die Reihenfolge der Empfehlungen und bevorzugt relevante Elemente weiter oben in der Liste der Empfehlungen, die eine wichtige Eigenschaft für Rangfolgesysteme ist.
• Modellauswahl: Nach der Offline-Auswertung wird das Modell mit der höchsten mittleren Genauigkeit ausgewählt und alle individuellen Element-Element-Empfehlungen werden dafür berechnet.
• Offline-: Die letzte Phase des Modelltrainings ist die Anwendung aller anwendbaren dynamischen Filter. Nach diesem Schritt werden vorberechnete Empfehlungen global zwischengespeichert, um für die Bereitstellung verfügbar zu sein.

Modellbereitstellung: Im Gegensatz zu vorherigen Algorithmen, bei denen Bereitstellungsempfehlungen das Angeben eines einzelnen Schlüssels zum Abrufen und die nachfolgende Anwendung von Geschäftsregeln beinhalten, verwenden die Recommended for You- und Warenkorb-basierten Algorithmen einen komplexeren Laufzeitprozess.

• Abrufen und Zusammenführen mehrerer Schlüssel: Bei auf dem Warenkorb basierenden Empfehlungen werden bis zu zehn Artikel, die im Warenkorb übergeben werden, als Schlüssel für den Abruf betrachtet, und die Empfehlungen von jedem werden gleich gewichtet. Recommended for You werden bis zu den letzten fünf Einzelposten betrachtet, die angezeigt werden, und die letzten fünf Einzelposten werden als Schlüssel zum Abruf betrachtet, wobei Empfehlungen, die aus gekauften Artikeln entstehen, doppelt so gewichtet werden wie Empfehlungen, die aus angezeigten Artikeln entstehen. Wenn beim Zusammenführen von Recommendations ein Element in mehreren individuellen Listen von Recommendations angezeigt wird, werden seine gewichteten Ähnlichkeitsbewertungen hinzugefügt. Die endgültige Liste der Empfehlungen aus dieser Phase ist dann die zusammengeführte Liste der neu gewichteten Empfehlungen, sortiert in absteigender Reihenfolge.
• Filtern Als Nächstes werden Filterregeln wie das Entfernen zuvor angezeigter und/oder gekaufter Artikel sowie andere dynamische Geschäftsregeln angewendet.