La scienza alla base degli algoritmi di Recommendations di Target

Algoritmi basati su elementi: includono gli algoritmi che seguono la logica "Chi ha visualizzato/acquistato questo elemento ha anche visualizzato/acquistato questi elementi". Questi algoritmi sono raggruppati sotto il termine generale filtro collaborativo elemento-elemento e gli algoritmi Items with Similar Attributes.

Algoritmi basati sull'utente: includere gli algoritmi Recently Viewed e Recommended for You.

Algoritmi basati sulla popolarità: includono gli algoritmi che restituiscono gli articoli più visualizzati o acquistati in tutto il sito Web oppure più visualizzati o acquistati per categoria o attributo di articolo.

Algoritmi basati sul carrello: include consigli basati su più elementi con la logica "persone che hanno visualizzato/acquistato questi elementi, hanno anche visualizzato/acquistato tali elementi".

Criteri personalizzati: include consigli basati su file personalizzati caricati in Target.

Dati di input: dati comportamentali, sotto forma di visualizzazioni e acquisti di visitatori raccolti quando implementi Target o da Adobe Analytics.

Apprendimento del modello:

• Pulizia e campionamento dei dati: per gli algoritmi con un lookback di N giorni, i dati comportamentali vengono prima filtrati per includere solo tali N giorni di dati. Le regole di raccolta e le esclusioni globali vengono quindi applicate per rimuovere tutti gli elementi che non devono essere consigliati. Infine, per i visitatori che hanno interagito con più di 1.000 elementi, i dati di utilizzo sono stati campionati in soli 1.000 elementi.
• Calcolo della somiglianza tra elementi: questo è il passaggio di calcolo principale: calcolo della somiglianza del rapporto di probabilità del registro tra tutte le coppie di elementi candidati e classificazione delle coppie di elementi in base a questo punteggio di somiglianza.
• Filtro non in linea: verranno infine applicati eventuali altri filtri dinamici applicabili (ad esempio, esclusioni di categorie dinamiche). Dopo questo passaggio, i consigli precalcolati vengono memorizzati nella cache a livello globale per essere disponibili per il servizio.

Server modelli: il contenuto Recommendations viene distribuito dalla rete "Edge" globale di Target. Quando vengono effettuate richieste mbox a Target e viene determinato che il contenuto dei consigli deve essere recapitato alla pagina, la richiesta della chiave elemento appropriata per l'algoritmo dei consigli viene analizzata dalla richiesta o cercata dal profilo utente, e quindi utilizzata per recuperare i consigli calcolati nei passaggi precedenti. Ulteriori filtri dinamici vengono applicati in questo momento, prima che venga eseguito il rendering della progettazione appropriata.

Dati di input: come descritto in precedenza, questo algoritmo si basa esclusivamente sui dati del catalogo (acquisiti in Target tramite un Feed catalogo, l'API delle entità o dagli aggiornamenti nella pagina.

Apprendimento del modello:

• Estrazione attributo: dopo l'applicazione di normali filtri statici, regole di catalogo ed esclusioni globali, questo algoritmo estrae i campi testuali pertinenti dallo schema di entità. Target utilizza automaticamente i campi nome, messaggio e categoria dagli attributi di entità e tenta di estrarre qualsiasi campo stringa dagli attributi di entità personalizzati. Questo processo viene eseguito assicurandosi che la maggior parte dei valori per quel campo non sia analizzabile come numero, data o booleano.

• Rimozione stemming e stop-word: per una corrispondenza più precisa della somiglianza del testo, è prudente rimuovere le parole "stop" molto comuni che non alterano in modo significativo il significato di un elemento (ad esempio, "was", "is", "and" e così via). Allo stesso modo, il termine stemming si riferisce al processo di riduzione delle parole con suffissi diversi alla loro parola principale, che ha un significato identico (ad esempio, "connect", "connect" e "connection" hanno tutti la stessa parola principale: "connect"). Target utilizza lo stemmer Snowball. Target esegue prima il rilevamento automatico della lingua e può interrompere la rimozione delle parole per un massimo di 50 lingue e la creazione di stemming per 18 lingue.

• Creazione di n grammi: dopo i passaggi precedenti, ogni parola viene considerata come un token. Il processo di combinazione di sequenze contigue di token in un singolo token è definito creazione di n grammi. Gli algoritmi di Target considerano fino a 2 grammi.

• calcolo tf-idf: il passaggio successivo prevede la creazione di vettori tf-idf per riflettere l'importanza relativa dei token nella descrizione dell'elemento. Per ogni token/termine t in un elemento i, in un catalogo D con D| elementi, il termine frequenza TF(t, i) viene calcolato per primo (il numero di volte in cui il termine appare nell'elemento i), nonché la frequenza del documento DF(t, D). In sostanza, il numero di elementi in cui esiste il token. La misura tf-idf è quindi

  

  Target utilizza l'implementazione della funzionalità tf-idf di Apache Spark, che esegue l'hash di ogni token su uno spazio di 218 token. In questo passaggio, il potenziamento degli attributi specificati dal cliente e il seppellimento vengono applicati anche regolando le frequenze dei termini in ciascun vettore in base alle impostazioni specificate nei criteri.

• Calcolo per somiglianza elemento: il calcolo per la somiglianza dell'elemento finale viene eseguito utilizzando una somiglianza approssimativa con il coseno. Per due elementi, A e B, con vettori tA e tB, la somiglianza coseno è definita come:

  

  Per evitare una complessità significativa nel calcolo delle somiglianze tra tutti gli elementi N x N, il vettore tf-idf viene troncato in modo da contenere solo le 500 voci più grandi e quindi calcola le somiglianze coseno tra gli elementi utilizzando questa rappresentazione vettoriale troncata. Questo approccio si dimostra più robusto per i calcoli di somiglianza vettoriale sparsa, rispetto ad altre tecniche approssimate più vicine (ANN), come l'hashing sensibile alla località.

• Model serving: questo processo è identico alle tecniche di filtro collaborativo elemento-elemento descritte nella sezione precedente.

Dati di input: identico ai metodi di filtro collaborativo elemento-elemento. Gli algoritmi Both Recommended For You e basati su carrello utilizzano dati comportamentali, sotto forma di visualizzazioni e acquisti di utenti raccolti quando implementi Target o da Adobe Analytics.

Apprendimento del modello:

• Pulizia e campionamento dei dati: anche in questo caso è lo stesso dei metodi di filtro collaborativo, in cui l'intervallo di lookback viene applicato per filtrare i dati comportamentali in un intervallo di date appropriato, seguito dall'applicazione di regole di catalogo ed esclusioni globali. I visitatori che hanno interagito con più di 1.000 elementi vengono considerati solo i 1.000 utilizzi più recenti.
• Divisione test del treno: esegui una suddivisione cronologica degli utilizzi per ogni utente, allocando il primo 80% dei suoi utilizzi ai dati di addestramento, con il restante 20% allocato ai dati di test.
• Apprendimento del modello per la somiglianza degli elementi: il calcolo della somiglianza degli elementi principali differisce per Recommended For You e gli algoritmi basati su carrello nel modo in cui vengono costruiti i vettori degli elementi candidati. Per Recommended For You, i vettori articolo hanno dimensioni NUser, dove ogni voce rappresenta la somma delle valutazioni implicite per l'utente dell'articolo. Agli acquisti di un articolo viene assegnato un peso pari al doppio delle visualizzazioni dell'articolo. Per i consigli basati su carrello, i vettori di elementi dispongono di voci binarie; se il comportamento all’interno della sessione deve essere considerato solo, esiste una nuova voce per ogni sessione. In caso contrario, esiste una voce in questo vettore elemento per ogni visitatore.

Il passaggio di apprendimento calcola diversi tipi di somiglianze vettoriali: somiglianza LLR (discussa qui), somiglianza coseno (definita in precedenza) e somiglianza L2 normalizzata, definita come:

• Valutazione modello similarità elemento: la valutazione del modello viene eseguita prendendo i consigli generati nel passaggio precedente e facendo previsioni sul set di dati del test. La fase di punteggio online viene imitata ordinando in modo cronologico gli utilizzi degli articoli di ogni utente nel set di dati di test, quindi eseguendo 100 consigli per sottoinsiemi di articoli ordinati nel tentativo di prevedere visualizzazioni e acquisti successivi. Per valutare la qualità di questi consigli, viene utilizzata una metrica di recupero delle informazioni, la precisione media. Questa metrica prende in considerazione l’ordine dei consigli e favorisce gli elementi pertinenti più in alto nell’elenco dei consigli, che è una proprietà importante per i sistemi di classificazione.
• Selezione modello: dopo la valutazione offline, viene selezionato il modello con la precisione media più elevata e vengono calcolati tutti i singoli suggerimenti elemento-elemento.
• Filtro offline: la fase finale dell'apprendimento del modello è l'applicazione di eventuali filtri dinamici applicabili. Dopo questo passaggio, i consigli precalcolati vengono memorizzati nella cache a livello globale per essere disponibili per il servizio.

Server modelli: a differenza degli algoritmi precedenti in cui i consigli di server richiedono la specifica di una singola chiave per il recupero, seguita dall'applicazione di regole di business, gli algoritmi Recommended for You e basati su carrello utilizzano un processo di runtime più complesso.

• Recupero e unione di più chiavi: per i consigli basati su carrello, fino a dieci elementi passati nel carrello vengono considerati chiavi per il recupero e i consigli di ciascuno vengono ponderati allo stesso modo. Per Recommended for You, fino agli ultimi cinque articoli visualizzati e gli ultimi cinque articoli acquistati univoci sono considerati chiavi per il recupero. I consigli derivanti dagli articoli acquistati vengono ponderati il doppio dei consigli derivanti dagli articoli visualizzati. Quando si uniscono i consigli, se un elemento viene visualizzato in più elenchi di consigli singoli, vengono aggiunti i punteggi di somiglianza ponderati. L’elenco finale dei consigli in questa fase è quindi l’elenco unito dei consigli riponderati, ordinati in ordine decrescente.
• Filtro: vengono quindi applicate le regole di filtro, ad esempio la rimozione degli elementi visualizzati e/o acquistati in precedenza, e altre regole aziendali dinamiche.