Forskningen bakom Target:s rekommendationsalgoritmer

Objektbaserade algoritmer: Inkludera algoritmer som följer logiken"Personer som visade/köpte det här objektet visade/köpte även dessa objekt." Dessa algoritmer grupperas under paraplytermen objektbaserad samarbetsfiltrering samt Items with Similar Attributes algoritmer.

Användarbaserade algoritmer: Inkludera algoritmerna Recently Viewed och Recommended for You.

Popularitetsbaserade algoritmer: Inkludera algoritmer som returnerar de mest visade eller mest köpta objekten på webbplatsen, eller toppvisade eller toppköpta efter kategori eller objektattribut.

Konstnärsbaserade algoritmer: Inkludera flerobjektsbaserade rekommendationer med logiken"personer som visade/köpte dessa objekt, även visade/köpte dem."

Anpassade villkor: Inkludera rekommendationer baserade på anpassade filer som överförts till Target.

Indata: Beteendedata, i form av visningar och köp av besökare som samlats in när du implementerar Target eller från Adobe Analytics.

Modellutbildning:

• Datarensning och -sampling: För algoritmer med N-dagars uppslag filtreras beteendedata först så att de endast innehåller N-dagars data. Samlingsregler och globala undantag tillämpas sedan för att ta bort objekt som inte bör rekommenderas. Alla besökare som interagerade med mer än 1 000 artiklar får dessutom endast 1 000 uppgifter.
• Beräkning av likhet för objekt: Detta är det grundläggande beräkningssteget: beräkning av likhet för sannolikhetsgrad för logg mellan alla förslagsobjektpar och rangordning av objekt med detta likhetsresultat.
• Offlinefiltrering: Slutligen tillämpas alla andra tillämpliga dynamiska filter (till exempel dynamiska kategoriundantag). Efter det här steget cachelagras förberäknade rekommendationer globalt så att de kan användas.

Modellhantering: Recommendations-innehåll levereras från Target Edge-nätverk. När mbox-begäranden görs till Target och det fastställs att rekommendationsinnehåll ska levereras till sidan, tolkas begäran om lämplig objektnyckel för rekommendationsalgoritmen antingen från begäran eller slås upp från användarprofilen, och används sedan för att hämta de rekommendationer som beräknats i föregående steg. Ytterligare dynamiska filter tillämpas nu, innan rätt design återges.

Indatadata: Enligt beskrivningen ovan baseras den här algoritmen enbart på katalogdata (som har importerats till Target via en katalogfeed, entitets-API:t eller från siduppdateringar.

Modellutbildning:

• Attributextrahering: Efter tillämpning av vanliga statiska filter, katalogregler och globala undantag extraherar den här algoritmen relevanta textfält från entitetsschemat. Target använder automatiskt namn-, meddelande- och kategorifälten från entitetsattributen och försöker extrahera alla strängfält från anpassade entitetsattribut. Detta görs genom att se till att merparten av värdena för det fältet inte kan tolkas som ett tal, datum eller booleskt värde.

• Ordstam- och stoppordsborttagning: För exaktare matchning av textlikhet är det klokt att ta bort mycket vanliga stoppord som inte ändrar innebörden av ett objekt (t.ex. "var", "is", "och" o.s.v.). På samma sätt hänvisar ordstammen till processen att minska ord med olika suffix till deras rotord, som har en identisk betydelse (till exempel "connect", "connecting" och "connection" har alla samma rotord: "connect"). Target använder Snowball-stammen. Target utför automatisk språkidentifiering först, och kan stoppa ordborttagning på upp till 50 språk och härleda för 18 språk.

• Skapa n-gram: Efter föregående steg behandlas varje ord som en token. Att kombinera sekvenser av variabler i en enda token kallas för att skapa n-gram. Algoritmerna för Target tar upp till 2 gram i anspråk.

• tf-idf-beräkning: I nästa steg skapas tf-idf-vektorer som återspeglar tokens relativa betydelse i objektbeskrivningen. För varje token/term t i ett objekt i, i en katalog D med |D| poster beräknas termen frekvens TF(t, i) först (antalet gånger termen visas i posten i) samt dokumentfrekvensen DF(t, D). Det vill säga antalet objekt där token finns. Tf-idf-måttet är sedan

  

  Target använder Apache Sparks tf-idf-funktionsimplementering, som under huven binder varje token till ett utrymme på 218 token. I det här steget tillämpas också boostring och kopiering av kundspecificerade attribut genom att termfrekvenserna i varje vektor justeras baserat på inställningarna som anges i villkoret.

• Beräkning av objektlikhet: Den sista objektlikhetsberäkningen görs med en ungefärlig cosinus-likhet. För två objekt, A och B, med vektorerna tA och tB, definieras cosinus-likhet som:

  

  För att undvika en större komplexitet när det gäller att beräkna likheter mellan alla N x N-objekt, trunkeras tf-idf-vektorn så att den bara innehåller de största 500 posterna. Sedan beräknas cosinus-likheterna mellan objekten med den här trunkerade vektorrepresentationen. Detta tillvägagångssätt visar sig vara mer robust för likhetsberäkningar för gles vektor, jämfört med andra approximativa närliggande (ANN) tekniker, t.ex. lokaliseringskänslig hash.

• Modellbetjäning: Den här processen är identisk med samarbetsfiltreringstekniker för objektobjekt som beskrivs i föregående avsnitt.

Indata: Detta är identiskt med CF-metoder (object-item collaborative filtering). Both Recommended For You- och Cart-baserade algoritmer använder beteendedata, i form av visningar och köp av användare som samlats in när du implementerar Target eller från Adobe Analytics.

Modellutbildning:

• Datarensning och sampling: Detta är återigen detsamma som för samarbetsfiltreringsmetoder, där uppslagsfönstret används för att filtrera beteendedata till ett lämpligt datumintervall, följt av katalogregler och globala undantag. Besökare som har interagerat med mer än 1 000 objekt har bara de senaste 1 000 användningarna.
• Tågtestsdelning: Utför en kronologisk delning av användningsområdena för varje användare och allokera de första 80 % av användarens användning till utbildningsdata, medan de återstående 20 % tilldelas till testdata.
• Modellutbildning för objektlikhet: Beräkningen av likhet för huvudobjekt skiljer sig åt för Recommended For You - och Cart-baserade algoritmer på det sätt som vektorer för kandidatobjekt skapas. För Recommended For You har objektvektorerna dimensionerna NUsers, där varje post representerar summan av implicita klassificeringar för den användaren av objektet. Inköp av ett objekt får en vikt på 2x den för objektets vyer. För kundvagnsbaserade rekommendationer har objektvektorerna binära poster. Om endast sessionsbeteendet ska beaktas finns det en ny post för varje session. Annars finns det en post i den här objektvektorn för varje besökare.

Utbildningssteget beräknar flera typer av vektorlikheter: LLR-likheter (beskrivs här), cosinus-likhet (definieras tidigare) och en normaliserad L2-likhet, definierad som:

• Utvärdering av objektlikhetsmodell: Modellutvärderingen görs genom att rekommendationerna som genererades i föregående steg utförs och prognoser görs på testdatauppsättningen. Onlinebedömningsfasen härleds genom att varje användares objektanvändning i testdatauppsättningen ordnas kronologiskt och sedan görs 100 rekommendationer för ordnade deluppsättningar av objekt i ett försök att förutse efterföljande vyer och inköp. Ett mått för informationshämtning, Medelhög precision, används för att utvärdera kvaliteten hos dessa rekommendationer. Detta mätresultat tar hänsyn till rekommendationsordningen och prioriterar relevanta poster högre upp i listan över rekommendationer, som är en viktig egenskap för rangordningssystem.
• Modellval: Efter offlineutvärdering markeras modellen som har den högsta genomsnittliga precisionen och alla rekommendationer för enskilda objekt beräknas för den.
• Offlinefiltrering: Det sista steget i modellträningen är att tillämpa tillämpliga dynamiska filter. Efter det här steget cachelagras förberäknade rekommendationer globalt så att de kan användas.

Modellhantering: Till skillnad från tidigare algoritmer där rekommendationer ska hanteras måste en enda nyckel för hämtning anges, följt av tillämpning av affärsregler, använder algoritmerna Recommended for You och Cart-baserad en mer komplex körningsprocess.

• Hämtning och sammanslagning av flera nycklar: För kundvagnsbaserade rekommendationer räknas upp till tio objekt som skickas i vagnen som nycklar för hämtning och rekommendationer från var och en av dem viktas lika. För Recommended for You betraktas upp till de senaste fem unika visade objekten och de senaste fem unika inköpta objekten som nycklar för hämtning, där rekommendationer från inköpta artiklar viktas dubbelt så mycket som rekommendationer från visade objekt. När du sammanfogar rekommendationer, om ett objekt visas i flera individuella listor med rekommendationer, läggs dess viktade likhetspoäng till. Den sista listan med rekommendationer från det här steget är sedan den sammanfogade listan med omviktade rekommendationer, rankade i fallande ordning.
• Filtrering: Därefter tillämpas filtreringsregler, som borttagning av tidigare visade och/eller köpta objekt, samt andra dynamiska affärsregler.