A ciência por trás dos algoritmos de recomendações do Target

Algoritmos baseados em itens: inclua algoritmos que sigam a lógica "As pessoas que visualizaram/compraram este item também visualizaram/compraram esses itens." Esses algoritmos são agrupados no termo geral filtragem colaborativa item-item, bem como em algoritmos Items with Similar Attributes.

Algoritmos baseados em usuário: inclua os algoritmos Recently Viewed e Recommended for You.

Algoritmos baseados em popularidade: inclua algoritmos que retornam os itens mais vistos ou mais comprados no site, ou os mais vistos ou mais comprados por categoria ou atributo de item.

Algoritmos baseados em carrinho: inclua recomendações baseadas em vários itens com a lógica "pessoas que visualizaram/compraram esses itens, também visualizaram/compraram esses itens".

Critérios personalizados: inclua recomendações com base em arquivos personalizados carregados em Target.

Dados de entrada: dados comportamentais, na forma de exibições e compras de visitantes coletados quando você implementa o Target ou o Adobe Analytics.

Treinamento de modelo:

• Limpeza e amostragem de dados: para algoritmos com retrospectiva de N dias, os dados comportamentais são filtrados pela primeira vez para incluir apenas esses N dias de dados. As regras de coleção e as exclusões globais são aplicadas para remover quaisquer itens que não devem ser recomendados. Por fim, todos os visitantes que interagiram com mais de 1.000 itens têm seus dados de uso amostrados para apenas 1.000 itens.
• Cálculo de similaridade de item: esta é a etapa computacional principal: calcular a similaridade da taxa de probabilidade do log entre todos os pares de itens candidatos e classificar pares de itens por essa pontuação de similaridade.
• Filtragem offline: finalmente, todos os outros filtros dinâmicos aplicáveis são aplicados (por exemplo, exclusões de categoria dinâmica). Após essa etapa, as recomendações pré-calculadas são armazenadas em cache globalmente para estarem disponíveis para veiculação.

Serviço de modelo: o conteúdo do Recommendations é entregue a partir da rede "Edge" global da Target. Quando as solicitações da mbox são feitas para Target e é determinado que o conteúdo das recomendações deve ser entregue à página, a solicitação da chave de item apropriada para o algoritmo de recomendações é analisada a partir da solicitação ou pesquisada a partir do perfil do usuário e, em seguida, usada para recuperar as recomendações computadas nas etapas anteriores. Filtros dinâmicos adicionais são aplicados neste momento, antes que o design apropriado seja renderizado.

Dados de entrada: conforme descrito anteriormente, este algoritmo se baseia exclusivamente nos dados de catálogo (assimilados para Target por meio de um Feed de Catálogo, da API de Entidades ou de atualizações na página.

Treinamento de modelo:

• Extração de atributo: após a aplicação de filtros estáticos regulares, regras de catálogo e exclusões globais, este algoritmo extrai campos textuais relevantes do esquema de entidade. Target usa automaticamente os campos de nome, mensagem e categoria dos atributos de entidade e tenta extrair quaisquer campos de sequência de caracteres dos atributos de entidade personalizados. Esse processo é feito garantindo que a maioria dos valores desse campo não seja analisável como um número, data ou booleano.

• Remoção de palavras irrelevantes e de palavras de interrupção: para obter uma correspondência de similaridade de texto mais precisa, é prudente remover palavras de "interrupção" muito comuns que não alteram significativamente o significado de um item (por exemplo, "era", "é", "e" e assim por diante). Da mesma forma, o radical refere-se ao processo de redução de palavras com sufixos diferentes para sua palavra raiz, que tem um significado idêntico (por exemplo, "conectar", "conectar" e "conexão" têm a mesma palavra raiz: "conectar"). Target usa o lematizador de Snowball. O Target executa a detecção automática de idioma primeiro e pode fazer a remoção de palavras de interrupção para até 50 idiomas e a ramificação para 18 idiomas.

• n-grama criação: após as etapas anteriores, cada palavra é tratada como um token. O processo de combinação de sequências contíguas de tokens em um único token é conhecido como criação n-grama. Os algoritmos de Target consideram até 2 gramas.

• computação de tf-idf: a próxima etapa envolve a criação de vetores tf-idf para refletir a importância relativa de tokens na descrição do item. Para cada ficha/termo t num item i, num catálogo D com |D| itens, o termo frequência TF(t, i) é calculado primeiro (o número de vezes que o termo aparece no item i), bem como a frequência do documento DF(t, D). Em essência, o número de itens em que o token t existe. A medida tf-idf é então

  

  O Target usa a implementação de recurso tf-idf do Apache Spark, que sob o capô hash cada token para um espaço de 218 tokens. Nesta etapa, o aumento e a enterramento de atributos especificados pelo cliente também são aplicados ajustando as frequências dos termos em cada vetor com base nas configurações especificadas nos critérios.

• Computação de similaridade de item: a computação de similaridade de item final é feita usando uma similaridade aproximada de cosseno. Para dois itens, A e B, com os vetores tA e tB, a similaridade do cosseno é definida como:

  

  Para evitar complexidade significativa em calcular semelhanças entre todos os itens N x N, o vetor tf-idf é truncado para conter apenas suas 500 maiores entradas e, em seguida, calcula as semelhanças do cosseno entre os itens usando essa representação de vetor truncada. Essa abordagem se mostra mais robusta para computações de similaridade de vetor esparso, em comparação a outras técnicas de vizinho mais próximo aproximado (ANN), como hash sensível à localidade.

• Serviço de modelo: esse processo é idêntico às técnicas de filtragem colaborativa item-item descritas na seção anterior.

Dados de entrada: é idêntico aos métodos de filtragem colaborativa (CF) item-item. O Both Recommended For You e os algoritmos baseados em carrinho usam dados comportamentais, na forma de exibições e compras de usuários coletados quando você implementa o Target ou o Adobe Analytics.

Treinamento de modelo:

• Limpeza de dados e amostragem: é o mesmo para métodos de filtragem colaborativa, em que a janela de pesquisa é aplicada para filtrar dados comportamentais para um intervalo de datas apropriado, seguido pela aplicação de regras de catálogo e exclusões globais. Os visitantes que interagiram com mais de 1.000 itens têm apenas seus 1.000 usos mais recentes considerados.
• Divisão do teste de treinamento: execute uma divisão cronológica dos usos para cada usuário, alocando os primeiros 80% de seus usos para dados de treinamento, com os 20% restantes alocados para os dados de teste.
• Treinamento do modelo de similaridade de item: o cálculo de similaridade de item principal difere para Recommended For You e algoritmos baseados em carrinho na maneira como os vetores de item candidatos são construídos. Para Recommended For You, os vetores de item têm NUsers de dimensão, em que cada entrada representa a soma das classificações implícitas para esse usuário do item. As compras de um item recebem um peso 2x maior do que as visualizações do item. Para recomendações Baseadas em Carrinho, os vetores de item têm entradas binárias; se o comportamento dentro da sessão for considerado apenas, haverá uma nova entrada para cada sessão. Caso contrário, haverá uma entrada nesse vetor de item para cada visitante.

A etapa de treinamento calcula vários tipos de similaridades de vetor: similaridade de LLR (discutido aqui), similaridade de cosseno (definida anteriormente) e similaridade de L2 normalizada, definida como:

• Avaliação do modelo de similaridade de item: a avaliação do modelo é feita tomando as recomendações geradas na etapa anterior e fazendo previsões no conjunto de dados de teste. A fase de pontuação online é imitada pela ordem cronológica do uso dos itens de cada usuário no conjunto de dados de teste, fazendo 100 recomendações para subconjuntos ordenados de itens em uma tentativa de prever exibições e compras subsequentes. Uma métrica de recuperação de informações, a Precisão média média, é usada para avaliar a qualidade dessas recomendações. Essa métrica leva em conta a ordem das recomendações e favorece itens relevantes mais altos na lista de recomendações, o que é uma propriedade importante para os sistemas de classificação.
• Seleção de modelo: após a avaliação offline, o modelo que tem a Precisão Média mais alta é selecionado e todas as recomendações individuais de item são computadas para ele.
• Filtragem offline: a etapa final do treinamento de modelo é a aplicação de filtros dinâmicos aplicáveis. Após essa etapa, as recomendações pré-calculadas são armazenadas em cache globalmente para estarem disponíveis para veiculação.

Atendimento de modelo: diferentemente dos algoritmos anteriores, nos quais as recomendações de atendimento envolvem a especificação de uma única chave para recuperação, seguida pela aplicação de regras de negócios, os algoritmos Recommended for You e Baseados em carrinho empregam um processo de tempo de execução mais complexo.

• Recuperação e mesclagem de várias chaves: para recomendações baseadas em carrinho, até dez itens passados no carrinho são considerados chaves para recuperação, e as recomendações de cada um são igualmente ponderadas. Para Recommended for You, até os últimos cinco itens visualizados únicos e os últimos cinco itens comprados exclusivos são considerados como chaves para recuperação, com recomendações provenientes de itens comprados ponderadas duas vezes mais do que recomendações provenientes de itens visualizados. Ao mesclar recomendações, se um item aparecer em várias listas individuais de recomendações, suas pontuações de similaridade ponderadas serão adicionadas. A lista final de recomendações desse estágio é, então, a lista mesclada de recomendações reponderadas, classificadas em ordem decrescente.
• Filtragem: em seguida, regras de filtragem, como remoção de itens visualizados e/ou comprados anteriormente, bem como outras regras comerciais dinâmicas, serão aplicadas.