La ciencia detrás de los algoritmos de recomendaciones de Target

Datos de entrada: Datos de comportamiento en forma de vistas y compras de visitantes recopilados al implementar Target o desde Adobe Analytics.

Formación de modelo:

• Limpieza y muestreo de datos: Para los algoritmos con una retrospectiva de N días, los datos de comportamiento se filtran primero para incluir solo esos N días de datos. A continuación, se aplican reglas de recopilación y exclusiones globales para eliminar cualquier elemento que no deba recomendarse. Por último, los datos de uso de cualquier visitante que haya interactuado con más de 1000 elementos se han muestreado a solo 1000 elementos.
• Cálculo de similitud de elementos: Este es el paso de cálculo central: calcular la similitud de relación de probabilidad de registro entre todos los pares de elementos candidatos y clasificar los pares de elementos por esta puntuación de similitud.
• Filtrado sin conexión: Por último, se aplican los filtros dinámicos que sean aplicables (por ejemplo, exclusiones de categorías dinámicas). Después de este paso, las recomendaciones precalculadas se almacenan en la caché global para que estén disponibles para su servicio.

Modelo que sirve: el contenido de Recommendations se entrega desde la red global Edge" de Target. Cuando se realizan solicitudes de mbox a Target y se determina que el contenido de las recomendaciones debe entregarse a la página, la solicitud de la clave de elemento adecuada para el algoritmo de recomendaciones se analiza desde la solicitud o se busca desde el perfil de usuario y, a continuación, se utiliza para recuperar las recomendaciones calculadas en los pasos anteriores. Se aplican más filtros dinámicos en este momento, antes de que se represente el diseño apropiado.

Datos de entrada: como se describió anteriormente, este algoritmo se basa exclusivamente en los datos del catálogo (introducidos en Target a través de una fuente de catálogo la API de entidades o de actualizaciones en la página.

Formación de modelo:

• Extracción de atributos: después de la aplicación de filtros estáticos regulares, reglas de catálogo y exclusiones globales, este algoritmo extrae campos de texto relevantes del esquema de entidad. Target usa automáticamente los campos de nombre, mensaje y categoría de los atributos de entidad e intenta extraer cualquier campo de cadena de los atributos de entidad personalizados. Este proceso se realiza asegurándose de que la mayoría de los valores de ese campo no se puedan analizar como números, fechas o booleanos.

• Eliminación de secuencias y palabras de detención: para que la coincidencia de similitud de texto sea más precisa, es prudente quitar las palabras "detención" muy comunes que no alteran significativamente el significado de un elemento (por ejemplo, "era", "es", "y", etc.). Del mismo modo, la derivación se refiere al proceso de reducir las palabras con diferentes sufijos a su palabra raíz, que tiene un significado idéntico (por ejemplo, "conectar", "conectar" y "conexión" tienen la misma palabra raíz: "conectar"). Target utiliza el programa de Snowball. Target realiza primero la detección automática de idioma y puede detener la eliminación de palabras en hasta 50 idiomas y la eliminación de secuencias en 18 idiomas.

• Creación de n-gramas: Después de los pasos anteriores, cada palabra se trata como un token. El proceso de combinar secuencias contiguas de tokens en un único token se denomina creación de n-gramas. Los algoritmos de Target consideran hasta 2 gramos.

• cálculo de tf-idf: el siguiente paso implica la creación de vectores de tf-idf para reflejar la importancia relativa de los tokens en la descripción del elemento. Para cada token/término t de un elemento i, en un ID de catálogo con |D| elementos, el término frecuencia TF(t, i) se calcula primero (el número de veces que el término aparece en el elemento i), así como la frecuencia del documento DF(t, D). En esencia, el número de elementos donde existe el token. La medida tf-idf es entonces

  

  Target usa la implementación de características tf-idf de Apache Spark, que proporciona un espacio de 218 tokens a cada token. En este paso, también se aplica el aumento y la sepultura de atributos especificados por el cliente ajustando las frecuencias de los términos en cada vector según la configuración especificada en criteria.

• Cálculo de similitud de elementos: El cálculo final de similitud de elementos se realiza utilizando una similitud de coseno aproximada. Para dos elementos, A y B, con los vectores tA y tB, la similitud de coseno se define como:

  

  Para evitar una complejidad significativa en el cálculo de similitudes entre todos los elementos N x N, el vector tf-idf se trunca para contener solamente sus 500 entradas más grandes y, a continuación, calcular las similitudes de coseno entre los elementos utilizando esta representación de vector truncada. Este enfoque resulta más robusto para cálculos de similitud de vectores dispersos, en comparación con otras técnicas aproximadas de vecino más cercano (ANN), como el hashing sensible a la localidad.

• Modelo que sirve: Este proceso es idéntico a las técnicas de filtrado colaborativo de elementos descritas en la sección anterior.

Datos de entrada: esto es idéntico a los métodos de filtrado colaborativo (CF) de elementos. Los algoritmos de Both Recommended For You y basados en el carro de compras usan datos de comportamiento en forma de vistas y compras de usuarios recopilados al implementar Target o desde Adobe Analytics.

Formación de modelo:

• Limpieza y muestreo de datos: Esto es igual que para los métodos de filtrado de colaboración, donde la ventana retrospectiva se aplica para filtrar datos de comportamiento a un intervalo de fechas adecuado, seguido de la aplicación de reglas de catálogo y exclusiones globales. Los visitantes que han interactuado con más de 1000 elementos solo tienen en cuenta sus 1000 usos más recientes.
• Dividir prueba de entrenamiento: realice una división cronológica de los usos para cada usuario, asignando el primer 80% de sus usos a los datos de entrenamiento, y el 20% restante a los datos de prueba.
• Aprendizaje del modelo de similitud de elementos: el cálculo de similitud de elementos principal difiere para Recommended For You y los algoritmos basados en el carro de compras en la forma en que se construyen los vectores de elementos candidatos. Para Recommended For You, los vectores de elementos tienen usuarios de dimensión, donde cada entrada representa la suma de las clasificaciones implícitas para ese usuario del elemento; las compras de un elemento tienen un peso del doble que las vistas del elemento. Para las recomendaciones basadas en el carro de compras, los vectores de elementos tienen entradas binarias; si solo se debe considerar el comportamiento dentro de la sesión, hay una nueva entrada para cada sesión. De lo contrario, hay una entrada en este vector de elemento para cada visitante.

El paso de aprendizaje calcula varios tipos de similitudes vectoriales: similitud de LLR (aquí), similitud de coseno (definida anteriormente) y una similitud de L2 normalizada, definida como:

• Evaluación del modelo de similitud de elementos: la evaluación del modelo se realiza tomando las recomendaciones generadas en el paso anterior y realizando predicciones sobre el conjunto de datos de prueba. La fase de puntuación en línea se imita ordenando cronológicamente los usos de los elementos de cada usuario en el conjunto de datos de prueba y, a continuación, realizando 100 recomendaciones para subconjuntos de elementos ordenados en un intento de predecir vistas y compras posteriores. Para evaluar la calidad de estas recomendaciones se usa una métrica de recuperación de información, la precisión media. Esta métrica tiene en cuenta el orden de las recomendaciones y favorece los elementos relevantes que están más arriba en la lista de recomendaciones, lo que es una propiedad importante para los sistemas de clasificación.
• Selección de modelo: después de la evaluación sin conexión, se selecciona el modelo que tiene la precisión media promedio más alta y se calculan todas las recomendaciones de elementos individuales para él.
• Filtrado sin conexión: la etapa final del aprendizaje del modelo es la aplicación de cualquier filtro dinámico aplicable. Después de este paso, las recomendaciones precalculadas se almacenan en la caché global para que estén disponibles para su servicio.

Servicio del modelo: a diferencia de los algoritmos anteriores en los que las recomendaciones de servicio implican la especificación de una sola clave para la recuperación, seguida de la aplicación de reglas empresariales, los algoritmos de Recommended for You y basados en el carro de compras emplean un proceso de tiempo de ejecución más complejo.

• Recuperación y combinación de varias claves: Para las recomendaciones basadas en el carro de compras, hasta diez elementos que se pasan en el carro de compras se consideran claves para la recuperación y las recomendaciones de cada uno se ponderan de forma equitativa. Para Recommended for You, hasta los últimos cinco artículos vistos únicos y los últimos cinco artículos comprados únicos se consideran claves para la recuperación, con recomendaciones que surgen de artículos comprados que tienen un peso el doble que las recomendaciones que surgen de artículos vistos. Al combinar recomendaciones, si un elemento aparece en varias listas individuales de recomendaciones, se añaden sus puntuaciones de similitud ponderadas. La lista final de recomendaciones de esta fase es la lista combinada de recomendaciones ponderadas de nuevo, clasificadas en orden descendente.
• Filtrado: a continuación, se aplican reglas de filtrado como la eliminación de elementos vistos o comprados anteriormente, así como otras reglas comerciales dinámicas.