La ciencia detrás de los algoritmos de recomendaciones de Target

Algoritmos basados en elementos: Incluir algoritmos que sigan la lógica "Las personas que vieron/compraron este artículo también vieron/compraron estos artículos". Estos algoritmos se agrupan bajo el término general de filtrado colaborativo elemento-elemento, así como Artículos con atributos similares algoritmos.

Algoritmos basados en usuarios: Incluya el Vistos recientemente y Recomendado para usted algoritmos.

Algoritmos basados en popularidad: incluye algoritmos que devuelven los artículos más visitados o comprados en el sitio web, o los más visitados o los más comprados por categoría o atributo de artículo.

Algoritmos basados en el carro de compras: incluya recomendaciones basadas en varios artículos con la lógica "las personas que vieron o compraron estos artículos, también vieron o compraron esos artículos".

Criterios personalizados: Incluir recomendaciones basadas en archivos personalizados cargados en Target.

Datos de entrada: Datos de comportamiento en forma de vistas y compras de visitantes recopilados al implementación de Target or from Adobe Analytics.

Formación de modelo:

• Limpieza y muestreo de datos: Para los algoritmos con una retrospectiva de N días, los datos de comportamiento se filtran primero para incluir solo esos N días de datos. A continuación, se aplican reglas de recopilación y exclusiones globales para eliminar cualquier elemento que no deba recomendarse. Por último, los datos de uso de cualquier visitante que haya interactuado con más de 1000 elementos se han muestreado a solo 1000 elementos.
• Cálculo de similitud de elemento: Este es el paso computacional central: calcular la similitud de la relación de probabilidad de registro entre todos los pares de elementos candidatos y clasificar los pares de elementos por esta puntuación de similitud.
• Filtrado sin conexión: Finalmente, se aplican todos los filtros dinámicos aplicables adicionales (por ejemplo, exclusiones de categoría dinámica). Después de este paso, las recomendaciones precalculadas se almacenan en la caché global para que estén disponibles para su servicio.

Servicio de modelo: el contenido de Recommendations se entrega desde Targetde red global "Edge". Cuando se realizan solicitudes de mbox a Target y se determina que el contenido de las recomendaciones debe entregarse a la página, en la solicitud del correspondiente clave de elemento para el algoritmo de recomendaciones se analiza desde la solicitud o se busca desde el perfil de usuario y, a continuación, se utiliza para recuperar las recomendaciones calculadas en los pasos anteriores. Se aplican más filtros dinámicos en este momento, antes de la diseño se procesa.

Datos de entrada: Como se ha descrito anteriormente, este algoritmo se basa exclusivamente en los datos del catálogo (introducidos en Target mediante una Fuente de catálogo, API de entidades o desde actualizaciones en la página.

Formación de modelo:

• Extracción de atributos: Después de la aplicación de filtros estáticos regulares, reglas de catálogo y exclusiones globales, este algoritmo extrae campos de texto relevantes del esquema de entidad. Target utiliza automáticamente los campos nombre, mensaje y categoría de los atributos de entidad e intenta extraer cualquier campo de cadena de los campos personalizados atributos de entidad. Este proceso se realiza asegurándose de que la mayoría de los valores de ese campo no se puedan analizar como números, fechas o booleanos.

• Eliminación de vértices y palabras de parada: para conseguir una coincidencia de similitud de texto más precisa, es prudente quitar las palabras muy comunes "detener" que no alteran significativamente el significado de un elemento (por ejemplo, "era", "es", "y", etc.). Del mismo modo, la derivación se refiere al proceso de reducir las palabras con diferentes sufijos a su palabra raíz, que tiene un significado idéntico (por ejemplo, "conectar", "conectar" y "conexión" tienen la misma palabra raíz: "conectar"). Target utiliza el programa Snowball. Target realiza primero la detección automática de idiomas y puede detener la eliminación de palabras en hasta 50 idiomas y la derivación en 18 idiomas.

• Creación de n-gramas: Después de los pasos anteriores, cada palabra se trata como un token. El proceso de combinar secuencias contiguas de tokens en un único token se denomina creación de n-gramas. TargetLos algoritmos de consideran hasta 2 gramos.

• cálculo de tf-idf: El siguiente paso implica la creación de vectores tf-idf para reflejar la importancia relativa de los tokens en la descripción del elemento. Para cada token/término t de un elemento i, en un ID de catálogo con |D| elementos, el término frecuencia TF(t, i) se calcula primero (el número de veces que el término aparece en el elemento i), así como la frecuencia del documento DF(t, D). En esencia, el número de elementos donde existe el token. La medida tf-idf es entonces

  

  Target utiliza Apache Spark tf-idf implementación de funcionalidades, que bajo el capó vincula cada token con un espacio de 218 tokens. En este paso, también se aplica la ampliación y el enterramiento de atributos especificados por el cliente ajustando las frecuencias de los términos en cada vector en función de la configuración especificada en la variable criterios.

• Cálculo de similitud de elemento: el cálculo de similitud del elemento final se realiza mediante una similitud de coseno aproximada. Para dos elementos, A y B, con los vectores tA y tB, la similitud del coseno se define como:

  

  Para evitar una complejidad significativa al calcular similitudes entre todos los elementos N x N, la variable tf-idf el vector se trunca para contener sólo sus 500 entradas más grandes y, a continuación, calcular las similitudes de coseno entre los elementos utilizando esta representación vectorial truncada. Este enfoque resulta más robusto para cálculos de similitud de vectores dispersos, en comparación con otras técnicas aproximadas de vecino más cercano (ANN), como el hashing sensible a la localidad.

• Servicio de modelo: Este proceso es idéntico a las técnicas de filtrado colaborativo elemento-elemento descritas en la sección anterior.

Datos de entrada: Es idéntico a los métodos de filtrado colaborativo (CF) entre elementos. Ambos Recomendados Para Usted y los algoritmos basados en el carro de compras utilizan datos de comportamiento en forma de vistas y compras de usuarios recopilados al implementación de Target or from Adobe Analytics.

Formación de modelo:

• Limpieza y muestreo de datos: Esto es igual que para los métodos de filtrado colaborativos, donde la ventana retrospectiva se aplica para filtrar los datos de comportamiento a un intervalo de fechas adecuado, seguido de la aplicación de reglas de catálogo y exclusiones globales. Los visitantes que han interactuado con más de 1000 elementos solo tienen en cuenta sus 1000 usos más recientes.
• División de prueba del tren: realice una división cronológica de los usos de cada usuario, asignando el primer 80 % de sus usos a los datos de formación, y el 20 % restante a los datos de prueba.
• Formación del modelo de similitud de elementos: el cálculo de similitud de elementos principales difiere para Recomendado para usted y los algoritmos basados en el carro de compras en la forma en que se construyen los vectores de elementos candidatos. Para Recomendado para ustedSin embargo, los vectores de elementos tienen usuarios NU de dimensión, donde cada entrada representa la suma de clasificaciones implícitas para ese usuario del elemento: las compras de un elemento tienen un peso del doble que las vistas del elemento. Para las recomendaciones basadas en el carro de compras, los vectores de elementos tienen entradas binarias; si solo se debe considerar el comportamiento dentro de la sesión, hay una nueva entrada para cada sesión. De lo contrario, hay una entrada en este vector de elemento para cada visitante.

El paso de formación calcula varios tipos de similitudes vectoriales: Similitud LLR (discutido aquí), similitud de coseno (definida anteriormente) y una similitud de L2 normalizada, definida como:

• Evaluación del modelo de similitud de elementos: la evaluación del modelo se realiza tomando las recomendaciones generadas en el paso anterior y haciendo predicciones sobre el conjunto de datos de prueba. La fase de puntuación en línea se imita ordenando cronológicamente los usos de los elementos de cada usuario en el conjunto de datos de prueba y, a continuación, realizando 100 recomendaciones para subconjuntos de elementos ordenados en un intento de predecir vistas y compras posteriores. Una métrica de recuperación de información, la Precisión media media se utiliza para evaluar la calidad de estas recomendaciones. Esta métrica tiene en cuenta el orden de las recomendaciones y favorece los elementos relevantes que están más arriba en la lista de recomendaciones, lo que es una propiedad importante para los sistemas de clasificación.
• Selección de modelo: después de la evaluación sin conexión, se selecciona el modelo que tiene la precisión media media más alta y se calculan todas las recomendaciones de elementos individuales para él.
• Filtrado sin conexión: la etapa final del aprendizaje del modelo es la aplicación de cualquier filtro dinámico aplicable. Después de este paso, las recomendaciones precalculadas se almacenan en la caché global para que estén disponibles para su servicio.

Servicio de modelo: A diferencia de los algoritmos anteriores en los que las recomendaciones de servicio implican la especificación de una sola clave para la recuperación, seguida de la aplicación de reglas empresariales, la variable Recomendado para usted y los algoritmos basados en el carro de compras emplean un proceso de tiempo de ejecución más complejo.

• Recuperación y combinación de varias claves: Para las recomendaciones basadas en el carro de compras, hasta diez artículos que se pasan en el carro de compras se consideran claves para la recuperación y las recomendaciones de cada uno se ponderan de forma equitativa. Para Recomendado para ustedSin embargo, hasta los últimos cinco artículos vistos únicos y los últimos cinco artículos comprados únicos se consideran claves para la recuperación, con recomendaciones que surgen de artículos comprados ponderados el doble que las recomendaciones que surgen de artículos vistos. Al combinar recomendaciones, si un elemento aparece en varias listas individuales de recomendaciones, se añaden sus puntuaciones de similitud ponderadas. La lista final de recomendaciones de esta fase es la lista combinada de recomendaciones ponderadas de nuevo, clasificadas en orden descendente.
• Filtrado: a continuación, se aplican reglas de filtrado como la eliminación de los elementos vistos o comprados anteriormente, así como otras reglas comerciales dinámicas.