Coincidencia aproximada en el servicio de consultas
Utilice una coincidencia "difusa" en los datos de Adobe Experience Platform para devolver las coincidencias aproximadas más probables sin necesidad de buscar cadenas con caracteres idénticos. Esto permite una búsqueda de datos mucho más flexible y hace que sus datos sean más accesibles al ahorrar tiempo y esfuerzo.
En lugar de intentar reformatear las cadenas de búsqueda para que coincidan, la coincidencia aproximada analiza la proporción de similitud entre dos secuencias y devuelve el porcentaje de similitud. FuzzyWuzzy se recomienda para este proceso ya que sus funciones son más adecuadas para ayudar a hacer coincidir cadenas en situaciones más complejas en comparación con regex o difflib.
El ejemplo proporcionado en este caso de uso se centra en la coincidencia de atributos similares de una búsqueda de habitación de hotel en dos conjuntos de datos de agencias de viajes diferentes. El documento muestra cómo hacer coincidir cadenas por su grado de similitud con grandes fuentes de datos independientes. En este ejemplo, la coincidencia aproximada compara los resultados de búsqueda de las características de una habitación de las agencias de viajes Luma y Acme.
Introducción getting-started
Como parte de este proceso requiere que forme un modelo de aprendizaje automático, en este documento se da por hecho que tiene conocimientos prácticos de uno o más entornos de aprendizaje automático.
Este ejemplo utiliza Python y el entorno de desarrollo Jupyter Notebook. Aunque hay muchas opciones disponibles, se recomienda Jupyter Notebook porque es una aplicación web de código abierto con requisitos de cálculo bajos. Se puede descargar desde el sitio oficial de Jupyter.
Antes de empezar, debe importar las bibliotecas necesarias. FuzzyWuzzy es una biblioteca Python de código abierto creada sobre la biblioteca difflib y que se usa para hacer coincidir cadenas. Utiliza Levenshtein Distance para calcular las diferencias entre secuencias y patrones. FuzzyWuzzy tiene los siguientes requisitos:
- Python 2.4 (o superior)
- Python-Levenshtein
Desde la línea de comandos, use el siguiente comando para instalar FuzzyWuzzy:
pip install fuzzywuzzy
O use el siguiente comando para instalar también Python-Levenshtein:
pip install fuzzywuzzy[speedup]
Encontrará más información técnica sobre Fuzzywuzzy en su documentación oficial.
Conectar con el servicio de consultas
Debe conectar el modelo de aprendizaje automático al servicio de consultas proporcionando sus credenciales de conexión. Se pueden proporcionar credenciales que caduquen y que no caduquen. Consulte la guía de credenciales para obtener más información sobre cómo adquirir las credenciales necesarias. Si usa Jupyter Notebook, lea la guía completa sobre cómo conectarse al servicio de consultas.
Además, asegúrese de importar el paquete numpy en su entorno Python para habilitar el álgebra lineal.
import numpy as np
Los comandos siguientes son necesarios para conectarse al servicio de consultas desde Jupyter Notebook:
import psycopg2
conn = psycopg2.connect('''
sslmode=require
host=<YOUR_ORGANIZATION_ID>
port=80
dbname=prod:all
user=<YOUR_ADOBE_ID_TO_CONNECT_TO_QUERY_SERVICE>
password=<YOUR_QUERY_SERVICE_PASSWORD>
''')
cur = conn.cursor()
Su instancia de Jupyter Notebook ahora está conectada al servicio de consultas. Si la conexión se realiza correctamente, no aparecerá ningún mensaje. Si la conexión falla, se mostrará un error.
Datos de Draw del conjunto de datos de Luma luma-dataset
Los datos para el análisis se extraen del primer conjunto de datos con los siguientes comandos. Para ser breves, los ejemplos se han limitado a los 10 primeros resultados de la columna.
cur.execute('''SELECT * FROM luma;
''')
luma = np.array([r[0] for r in cur])
luma[:10]
Seleccione Output para mostrar la matriz devuelta.
| code language-console |
|---|
|
Datos de Draw del conjunto de datos de Acme acme-dataset
Los datos para el análisis ahora se extraen del segundo conjunto de datos con los siguientes comandos. De nuevo, para ser breves, los ejemplos se han limitado a los 10 primeros resultados de la columna.
cur.execute('''SELECT * FROM acme;
''')
acme = np.array([r[0] for r in cur])
acme[:10]
Seleccione Output para mostrar la matriz devuelta.
| code language-console |
|---|
|
Crear una función de puntuación parcial fuzzy-scoring
A continuación, debe importar fuzz de la biblioteca FuzzyWuzzy y ejecutar una comparación de proporción parcial de las cadenas. La función de proporción parcial permite realizar la coincidencia de subcadenas. Toma la cadena más corta y la hace coincidir con todas las subcadenas que tienen la misma longitud. La función devuelve un porcentaje de similitud de hasta el 100 %. Por ejemplo, la función de proporción parcial compararía las siguientes cadenas "Habitación de lujo", "1 cama King" y "Habitación King Deluxe", y devolvería una puntuación de similitud del 69 %.
En el caso de uso de coincidencia de habitación de hotel, esto se realiza mediante los siguientes comandos:
from fuzzywuzzy import fuzz
def compute_match_score(x,y):
return fuzz.partial_ratio(x,y)
A continuación, importe cdist desde la biblioteca SciPy para calcular la distancia entre cada par en las dos colecciones de entradas. Esto calcula las puntuaciones entre todos los pares de habitaciones de hotel proporcionados por cada una de las agencias de viajes.
from scipy.spatial.distance import cdist
pairwise_distance = cdist(luma.reshape((-1,1)),acme.reshape((-1,1)),compute_match_score)
Cree asignaciones entre las dos columnas mediante la puntuación de combinación aproximada
Ahora que las columnas se han clasificado según la distancia, puede indexar los pares y conservar solo las coincidencias que tengan una puntuación mayor que un determinado porcentaje. En este ejemplo sólo se conservan los pares que coincidan con una puntuación del 70% o superior.
matched_pairs = []
for i,c1 in enumerate(luma):
idx = np.where(pairwise_distance[i,:] > 70)[0]
for j in idx:
matched_pairs.append((luma[i].replace("'","''"),acme[j].replace("'","''")))
Los resultados se pueden mostrar con el siguiente comando. Para que sea más breve, los resultados están limitados a diez filas.
matched_pairs[:10]
Seleccione Output para ver los resultados.
| code language-console |
|---|
|
Los resultados se comparan utilizando SQL con el siguiente comando:
matching_sql = ' OR '.join(["(e.luma = '{}' AND b.acme = '{}')".format(c1,c2) for c1,c2 in matched_pairs])
Aplicar las asignaciones para realizar una unión aproximada en el servicio de consultas mappings-for-query-service
A continuación, los pares coincidentes de alta puntuación se unen mediante SQL para crear un nuevo conjunto de datos.
:
cur.execute('''
SELECT * FROM luma e
CROSS JOIN acme b
WHERE
{}
'''.format(matching_sql))
[r for r in cur]
Seleccione Output para ver los resultados de esta unión.
| code language-console |
|---|
|
Guardar resultados de coincidencias aproximadas en Platform save-to-platform
Por último, los resultados de la coincidencia aproximada se pueden guardar como un conjunto de datos para su uso en Adobe Experience Platform mediante SQL.
cur.execute('''
Create table luma_acme_join
AS
(SELECT * FROM luma e
CROSS JOIN acme b
WHERE
{})
'''.format(matching_sql))