Ingestar datos de lote

En esta lección, ingesta datos por lotes en Experience Platform mediante diversos métodos.

La ingestión de datos por lotes le permite ingerir una gran cantidad de datos en Adobe Experience Platform a la vez. Puede ingestar datos por lotes en una carga única dentro de la interfaz de Platform o mediante la API. También puede configurar cargas por lotes programadas regularmente desde servicios de terceros, como los servicios de almacenamiento en la nube, mediante conectores de origen.

Los ingenieros de datos deberán ingestar datos por lotes fuera de este tutorial.

Antes de comenzar los ejercicios, vea este breve vídeo para obtener más información sobre la ingesta de datos:

Se requieren permisos

En la lección Configurar permisos, configure todos los controles de acceso que necesite para completar esta lección, específicamente:

  • Elemento de permiso Gestión de datos > Conjuntos de datos de Vista, Administrar conjuntos de datos y Monitoreo de datos
  • Elementos de permisos Ingesta de datos > Fuentes de Vista y Administrar fuentes
  • Elemento de permiso Administración de Perfiles > Perfiles de Vista
  • Elemento de permiso Simuladores para pruebas > Luma Tutorial
  • Acceso de rol de usuario al perfil del producto Luma Tutorial Platform
  • Acceso de rol de desarrollador al perfil del producto Luma Tutorial Platform (para API)

Además, necesita acceder a un servidor (S)FTP o a una solución de almacenamiento en la nube para el ejercicio de fuentes.

Ingesta de datos en lotes con la interfaz de usuario de la plataforma

Los datos se pueden cargar directamente en un conjunto de datos en la pantalla de conjuntos de datos en formato JSON y parquet.

Descargar y preparar los datos

Primero, obtenga los datos de ejemplo y personalícelos para su inquilino:

  1. Descargue luma-data.zip en su carpeta Recursos Tutoriales de Luma.

  2. Descomprima el archivo para crear una carpeta llamada luma-data que contiene los cuatro archivos de datos que usaremos en esta lección

  3. Abra luma-loyalty.json en un editor de texto y reemplace todas las instancias de _techmarketingdemos por su propia identificación de inquilino de subrayado, como se ve en sus propios esquemas:
    Subrayar id. de inquilino

  4. Guardar el archivo actualizado

Ingesta de datos

  1. En la interfaz de usuario de la plataforma, haga clic en Conjuntos de datos en el panel de navegación izquierdo

  2. Haga clic en su Luma Loyalty Dataset

  3. Desplácese hacia abajo hasta que vea la sección Añadir datos en la columna derecha

  4. Cargue el archivo luma-loyalty.json.

  5. Una vez cargado el archivo, aparecerá una fila para el lote

  6. Si vuelve a cargar la página después de unos minutos, debería ver que el lote se ha cargado correctamente con 1000 registros y 1000 fragmentos de perfil.

    Ingesta

NOTA

Hay algunas opciones, Diagnósticos de error y Administración parcial que se verán en varias pantallas de esta lección. Estas opciones no se tratan en el tutorial. Información rápida:

  • Al habilitar los diagnósticos de errores se generan datos sobre la ingestión de los datos, que se pueden revisar mediante la API de acceso a datos. Obtenga más información en la documentación.
  • La ingestión parcial le permite ingerir datos que contengan errores, hasta un determinado umbral que puede especificar. Obtenga más información en la documentación

Validar los datos

Existen varias formas de confirmar que los datos se ingirieron correctamente.

Validar en la interfaz de usuario de la plataforma

Para confirmar que los datos se ingirieron en el conjunto de datos:

  1. En la misma página en la que ha ingerido los datos, haga clic en el botón conjunto de datos de Previsualización en la parte superior derecha

  2. Haga clic en el botón Previsualización y debería poder ver algunos de los datos ingestados.

    Previsualización del conjunto de datos correcto

Para confirmar que los datos aterrizaron en Perfil (puede que los datos tarden unos minutos en aterrizar):

  1. Haga clic en Perfiles en el panel de navegación izquierdo

  2. Haga clic en el icono situado junto al campo Seleccionar Área de nombres de identidad para abrir el modal

  3. Seleccione la Área de nombres Luma Loyalty Id

  4. Escriba uno de los valores loyaltyId del conjunto de datos, por ejemplo: 5625458

  5. Haga clic en Vista

    Confirmar un perfil del conjunto de datos

Validar con eventos de ingestión de datos

Si se suscribió a eventos de ingestión de datos en la lección anterior, compruebe la dirección URL única de su sitio web. Debería ver tres solicitudes en el siguiente orden, con algún tiempo entre ellas, con los siguientes valores eventCode:

  1. ing_load_success: el lote ingerido
  2. ig_load_success: el lote se ingía en el gráfico de identidad
  3. ps_load_success—el lote se ingerió en servicio de perfil

Enlace de Web de ingestión de datos

Consulte la documentación para obtener más detalles sobre las notificaciones.

Ingesta de datos en lotes con la API de plataforma

Ahora cargaremos datos mediante la API.

NOTA

Los arquitectos de datos pueden cargar los datos de CRM mediante el método de interfaz de usuario que acaba de usar.

Descargar y preparar los datos

  1. Ya debería haber descargado y descomprimido luma-data.zip en su carpeta Luma Tutorial Assets.
  2. Abra luma-crm.json en un editor de texto y reemplace todas las instancias de _techmarketingdemos por su propia identificación de inquilino de subrayado, como se ve en sus esquemas
  3. Guardar el archivo actualizado

Obtener la ID del conjunto de datos

Primero necesitamos obtener la identificación del ID del conjunto de datos del conjunto de datos en el que queremos ingestar datos:

  1. Open Postman
  2. Si no ha realizado una llamada en las últimas 24 horas, es probable que los tokens de autorización hayan caducado. Abra la llamada Adobe I/O Access Token Generation > Local Signing (Non-production use-only) > IMS: JWT Generate + Auth via User Token y haga clic en Enviar para solicitar nuevos Tokenes de acceso y JWT, como hizo en la lección Postman.
  3. Abra las variables de entorno y asegúrese de que el valor de CONTENEDOR_ID sigue siendo tenant
  4. Abra la llamada Catalog Service API > Datasets > Retrieve a list of datasets. y haga clic en Enviar
  5. Debe obtener una respuesta 200 OK
  6. Copie la identificación del Luma CRM Dataset del cuerpo de respuesta
    Obtener la ID del conjunto de datos

Crear el lote

Ahora podemos crear un lote en el conjunto de datos:

  1. Descargue API de inserción de datos.postman_collection.json en su carpeta Luma Tutorial Assets

  2. Importar la colección en Postman

  3. Seleccione la solicitud Data Ingestion API > Batch Ingestion > Create a new batch in Catalog Service.

  4. Pegue lo siguiente como el Cuerpo de la solicitud, reemplazando el valor datasetId con su propio:

    {
        "datasetId":"REPLACE_WITH_YOUR_OWN_DATASETID",
        "inputFormat": {
            "format": "json"
        }
    }
    
  5. Haga clic en el botón Send

  6. Debe obtener una respuesta 201 Creada que contenga la identificación del nuevo lote.

  7. Copie el id del nuevo lote
    Lote creado

Ingesta de datos

Ahora podemos cargar los datos en el lote:

  1. Seleccione la solicitud Data Ingestion API > Batch Ingestion > Upload a file to a dataset in a batch.

  2. En la ficha Params, introduzca la identificación del conjunto de datos y la identificación del lote en sus respectivos campos

  3. En la ficha Params, introduzca luma-crm.json como filePath

  4. En la ficha Cuerpo, seleccione la opción binario

  5. Seleccione el luma-crm.json descargado de la carpeta Luma Tutorial Assets local

  6. Haga clic en Enviar y debe obtener una respuesta de 200 OK con '1' en el cuerpo de respuesta

    Datos cargados

En este punto, si observa el lote en la interfaz de usuario de la plataforma, verá que está en un estado "Cargando":
Carga por lotes

Debido a que la API de lote se utiliza a menudo para cargar varios archivos, debe indicar a Platform cuándo se completa un lote, lo que haremos en el próximo paso.

Completar el lote

Para completar el lote:

  1. Seleccione la solicitud Data Ingestion API > Batch Ingestion > Finish uploading a file to a dataset in a batch.

  2. En la ficha Params, introduzca COMPLETE como la acción

  3. En la ficha Params, introduzca su id. de lote. No se preocupe por la identificación del conjunto de datos o por filePath, si están presentes.

  4. Asegúrese de que la dirección URL del POST sea https://platform.adobe.io/data/foundation/import/batches/:batchId?action=COMPLETE y de que no haya referencias innecesarias a datasetId o filePath

  5. Haga clic en Enviar y debe obtener una respuesta de 200 OK con '1' en el cuerpo de respuesta

    Lote completado

Validar los datos

Validar en la interfaz de usuario de la plataforma

Valide que los datos hayan aterrizado en la interfaz de usuario de la plataforma como lo hizo para el conjunto de datos de lealtad.

En primer lugar, confirme que el lote muestra que se han ingerido 1000 registros:

Éxito de lotes

A continuación, confirme el lote mediante el conjunto de datos de Previsualización:

Previsualización por lotes

Finalmente, confirme que uno de sus perfiles se ha creado buscando uno de los perfiles de la Área de nombres Luma CRM Id, por ejemplo: 112ca06ed53d3db37e4cea49cc45b71e

Perfil ingerido

Hay una cosa interesante que acabo de pasar que quiero señalar. Abra ese perfil Danny Wright. Tenga en cuenta que el perfil tiene un Lumacrmid y un Lumaloyaltyid. Recuerde que Luma Loyalty Schema contenía dos campos de identidad, el ID de lealtad de luminancia y el ID de CRM. Ahora que hemos cargado ambos conjuntos de datos, se han fusionado en un solo perfil. Los datos de lealtad tenían Daniel como nombre y "Nueva York" como dirección principal, mientras que los datos de CRM tenían Danny como nombre y Portland como dirección principal del cliente con el mismo Id. de lealtad. Volveremos a explicar por qué el nombre muestra Danny en la lección sobre políticas de combinación.

¡Felicitaciones, acabas de fusionar perfiles!

Perfil combinado

Validar con eventos de ingestión de datos

Si se suscribió a eventos de ingestión de datos en la lección anterior, compruebe la dirección URL única de su sitio web. Debería ver tres solicitudes presentadas, al igual que con los datos de lealtad:

Enlace de Web de ingestión de datos

Consulte la documentación para obtener más detalles sobre las notificaciones.

Ingestar datos con Flujos de trabajo

Veamos otra forma de cargar datos. La función flujos de trabajo le permite ingestar datos CSV que aún no se han modelado en XDM.

Descargar y preparar los datos

  1. Ya debería haber descargado y descomprimido luma-data.zip en su carpeta Luma Tutorial Assets.
  2. Confirme que tieneluma-products.csv

Creación de un flujo de trabajo

Ahora vamos a configurar el flujo de trabajo:

  1. Haga clic en Flujos de trabajo en el panel de navegación izquierdo
  2. Seleccione Asignar CSV al esquema XDM y haga clic en el botón Iniciar
    Iniciar el flujo de trabajo
  3. Seleccione su Luma Product Catalog Dataset y haga clic en el botón Siguiente
    Seleccione el conjunto de datos
  4. Añada el archivo luma-products.csv que acaba de descargar y haga clic en el botón Siguiente
    Seleccione el conjunto de datos
  5. Ahora está en nuestra interfaz de mapper, en la que puede asignar un campo de los datos de origen (uno de los nombres de columna en nuestro archivo luma-products.csv) a los campos XDM en el esquema de destinatario. En nuestro ejemplo, los nombres de columna están lo suficientemente cerca de los nombres de campo de esquema como para que el asignador pueda detectar automáticamente la asignación correcta. Si el asignador no pudo detectar automáticamente el campo derecho, haga clic en el icono a la derecha del campo destinatario para seleccionar el campo XDM correcto. Además, si no desea ingestar una de las columnas del CSV, puede eliminar la fila del asignador. No dude en jugar y cambiar los encabezados de columna en luma-products.csv para familiarizarse con el funcionamiento del mapeador.
  6. Haga clic en el botón Finalizar
    Seleccione el conjunto de datos

Validar los datos

Una vez cargado el lote, verifique la carga mediante la vista previa del conjunto de datos.

Dado que Luma Product SKU es una Área de nombres que no es de personas, no veremos ningún perfil para nuestro SKU de producto.

Deberías ver las tres visitas a tu webgancho.

Ingestar datos con fuentes

Bien, hiciste las cosas de la manera más difícil. ¡Ahora pasemos a la tierra prometida de ingestión por lotes automatizada! Cuando digo: "¡ENTRE!" usted dice: "¡OLVIDÁNDOLO!" "¡ENCONTRARLO!" "¡OLVIDÁLO!" "¡ENCONTRARLO!" "¡OLVIDÁLO!" Es una broma, ¡nunca harías algo así! Ok, de vuelta al trabajo. Ya casi has terminado.

Haga clic en Fuentes en el panel de navegación izquierdo para abrir el catálogo de fuentes. Aquí podrá ver una variedad de integraciones integradas integradas con proveedores de datos y almacenamientos líderes en la industria.

Catálogo de origen

Bien, vamos a ingerir datos usando un conector de origen.

Este ejercicio será de elección propia. Mostraré el flujo de trabajo mediante el conector de origen FTP. Puede usar un conector de origen de Almacenamiento de nube diferente que utilice en su compañía o simplemente cargar el archivo json usando la interfaz de usuario del conjunto de datos como hicimos con los datos de lealtad.

Muchas de las fuentes tienen un flujo de trabajo de configuración similar, en el que:

  1. Introduzca los detalles de autenticación
  2. Seleccione los datos que desee ingestar
  3. Seleccione el conjunto de datos de plataforma en el que desee ingerirlo
  4. Asigne los campos al esquema XDM
  5. Elija la frecuencia con la que desea volver a ingestar los datos desde esa ubicación
NOTA

Los datos de compras sin conexión que utilizaremos en este ejercicio contienen datos de fecha y hora. Los datos de fecha y hora deben estar en cadenas con formato ISO 8061 ("2018-07-10T15:05:59.000-08:00") o en tiempo Unix formateados en milisegundos (153126333999999 9000) y se convierten en el momento de la ingestión al tipo XDM de destinatario. Para obtener más información sobre la conversión de datos y otras restricciones, consulte la documentación de la API de inserción de lotes.

Descargue, prepare y cargue los datos a su proveedor de almacenamiento en la nube preferido

  1. Ya debería haber descargado y descomprimido luma-data.zip en su carpeta Luma Tutorial Assets.
  2. Abra luma-offline-purchases.json en un editor de texto y reemplace todas las instancias de _techmarketingdemos por su propia identificación de inquilino de subrayado, como se ve en sus esquemas
  3. Elija su proveedor de almacenamiento en la nube preferido, asegurándose de que esté disponible en el catálogo Sources
  4. Cargue luma-offline-purchases.json en una ubicación del proveedor de almacenamiento en la nube preferido

Ingresar los datos a la ubicación de almacenamiento en la nube que prefiera

  1. En la interfaz de usuario de la plataforma, filtre el catálogo Fuentes a almacenamiento de nube

  2. Tenga en cuenta que hay vínculos prácticos a la documentación en ...

  3. En el cuadro de su proveedor de almacenamiento de Cloud preferido, haga clic en el botón Configurar
    Haga clic en Configurar

  4. La autenticación es el primer paso. Escriba el nombre de su cuenta, por ejemplo: Luma's FTP Account y sus detalles de autenticación. Este paso debe ser bastante similar para todas las fuentes de almacenamiento de nube, aunque los campos pueden variar ligeramente. Una vez especificados los detalles de autenticación de una cuenta, puede reutilizarlos para otras conexiones de origen que podrían estar enviando datos diferentes en diferentes programaciones de otros archivos de la misma cuenta

  5. Haga clic en el botón Conectar al origen

  6. Cuando la plataforma se haya conectado correctamente al origen, haga clic en el botón Siguiente
    Autenticar en el origen

  7. En el paso Seleccionar datos, la interfaz de usuario utilizará las credenciales para abrir la carpeta en la solución de almacenamiento en la nube

  8. Seleccione los archivos que desee ingerir, p. ej. luma-offline-purchases.json

  9. Como Formato de datos, seleccione XDM JSON

  10. A continuación, puede previsualización de la estructura json y tomar muestras de datos en el archivo

  11. Haga clic en el botón Siguiente.
    Seleccione los archivos de datos

  12. En el paso Mapping, seleccione su Luma Offline Purchase Event Dataset y haga clic en el botón Next. Observe en el mensaje que, como los datos que estamos ingestando son un archivo JSON, no hay ningún paso de asignación donde asignemos el campo de origen al campo de destinatario. Los datos de JSON ya deben estar en XDM. Si ingesta un CSV, verá la IU de asignación completa en este paso:
    Seleccione el conjunto de datos

  13. En el paso Programación, elija la frecuencia con la que desee volver a ingestar los datos del origen. Dedique un momento a ver las opciones. Vamos a hacer una ingestión única, así que deje la Frecuencia en Una vez y haga clic en el botón Siguiente:
    Programar el flujo de datos

  14. En el paso Detalle de flujo de datos, puede elegir un nombre para el flujo de datos, escribir una descripción opcional, activar diagnósticos de error e ingestión parcial. Deje la configuración tal como está y haga clic en el botón Siguiente:
    Editar detalles del flujo de datos

  15. En el paso Revisar, puede revisar todos los ajustes juntos y editarlos o hacer clic en el botón Finalizar

  16. Después de guardar, aterrizará en una pantalla como esta:
    Completar

Validar los datos

Una vez cargado el lote, verifique la carga mediante la vista previa del conjunto de datos.

Deberías ver las tres visitas a tu webgancho.

Vuelva a buscar el perfil con valor 5625458 en la Área de nombres loyaltyId para ver si hay algún evento de compra en su perfil. Debería ver una compra. Puede explorar los detalles de la compra haciendo clic en Vista JSON:

Evento de compra en perfil

Herramientas de ETL

Adobe se asocia con varios proveedores de ETL para admitir la ingestión de datos en Experience Platform. Debido a la variedad de proveedores de terceros, ETL no está cubierto en este tutorial, aunque puede revisar algunos de estos recursos:

Recursos adicionales

Ahora vamos a transmitir datos usando el SDK web

En esta página

Adobe Maker Awards Banner

Time to shine!

Apply now for the 2021 Adobe Experience Maker Awards.

Apply now
Adobe Maker Awards Banner

Time to shine!

Apply now for the 2021 Adobe Experience Maker Awards.

Apply now