Ingesta parcial por lotes
La ingesta parcial por lotes es la capacidad de ingerir datos que contengan errores, hasta un determinado umbral. Con esta capacidad, los usuarios pueden introducir correctamente todos sus datos correctos en Adobe Experience Platform, mientras que todos sus datos incorrectos se agrupan por separado, junto con los detalles de por qué no es válido.
Este documento proporciona un tutorial para administrar la ingesta parcial por lotes.
Introducción
Este tutorial requiere un conocimiento práctico de los distintos servicios de Adobe Experience Platform implicados en la ingesta parcial por lotes. Antes de comenzar este tutorial, revise la documentación de los siguientes servicios:
- Ingesta por lotes: Método que Platform ingiere y almacena datos de archivos de datos, como CSV y Parquet.
- Experience Data Model (XDM): El marco estandarizado mediante el cual Platform organiza los datos de experiencia del cliente.
Las secciones siguientes proporcionan información adicional que necesitará saber para poder realizar llamadas exitosas a Platform API.
Lectura de llamadas de API de muestra
Esta guía proporciona ejemplos de llamadas de API para mostrar cómo dar formato a las solicitudes. Estas incluyen rutas, encabezados obligatorios y cargas de solicitud con el formato correcto. También se proporciona el JSON de muestra devuelto en las respuestas de la API. Para obtener información sobre las convenciones utilizadas en la documentación de las llamadas de API de ejemplo, consulte la sección sobre cómo leer las llamadas de API de ejemplo en la guía de solución de problemas de Experience Platform.
Recopilación de valores para los encabezados obligatorios
Para poder realizar llamadas a las API de Platform, primero debe completar el tutorial de autenticación. Al completar el tutorial de autenticación, se proporcionan los valores para cada uno de los encabezados obligatorios en todas las llamadas de API de Experience Platform, como se muestra a continuación:
- Autorización: Portador
{ACCESS_TOKEN} - x-api-key:
{API_KEY} - x-gw-ims-org-id:
{ORG_ID}
Todos los recursos de Experience Platform están aislados en zonas protegidas virtuales específicas. Todas las solicitudes a las API de Platform requieren un encabezado que especifique el nombre de la zona protegida en la que se realizará la operación:
- x-sandbox-name:
{SANDBOX_NAME}
Habilite un lote para la ingesta parcial por lotes en la API enable-api
Puede crear un nuevo lote con la ingesta parcial habilitada.
Para crear un nuevo lote, siga los pasos de la guía para desarrolladores de ingesta por lotes. Una vez que llegue al paso Crear lote, agregue el siguiente campo dentro del cuerpo de la solicitud:
{
"enableErrorDiagnostics": true,
"partialIngestionPercent": 5
}
enableErrorDiagnosticspartialIngestionPercentHabilitar un lote para la ingesta parcial por lotes en la IU enable-ui
Para habilitar un lote para la ingesta parcial a través de la interfaz de usuario Platform, puede crear un nuevo lote a través de conexiones de origen, crear un nuevo lote en un conjunto de datos existente o crear un nuevo lote a través de "Asignar CSV a flujo XDM".
Crear una nueva conexión de origen new-source
Para crear una nueva conexión de origen, siga los pasos indicados en Resumen de orígenes. Una vez que llegue al paso Detalle del flujo de datos, tome nota de los campos Ingesta parcial y Diagnóstico de errores.
La opción Ingesta parcial le permite habilitar o deshabilitar el uso de la ingesta parcial por lotes.
La opción Diagnósticos de error solo aparece cuando la opción Ingesta parcial está desactivada. Esta característica permite que Platform genere mensajes de error detallados acerca de los lotes ingeridos. Si la opción Ingesta parcial está activada, los diagnósticos de error mejorados se aplican automáticamente.
El umbral de error le permite establecer el porcentaje de errores aceptables antes de que falle todo el lote. De forma predeterminada, este valor se establece en 5%.
Usar un conjunto de datos existente existing-dataset
Para utilizar un conjunto de datos existente, comience seleccionando un conjunto de datos. La barra lateral de la derecha se rellena con información sobre el conjunto de datos.
La opción Ingesta parcial le permite habilitar o deshabilitar el uso de la ingesta parcial por lotes.
La opción Diagnósticos de error solo aparece cuando la opción Ingesta parcial está desactivada. Esta característica permite que Platform genere mensajes de error detallados acerca de los lotes ingeridos. Si la opción Ingesta parcial está activada, los diagnósticos de error mejorados se aplican automáticamente.
El umbral de error le permite establecer el porcentaje de errores aceptables antes de que falle todo el lote. De forma predeterminada, este valor se establece en 5%.
Ahora puede cargar datos usando el botón Agregar datos y se incorporarán mediante la ingesta parcial.
Usar el flujo "Asignar CSV a esquema XDM" map-flow
Para usar el flujo "Asignar CSV a esquema XDM", siga los pasos indicados en el tutorial Asignar un archivo CSV. Una vez que llegue al paso Agregar datos, tome nota de los campos Ingesta parcial y Diagnóstico de errores.
La opción Ingesta parcial le permite habilitar o deshabilitar el uso de la ingesta parcial por lotes.
La opción Diagnósticos de error solo aparece cuando la opción Ingesta parcial está desactivada. Esta característica permite que Platform genere mensajes de error detallados acerca de los lotes ingeridos. Si la opción Ingesta parcial está activada, los diagnósticos de error mejorados se aplican automáticamente.
Umbral de error le permite establecer el porcentaje de errores aceptables antes de que falle todo el lote. De forma predeterminada, este valor se establece en 5%.
Pasos siguientes next-steps
En este tutorial se explica cómo crear o modificar un conjunto de datos para habilitar la ingesta parcial por lotes. Para obtener más información sobre la ingesta por lotes, lea la guía para desarrolladores de ingesta por lotes.
Para obtener información sobre la supervisión de los errores de ingesta parcial, lea la guía de diagnóstico de errores de ingesta por lotes.