DocumentaciónTutorialesModelos

Modelo de preparación e ingesta de datos

Last update: Sat Jul 20 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

Creado para:

  • Desarrollador
  • Usuario

Modelo de preparación e ingesta de datos incluye todos los métodos mediante los cuales se pueden preparar e ingerir datos en el Adobe Experience Platform.

La preparación de datos incluye mapear los datos de origen en el esquema del Modelo de datos de experiencia (XDM). También incluye realizar transformaciones de datos, como dar formato a las fechas, unir/concatenar/convertir campos o unir/fusionar/reescribir registros. La preparación de datos ayuda a unificar la información del cliente, lo que ofrece un análisis agregado/filtrado, incluyendo la creación de informes o la preparación de datos para el ensamblaje/ciencia de datos/activación de perfiles de los clientes.

Arquitectura

Arquitectura de referencia para el modelo de preparación e ingesta de datos

Guardas de ingesta de datos

El diagrama siguiente ilustra las protecciones de rendimiento promedio y la latencia para la ingesta de datos en el Adobe Experience Platform.

Experience Platform Flujo de datos

Métodos de ingesta de datos

Orígenes de flujo
Método
Casos de uso comunes
Protocolos
Consideraciones
SDK web/móvil de Adobe
  • Recopilación de datos de sitios web y aplicaciones móviles.
  • Método preferido para la recopilación del lado del cliente.
Push, HTTP, JSON
  • Implemente varias aplicaciones de Adobe utilizando un único SDK.
Conector de API HTTP
  • Recopilación a partir de orígenes de flujo, transacciones, eventos relevantes del cliente y señales
Push, API de REST, JSON
  • Los datos se transmiten directamente al hub, por lo que no hay segmentación en tiempo real de Edge ni reenvío de eventos.
Edge Network API
  • Recopilación de fuentes de flujo continuo, transacciones, eventos de clientes relevantes y señales de la distribución global Edge Network
Push, API de REST, JSON
  • Los datos se transmiten a través de Edge Network. Es compatible con la segmentación en tiempo real en Edge.
Aplicaciones de Adobe
  • Implementación previa de Adobe Analytics, Marketo, Campaign, Target, AAM
Push, conectores de origen y API
  • El enfoque recomendado es la migración al SDK web/móvil en lugar de los SDK de aplicaciones tradicionales.
Conectores de origen de streaming
  • Ingesta de un flujo de eventos empresariales, que normalmente se utiliza para compartir datos empresariales en varias aplicaciones de flujo descendente.
Push, API de REST, JSON
  • Se debe transmitir en formato XDM.
SDK de orígenes de flujo
  • Al igual que el conector de API HTTP, permite la tarjeta de configuración de autoservicio de un flujo de datos externo.
Push, API HTTP, JSON
  • Edge Network
Orígenes por lote
Método
Casos de uso comunes
Protocolos
Consideraciones
API de ingesta por lotes
  • Ingesta de una empresa administrada. Limpieza y transformación de datos antes de su ingesta.
Push, JSON o Parquet
  • Debe administrar lotes y archivos para la ingesta
Conectores de origen por lotes
  • Enfoque común para la ingesta de archivos desde ubicaciones de almacenamiento en la nube.
  • Conectores para aplicaciones comunes de CRM y marketing.
  • Ideal para la ingesta de grandes cantidades de datos históricos.
Pull, CSV, JSON, Parquet
  • No está siempre activado, ingesta inmediata.
  • La frecuencia recurrente comprueba la ingesta de archivos delta cada 15 minutos como mínimo.
Data Landing Zone
  • Ubicación de almacenamiento de archivos aprovisionada por Adobe a la que enviar los archivos para su ingesta.
Push, CSV, JSON, Parquet
- Se proporcionan archivos TTL de 7 días
SDK de orígenes por lote
  • Permite la tarjeta de configuración de autoservicio de una fuente de datos externa.
  • Ideal para conectores de socios o para una experiencia de flujo de trabajo adaptada para configurar un conector de empresa.
Archivos de pull, API de REST, CSV o JSON
  • Frecuencia mínima de 15 minutos
  • Ejemplos: MailChimp, One Trust, Zendesk
Métodos de ingesta
Descripción
SDK web/móvil

Latencia:

  • Tiempo real: misma colección de páginas para Edge Network
  • Transmisión de la ingesta a Perfil < 15 minutos en el percentil 95
  • Ingesta de flujo al repositorio de datos (lote pequeño ~15 minutos).

Documentación:

Orígenes de flujo

Orígenes de flujo
Latencia:

  • Tiempo real: misma colección de páginas para Edge Network
  • Ingesta de flujo al perfil ~1 minuto.
  • Ingesta de flujo al repositorio de datos (lote pequeño ~15 minutos).
API de flujo

Edge Network API de servidor (preferido): admite servicios de Edge, incluidos la segmentación de Edge y la
API del servicio principal de recopilación de datos; no admite servicios de Edge; enruta directamente al concentrador.
Latencia:

  • Tiempo real: misma colección de páginas para Edge Network
  • Ingesta de flujo al perfil ~1 minuto.
  • Ingesta de flujo al repositorio de datos (lote pequeño ~15 minutos).
  • 7 GB/hora

Documentación

Herramientas ETL

Utilice herramientas ETL para modificar y transformar datos empresariales antes de la ingesta en Experience Platform.

Latencia:

  • El tiempo depende de la programación de la herramienta ETL externa. A continuación, se aplican guardas estándar de ingesta según el método de ingesta utilizado.
Orígenes por lote
Extracción programada desde origen
Latencia: ~ 200 GB/hora.

Documentación
Tutoriales en vídeo
API por lote

Latencia:

  • Ingesta por lotes a perfiles condicionados por tamaño y carga de tráfico ~45 minutos.
  • Ingesta por lotes a repositorios de datos condicionados por tamaño y carga de tráfico.

Documentación

Conectores de aplicaciones Adobe

Realizan la ingesta de datos procedentes de las aplicaciones de Adobe Experience Cloud automáticamente.

Métodos de preparación de datos

Métodos de preparación de datos
Descripción
Herramienta ETL externa (Snaplogic, Mulesoft, Informatica, etc.)
Realice transformaciones complejas en las herramientas ETL y utilice las API estándar Experience Platform Flow Service o los conectores de origen para introducir los datos resultantes.
Servicio de consultas: preparación de datos
Une, divide, fusiona, transforma, consulta y filtra datos en un nuevo conjunto de datos.
Documentación sobre el uso de Create Table as Select (CTAS)
Funciones del mapeador XDM y preparación de datos (flujo y lotes)
Asigne atributos de origen en formato CSV o JSON a atributos XDM durante la ingesta de Experience Platform.
Computa funciones de datos mientras se realiza la ingesta; esto es, les da formato, los divide, los concatena, etc.
Documentación

Entradas relacionadas en el blog

recommendation-more-help
045b7d44-713c-4708-a7a6-5dea7cc2546b