Modelo de preparación e ingesta de datos

El modelo de preparación e ingesta de datos engloba todos los métodos por los cuales se puede realizar la ingesta y preparación de datos en Adobe Experience Platform.

La preparación de datos incluye mapear los datos de origen en el esquema del Modelo de datos de experiencia (XDM). También incluye realizar transformaciones de datos, como dar formato a las fechas, unir/concatenar/convertir campos o unir/fusionar/reescribir registros. La preparación de datos ayuda a unificar la información del cliente, lo que ofrece un análisis agregado/filtrado, incluyendo la creación de informes o la preparación de datos para el ensamblaje/ciencia de datos/activación de perfiles de los clientes.

Arquitectura

Arquitectura de referencia para el modelo de preparación e ingesta de datos

Guardas de ingesta de datos

El diagrama siguiente ilustra la latencia y los guardas de rendimiento promedio para la ingesta de datos en Adobe Experience Platform.

Flujo de datos de Experience Platform

Métodos de ingesta de datos

Orígenes de flujo

Método

Casos de uso comunes

Protocolos

Consideraciones

SDK web/móvil de Adobe
  • Recopilación de datos de sitios web y aplicaciones móviles.
  • Método preferido para la recopilación del lado del cliente.

Push, HTTP, JSON
  • Implemente varias aplicaciones de Adobe utilizando un único SDK.

Conector de API HTTP
  • Recopilación a partir de orígenes de flujo, transacciones, eventos relevantes del cliente y señales

Push, API de REST, JSON
  • Los datos se transmiten directamente al hub, por lo que no hay segmentación en tiempo real de Edge ni reenvío de eventos.

API de Edge Network
  • Recopilación a partir de orígenes de flujo, transacciones, eventos relevantes del cliente y señales de Edge Network distribuida globalmente

Push, API de REST, JSON
  • Los datos se transmiten a través de Edge Network. Es compatible con la segmentación en tiempo real en Edge.

Aplicaciones de Adobe
  • Implementación previa de Adobe Analytics, Marketo, Campaign, Target, AAM

Push, conectores de origen y API
  • El enfoque recomendado es la migración al SDK web/móvil en lugar de los SDK de aplicaciones tradicionales.

Conectores de origen de streaming
  • Ingesta de un flujo de eventos empresariales, que normalmente se utiliza para compartir datos empresariales en varias aplicaciones de flujo descendente.

Push, API de REST, JSON
  • Se debe transmitir en formato XDM.

SDK de orígenes de flujo
  • Al igual que el conector de API HTTP, permite la tarjeta de configuración de autoservicio de un flujo de datos externo.

Push, API HTTP, JSON
  • Edge Network

Orígenes por lote

Método

Casos de uso comunes

Protocolos

Consideraciones

API de ingesta por lotes
  • Ingesta de una empresa administrada. Limpieza y transformación de datos antes de su ingesta.

Push, JSON o Parquet
  • Debe administrar lotes y archivos para la ingesta

Conectores de origen por lotes
  • Enfoque común para la ingesta de archivos desde ubicaciones de almacenamiento en la nube.
  • Conectores para aplicaciones comunes de CRM y marketing.
  • Ideal para la ingesta de grandes cantidades de datos históricos.

Pull, CSV, JSON, Parquet
  • No está siempre activado, ingesta inmediata.
  • La frecuencia recurrente comprueba la ingesta de archivos delta cada 15 minutos como mínimo.

Data Landing Zone
  • Ubicación de almacenamiento de archivos aprovisionada por Adobe a la que enviar los archivos para su ingesta.

Push, CSV, JSON, Parquet

- Se proporcionan archivos TTL de 7 días

SDK de orígenes por lote
  • Permite la tarjeta de configuración de autoservicio de una fuente de datos externa.
  • Ideal para conectores de socios o para una experiencia de flujo de trabajo adaptada para configurar un conector de empresa.

Archivos de pull, API de REST, CSV o JSON
  • Frecuencia mínima de 15 minutos
  • Ejemplos: MailChimp, One Trust, Zendesk

 
Métodos de ingesta Descripción
SDK web/móvil Latencia:
  • Tiempo real, misma colección de páginas que Edge Network.
  • Ingesta de flujo al perfil ~1 minuto.
  • Ingesta de flujo al repositorio de datos (lote pequeño ~15 minutos).
Documentación:
Orígenes de flujo Orígenes de flujo
Latencia:
  • Tiempo real, misma colección de páginas que Edge Network.
  • Ingesta de flujo al perfil ~1 minuto.
  • Ingesta de flujo al repositorio de datos (lote pequeño ~15 minutos).
API de flujo API del servidor de Edge Network (preferida): admite los servicios de Edge, incluida la segmentación de Edge y
API Data Collection Core Service: no admite los servicios de Edge, dirige directamente al hub.
Latencia:
  • Tiempo real, misma colección de páginas que Edge Network.
  • Ingesta de flujo al perfil ~1 minuto.
  • Ingesta de flujo al repositorio de datos (lote pequeño ~15 minutos).
  • 7 GB/hora
Documentación
Herramientas ETL Utiliza herramientas ETL para modificar y transformar datos empresariales antes de su ingesta en Experience Platform.

Latencia:
  • El tiempo depende de la programación de la herramienta ETL externa. A continuación, se aplican guardas estándar de ingesta según el método de ingesta utilizado.
Orígenes por lote Extracción programada desde origen
Latencia: ~ 200 GB/hora.

Documentación
Tutoriales en vídeo
API por lote Latencia:
  • Ingesta por lotes a perfiles condicionados por tamaño y carga de tráfico ~45 minutos.
  • Ingesta por lotes a repositorios de datos condicionados por tamaño y carga de tráfico.
Documentación
Conectores de aplicaciones Adobe Realizan la ingesta de datos procedentes de las aplicaciones de Adobe Experience Cloud automáticamente.

Métodos de preparación de datos

Métodos de preparación de datos Descripción
Herramienta ETL externa (Snaplogic, Mulesoft, Informatica, etc.) Realizar transformaciones complejas en herramientas ETL y utilizar las API o los conectores de origen estándar de Flow Service de Experience Platform para la ingesta de datos resultantes.
Servicio de consultas: preparación de datos Une, divide, fusiona, transforma, consulta y filtra datos en un nuevo conjunto de datos.
Documentación sobre el uso de Create Table as Select (CTAS)
Funciones del mapeador XDM y preparación de datos (flujo y lotes) Mapear atributos de origen en formato CSV o JSON en atributos XDM durante la ingesta de Experience Platform.
Computa funciones de datos mientras se realiza la ingesta; esto es, les da formato, los divide, los concatena, etc.
Documentación

Entradas relacionadas en el blog

En esta página