Modelo de preparación e ingesta de datos

El modelo de preparación e ingesta de datos engloba todos los métodos por los cuales se puede realizar la ingesta y preparación de datos en Adobe Experience Platform.

La preparación de datos incluye mapear los datos de origen en el esquema del Modelo de datos de experiencia (XDM). También incluye realizar transformaciones de datos, como dar formato a las fechas, unir/concatenar/convertir campos o unir/fusionar/reescribir registros. La preparación de datos ayuda a unificar la información del cliente, lo que ofrece un análisis agregado/filtrado, incluyendo la creación de informes o la preparación de datos para el ensamblaje/ciencia de datos/activación de perfiles de los clientes.

Arquitectura

modal-image
Arquitectura de referencia para el modelo de preparación e ingesta de datos

Guardas de ingesta de datos

El diagrama siguiente ilustra la latencia y los guardas de rendimiento promedio para la ingesta de datos en Adobe Experience Platform.

modal-image
Flujo de datos de Experience Platform

Métodos de ingesta de datos

Orígenes de flujo
Método
Casos de uso comunes
Protocolos
Consideraciones
SDK web/móvil de Adobe
  • Recopilación de datos de sitios web y aplicaciones móviles.
  • Método preferido para la recopilación del lado del cliente.
Push, HTTP, JSON
  • Implemente varias aplicaciones de Adobe utilizando un único SDK.
Conector de API HTTP
  • Recopilación a partir de orígenes de flujo, transacciones, eventos relevantes del cliente y señales
Push, API de REST, JSON
  • Los datos se transmiten directamente al hub, por lo que no hay segmentación en tiempo real de Edge ni reenvío de eventos.
API de Edge Network
  • Recopilación a partir de orígenes de flujo, transacciones, eventos relevantes del cliente y señales de Edge Network distribuida globalmente
Push, API de REST, JSON
  • Los datos se transmiten a través de Edge Network. Es compatible con la segmentación en tiempo real en Edge.
Aplicaciones de Adobe
  • Implementación previa de Adobe Analytics, Marketo, Campaign, Target, AAM
Push, conectores de origen y API
  • El enfoque recomendado es la migración al SDK web/móvil en lugar de los SDK de aplicaciones tradicionales.
Conectores de origen de streaming
  • Ingesta de un flujo de eventos empresariales, que normalmente se utiliza para compartir datos empresariales en varias aplicaciones de flujo descendente.
Push, API de REST, JSON
  • Se debe transmitir en formato XDM.
SDK de orígenes de flujo
  • Al igual que el conector de API HTTP, permite la tarjeta de configuración de autoservicio de un flujo de datos externo.
Push, API HTTP, JSON
  • Edge Network
Orígenes por lote
Método
Casos de uso comunes
Protocolos
Consideraciones
API de ingesta por lotes
  • Ingesta de una empresa administrada. Limpieza y transformación de datos antes de su ingesta.
Push, JSON o Parquet
  • Debe administrar lotes y archivos para la ingesta
Conectores de origen por lotes
  • Enfoque común para la ingesta de archivos desde ubicaciones de almacenamiento en la nube.
  • Conectores para aplicaciones comunes de CRM y marketing.
  • Ideal para la ingesta de grandes cantidades de datos históricos.
Pull, CSV, JSON, Parquet
  • No está siempre activado, ingesta inmediata.
  • La frecuencia recurrente comprueba la ingesta de archivos delta cada 15 minutos como mínimo.
Data Landing Zone
  • Ubicación de almacenamiento de archivos aprovisionada por Adobe a la que enviar los archivos para su ingesta.
Push, CSV, JSON, Parquet
- Se proporcionan archivos TTL de 7 días
SDK de orígenes por lote
  • Permite la tarjeta de configuración de autoservicio de una fuente de datos externa.
  • Ideal para conectores de socios o para una experiencia de flujo de trabajo adaptada para configurar un conector de empresa.
Archivos de pull, API de REST, CSV o JSON
  • Frecuencia mínima de 15 minutos
  • Ejemplos: MailChimp, One Trust, Zendesk
Métodos de ingesta
Descripción
SDK web/móvil

Latencia:

  • Tiempo real, misma colección de páginas que Edge Network.
  • Transmisión de la ingesta a Perfil < 15 minutos en el percentil 95
  • Ingesta de flujo al repositorio de datos (lote pequeño ~15 minutos).

Documentación:

Orígenes de flujo

Orígenes de flujo
Latencia:

  • Tiempo real, misma colección de páginas que Edge Network.
  • Ingesta de flujo al perfil ~1 minuto.
  • Ingesta de flujo al repositorio de datos (lote pequeño ~15 minutos).
API de flujo

API del servidor de Edge Network (preferida): admite los servicios de Edge, incluida la segmentación de Edge y
API Data Collection Core Service: no admite los servicios de Edge, dirige directamente al hub.
Latencia:

  • Tiempo real, misma colección de páginas que Edge Network.
  • Ingesta de flujo al perfil ~1 minuto.
  • Ingesta de flujo al repositorio de datos (lote pequeño ~15 minutos).
  • 7 GB/hora

Documentación

Herramientas ETL

Utiliza herramientas ETL para modificar y transformar datos empresariales antes de su ingesta en Experience Platform.

Latencia:

  • El tiempo depende de la programación de la herramienta ETL externa. A continuación, se aplican guardas estándar de ingesta según el método de ingesta utilizado.
Orígenes por lote
Extracción programada desde origen
Latencia: ~ 200 GB/hora.

Documentación
Tutoriales en vídeo
API por lote

Latencia:

  • Ingesta por lotes a perfiles condicionados por tamaño y carga de tráfico ~45 minutos.
  • Ingesta por lotes a repositorios de datos condicionados por tamaño y carga de tráfico.

Documentación

Conectores de aplicaciones Adobe

Realizan la ingesta de datos procedentes de las aplicaciones de Adobe Experience Cloud automáticamente.

Métodos de preparación de datos

Métodos de preparación de datos
Descripción
Herramienta ETL externa (Snaplogic, Mulesoft, Informatica, etc.)
Realizar transformaciones complejas en herramientas ETL y utilizar las API o los conectores de origen estándar de Flow Service de Experience Platform para la ingesta de datos resultantes.
Servicio de consultas: preparación de datos
Une, divide, fusiona, transforma, consulta y filtra datos en un nuevo conjunto de datos.
Documentación sobre el uso de Create Table as Select (CTAS)
Funciones del mapeador XDM y preparación de datos (flujo y lotes)
Mapear atributos de origen en formato CSV o JSON en atributos XDM durante la ingesta de Experience Platform.
Computa funciones de datos mientras se realiza la ingesta; esto es, les da formato, los divide, los concatena, etc.
Documentación

Entradas relacionadas en el blog

recommendation-more-help
045b7d44-713c-4708-a7a6-5dea7cc2546b