Modelo de preparación e ingesta de datos

El modelo de preparación e ingesta de datos engloba todos los métodos por los cuales se puede realizar la ingesta y preparación de datos en Adobe Experience Platform.

La preparación de datos incluye mapear los datos de origen en el esquema del Modelo de datos de experiencia (XDM). También incluye realizar transformaciones de datos, como dar formato a las fechas, unir/concatenar/convertir campos o unir/fusionar/reescribir registros. La preparación de datos ayuda a unificar la información del cliente, lo que ofrece un análisis agregado/filtrado, incluyendo la creación de informes o la preparación de datos para el ensamblaje/ciencia de datos/activación de perfiles de los clientes.

Arquitectura

Arquitectura de referencia para el modelo de preparación e ingesta de datos

Métodos de ingesta de datos

Métodos de ingesta Descripción
SDK Web/Mobile Latencia:
  • Tiempo real, misma colección de páginas que Edge Network.
  • Ingesta de flujo al perfil ~1 minuto.
  • Ingesta de flujo al repositorio de datos (lote pequeño ~15 minutos).
Documentación:
Orígenes de flujo Latencia:
  • Tiempo real, misma colección de páginas que Edge Network.
  • Ingesta de flujo al perfil ~1 minuto.
  • Ingesta de flujo al repositorio de datos (lote pequeño ~15 minutos).
Documentación
API de flujo Latencia:
  • Tiempo real, misma colección de páginas que Edge Network.
  • Ingesta de flujo al perfil ~1 minuto.
  • Ingesta de flujo al repositorio de datos (lote pequeño ~15 minutos).
  • 7 GB/hora
Documentación
Herramientas ETL Utiliza herramientas ETL para modificar y transformar datos empresariales antes de su ingesta en Experience Platform.

Latencia:
  • El tiempo depende de la programación de la herramienta ETL externa. A continuación, se aplican guardas estándar de ingesta según el método de ingesta utilizado.
Orígenes por lote Extracción programada desde origen
Latencia: ~ 200 GB/hora.

Documentación
Tutoriales en vídeo
API por lote Latencia:
  • Ingesta por lotes a perfiles condicionados por tamaño y carga de tráfico ~45 minutos.
  • Ingesta por lotes a repositorios de datos condicionados por tamaño y carga de tráfico.
Documentación
Conectores de aplicaciones Adobe Realizan la ingesta de datos procedentes de las aplicaciones de Adobe Experience Cloud automáticamente.

Métodos de preparación de datos

Métodos de preparación de datos Descripción
Data Science Workspace: preparación de datos Transformación por modelo, transformación por script.
Documentación
Herramienta ETL externa (Snaplogic, Mulesoft, Informatica, etc.) Realizar transformaciones complejas en herramientas ETL y utilizar las API o los conectores de origen estándar de Flow Service de Experience Platform para la ingesta de datos resultantes.
Query Service: preparación de datos Une, divide, fusiona, transforma, consulta y filtra datos en un nuevo conjunto de datos.
Documentación sobre el uso de Create Table as Select (CTAS)
Funciones del mapeador XDM y preparación de datos (flujo y lotes) Mapear atributos de origen en formato CSV o JSON en atributos XDM durante la ingesta de Experience Platform.
Computa funciones de datos mientras se realiza la ingesta; esto es, les da formato, los divide, los concatena, etc.
Documentación

Entradas relacionadas en el blog

En esta página