Modelo de preparación e ingesta de datos
El modelo de preparación e ingesta de datos engloba todos los métodos por los cuales se puede realizar la ingesta y preparación de datos en Adobe Experience Platform.
La preparación de datos incluye mapear los datos de origen en el esquema del Modelo de datos de experiencia (XDM). También incluye realizar transformaciones de datos, como dar formato a las fechas, unir/concatenar/convertir campos o unir/fusionar/reescribir registros. La preparación de datos ayuda a unificar la información del cliente, lo que ofrece un análisis agregado/filtrado, incluyendo la creación de informes o la preparación de datos para el ensamblaje/ciencia de datos/activación de perfiles de los clientes.
Arquitectura
Guardas de ingesta de datos
El diagrama siguiente ilustra la latencia y los guardas de rendimiento promedio para la ingesta de datos en Adobe Experience Platform.
Métodos de ingesta de datos
Latencia:
- Tiempo real, misma colección de páginas que Edge Network.
- Transmisión de la ingesta a Perfil < 15 minutos en el percentil 95
- Ingesta de flujo al repositorio de datos (lote pequeño ~15 minutos).
Documentación:
Orígenes de flujo
Latencia:
- Tiempo real, misma colección de páginas que Edge Network.
- Ingesta de flujo al perfil ~1 minuto.
- Ingesta de flujo al repositorio de datos (lote pequeño ~15 minutos).
API del servidor de Edge Network (preferida): admite los servicios de Edge, incluida la segmentación de Edge y
API Data Collection Core Service: no admite los servicios de Edge, dirige directamente al hub.
Latencia:
- Tiempo real, misma colección de páginas que Edge Network.
- Ingesta de flujo al perfil ~1 minuto.
- Ingesta de flujo al repositorio de datos (lote pequeño ~15 minutos).
- 7 GB/hora
Utiliza herramientas ETL para modificar y transformar datos empresariales antes de su ingesta en Experience Platform.
Latencia:
- El tiempo depende de la programación de la herramienta ETL externa. A continuación, se aplican guardas estándar de ingesta según el método de ingesta utilizado.
Latencia:
- Ingesta por lotes a perfiles condicionados por tamaño y carga de tráfico ~45 minutos.
- Ingesta por lotes a repositorios de datos condicionados por tamaño y carga de tráfico.
Realizan la ingesta de datos procedentes de las aplicaciones de Adobe Experience Cloud automáticamente.
- Adobe Analytics: documentación y tutorial en vídeo
- Audience Manager: documentación y tutorial en vídeo
Métodos de preparación de datos
Documentación sobre el uso de Create Table as Select (CTAS)
Computa funciones de datos mientras se realiza la ingesta; esto es, les da formato, los divide, los concatena, etc.
Documentación
Entradas relacionadas en el blog
- Leveraging External Data Platforms in Adobe Experience Platform Journey Orchestration
- High Throughput Ingestion with Iceberg
- Query Service Tricks in Adobe Experience Platform (Writing Queries and Storing Derived Datasets)
- Digging into Adobe Experience Platform’s Experience Data Model to More Fully Understand the Power of Real-time Customer Profile
- An Introductory Look at Exploratory Data Analysis on Adobe Experience Platform
- Modeling XDM Data for Data Science at Scale on Adobe Experience Platform