数据准备和摄入 Blueprint

上次更新: 2023-10-31
  • 创建对象:
  • Developer
    User

数据准备和摄入 Blueprint 包含准备数据并将其摄入到 Adobe Experience Platform 的所有方法。

数据准备包括将源数据映射到体验数据模型 (XDM) 架构。它还包括对数据执行转换,包括日期格式、字段拆分/串联/转化,以及对记录进行连接/合并/重新设置键。数据准备有助于统一客户数据以提供汇总/筛选的分析,包括报告或准备数据以用于客户档案汇编/数据科学/激活。

架构

数据准备和摄入 Blueprint 的参考架构

数据摄入护栏

下图说明了将数据摄入到 Adobe Experience Platform 的平均性能护栏和延迟。

Experience Platform 数据流

数据摄入方法

流传输源

方法

常见用例

协议

注意事项

Adobe Web/Mobile SDK

  • 从网站和移动设备应用程序中收集数据。
  • 客户端收集的首选方法。

推送、HTTP、JSON

  • 利用单 SDK 实施多个 Adobe 应用程序。

HTTP API 连接器

  • 从流传输源、交易、相关客户事件和信号收集

推送、REST API、JSON

  • 数据会直接流式传输到中心,因此无需实时边缘分段或事件转发。

边缘网络 API

  • 从流传输源、交易、相关客户事件和来自全球分布式边缘网络的信号收集

推送、REST API、JSON

  • 数据通过边缘网络进行流传输。支持边缘实时分段。

Adobe 应用程序

  • 在实施 Adobe Analytics、Marketo、Campaign、Target、AAM 之前

推送、源连接器和 API

  • 推荐的方法是从传统的应用程序 SDK 迁移到 Web/Mobile SDK。

流传输源连接器

  • 企业事件流的摄入,通常用于将企业数据共享到多个下游应用程序。

推送、REST API、JSON

  • 必须以 XDM 格式进行流传输。

流传输源 SDK

  • 与 HTTP API 连接器类似,支持外部数据流的自助配置信息卡。

推送、HTTP API、JSON

  • 边缘网络

批次源

方法

常见用例

协议

注意事项

批次摄入 API

  • 从企业管理的队列摄入。在摄入之前对数据进行清理和转换。

推送、JSON 或拼接

  • 必须管理摄入的批次和文件

批次源连接器

  • 从云存储位置摄入文件的常见方法。
  • 常见 CRM 和营销应用程序的连接器。
  • 非常适合摄入大量历史数据。

提取、CSV、JSON、拼接

  • 不始终开启,即时摄入。
  • 定期频率检查,以至少每 15 分钟摄入一次增量文件。

数据进入区域

  • Adobe 配置的文件存储位置,以推送文件用于摄入。

推送、CSV、JSON、拼接

- 文件提供 7 天 TTL

批次源 SDK

  • 支持外部数据源的自助配置信息卡。
  • 非常适合合作伙伴连接器,或为设置企业连接器而量身定制的工作流体验。

提取、REST API、CSV 或 JSON 文件

  • 最小频率为 15 分钟
  • 示例:MailChimp、One Trust、Zendesk

 

摄入方法 描述
Web/Mobile SDK 延迟:
  • 实时 — 到 Edge 网络的同一页面集合
  • 在第95百分位处将摄取流式传输到配置文件< 15分钟
  • 流式摄入到数据湖(微批量 ~15 分钟)
文档:
流传输源 流传输源
延迟:
  • 实时 — 到 Edge 网络的同一页面集合
  • 流式摄入到用户档案 ~1 分钟
  • 流式摄入到数据湖(微批量 ~15 分钟)
流传输 API Edge 网络服务器 API(首选)- 支持边缘服务,包括边缘分段和
数据收集核心服务 API - 不支持边缘服务,直接路由到中心。
延迟:
  • 实时 — 到 Edge 网络的同一页面集合
  • 流式摄入到用户档案 ~1 分钟
  • 流式摄入到数据湖(微批量 ~15 分钟)
  • 7 GB/小时
文档
ETL 工具 使用 ETL 工具在将企业数据摄入到 Experience Platform 之前对其进行修改和转换。

延迟:
  • 根据外部 ETL 工具的调度进行定时,然后根据摄入方法应用标准摄入护栏。
批次源 计划从源获取
延迟:~ 200 GB/小时文档视频

文档
视频教程
批处理 API 延迟:
  • 根据大小和流量负载,批次摄入到用户档案需要约 45 分钟
  • 根据大小和流量负载,批次摄入到数据湖
文档
Adobe 应用程序连接器 自动摄入来自 Adobe Experience Cloud 应用程序的数据

数据准备方法

数据准备方法 描述
外部 ETL 工具(Snaplogic、Mulesoft、Informatica等) 在 ETL 工具中执行复杂的转换,并使用标准 Experience Platform 流服务 API 或源连接器收集生成数据。
查询服务 - 数据准备 将数据联接、拆分、合并、转换、查询和筛选到新数据集。使用 Create Table as Select (CTAS)
文档
XDM 映射器和数据准备功能(流式和批次) 在 Experience Platform 摄入过程中,将 CSV 或 JSON 格式的源属性映射到 XDM 属性。
在摄入数据时计算有关数据的函数;即数据格式化、拆分、串联等。
文档

相关博客帖子

在此页面上