資料準備與擷取藍圖

上次更新: 2023-10-31
  • 建立對象:
  • Developer
    User

資料準備與擷取 Blueprint 涵蓋可在 Adobe Experience Platform 中準備和擷取資料的所有方法。

資料準備包括將來源資料對應至 Experience Data Model (XDM) 方案。它還包括對資料執行轉換,包括資料格式化、欄位拆分 / 聯結 / 轉換以及記錄的接合 / 合併 / 重建按鍵索引。資料準備有助於統一客戶資料以提供彙總 / 篩選的分析,包括為客戶個人資料匯整 / 資料科學 / 啟用報告或準備資料。

架構

資料準備與擷取 Blueprint 的參考架構

資料擷取護欄

下圖說明了將資料擷取至 Adobe Experience Platform 的平均效能護欄和延遲。

Experience Platform 資料流程

資料擷取方法

串流來源

方法

常見使用案例

通訊協定

考量事項

Adobe Web/Mobile SDK

  • 從網站和行動應用程式收集資料。
  • 用戶端收集的偏好方法。

推播、HTTP、JSON

  • 運用單一 SDK 實作多個 Adobe 應用程式。

HTTP API 連接器

  • 從串流來源、交易、相關客戶事件和訊號收集

推播、REST API、JSON

  • 資料會直接串流至中樞,因此無法即時執行 Edge 細分或事件轉送。

Edge Network API

  • 從串流源、交易、相關客戶事件和來自全球分佈式邊緣網路的信號收集

推播、REST API、JSON

  • 資料透過 Edge 網路串流。支援 Edge 上的即時細分。

Adobe 應用程式

  • 先前實作 Adobe Analytics、Marketo、Campaign、Target、AAM

推播、來源連接器和 API

  • 建議移轉至 Web/Mobile SDK,而非傳統應用程式 SDK。

串流來源連接器

  • 擷取企業事件資料流,通常用於將企業資料共用至多個下游應用程式。

推播、REST API、JSON

  • 必須以 XDM 格式串流。

串流來源 SDK

  • 與 HTTP API Connector 類似,允許外部資料流的自助設定卡。

推播、HTTP API、JSON

  • Edge 網路

批次來源

方法

常見使用案例

通訊協定

考量事項

批次擷取 API

  • 從企業管理佇列擷取。擷取前資料清理和轉換。

推播、JSON 或 Parquet

  • 必須管理批次和檔案以進行擷取

批次來源連接器

  • 從雲儲存位置擷取檔案的常見方法。
  • 常見 CRM 和行銷應用程式的連接器。
  • 非常適合擷取大量歷史資料。

提取、CSV、JSON、Parquet

  • 不總是開啟,即時擷取。
  • 按一定頻率檢查,至少每 15 分鐘擷取增量檔案一次。

資料登陸區域

  • Adobe 已布建推送檔案的檔案儲存位置,以供擷取。

推播、CSV、JSON、Parquet

— 提供 7 天 TTL 的檔案

批次來源 SDK

  • 允許外部資料源的自助設定卡。
  • 最適合合作夥伴連接器,或適合設定企業連接器的量身打造的工作流程體驗。

提取、REST API、CSV 或 JSON 檔案

  • 最小頻率為 15 分鐘
  • 範例:MailChimp、One Trust、Zendesk

 

擷取方法 說明
Web/Mobile SDK 延遲:
  • 即時 - 同頁集合到 Edge 網路
  • 將內嵌串流到設定檔< 15分鐘於第95個百分位數
  • 串流擷取到資料湖 (微批次約 15 分鐘)
文件:
串流來源 串流來源
延遲:
  • 即時 - 同頁集合到 Edge 網路
  • 大約 1 分鐘串流擷取到個人資料
  • 串流擷取到資料湖 (微批次約 15 分鐘)
串流 API Edge Network Server API(首選)— 支援邊緣服務,包括邊緣細分和
Data Collection Core Service API — 不支援邊緣服務,直接路由到集線器。
延遲:
  • 即時 - 同頁集合到 Edge 網路
  • 大約 1 分鐘串流擷取到個人資料
  • 串流擷取到資料湖 (微批次約 15 分鐘)
  • 7 GB/時
文件
ETL 工具 在擷取到 Experience Platform 之前,使用 ETL 工具修改和轉換企業資料。

延遲:
  • 時間取決於外部 ETL 工具排程,然後基於擷取所用方法套用標準擷取護欄。
批次來源 已排程從來源擷取
延遲:約 200 GB/時

文件
視訊教學課程
批次 API 延遲:
  • 批次擷取到個人資料取決於大小和流量,約 45 分鐘
  • 批次擷取到資料湖取決於大小和流量
文件
Adobe 應用程式連接器 自動擷取來自 Adobe Experience Cloud 應用程式的資料

資料準備方法

資料準備的方法 說明
外部 ETL 工具(Snaplogic、 Mulesoft、 Informatica等) 在 ETL 工具中執行複雜的轉換,並使用標準 Experience Platform Flow Service API 或來源連接器來擷取結果資料。
查詢服務 - 資料準備 將連接、分割、合併、轉換、查詢和篩選資料整合為新資料集。使用 Create Table as Select (CTAS)
文件
XDM Mapper 與資料準備功能 (串流與批次) 在 Experience Platform 擷取期間,將 CSV 或 JSON 格式的來源屬性對應至 XDM 屬性。
在資料擷取時計算其功能;即資料格式化、拆分、聯結等。
文件

相關部落格貼文

此頁面上的