資料準備和擷取Blueprint

資料準備與擷取 Blueprint 涵蓋可在 Adobe Experience Platform 中準備和擷取資料的所有方法。

資料準備包括將來源資料對應至 Experience Data Model (XDM) 方案。它還包括對資料執行轉換,包括資料格式化、欄位拆分 / 聯結 / 轉換以及記錄的接合 / 合併 / 重建按鍵索引。資料準備有助於統一客戶資料以提供彙總 / 篩選的分析,包括為客戶個人資料匯整 / 資料科學 / 啟用報告或準備資料。

架構

資料準備與擷取 Blueprint 的參考架構

資料擷取護欄

下圖說明了將資料擷取至 Adobe Experience Platform 的平均效能護欄和延遲。

Experience Platform 資料流程

資料擷取方法

串流來源

方法

常見使用案例

通訊協定

考量事項

AdobeWeb/Mobile SDK

  • 從網站和行動應用程式收集資料。
  • 用戶端收集的偏好方法。

推播、HTTP、JSON

  • 運用單一SDK實作多個Adobe應用程式。

HTTP API連接器

  • 從串流來源、交易、相關客戶事件和訊號收集

推播、重設API、JSON

  • 資料會直接串流至中樞,因此無法即時執行Edge細分或事件轉送。

邊緣網路API

  • 來自流源、交易、相關客戶事件和來自全球分佈式邊緣網路的信號的收集

推播、重設API、JSON

  • 資料通過邊緣網路流。 支援Edge上的即時分段。

Adobe應用程式

  • 先前實作Adobe Analytics、Marketo、促銷活動、Target、AAM

推送、來源連接器和API

  • 建議的方法是移轉至Web/Mobile SDK,而非傳統應用程式SDK。

串流來源連接器

  • 擷取企業事件資料流,通常用於將企業資料共用至多個下游應用程式。

推播、重設API、JSON

  • 必須以XDM格式串流。

串流來源SDK

  • 與HTTP API Connector類似,它允許外部資料流的自助設定卡。

推播、HTTP API、JSON

  • 邊緣網路

批次來源

方法

常見使用案例

通訊協定

考量事項

批次內嵌API

  • 從企業管理的Que擷取。 擷取前的資料清理和轉換。

推播、JSON或Parquet

  • 必須管理批次和檔案以進行擷取

批次來源連接器

  • 從雲儲存位置擷取檔案的常見方法。
  • 常見CRM和行銷應用程式的連接器。
  • 非常適合擷取大量歷史資料。

拉, CSV, JSON,鑲木

  • 不總是開啟,即時擷取。
  • 循環頻率檢查,至少每15分鐘擷取增量檔案一次。

資料登陸區

  • Adobe已布建的檔案儲存位置,以推送檔案至以供擷取。

推播, CSV, JSON,鑲木

— 提供7天TTL的檔案

批次來源SDK

  • 允許外部資料源的自助配置卡。
  • 最適合合作夥伴連接器,或適合設定企業連接器的量身打造的工作流程體驗。

提取、重設API、CSV或JSON檔案

  • 最小頻率為15分鐘
  • 範例:MailChimp, One Trust, Zendesk

 

擷取方法 說明
Web/Mobile SDK 延遲:
  • 即時 - 同頁集合到 Edge 網路
  • 大約 1 分鐘串流擷取到個人資料
  • 串流擷取到資料湖 (微批次約 15 分鐘)
文件:
串流來源 串流來源
延遲:
  • 即時 - 同頁集合到 Edge 網路
  • 大約 1 分鐘串流擷取到個人資料
  • 串流擷取到資料湖 (微批次約 15 分鐘)
串流 API 邊緣網路伺服器API(首選) — 支援邊緣服務,包括邊緣細分和
資料收集核心服務API — 不支援邊緣服務,直接路由到集線器。
延遲:
  • 即時 - 同頁集合到 Edge 網路
  • 大約 1 分鐘串流擷取到個人資料
  • 串流擷取到資料湖 (微批次約 15 分鐘)
  • 7 GB/時
文件
ETL 工具 在擷取到 Experience Platform 之前,使用 ETL 工具修改和轉換企業資料。

延遲:
  • 時間取決於外部 ETL 工具排程,然後基於擷取所用方法套用標準擷取護欄。
批次來源 已排程從來源擷取
延遲:約 200 GB/時

文件
視訊教學課程
批次 API 延遲:
  • 批次擷取到個人資料取決於大小和流量,約 45 分鐘
  • 批次擷取到資料湖取決於大小和流量
文件
Adobe 應用程式連接器 自動擷取來自 Adobe Experience Cloud 應用程式的資料

資料準備方法

資料準備的方法 說明
外部ETL工具(Snaplogic, Mulesoft, Informatica等) 在 ETL 工具中執行複雜的轉換,並使用標準 Experience Platform Flow Service API 或來源連接器來擷取結果資料。
查詢服務 - 資料準備 將連接、分割、合併、轉換、查詢和篩選資料整合為新資料集。使用 Create Table as Select (CTAS)
文件
XDM Mapper 與資料準備功能 (串流與批次) 在 Experience Platform 擷取期間,將 CSV 或 JSON 格式的來源屬性對應至 XDM 屬性。
在資料擷取時計算其功能;即資料格式化、拆分、聯結等。
文件

相關部落格貼文

本頁內容