使用Flow Service API匯出資料集
- 已購買Real-Time CDP Prime和Ultimate套件、Adobe Journey Optimizer或Customer Journey Analytics的客戶可使用此功能。 如需詳細資訊,請聯絡您的Adobe代表。
endTime
日期的選項。 Adobe也針對2024年9月版本 之前建立 的所有資料集匯出資料流,引入了2025年5月1日的預設結束日期。endTime
日期的任何資料流,這些資料流將預設為從建立日期起六個月的結束時間。本文說明使用Flow Service API從Adobe Experience Platform將資料集匯出至您偏好的雲端儲存空間位置(例如Amazon S3、SFTP位置或Google Cloud Storage)所需的工作流程。
可用於匯出的資料集 datasets-to-export
您可以匯出的資料集取決於Experience Platform應用程式(Real-Time CDP、Adobe Journey Optimizer)、層級(Prime或Ultimate)以及您購買的任何附加元件(例如:Data Distiller)。
請參閱UI教學課程頁面🔗上的表格,瞭解您可以匯出哪些資料集。
支援的目的地 supported-destinations
目前,您可以將資料集匯出至熒幕擷取畫面中強調並列於下方的雲端儲存空間目的地。
快速入門 get-started
本指南需要您深入了解下列 Adobe Experience Platform 元件:
- Experience Platform datasets:所有成功內嵌至Adobe Experience Platform的資料都會以資料集的形式儲存在Data Lake中。 資料集是資料集合的儲存和管理結構,通常是包含方案 (欄) 和欄位 (列) 的表格。 資料集也包含中繼資料,可說明其儲存資料的各個層面。
- Sandboxes: Experience Platform提供的虛擬沙箱可將單一Experience Platform執行個體分割成個別的虛擬環境,以利開發及改進數位體驗應用程式。
以下小節提供您必須知道的其他資訊,才能將資料集匯出到Experience Platform中的雲端儲存空間目標。
必要權限 permissions
若要匯出資料集,您需要 檢視目的地、檢視資料集 以及 管理和啟用資料集目的地 存取控制許可權。 閱讀存取控制總覽或連絡您的產品管理員以取得必要的許可權。
為確保您擁有匯出資料集的必要許可權以及目的地支援匯出資料集,請瀏覽目的地目錄。 如果目的地有 啟用 或 匯出資料集 控制項,則您擁有適當的許可權。
讀取範例 API 呼叫 reading-sample-api-calls
本教學課程提供範例API呼叫,示範如何格式化您的請求。 這些包括路徑、必要的標頭和正確格式化的請求承載。 此外,也提供 API 回應中傳回的範例 JSON。 如需檔案中所使用範例API呼叫慣例的詳細資訊,請參閱Experience Platform疑難排解指南中如何讀取範例API呼叫一節。
收集必要和選用標題的值 gather-values-headers
若要呼叫Experience Platform API,您必須先完成Experience Platform驗證教學課程。 完成驗證教學課程會提供所有 Experience Platform API 呼叫中每個必要標頭的值,如下所示:
- 授權:持有人
{ACCESS_TOKEN}
- x-api-key:
{API_KEY}
- x-gw-ims-org-id:
{ORG_ID}
Experience Platform中的資源可以隔離到特定的虛擬沙箱。 在對Experience Platform API的請求中,您可以指定將執行作業的沙箱名稱和ID。 這些是選用引數。
- x-sandbox-name:
{SANDBOX_NAME}
包含裝載(POST、PUT、PATCH)的所有請求都需要額外的媒體型別標頭:
- Content-Type:
application/json
API 參考檔 api-reference-documentation
您可以在此教學課程中找到所有 API作的隨附參考文檔。 請參閱 Flow Service Adobe Systems 開發人員網站上的 - 目標 API 文件。 我們建議您同時使用此教學課程和 API 參考文檔。
字彙 glossary
有關您將在此 API 教學課程中遇到的術語的說明,請閱讀 API 參考文檔的術語表部分 。
收集所需目標的連接規格和流量規格 gather-connection-spec-flow-spec
在開始匯出資料集工作流程之前,請確定要將數據集匯出到的目標的連接規範和流程規範 ID。 請使用下表作為參考。
4fce964d-3f37-408f-9778-e597338a21ee
269ba276-16fc-47db-92b0-c1049a3c131f
6d6b59bf-fb58-4107-9064-4d246c0e5bb2
95bd8965-fc8a-4119-b9c3-944c2c2df6d2
be2c3209-53bc-47e7-ab25-145db8b873e1
17be2013-2549-41ce-96e7-a70363bec293
10440537-2a7b-4583-ac39-ed38d4b848e8
cd2fc47e-e838-4f38-a581-8fff2f99b63a
c5d93acb-ea8b-4b14-8f53-02138444ae99
585c15c4-6cbf-4126-8f87-e26bff78b657
36965a81-b1c6-401b-99f8-22508f1e6a26
354d6aad-4754-46e4-a576-1b384561c440
您需要這些ID來建構各種Flow Service實體。 您也必須參考Connection Spec本身的某些部分來設定某些實體,以便從Flow Service APIs擷取Connection Spec。 請參閱以下範例,擷取表格中所有目的地的連線規格:
要求
accordion | ||
---|---|---|
擷取Amazon S3的connection spec | ||
|
回應
accordion | ||
---|---|---|
Amazon S3 — 連線規格 | ||
|
要求
accordion | ||
---|---|---|
擷取Azure Blob Storage的connection spec | ||
|
回應
accordion | ||
---|---|---|
Azure Blob Storage - Connection spec | ||
|
要求
accordion | ||
---|---|---|
擷取Azure Data Lake Gen 2(ADLS Gen2的connection spec) | ||
|
回應
accordion | ||
---|---|---|
Azure Data Lake Gen 2(ADLS Gen2) - Connection spec | ||
|
要求
accordion | ||
---|---|---|
擷取Data Landing Zone(DLZ)的connection spec | ||
|
回應
accordion | ||
---|---|---|
Data Landing Zone(DLZ) - Connection spec | ||
|
要求
accordion | ||
---|---|---|
擷取Google Cloud Storage的connection spec | ||
|
回應
accordion | ||
---|---|---|
Google Cloud Storage - Connection spec | ||
|
要求
accordion | ||
---|---|---|
擷取SFTP的connection spec | ||
|
回應
accordion | ||
---|---|---|
SFTP - Connection spec | ||
|
請依照下列步驟,將資料集資料流設定為雲端儲存空間目的地。 對於某些步驟,請求和回應會因不同的雲端儲存空間目的地而異。 在這些情況下,請使用頁面上的索引標籤,擷取您要連線並匯出資料集的目標的特定請求和回應。 請確定您設定的目的地使用正確的connection spec和flow spec。
擷取資料集清單 retrieve-list-of-available-datasets
若要擷取符合啟用資格的資料集清單,首先要對以下端點進行API呼叫。
要求
code language-shell |
---|
|
請注意,要檢索符合條件的數據集,connection spec請求URL中使用的ID必須是數據湖源連接規範ID,23598e46-f560-407b-88d5-ea6207e49db0
以及兩個查詢參數outputField=datasets
outputType=activationDatasets
,並且必須指定。所有其他查詢參數均為目錄服務 API🔗 支持的標準參數。
回應
code language-json |
---|
|
成功的回應包含清單符合啟用條件的數據集。 在下一步中構造源連接時,可以使用這些數據集。
有關每個返回資料集的各種響應參數的資訊,請參閱 數據集 API 開發人員文檔。
建立源連接 create-source-connection
檢索要匯出的數據集清單后,可以使用這些資料集 ID 創建源連接。
要求
請注意請求示例中帶有内聯評論突出显示的行,其中提供了其他信息。 將請求複製粘貼到所选終端時,移除請求中的内聯評論。
code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-16 |
---|
|
回應
code language-json |
---|
|
成功的回應將傳回新建立的源連接的 ID ()id
和 etag
. 記下源連接ID,因為稍後在創建資料流時需要用到它。
另請記住:
- 在此步驟中創建的源連接需要連結到數據流,才能將其數據集啟動到目標。 有關如何連結數據流的源連接的信息,請參閱創建數據流部分。
- 創建後,無法修改源連接的 資料集 ID。 如果需要在源連接中添加或刪除數據集,則必須創建新的源連接,並將新源連接的 ID 連結到數據流。
建立(目標)基礎連線 create-base-connection
基礎連線會將認證安全地儲存到您的目的地。 根據目的地型別,針對該目的地進行驗證所需的認證可能會有所不同。 若要尋找這些驗證引數,請先依照收集連線規格和流程規格一節中的說明,擷取您所要目的地的connection spec,然後檢視回應的authSpec
。 請參考下列標籤,以取得所有支援目的地的authSpec
屬性。
accordion | ||
---|---|---|
Amazon S3 - Connection spec顯示auth spec | ||
請注意下方connection spec範例中反白顯示內嵌註解的一行,這些註解提供了在connection spec中尋找驗證引數的位置的其他資訊。
|
accordion | ||
---|---|---|
Azure Blob Storage - Connection spec顯示auth spec | ||
請注意下方connection spec範例中反白顯示內嵌註解的一行,這些註解提供了在connection spec中尋找驗證引數的位置的其他資訊。
|
accordion | ||
---|---|---|
Azure Data Lake Gen 2(ADLS Gen2) - Connection spec顯示auth spec | ||
請注意下方connection spec範例中反白顯示內嵌註解的一行,這些註解提供了在connection spec中尋找驗證引數的位置的其他資訊。
|
accordion | |||||
---|---|---|---|---|---|
Data Landing Zone(DLZ) - Connection spec顯示auth spec | |||||
|
accordion | ||
---|---|---|
Google Cloud Storage - Connection spec顯示auth spec | ||
請注意下方connection spec範例中反白顯示內嵌註解的一行,這些註解提供了在connection spec中尋找驗證引數的位置的其他資訊。
|
accordion | |||||
---|---|---|---|---|---|
SFTP - Connection spec顯示auth spec | |||||
請注意下方connection spec範例中反白顯示內嵌註解的一行,這些註解提供了在connection spec中尋找驗證引數的位置的其他資訊。
|
使用驗證規格(亦即回應中的authSpec
)中指定的屬性,您可以使用每個目的地型別特定的必要認證來建立基礎連線,如下列範例所示:
要求
accordion | |||||
---|---|---|---|---|---|
Amazon S3 — 基底連線要求 | |||||
請注意請求範例中反白顯示內嵌註解的行,這些註解會提供額外資訊。 將請求複製粘貼到所选終端時,移除請求中的内聯評論。
|
回應
accordion | ||
---|---|---|
Amazon S3基本連線回應 | ||
|
要求
accordion | |||||
---|---|---|---|---|---|
Azure Blob Storage - 基本連接請求 | |||||
請注意請求示例中帶有内聯評論突出显示的行,其中提供了其他信息。 將請求複製粘貼到所选終端時,移除請求中的内聯評論。
|
回應
accordion | ||
---|---|---|
Azure Blob Storage - 基本連接回應 | ||
|
要求
accordion | |||||
---|---|---|---|---|---|
Azure Data Lake Gen 2(ADLS Gen2) - 基本連接請求 | |||||
請注意請求示例中帶有内聯評論突出显示的行,其中提供了其他信息。 將請求複製粘貼到所选終端時,移除請求中的内聯評論。
|
回應
accordion | ||
---|---|---|
Azure Data Lake Gen 2(ADLS Gen2) - 基本連接回應 | ||
|
要求
accordion | |||||
---|---|---|---|---|---|
Data Landing Zone(DLZ) - 基本連接請求 | |||||
|
回應
accordion | ||
---|---|---|
Data Landing Zone - 基本連接回應 | ||
|
要求
accordion | |||||
---|---|---|---|---|---|
Google Cloud Storage - 基本連接請求 | |||||
請注意請求示例中帶有内聯評論突出显示的行,其中提供了其他信息。 將請求複製粘貼到所选終端時,移除請求中的内聯評論。
|
回應
accordion | ||
---|---|---|
Google Cloud Storage - 基本連接回應 | ||
|
要求
accordion | |||||
---|---|---|---|---|---|
使用密碼的SFTP — 基本連線要求 | |||||
請注意請求範例中反白顯示內嵌註解的行,這些註解會提供額外資訊。 將請求複製貼上您選擇的終端機時,移除請求中的內嵌註解。
|
accordion | |||||
---|---|---|---|---|---|
使用SSH金鑰的SFTP — 基本連線要求 | |||||
請注意請求範例中反白顯示內嵌註解的行,這些註解會提供額外資訊。 將請求複製貼上您選擇的終端機時,移除請求中的內嵌註解。
|
回應
accordion | ||
---|---|---|
SFTP — 基本連線回應 | ||
|
記下回應中的連線ID。 建立目標連線時,下個步驟需要此ID。
建立目標連線 create-target-connection
接下來,您需要建立目標連線,以儲存資料集的匯出引數。 匯出引數包括位置、檔案格式、壓縮和其他細節。 請參閱目的地的連線規格中提供的targetSpec
屬性,以瞭解每個目的地型別的支援屬性。 請參考下列標籤,以取得所有支援目的地的targetSpec
屬性。
accordion | ||
---|---|---|
Amazon S3 - Connection spec 顯示目標連接參數 | ||
請注意以下示例中 connection spec 帶有内聯評論的突出顯示行,這些行提供了有關在連接規範中查找 target spec 參數的位置的其他信息。 您還可以在下面的示例中看到哪些目標參數**不適用於資料集導出目標。
|
accordion | ||
---|---|---|
Azure Blob Storage - Connection spec 顯示目標連接參數 | ||
請注意以下示例中 connection spec 帶有内聯評論的突出顯示行,這些行提供了有關在連接規範中查找 target spec 參數的位置的其他信息。 您還可以在下面的示例中看到哪些目標參數**不適用於資料集導出目標。
|
accordion | ||
---|---|---|
Azure Data Lake Gen 2(ADLS Gen2) - Connection spec顯示目標連線引數 | ||
請注意下方connection spec範例中有內嵌註解之醒目提示的行,這些註解提供了在連線規格中何處尋找target spec引數的相關額外資訊。 您也可以在下列範例中看到目標引數是 不 適用於資料集匯出目的地。
|
accordion | ||
---|---|---|
Data Landing Zone(DLZ) - Connection spec顯示目標連線引數 | ||
請注意下方connection spec範例中有內嵌註解之醒目提示的行,這些註解提供了在連線規格中何處尋找target spec引數的相關額外資訊。 您還可以在下面的示例中看到哪些目標參數**不適用於資料集導出目標。
|
accordion | ||
---|---|---|
Google Cloud Storage - Connection spec 顯示目標連接參數 | ||
請注意以下示例中 connection spec 帶有内聯評論的突出顯示行,這些行提供了有關在連接規範中查找 target spec 參數的位置的其他信息。 您還可以在下面的示例中看到哪些目標參數**不適用於資料集導出目標。
|
accordion | ||
---|---|---|
SFTP - Connection spec 顯示目標連接參數 | ||
請注意以下示例中 connection spec 帶有内聯評論的突出顯示行,這些行提供了有關在連接規範中查找 target spec 參數的位置的其他信息。 您還可以在下面的示例中看到哪些目標參數**不適用於資料集導出目標。
|
通過使用上述規範,您可以構造特定於所需雲端儲存目標的目標連接請求,如下面的選項卡中所示。
要求
accordion | |||||
---|---|---|---|---|---|
Amazon S3 - Target連接請求 | |||||
請注意請求示例中帶有内聯評論突出显示的行,其中提供了其他信息。 將請求複製粘貼到所选終端時,移除請求中的内聯評論。
|
回應
accordion | ||
---|---|---|
Target 連線 - 回應 | ||
|
要求
accordion | |||||
---|---|---|---|---|---|
Azure Blob Storage - Target連接請求 | |||||
請注意請求示例中帶有内聯評論突出显示的行,其中提供了其他信息。 將請求複製粘貼到所选終端時,移除請求中的内聯評論。
|
回應
accordion | ||
---|---|---|
Target 連線 - 回應 | ||
|
要求
accordion | |||||
---|---|---|---|---|---|
Azure Blob Storage - Target連線要求 | |||||
請注意請求範例中反白顯示內嵌註解的行,這些註解會提供額外資訊。 將請求複製貼上您選擇的終端機時,移除請求中的內嵌註解。
|
回應
accordion | ||
---|---|---|
目標連線 — 回應 | ||
|
要求
accordion | |||||
---|---|---|---|---|---|
Data Landing Zone - Target連接請求 | |||||
請注意請求範例中反白顯示內嵌註解的行,這些註解會提供額外資訊。 將請求複製粘貼到所选終端時,移除請求中的内聯評論。
|
回應
accordion | ||
---|---|---|
Target 連線 - 回應 | ||
|
要求
accordion | |||||
---|---|---|---|---|---|
Google Cloud Storage - Target連接請求 | |||||
請注意請求示例中帶有内聯評論突出显示的行,其中提供了其他信息。 將請求複製粘貼到所选終端時,移除請求中的内聯評論。
|
回應
accordion | ||
---|---|---|
Target 連線 - 回應 | ||
|
要求
accordion | |||||
---|---|---|---|---|---|
SFTP - Target聯機請求 | |||||
請注意請求範例中反白顯示內嵌註解的行,這些註解會提供額外資訊。 將請求複製貼上您選擇的終端機時,移除請求中的內嵌註解。
|
回應
accordion | ||
---|---|---|
Target連線 — 回應 | ||
|
記下回應中的Target連接ID。 創建資料流以匯出數據集時,下一步將需要此ID。
建立數據流 create-dataflow
目標配置的最後一步是設置數據流。 數據流將以前創建的實體連結在一起,還提供用於配置資料集匯出計劃的選項。 若要創建數據流,請使用下面的有效負載(具體取決於所需的雲端儲存目標),並替換前面步驟中的實體ID。
要求
accordion | ||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
建立 資料集數據流到 Amazon S3 目標 - 請求 | ||||||||||||||||||
請注意請求示例中帶有内聯評論突出显示的行,其中提供了其他信息。 將請求複製粘貼到所选終端時,移除請求中的内聯評論。
下表提供了該
|
回應
accordion | ||
---|---|---|
建立數據流 - 回應 | ||
|
要求
accordion | ||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
建立 資料集數據流到 Azure Blob Storage 目標 - 請求 | ||||||||||||||||||
請注意請求示例中帶有内聯評論突出显示的行,其中提供了其他信息。 將請求複製粘貼到所选終端時,移除請求中的内聯評論。
下表提供了該
|
回應
accordion | ||
---|---|---|
建立資料流 — 回應 | ||
|
要求
accordion | ||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
建立資料集資料流到Azure Data Lake Gen 2(ADLS Gen2)目的地 — 請求 | ||||||||||||||||||
請注意請求範例中反白顯示內嵌註解的行,這些註解會提供額外資訊。 將請求複製貼上您選擇的終端機時,移除請求中的內嵌註解。
下表提供
|
回應
accordion | ||
---|---|---|
建立數據流 - 回應 | ||
|
要求
accordion | ||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
建立資料集資料流到Data Landing Zone目的地 — 請求 | ||||||||||||||||||
請注意請求範例中反白顯示內嵌註解的行,這些註解會提供額外資訊。 將請求複製貼上您選擇的終端機時,移除請求中的內嵌註解。
下表提供
|
回應
accordion | ||
---|---|---|
建立資料流 — 回應 | ||
|
要求
accordion | ||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
建立資料集資料流到Google Cloud Storage目的地 — 請求 | ||||||||||||||||||
請注意請求範例中反白顯示內嵌註解的行,這些註解會提供額外資訊。 將請求複製粘貼到所选終端時,移除請求中的内聯評論。
下表提供了該
|
回應
accordion | ||
---|---|---|
建立資料流 — 回應 | ||
|
要求
accordion | ||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
建立資料集資料流至SFTP目的地 — 請求 | ||||||||||||||||||
請注意請求範例中反白顯示內嵌註解的行,這些註解會提供額外資訊。 將請求複製貼上您選擇的終端機時,移除請求中的內嵌註解。
下表提供
|
回應
accordion | ||
---|---|---|
建立數據流 - 回應 | ||
|
記下回應中的數據流ID。 擷取資料流執行以驗證成功的日期集匯出時,下個步驟將需要此ID。
取得資料流執行 get-dataflow-runs
若要檢查資料流的執行,請使用資料流執行API:
要求
在擷取資料流執行的請求中,在建立資料流時,將您在上一步驟中取得的資料流ID新增為查詢引數。
code language-shell |
---|
|
回應
code language-json |
---|
|
您可以在API參考檔案中找到有關資料流執行API🔗傳回的各種引數的資訊。
驗證資料集匯出成功 verify
匯出資料集時,Experience Platform會在您提供的儲存位置中建立.json
或.parquet
檔案。 預期會根據您在建立資料流時提供的匯出排程,將新檔案儲存在您的儲存位置。
Experience Platform會在您指定的儲存位置中建立資料夾結構,並存放匯出的資料集檔案。 每次匯出時都會建立一個新資料夾,其模式如下:
folder-name-you-provided/datasetID/exportTime=YYYYMMDDHHMM
預設檔案名稱是隨機產生的,並確保匯出的檔案名稱是唯一的。
範例資料集檔案 sample-files
這些檔案存在於您的儲存位置即表示匯出成功。 若要瞭解匯出的檔案是如何建構的,您可以下載範例.parquet檔案或.json檔案。
壓縮的資料集檔案 compressed-dataset-files
在建立目標連線的步驟中,您可以選取要壓縮的匯出資料集檔案。
請注意兩種檔案型別在壓縮時的檔案格式差異:
- 匯出壓縮的JSON檔案時,匯出的檔案格式為
json.gz
- 匯出壓縮的parquet檔案時,匯出的檔案格式為
gz.parquet
- JSON檔案只能以壓縮模式匯出。
API錯誤處理 api-error-handling
本教學課程中的API端點會遵循一般Experience Platform API錯誤訊息原則。 如需解譯錯誤回應的詳細資訊,請參閱Experience Platform疑難排解指南中的API狀態碼和請求標頭錯誤。
已知限制 known-limitations
檢視關於資料集匯出的已知限制。
常見問題 faq
檢視關於資料集匯出的常見問題🔗的清單。
後續步驟 next-steps
依照本教學課程中的指示,您已成功將Experience Platform連線至其中一個慣用的批次雲端儲存目的地,並設定資料流至個別目的地以匯出資料集。 如需詳細資訊,請參閱下列頁面,例如如何使用流量服務API編輯現有資料流: