Flow Service API を使用したデータセットの書き出し
最終更新日： 2025年5月5日
- トピック：
- 宛先
作成対象：
- 管理者
- ユーザー
AVAILABILITY- この機能は、Real-Time CDP PrimeとUltimateのパッケージ、Adobe Journey OptimizerまたはCustomer Journey Analyticsを購入したお客様が利用できます。 詳しくは、Adobe担当者にお問い合わせください。
IMPORTANTアクション項目:2024 年 9 月リリースのExperience Platform では、データセットデータフローの書き出し
endTime 日を設定するオプションが導入されました。 また、Adobeでは、（2024 年 9 月リリースより前に 作成されたすべてのデータセット書き出しデータフローのデフォルト終了日が 2025 年 9 月 1 日と導入されました。これらのデータフローのいずれについても、終了日より前に、データフローの終了日を手動で更新する必要があります。さもないと、書き出しはその日に停止します。 Experience Platform UI を使用して、2025 年 9 月 1 日（PT）に停止に設定されるデータフローを確認します。
同様に、
endTime 定日を指定せずに作成したデータフローの場合、デフォルトでは作成時点から 6 か月後の終了時刻になります。この記事では、Flow Service API を使用して、Adobe Experience Platformから目的のクラウドストレージの場所（Amazon S3、SFTP の場所または Google Cloud Storage など 🔗 データセット を書き出すために必要なワークフローについて説明します。
TIPExperience Platform ユーザーインターフェイスを使用して、データセットを書き出すこともできます。 詳しくは、 データセット UI の書き出しチュートリアルを参照してください。
書き出すことができるデータセット
書き出し可能なデータセットは、Experience Platform アプリケーション（Real-Time CDP、Adobe Journey Optimizer）、層（PrimeまたはUltimate）、購入したアドオン（例：Data Distiller）によって異なります。
書き出し可能なデータセットについては、UI チュートリアルページの表を参照してください。
サポートされる宛先
現在、スクリーンショットでハイライト表示され、以下に示されているクラウドストレージの宛先にデータセットを書き出すことができます。
前提条件
データセットを書き出すには、次の前提条件に注意してください。
- データセットをクラウドストレージ宛先に書き出すには、正常に宛先に接続されている必要があります。まだ接続していない場合は、宛先カタログに移動し、サポートされている宛先を参照し、使用する宛先を設定します。
- リアルタイム顧客プロファイルで使用するには、プロファイルデータセットを有効にする必要があります。 このオプションを有効にする方法については、 詳細情報を参照してください。
はじめに
このガイドでは、Adobe Experience Platform の次のコンポーネントに関する十分な知識が必要です。
- Experience Platform datasets:Adobe Experience Platformに正常に取り込まれたすべてのデータは、Data Lake 内にデータセットとして保持されます。 データセットは、通常、スキーマ（列）とフィールド（行）を含むテーブルであるデータコレクションのストレージと管理をおこなう構成体です。データセットには、保存するデータの様々な側面を記述したメタデータも含まれます。
- Sandboxes：Experience Platform には、単一の Experience Platform インスタンスを別々の仮想環境に分割し、デジタルエクスペリエンスアプリケーションの開発と発展に役立つ仮想サンドボックスが用意されています。
以下の節では、Experience Platformのクラウドストレージの宛先にデータセットを書き出すために知っておく必要がある追加情報を示します。
必要な権限
データセットを書き出すには、宛先の表示、データセットの表示 および データセットの宛先の管理とアクティブ化 アクセス制御権限が必要です。 必要な権限を取得するには、アクセス制御の概要を参照するか、製品管理者に問い合わせてください。
データセットの書き出しに必要な権限があることと、宛先でデータセットの書き出しがサポートされていることを確認するには、宛先カタログを参照します。 宛先に「アクティブ化」または「データセットを書き出し」コントロールがある場合、適切な権限を持っています。
API 呼び出し例の読み取り
このチュートリアルでは、API 呼び出しの例を提供し、リクエストの形式を設定する方法を示します。これには、パス、必須ヘッダー、適切な形式のリクエストペイロードが含まれます。また、API レスポンスで返されるサンプル JSON も示されています。ドキュメントで使用される API 呼び出し例の表記について詳しくは、 トラブルシューテングガイドのAPI 呼び出し例の読み方に関する節を参照してくださいExperience Platform。
必須ヘッダーおよびオプションヘッダーの値の収集
Experience Platform API を呼び出すには、まず Experience Platform認証チュートリアルを完了する必要があります。 次に示すように、すべての Experience Platform API 呼び出しに必要な各ヘッダーの値は認証チュートリアルで説明されています。
- Authorization： Bearer
{ACCESS_TOKEN} - x-api-key：
{API_KEY} - x-gw-ims-org-id：
{ORG_ID}
Experience Platform のリソースは、特定の仮想サンドボックスに分離できます。Experience Platform API へのリクエストでは、操作を実行するサンドボックスの名前と ID を指定できます。次に、オプションのパラメーターを示します。
- x-sandbox-name：
{SANDBOX_NAME}
NOTEExperience Platform のサンドボックスについて詳しくは、サンドボックスの概要に関するドキュメントを参照してください。
ペイロード（POST、PUT、PATCH）を含むすべてのリクエストには、メディアのタイプを指定する以下のような追加ヘッダーが必要です。
- Content-Type:
application/json
API リファレンスドキュメント
このチュートリアルに含まれるすべての API 操作について、付属リファレンスドキュメントが用意されています。Adobe Developer web サイト 🔗 で Flow Service - Destinations API ドキュメントを参照してください。 このチュートリアルと API リファレンスのドキュメントを並行して使用することをお勧めします。
用語集
この API チュートリアルで発生する用語については、API リファレンスドキュメントの 用語集の節を参照してください。
目的の宛先の接続仕様とフロー仕様を収集します
データセットの書き出しワークフローを開始する前に、データセットの書き出し先となる宛先の接続仕様およびフロー仕様 ID を特定します。 以下の表を参照してください。
宛先
接続仕様
フロー仕様
Amazon S3
4fce964d-3f37-408f-9778-e597338a21ee269ba276-16fc-47db-92b0-c1049a3c131fAzure Blob Storage
6d6b59bf-fb58-4107-9064-4d246c0e5bb295bd8965-fc8a-4119-b9c3-944c2c2df6d2Azure Data Lake Gen 2(ADLS Gen2)
be2c3209-53bc-47e7-ab25-145db8b873e117be2013-2549-41ce-96e7-a70363bec293Data Landing Zone(DLZ)
10440537-2a7b-4583-ac39-ed38d4b848e8cd2fc47e-e838-4f38-a581-8fff2f99b63aGoogle Cloud Storage
c5d93acb-ea8b-4b14-8f53-02138444ae99585c15c4-6cbf-4126-8f87-e26bff78b657SFTP
36965a81-b1c6-401b-99f8-22508f1e6a26354d6aad-4754-46e4-a576-1b384561c440様々な Flow Service エンティティを作成するには、これらの ID が必要です。 また、Flow Service APIs から Connection Spec ータを取得できるように、Connection Spec 自体の一部を参照して、特定のエンティティを設定する必要があります。 テーブル内のすべての宛先の接続仕様を取得する例を以下に示します。
Amazon S3
リクエスト
Amazon S3 の connection spec の取得
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/4fce964d-3f37-408f-9778-e597338a21ee' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'
応答
Amazon S3 – 接続仕様
{
"items": [
{
"id": "4fce964d-3f37-408f-9778-e597338a21ee",
"name": "Amazon S3",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
//...
Azure Blob Storage
リクエスト
Azure Blob Storage の connection spec の取得
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/6d6b59bf-fb58-4107-9064-4d246c0e5bb2' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'
応答
Azure Blob Storage - Connection spec
{
"items": [
{
"id": "6d6b59bf-fb58-4107-9064-4d246c0e5bb2",
"name": "Azure Blob Storage",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
//...
Azure Data Lake Gen 2 （ADLS Gen2）
リクエスト
Azure Data Lake Gen 2(ADLS Gen2 の connection spec の取得）
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/be2c3209-53bc-47e7-ab25-145db8b873e1' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'
応答
Azure Data Lake Gen 2(ADLS Gen2) - Connection spec
{
"items": [
{
"id": "be2c3209-53bc-47e7-ab25-145db8b873e1",
"name": "Azure Data Lake Gen2",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
//...
データランディングゾーン（DLZ）
リクエスト
Data Landing Zone(DLZ) の connection spec の取得
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/10440537-2a7b-4583-ac39-ed38d4b848e8' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'
応答
Data Landing Zone(DLZ) - Connection spec
{
"items": [
{
"id": "10440537-2a7b-4583-ac39-ed38d4b848e8",
"name": "Data Landing Zone",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
//...
Google Cloud Storage
リクエスト
Google Cloud Storage の connection spec の取得
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/c5d93acb-ea8b-4b14-8f53-02138444ae99' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'
応答
Google Cloud Storage - Connection spec
{
"items": [
{
"id": "c5d93acb-ea8b-4b14-8f53-02138444ae99",
"name": "Google Cloud Storage",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
//...
SFTP
リクエスト
SFTP の connection spec の取得
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/36965a81-b1c6-401b-99f8-22508f1e6a26' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'
応答
SFTP - Connection spec
{
"items": [
{
"id": "36965a81-b1c6-401b-99f8-22508f1e6a26",
"name": "SFTP",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
//...
クラウドストレージの宛先へのデータセットデータフローを設定するには、次の手順に従います。 一部の手順では、リクエストと応答はクラウドストレージの様々な宛先間で異なります。 その場合、ページ上のタブを使用して、データセットの接続および書き出し先となる宛先に固有のリクエストと応答を取得します。 設定している宛先に適した connection spec と flow spec を使用してください。
データセットのリストの取得
アクティベーションの対象となるデータセットのリストを取得するには、まず以下のエンドポイントに対して API 呼び出しを行います。
recommendation-more-help
リクエスト
適格なデータセットの取得 – リクエスト
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/23598e46-f560-407b-88d5-ea6207e49db0/configs?outputType=activationDatasets&outputField=datasets&start=0&limit=20&properties=name,state' \
--header 'accept: application/json' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-api-key: {API_KEY}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'
適格なデータセットを取得するには、リクエスト URL で使用される connection spec ID が Data Lake ソース接続仕様 ID の 23598e46-f560-407b-88d5-ea6207e49db0 である必要があり、outputField=datasets と outputType=activationDatasets の 2 つのクエリパラメーターを指定する必要があります。 その他のすべてのクエリパラメーターは、Catalog Service API でサポートされる標準のクエリパラメーターです。
応答
データセットの取得 – 応答
{
"items": [
{
"id": "5ef3e324052581191aa6a466",
"name": "AAM Authenticated Profiles Meta Data",
"description": "Activation profile export dataset",
"fileDescription": {
"persisted": true,
"containerFormat": "parquet",
"format": "parquet"
},
"aspect": "production",
"state": "DRAFT"
},
{
"id": "5ef3e3259ad2a1191ab7dd7d",
"name": "AAM Devices Data",
"description": "Activation profile export dataset",
"fileDescription": {
"persisted": true,
"containerFormat": "parquet",
"format": "parquet"
},
"aspect": "production",
"state": "DRAFT"
},
{
"id": "5ef3e325582424191b1beb42",
"name": "AAM Devices Profile Meta Data",
"description": "Activation profile export dataset",
"fileDescription": {
"persisted": true,
"containerFormat": "parquet",
"format": "parquet"
},
"aspect": "production",
"state": "DRAFT"
},
{
"id": "5ef3e328582424191b1beb44",
"name": "AAM Realtime",
"description": "Activation profile export dataset",
"fileDescription": {
"persisted": true,
"containerFormat": "parquet",
"format": "parquet"
},
"aspect": "production",
"state": "DRAFT"
},
{
"id": "5ef3e328fe742a191b2b3ea5",
"name": "AAM Realtime Profile Updates",
"description": "Activation profile export dataset",
"fileDescription": {
"persisted": true,
"containerFormat": "parquet",
"format": "parquet"
},
"aspect": "production",
"state": "DRAFT"
}
],
"pageInfo": {
"start": 0,
"end": 4,
"total": 149,
"hasNext": true
}
}
成功した応答には、アクティブ化の対象となるデータセットのリストが含まれます。 これらのデータセットは、次の手順でソース接続を作成するときに使用できます。
返される各データセットの様々な応答パラメーターについて詳しくは、 データセット API 開発者向けドキュメントを参照してください。
ソース接続の作成
書き出すデータセットのリストを取得したら、それらのデータセット ID を使用してソース接続を作成できます。
リクエスト
ソース接続を作成 – リクエスト
リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/sourceConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Connecting to Data Lake",
"description": "Data Lake source connection to export datasets",
"connectionSpec": {
"id": "23598e46-f560-407b-88d5-ea6207e49db0", // this connection spec ID is always the same for Source Connections
"version": "1.0"
},
"params": {
"datasets": [ // datasets to activate
{
"dataSetId": "5ef3e3259ad2a1191ab7dd7d",
"name": "AAM Devices Data"
}
]
}
}'
応答
ソース接続の作成 – 応答
{
"id": "900df191-b983-45cd-90d5-4c7a0326d650",
"etag": "\"0500ebe1-0000-0200-0000-63e28d060000\""
}
リクエストが成功した場合は、新しく作成したソース接続の ID （id）と etag が返されます。 後でデータフローを作成する際に必要になるので、ソース接続 ID をメモしておきます。
また、次の点にも注意してください。
- この手順で作成したソース接続は、そのデータセットが宛先に対してアクティブ化されるように、データフローにリンクされている必要があります。 ソース接続をデータフローにリンクする方法については、 データフローの作成の節を参照してください。
- 作成後にソース接続のデータセット ID を変更することはできません。 ソース接続にデータセットを追加または削除する必要がある場合は、新しいソース接続を作成し、新しいソース接続の ID をデータフローにリンクする必要があります。
（ターゲット）ベース接続の作成
ベース接続は、資格情報を宛先に安全に保存します。 宛先のタイプによって、その宛先に対して認証するために必要な資格情報は異なる場合があります。 これらの認証パラメーターを見つけるには、 接続仕様とフロー仕様の収集の節で説明されているように、最初に目的の宛先の connection spec を取得し、次に応答の authSpec を確認します。 サポートされているすべての宛先の authSpec プロパティについては、以下のタブを参照してください。
Amazon S3
auth spec を表示している Amazon S3 - Connection spec
次の connection spec の例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。この例では、connection spec 内の認証パラメーターの場所に関する追加情報を提供しています。
{
"items": [
{
"id": "4fce964d-3f37-408f-9778-e597338a21ee",
"name": "Amazon S3",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [ // describes the authentication parameters
{
"name": "Access Key",
"type": "KeyBased",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"description": "Defines auth params required for connecting to amazon-s3",
"type": "object",
"properties": {
"s3AccessKey": {
"description": "Access key id",
"type": "string",
"pattern": "^[A-Z2-7]{20}$"
},
"s3SecretKey": {
"description": "Secret access key for the user account",
"type": "string",
"format": "password",
"pattern": "^[A-Za-z0-9\/+]{40}$"
}
},
"required": [
"s3SecretKey",
"s3AccessKey"
]
}
}
],
//...
Azure Blob Storage
auth spec を表示している Azure Blob Storage - Connection spec
次の connection spec の例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。この例では、connection spec 内の認証パラメーターの場所に関する追加情報を提供しています。
{
"items": [
{
"id": "6d6b59bf-fb58-4107-9064-4d246c0e5bb2",
"name": "Azure Blob Storage",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [ // describes the authentication parameters
{
"name": "ConnectionString",
"type": "ConnectionString",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"description": "Connection String for Azure Blob based destinations",
"type": "object",
"properties": {
"connectionString": {
"description": "connection string for login",
"type": "string",
"format": "password"
}
},
"required": [
"connectionString"
]
}
}
],
//...
Azure Data Lake Gen 2 （ADLS Gen2）
auth spec を表示している Azure Data Lake Gen 2(ADLS Gen2) - Connection spec
次の connection spec の例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。この例では、connection spec 内の認証パラメーターの場所に関する追加情報を提供しています。
{
"items": [
{
"id": "be2c3209-53bc-47e7-ab25-145db8b873e1",
"name": "Azure Data Lake Gen2",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [ // describes the authentication parameters
{
"name": "Azure Service Principal Auth",
"type": "AzureServicePrincipal",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"description": "defines auth params required for connecting to adlsgen2 using service principal",
"type": "object",
"properties": {
"url": {
"description": "Endpoint for Azure Data Lake Storage Gen2.",
"type": "string"
},
"servicePrincipalId": {
"description": "Service Principal Id to connect to ADLSGen2.",
"type": "string"
},
"servicePrincipalKey": {
"description": "Service Principal Key to connect to ADLSGen2.",
"type": "string",
"format": "password"
},
"tenant": {
"description": "Tenant information(domain name or tenant ID).",
"type": "string"
}
},
"required": [
"servicePrincipalKey",
"url",
"tenant",
"servicePrincipalId"
]
}
}
],
//...
データランディングゾーン（DLZ）
auth spec を表示している Data Landing Zone(DLZ) - Connection spec
NOTEデータランディングゾーンの宛先には auth spec は必要ありません。
{
"items": [
{
"id": "10440537-2a7b-4583-ac39-ed38d4b848e8",
"name": "Data Landing Zone",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [],
//...
Google Cloud Storage
auth spec を表示している Google Cloud Storage - Connection spec
次の connection spec の例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。この例では、connection spec 内の認証パラメーターの場所に関する追加情報を提供しています。
{
"items": [
{
"id": "c5d93acb-ea8b-4b14-8f53-02138444ae99",
"name": "Google Cloud Storage",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [ // describes the authentication parameters
{
"name": "Google Cloud Storage authentication credentials",
"type": "GoogleCloudStorageAuth",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"description": "defines auth params required for connecting to google cloud storage connector.",
"type": "object",
"properties": {
"accessKeyId": {
"description": "Access Key Id for the user account",
"type": "string"
},
"secretAccessKey": {
"description": "Secret Access Key for the user account",
"type": "string",
"format": "password"
}
},
"required": [
"accessKeyId",
"secretAccessKey"
]
}
}
],
//...
SFTP
SFTP - auth spec を表示する Connection spec
NOTESFTP 宛先には、パスワードと SSH キー認証の両方をサポートしているので、auth spec に 2 つの異なる項目が含まれています。
次の connection spec の例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。この例では、connection spec 内の認証パラメーターの場所に関する追加情報を提供しています。
{
"items": [
{
"id": "36965a81-b1c6-401b-99f8-22508f1e6a26",
"name": "SFTP",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [ // describes the authentication parameters
{
"name": "SFTP with Password",
"type": "SFTP",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"description": "defines auth params required for connecting to sftp locations with a password",
"type": "object",
"properties": {
"domain": {
"description": "Domain of server",
"type": "string"
},
"username": {
"description": "Username",
"type": "string"
},
"password": {
"description": "Password",
"type": "string",
"format": "password"
}
},
"required": [
"password",
"domain",
"username"
]
}
},
{
"name": "SFTP with SSH Key",
"type": "SFTP",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"description": "defines auth params required for connecting to sftp locations using SSH Key",
"type": "object",
"properties": {
"domain": {
"description": "Domain of server",
"type": "string"
},
"username": {
"description": "Username",
"type": "string"
},
"sshKey": {
"description": "Base64 string of the private SSH key",
"type": "string",
"format": "password",
"contentEncoding": "base64",
"uiAttributes": {
"tooltip": {
"id": "platform_destinations_connect_sftp_ssh",
"fallbackUrl": "http://www.adobe.com/go/destinations-sftp-connection-parameters-en "
}
}
}
},
"required": [
"sshKey",
"domain",
"username"
]
}
}
],
//...
認証仕様で指定されたプロパティ（つまり、応答からの authSpec）を使用して、以下の例に示すように、各宛先タイプに固有の必要な資格情報を含むベース接続を作成できます。
Amazon S3
リクエスト
Amazon S3 - ベース接続リクエスト
TIP必要な認証資格情報の取得方法について詳しくは、Amazon S3 の宛先ドキュメントページの 宛先への認証の節を参照してください。
リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
"name": "Amazon S3 Base Connection",
"auth": {
"specName": "Access Key",
"params": {
"s3SecretKey": "<Add secret key>",
"s3AccessKey": "<Add access key>"
}
},
"connectionSpec": {
"id": "4fce964d-3f37-408f-9778-e597338a21ee", // Amazon S3 connection spec
"version": "1.0"
}
}'
応答
Amazon S3 ベース接続応答
{
"id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Azure Blob Storage
リクエスト
Azure Blob Storage - ベース接続リクエスト
TIP必要な認証資格情報の取得方法について詳しくは、Azure Blob Storage 宛先ドキュメントページの 宛先への認証の節を参照してください。
リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
"name": "Azure Blob Storage Base Connection",
"auth": {
"specName": "ConnectionString",
"params": {
"connectionString": "<Add Azure Blob connection string>"
}
},
"connectionSpec": {
"id": "6d6b59bf-fb58-4107-9064-4d246c0e5bb2", // Azure Blob Storage connection spec
"version": "1.0"
}
}'
応答
Azure Blob Storage - ベース接続応答
{
"id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Azure Data Lake Gen 2 （ADLS Gen2）
リクエスト
Azure Data Lake Gen 2(ADLS Gen2) - ベース接続リクエスト
TIP必要な認証資格情報の取得方法については、Azure Data Lake Gen 2 （ADLS Gen2）宛先ドキュメントページの 宛先への認証の節を参照してください。
リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
"name": "Azure Data Lake Gen 2(ADLS Gen2) Base Connection",
"auth": {
"specName": "Azure Service Principal Auth",
"params": {
"servicePrincipalKey": "<Add servicePrincipalKey>",
"url": "<Add url>",
"tenant": "<Add tenant>",
"servicePrincipalId": "<Add servicePrincipalId>"
}
},
"connectionSpec": {
"id": "be2c3209-53bc-47e7-ab25-145db8b873e1", // Azure Data Lake Gen 2(ADLS Gen2) connection spec
"version": "1.0"
}
}'
応答
Azure Data Lake Gen 2(ADLS Gen2) - ベース接続応答
{
"id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
データランディングゾーン（DLZ）
リクエスト
Data Landing Zone(DLZ) - ベース接続リクエスト
TIPデータランディングゾーンの宛先には、認証資格情報は必要ありません。 詳しくは、データランディングゾーンの宛先に関するドキュメントページの 宛先への認証の節を参照してください。
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
"name": "Data Landing Zone Base Connection",
"connectionSpec": {
"id": "3567r537-2a7b-4583-ac39-ed38d4b848e8",
"version": "1.0"
}
}'
応答
Data Landing Zone - ベース接続応答
{
"id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Google Cloud Storage
リクエスト
Google Cloud Storage - ベース接続リクエスト
TIP必要な認証資格情報の取得方法について詳しくは、Google Cloud Storage の宛先ドキュメントページの 宛先への認証の節を参照してください。
リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
"name": "Google Cloud Storage Base Connection",
"auth": {
"specName": "Google Cloud Storage authentication credentials",
"params": {
"accessKeyId": "<Add accessKeyId>",
"secretAccessKey": "<Add secret Access Key>"
}
},
"connectionSpec": {
"id": "c5d93acb-ea8b-4b14-8f53-02138444ae99", // Google Cloud Storage connection spec
"version": "1.0"
}
}'
応答
Google Cloud Storage - ベース接続応答
{
"id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
SFTP
リクエスト
パスワードを使用した SFTP - ベース接続リクエスト
TIP必要な認証資格情報の取得方法について詳しくは、SFTP 宛先ドキュメントページの 宛先への認証の節を参照してください。
リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
"name": "SFTP with password Base Connection",
"auth": {
"specName": "SFTP with Password",
"params": {
"domain": "<Add domain>",
"username": "<Add username>",
"password": "<Add password>"
}
},
"connectionSpec": {
"id": "36965a81-b1c6-401b-99f8-22508f1e6a26", // SFTP connection spec
"version": "1.0"
}
}'
SSH キーを使用した SFTP - ベース接続リクエスト
TIP必要な認証資格情報の取得方法について詳しくは、SFTP 宛先ドキュメントページの 宛先への認証の節を参照してください。
リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
"name": "SFTP with SSH key Base Connection",
"auth": {
"specName": "SFTP with SSH Key",
"params": {
"domain": "<Add domain>",
"username": "<Add username>",
"sshKey": "<Add SSH key>"
}
},
"connectionSpec": {
"id": "36965a81-b1c6-401b-99f8-22508f1e6a26", // SFTP connection spec
"version": "1.0"
}
}'
応答
SFTP - ベース接続応答
{
"id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
応答からの接続 ID をメモしておきます。 この ID は、次の手順でターゲット接続を作成する際に必要になります。
ターゲット接続の作成
次に、データセットの書き出しパラメーターを保存するターゲット接続を作成する必要があります。 書き出しパラメーターには、場所、ファイル形式、圧縮、その他の詳細が含まれます。 各宛先タイプでサポートされているプロパティについて理解するには、宛先の接続仕様に記載されている targetSpec のプロパティを参照します。 サポートされているすべての宛先の targetSpec プロパティについては、以下のタブを参照してください。
IMPORTANTJSON ファイルへの書き出しは、圧縮モードでのみサポートされます。 Parquet ファイルへの書き出しは、圧縮モードと非圧縮モードの両方でサポートされています。
書き出される JSON ファイルの形式は NDJSON であり、ビッグデータエコシステムの標準の交換形式です。 Adobeでは、書き出されたファイルを読み取るために NDJSON 互換のクライアントを使用することをお勧めします。
Amazon S3
Amazon S3 - ターゲット接続パラメーターを示す Connection spec
次の connection spec の例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。これは、接続仕様で target spec のパラメーターが見つかる場所に関する追加情報を提供します。 以下の例では、データセット書き出し宛先に適用されない 適用されない ターゲットパラメーターも確認できます。
{
"items": [
{
"id": "4fce964d-3f37-408f-9778-e597338a21ee",
"name": "Amazon S3",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [...],
"encryptionSpecs": [...],
"targetSpec": { // describes the target connection parameters
"name": "User based target",
"type": "UserNamespace",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {
"bucketName": {
"title": "Bucket name",
"description": "Bucket name",
"type": "string",
"pattern": "(?=^.{3,63}$)(?!^(\\d+\\.)+\\d+$)(^(([a-z0-9]|[a-z0-9][a-z0-9\\-]*[a-z0-9])\\.)*([a-z0-9]|[a-z0-9][a-z0-9\\-]*[a-z0-9])$)",
"uiAttributes": {
"tooltip": {
"id": "platform_destinations_connect_s3_bucket",
"fallbackUrl": "http://www.adobe.com/go/destinations-amazon-s3-connection-parameters-en"
}
}
},
"path": {
"title": "Folder path",
"description": "Output path for copying files",
"type": "string",
"pattern": "^[0-9a-zA-Z\/\\!\\-_\\.\\*\\''\\(\\)]*((\\%SEGMENT_(NAME|ID)\\%)?\/?)+$",
"uiAttributes": {
"tooltip": {
"id": "platform_destinations_connect_s3_folderpath",
"fallbackUrl": "http://www.adobe.com/go/destinations-amazon-s3-connection-parameters-en"
}
}
},
"fileType": {...}, // not applicable to dataset destinations
"datasetFileType": {
"conditional": {
"field": "flowSpec.attributes._workflow",
"operator": "CONTAINS",
"value": "DATASETS"
},
"title": "File Type",
"description": "Select file format",
"type": "string",
"enum": [
"JSON",
"PARQUET"
]
},
"csvOptions": {...}, // not applicable to dataset destinations
"compression": {
"title": "Compression format",
"description": "Select the desired file compression format.",
"type": "string",
"enum": [
"NONE",
"GZIP"
]
}
},
"required": [
"bucketName",
"path",
"datasetFileType",
"compression",
"fileType"
]
}
//...
Azure Blob Storage
Azure Blob Storage - ターゲット接続パラメーターを示す Connection spec
次の connection spec の例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。これは、接続仕様で target spec のパラメーターが見つかる場所に関する追加情報を提供します。 以下の例では、データセット書き出し宛先に適用されない 適用されない ターゲットパラメーターも確認できます。
{
"items": [
{
"id": "6d6b59bf-fb58-4107-9064-4d246c0e5bb2",
"name": "Azure Blob Storage",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [...],
"encryptionSpecs": [...],
"targetSpec": { // describes the target connection parameters
"name": "User based target",
"type": "UserNamespace",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {
"path": {
"title": "Folder path",
"description": "Output path (relative) indicating where to upload the data",
"type": "string",
"pattern": "^[0-9a-zA-Z\/\\!\\-_\\.\\*\\'\\(\\)]+$"
},
"container": {
"title": "Container",
"description": "Container within the storage where to upload the data",
"type": "string",
"pattern": "^[a-z0-9](?!.*--)[a-z0-9-]{1,61}[a-z0-9]$"
},
"fileType": {...}, // not applicable to dataset destinations
"datasetFileType": {
"conditional": {
"field": "flowSpec.attributes._workflow",
"operator": "CONTAINS",
"value": "DATASETS"
},
"title": "File Type",
"description": "Select file format",
"type": "string",
"enum": [
"JSON",
"PARQUET"
]
},
"csvOptions": {...}, // not applicable to dataset destinations
"compression": {
"title": "Compression format",
"description": "Select the desired file compression format.",
"type": "string",
"enum": [
"NONE",
"GZIP"
]
}
},
"required": [
"container",
"path",
"datasetFileType",
"compression",
"fileType"
]
}
//...
Azure Data Lake Gen 2 （ADLS Gen2）
Azure Data Lake Gen 2(ADLS Gen2) - ターゲット接続パラメーターを示す Connection spec
次の connection spec の例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。これは、接続仕様で target spec のパラメーターが見つかる場所に関する追加情報を提供します。 以下の例では、データセット書き出し宛先に適用されない 適用されない ターゲットパラメーターも確認できます。
{
"items": [
{
"id": "be2c3209-53bc-47e7-ab25-145db8b873e1",
"name": "Azure Data Lake Gen2",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [...],
"encryptionSpecs": [...],
"targetSpec": { // describes the target connection parameters
"name": "User based target",
"type": "UserNamespace",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {
"path": {
"title": "Folder path",
"description": "Enter the path to your Azure Data Lake Storage folder",
"type": "string"
},
"fileType": {...}, // not applicable to dataset destinations
"datasetFileType": {
"conditional": {
"field": "flowSpec.attributes._workflow",
"operator": "CONTAINS",
"value": "DATASETS"
},
"title": "File Type",
"description": "Select file format",
"type": "string",
"enum": [
"JSON",
"PARQUET"
]
},
"csvOptions":{...}, // not applicable to dataset destinations
"compression": {
"title": "Compression format",
"description": "Select the desired file compression format.",
"type": "string",
"enum": [
"NONE",
"GZIP"
]
}
},
"required": [
"path",
"datasetFileType",
"compression",
"fileType"
]
}
//...
データランディングゾーン（DLZ）
Data Landing Zone(DLZ) - ターゲット接続パラメーターを示す Connection spec
次の connection spec の例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。これは、接続仕様で target spec のパラメーターが見つかる場所に関する追加情報を提供します。 以下の例では、データセット書き出し宛先に適用されない 適用されない ターゲットパラメーターも確認できます。
"items": [
{
"id": "10440537-2a7b-4583-ac39-ed38d4b848e8",
"name": "Data Landing Zone",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [],
"encryptionSpecs": [],
"targetSpec": { // describes the target connection parameters
"name": "User based target",
"type": "UserNamespace",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {
"path": {
"title": "Folder path",
"description": "Enter the path to your Azure Data Lake Storage folder",
"type": "string"
},
"fileType": {...}, // not applicable to dataset destinations
"datasetFileType": {
"conditional": {
"field": "flowSpec.attributes._workflow",
"operator": "CONTAINS",
"value": "DATASETS"
},
"title": "File Type",
"description": "Select file format",
"type": "string",
"enum": [
"JSON",
"PARQUET"
]
},
"csvOptions": {...}, // not applicable to dataset destinations
"compression": {
"title": "Compression format",
"description": "Select the desired file compression format.",
"type": "string",
"enum": [
"NONE",
"GZIP"
]
}
},
"required": [
"path",
"datasetFileType",
"compression",
"fileType"
]
}
//...
Google Cloud Storage
Google Cloud Storage - ターゲット接続パラメーターを示す Connection spec
次の connection spec の例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。これは、接続仕様で target spec のパラメーターが見つかる場所に関する追加情報を提供します。 以下の例では、データセット書き出し宛先に適用されない 適用されない ターゲットパラメーターも確認できます。
{
"items": [
{
"id": "c5d93acb-ea8b-4b14-8f53-02138444ae99",
"name": "Google Cloud Storage",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [...],
"encryptionSpecs": [...],
"targetSpec": { // describes the target connection parameters
"name": "User based target",
"type": "UserNamespace",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {
"bucketName": {
"title": "Bucket name",
"description": "Bucket name",
"type": "string",
"pattern": "(?!^goog.*$)(?!^.*g(o|0)(o|0)gle.*$)(((?=^.{3,63}$)(^([a-z0-9]|[a-z0-9][a-z0-9\\-_]*)[a-z0-9]$))|((?=^.{3,222}$)(?!^(\\d+\\.)+\\d+$)(^(([a-z0-9]{1,63}|[a-z0-9][a-z0-9\\-_]{1,61}[a-z0-9])\\.)*([a-z0-9]{1,63}|[a-z0-9][a-z0-9\\-_]{1,61}[a-z0-9])$)))"
},
"path": {
"title": "Folder path",
"description": "Output path for copying files",
"type": "string",
"pattern": "^[0-9a-zA-Z\/\\!\\-_\\.\\*\\''\\(\\)]*((\\%SEGMENT_(NAME|ID)\\%)?\/?)+$"
},
"fileType": {...}, // not applicable to dataset destinations
"datasetFileType": {
"conditional": {
"field": "flowSpec.attributes._workflow",
"operator": "CONTAINS",
"value": "DATASETS"
},
"title": "File Type",
"description": "Select file format",
"type": "string",
"enum": [
"JSON",
"PARQUET"
]
},
"csvOptions": {...}, // not applicable to dataset destinations
"compression": {
"title": "Compression format",
"description": "Select the desired file compression format.",
"type": "string",
"enum": [
"NONE",
"GZIP"
]
}
},
"required": [
"bucketName",
"path",
"datasetFileType",
"compression",
"fileType"
]
}
//...
SFTP
SFTP - ターゲット接続パラメーターを表示する Connection spec
次の connection spec の例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。これは、接続仕様で target spec のパラメーターが見つかる場所に関する追加情報を提供します。 以下の例では、データセット書き出し宛先に適用されない 適用されない ターゲットパラメーターも確認できます。
{
"items": [
{
"id": "36965a81-b1c6-401b-99f8-22508f1e6a26",
"name": "SFTP",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [...],
"encryptionSpecs": [...],
"targetSpec": { // describes the target connection parameters
"name": "User based target",
"type": "UserNamespace",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {
"remotePath": {
"title": "Folder path",
"description": "Enter your folder path",
"type": "string"
},
"fileType": {...}, // not applicable to dataset destinations
"datasetFileType": {
"conditional": {
"field": "flowSpec.attributes._workflow",
"operator": "CONTAINS",
"value": "DATASETS"
},
"title": "File Type",
"description": "Select file format",
"type": "string",
"enum": [
"JSON",
"PARQUET"
]
},
"csvOptions": {...}, // not applicable to dataset destinations
"compression": {
"title": "Compression format",
"description": "Select the desired file compression format.",
"type": "string",
"enum": [
"GZIP",
"NONE"
]
}
},
"required": [
"remotePath",
"datasetFileType",
"compression",
"fileType"
]
},
//...
上記の仕様を使用すると、以下のタブに示すように、目的のクラウドストレージの宛先に固有のターゲット接続リクエストを作成できます。
Amazon S3
リクエスト
Amazon S3 - ターゲット接続リクエスト
TIP必要なターゲットパラメーターの取得方法について詳しくは、Amazon S3 しい宛先のドキュメントページの 宛先の詳細の入力の節を参照してください。
datasetFileType のその他のサポートされている値については、API リファレンスドキュメントを参照してください。リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Amazon S3 Target Connection",
"baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
"params": {
"mode": "Server-to-server",
"bucketName": "your-bucket-name",
"path": "folder/subfolder",
"compression": "NONE",
"datasetFileType": "JSON"
},
"connectionSpec": {
"id": "4fce964d-3f37-408f-9778-e597338a21ee", // Amazon S3 connection spec id
"version": "1.0"
}
}'
応答
ターゲット接続 – 応答
{
"id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Azure Blob Storage
リクエスト
Azure Blob Storage - ターゲット接続リクエスト
TIP必要なターゲットパラメーターの取得方法について詳しくは、Azure Blob Storage しい宛先のドキュメントページの 宛先の詳細の入力の節を参照してください。
datasetFileType のその他のサポートされている値については、API リファレンスドキュメントを参照してください。リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Azure Blob Storage Target Connection",
"baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
"params": {
"mode": "Server-to-server",
"container": "your-container-name",
"path": "folder/subfolder",
"compression": "NONE",
"datasetFileType": "JSON"
},
"connectionSpec": {
"id": "6d6b59bf-fb58-4107-9064-4d246c0e5bb2", // Azure Blob Storage connection spec id
"version": "1.0"
}
}'
応答
ターゲット接続 – 応答
{
"id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Azure Data Lake Gen 2 （ADLS Gen2）
リクエスト
Azure Blob Storage - ターゲット接続リクエスト
TIP必要なターゲットパラメーターの取得方法について詳しくは、Azure Data Lake Gen 2(ADLS Gen2) 宛先ドキュメントページの 宛先の詳細の入力の節を参照してください。
datasetFileType のその他のサポートされている値については、API リファレンスドキュメントを参照してください。リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Azure Data Lake Gen 2(ADLS Gen2) Target Connection",
"baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
"params": {
"mode": "Server-to-server",
"path": "folder/subfolder",
"compression": "NONE",
"datasetFileType": "JSON"
},
"connectionSpec": {
"id": "be2c3209-53bc-47e7-ab25-145db8b873e1", // Azure Data Lake Gen 2(ADLS Gen2) connection spec id
"version": "1.0"
}
}'
応答
ターゲット接続 – 応答
{
"id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
データランディングゾーン（DLZ）
リクエスト
Data Landing Zone - ターゲット接続リクエスト
TIP必要なターゲットパラメーターの取得方法について詳しくは、Data Landing Zone しい宛先のドキュメントページの 宛先の詳細の入力の節を参照してください。
datasetFileType のその他のサポートされている値については、API リファレンスドキュメントを参照してください。リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Data Landing Zone Target Connection",
"baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
"params": {
"mode": "Server-to-server",
"path": "folder/subfolder",
"compression": "NONE",
"datasetFileType": "JSON"
},
"connectionSpec": {
"id": "10440537-2a7b-4583-ac39-ed38d4b848e8", // Data Landing Zone connection spec id
"version": "1.0"
}
}'
応答
ターゲット接続 – 応答
{
"id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Google Cloud Storage
リクエスト
Google Cloud Storage - ターゲット接続リクエスト
TIP必要なターゲットパラメーターの取得方法について詳しくは、Google Cloud Storage しい宛先のドキュメントページの 宛先の詳細の入力の節を参照してください。
datasetFileType のその他のサポートされている値については、API リファレンスドキュメントを参照してください。リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Google Cloud Storage Target Connection",
"baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
"params": {
"mode": "Server-to-server",
"bucketName": "your-bucket-name",
"path": "folder/subfolder",
"compression": "NONE",
"datasetFileType": "JSON"
},
"connectionSpec": {
"id": "c5d93acb-ea8b-4b14-8f53-02138444ae99", // Google Cloud Storage connection spec id
"version": "1.0"
}
}'
応答
ターゲット接続 – 応答
{
"id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
SFTP
リクエスト
SFTP - ターゲット接続リクエスト
TIP必要なターゲットパラメーターの取得方法について詳しくは、SFTP 宛先ドキュメントページの 宛先の詳細の入力の節を参照してください。
datasetFileType のその他のサポートされている値については、API リファレンスドキュメントを参照してください。リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "SFTP Target Connection",
"baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
"params": {
"mode": "Server-to-server",
"remotePath": "folder/subfolder",
"compression": "NONE",
"datasetFileType": "JSON"
},
"connectionSpec": {
"id": "36965a81-b1c6-401b-99f8-22508f1e6a26", // SFTP connection spec id
"version": "1.0"
}
}'
応答
ターゲット接続 – 応答
{
"id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
応答からのターゲット接続 ID をメモします。 この ID は、次の手順で、データセットを書き出すデータフローを作成する際に必要になります。
データフローの作成
宛先設定の最後の手順は、データフローを設定することです。 データフローは、以前に作成したエンティティを結び付け、データセット書き出しスケジュールを設定するためのオプションも提供します。 データフローを作成するには、目的のクラウドストレージの宛先に応じて以下のペイロードを使用し、前の手順で取得したエンティティ ID を置き換えます。
Amazon S3
リクエスト
宛先へのデータセットデータフロー Amazon S3 作成 – リクエスト
リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Activate datasets to an Amazon S3 cloud storage destination",
"description": "This operation creates a dataflow to export datasets to an Amazon S3 cloud storage destination",
"flowSpec": {
"id": "269ba276-16fc-47db-92b0-c1049a3c131f", // Amazon S3 flow spec ID
"version": "1.0"
},
"sourceConnectionIds": [
"<FROM_STEP_CREATE_SOURCE_CONNECTION>"
],
"targetConnectionIds": [
"<FROM_STEP_CREATE_TARGET_CONNECTION>"
],
"transformations": [],
"scheduleParams": { // specify the scheduling info
"exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
"interval": 3, // also supports 6, 9, 12 hour increments
"timeUnit": "hour", // also supports "day" for daily increments.
"interval": 1, // when you select "timeUnit": "day"
"startTime": 1675901210, // UNIX timestamp start time (in seconds)
"endTime": 1975901210, // UNIX timestamp end time (in seconds)
"foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
}
}'
次の表では、scheduleParams の節のすべてのパラメーターについて説明します。これにより、データセットの書き出しに関する書き出し時間、頻度、場所などをカスタマイズできます。
パラメーター
説明
exportMode"DAILY_FULL_EXPORT" または "FIRST_FULL_THEN_INCREMENTAL" を選択します。この 2 つのオプションについて詳しくは、バッチ宛先の有効化に関するチュートリアルの 完全なファイルのエクスポートおよび 増分ファイルのエクスポートを参照してください。 使用可能な書き出しオプションは次の 3 つです。完全ファイル - 1 回:
"DAILY_FULL_EXPORT" は、データセットの完全な書き出しを 1 回限りで行う場合に、timeUnit:day および interval:0 と組み合わせて使用する必要があります。 データセットの 1 日あたりの完全書き出しはサポートされていません。 毎日の書き出しが必要な場合は、増分書き出しオプションを使用します。毎日の増分書き出し：毎日の増分書き出しでは、
"FIRST_FULL_THEN_INCREMENTAL"、timeUnit:day および interval:1 を選択します。増分時間別エクスポート：時間別増分エクスポートの場合は、
"FIRST_FULL_THEN_INCREMENTAL"、timeUnit:hour および interval:3、6、9 または 12 を選択します。timeUnitデータセットファイルを書き出す頻度に応じて、
day または hour を選択します。intervaltimeUnit が日の場合は 1 を選択し、時間単位が hour の場合は 3,6,9,12 を選択します。startTimeデータセットの書き出しを開始する日時（UNIX 秒単位）。
endTimeデータセットの書き出しが終了する日時（UNIX 秒単位）。
foldernameTemplate書き出されたファイルが格納されるストレージの場所で、想定されるフォルダー名構造を指定します。
データセット_ID= データセットの一意の ID。宛先= 宛先の名前。日時= yyyyMMdd_HHmmss の形式の日時EXPORT_TIME= データの書き出しのスケジュール時間（exportTime=YYYYMMDDHHMM形式）。DESTINATION_インスタンス名= 宛先の特定のインスタンスの名前。DESTINATION_INSTANCE_ID= 宛先インスタンスの一意の ID。SANDBOX_NAME= サンドボックス環境の名前。ORGANIZATION_Name= 組織の名前。
応答
データフローの作成 – 応答
{
"id": "eb54b3b3-3949-4f12-89c8-64eafaba858f",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Azure Blob Storage
リクエスト
宛先へのデータセットデータフロー Azure Blob Storage 作成 – リクエスト
リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Activate datasets to an Azure Blob Storage cloud storage destination",
"description": "This operation creates a dataflow to export datasets to an Azure Blob Storage cloud storage destination",
"flowSpec": {
"id": "95bd8965-fc8a-4119-b9c3-944c2c2df6d2", // Azure Blob Storage flow spec ID
"version": "1.0"
},
"sourceConnectionIds": [
"<FROM_STEP_CREATE_SOURCE_CONNECTION>"
],
"targetConnectionIds": [
"<FROM_STEP_CREATE_TARGET_CONNECTION>"
],
"transformations": [],
"scheduleParams": { // specify the scheduling info
"exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
"interval": 3, // also supports 6, 9, 12 hour increments
"timeUnit": "hour", // also supports "day" for daily increments.
"interval": 1, // when you select "timeUnit": "day"
"startTime": 1675901210, // UNIX timestamp start time (in seconds)
"endTime": 1975901210, // UNIX timestamp end time (in seconds)
"foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
}
}'
次の表では、scheduleParams の節のすべてのパラメーターについて説明します。これにより、データセットの書き出しに関する書き出し時間、頻度、場所などをカスタマイズできます。
パラメーター
説明
exportMode"DAILY_FULL_EXPORT" または "FIRST_FULL_THEN_INCREMENTAL" を選択します。この 2 つのオプションについて詳しくは、バッチ宛先の有効化に関するチュートリアルの 完全なファイルのエクスポートおよび 増分ファイルのエクスポートを参照してください。 使用可能な書き出しオプションは次の 3 つです。完全ファイル - 1 回:
"DAILY_FULL_EXPORT" は、データセットの完全な書き出しを 1 回限りで行う場合に、timeUnit:day および interval:0 と組み合わせて使用する必要があります。 データセットの 1 日あたりの完全書き出しはサポートされていません。 毎日の書き出しが必要な場合は、増分書き出しオプションを使用します。毎日の増分書き出し：毎日の増分書き出しでは、
"FIRST_FULL_THEN_INCREMENTAL"、timeUnit:day および interval:1 を選択します。増分時間別エクスポート：時間別増分エクスポートの場合は、
"FIRST_FULL_THEN_INCREMENTAL"、timeUnit:hour および interval:3、6、9 または 12 を選択します。timeUnitデータセットファイルを書き出す頻度に応じて、
day または hour を選択します。intervaltimeUnit が日の場合は 1 を選択し、時間単位が hour の場合は 3,6,9,12 を選択します。startTimeデータセットの書き出しを開始する日時（UNIX 秒単位）。
endTimeデータセットの書き出しが終了する日時（UNIX 秒単位）。
foldernameTemplate書き出されたファイルが格納されるストレージの場所で、想定されるフォルダー名構造を指定します。
データセット_ID= データセットの一意の ID。宛先= 宛先の名前。日時= yyyyMMdd_HHmmss の形式の日時EXPORT_TIME= データの書き出しのスケジュール時間（exportTime=YYYYMMDDHHMM形式）。DESTINATION_インスタンス名= 宛先の特定のインスタンスの名前。DESTINATION_INSTANCE_ID= 宛先インスタンスの一意の ID。SANDBOX_NAME= サンドボックス環境の名前。ORGANIZATION_Name= 組織の名前。
応答
データフローの作成 – 応答
{
"id": "eb54b3b3-3949-4f12-89c8-64eafaba858f",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Azure Data Lake Gen 2 （ADLS Gen2）
リクエスト
宛先へのデータセットデータフロー Azure Data Lake Gen 2(ADLS Gen2) 作成 – リクエスト
リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Activate datasets to an Azure Data Lake Gen 2(ADLS Gen2) cloud storage destination",
"description": "This operation creates a dataflow to export datasets to an Azure Data Lake Gen 2(ADLS Gen2) cloud storage destination",
"flowSpec": {
"id": "17be2013-2549-41ce-96e7-a70363bec293", // Azure Data Lake Gen 2(ADLS Gen2) flow spec ID
"version": "1.0"
},
"sourceConnectionIds": [
"<FROM_STEP_CREATE_SOURCE_CONNECTION>"
],
"targetConnectionIds": [
"<FROM_STEP_CREATE_TARGET_CONNECTION>"
],
"transformations": [],
"scheduleParams": { // specify the scheduling info
"exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
"interval": 3, // also supports 6, 9, 12 hour increments
"timeUnit": "hour", // also supports "day" for daily increments.
"interval": 1, // when you select "timeUnit": "day"
"startTime": 1675901210, // UNIX timestamp start time (in seconds)
"endTime": 1975901210, // UNIX timestamp end time (in seconds)
"foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
}
}'
次の表では、scheduleParams の節のすべてのパラメーターについて説明します。これにより、データセットの書き出しに関する書き出し時間、頻度、場所などをカスタマイズできます。
パラメーター
説明
exportMode"DAILY_FULL_EXPORT" または "FIRST_FULL_THEN_INCREMENTAL" を選択します。この 2 つのオプションについて詳しくは、バッチ宛先の有効化に関するチュートリアルの 完全なファイルのエクスポートおよび 増分ファイルのエクスポートを参照してください。 使用可能な書き出しオプションは次の 3 つです。完全ファイル - 1 回:
"DAILY_FULL_EXPORT" は、データセットの完全な書き出しを 1 回限りで行う場合に、timeUnit:day および interval:0 と組み合わせて使用する必要があります。 データセットの 1 日あたりの完全書き出しはサポートされていません。 毎日の書き出しが必要な場合は、増分書き出しオプションを使用します。毎日の増分書き出し：毎日の増分書き出しでは、
"FIRST_FULL_THEN_INCREMENTAL"、timeUnit:day および interval:1 を選択します。増分時間別エクスポート：時間別増分エクスポートの場合は、
"FIRST_FULL_THEN_INCREMENTAL"、timeUnit:hour および interval:3、6、9 または 12 を選択します。timeUnitデータセットファイルを書き出す頻度に応じて、
day または hour を選択します。intervaltimeUnit が日の場合は 1 を選択し、時間単位が hour の場合は 3,6,9,12 を選択します。startTimeデータセットの書き出しを開始する日時（UNIX 秒単位）。
endTimeデータセットの書き出しが終了する日時（UNIX 秒単位）。
foldernameTemplate書き出されたファイルが格納されるストレージの場所で、想定されるフォルダー名構造を指定します。
データセット_ID= データセットの一意の ID。宛先= 宛先の名前。日時= yyyyMMdd_HHmmss の形式の日時EXPORT_TIME= データの書き出しのスケジュール時間（exportTime=YYYYMMDDHHMM形式）。DESTINATION_インスタンス名= 宛先の特定のインスタンスの名前。DESTINATION_INSTANCE_ID= 宛先インスタンスの一意の ID。SANDBOX_NAME= サンドボックス環境の名前。ORGANIZATION_Name= 組織の名前。
応答
データフローの作成 – 応答
{
"id": "eb54b3b3-3949-4f12-89c8-64eafaba858f",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
データランディングゾーン（DLZ）
リクエスト
宛先へのデータセットデータフロー Data Landing Zone 作成 – リクエスト
リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Activate datasets to a Data Landing Zone cloud storage destination",
"description": "This operation creates a dataflow to export datasets to a Data Landing Zone cloud storage destination",
"flowSpec": {
"id": "cd2fc47e-e838-4f38-a581-8fff2f99b63a", // Data Landing Zone flow spec ID
"version": "1.0"
},
"sourceConnectionIds": [
"<FROM_STEP_CREATE_SOURCE_CONNECTION>"
],
"targetConnectionIds": [
"<FROM_STEP_CREATE_TARGET_CONNECTION>"
],
"transformations": [],
"scheduleParams": { // specify the scheduling info
"exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
"interval": 3, // also supports 6, 9, 12 hour increments
"timeUnit": "hour", // also supports "day" for daily increments.
"interval": 1, // when you select "timeUnit": "day"
"startTime": 1675901210, // UNIX timestamp start time (in seconds)
"endTime": 1975901210, // UNIX timestamp end time (in seconds)
"foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
}
}'
次の表では、scheduleParams の節のすべてのパラメーターについて説明します。これにより、データセットの書き出しに関する書き出し時間、頻度、場所などをカスタマイズできます。
パラメーター
説明
exportMode"DAILY_FULL_EXPORT" または "FIRST_FULL_THEN_INCREMENTAL" を選択します。この 2 つのオプションについて詳しくは、バッチ宛先の有効化に関するチュートリアルの 完全なファイルのエクスポートおよび 増分ファイルのエクスポートを参照してください。 使用可能な書き出しオプションは次の 3 つです。完全ファイル - 1 回:
"DAILY_FULL_EXPORT" は、データセットの完全な書き出しを 1 回限りで行う場合に、timeUnit:day および interval:0 と組み合わせて使用する必要があります。 データセットの 1 日あたりの完全書き出しはサポートされていません。 毎日の書き出しが必要な場合は、増分書き出しオプションを使用します。毎日の増分書き出し：毎日の増分書き出しでは、
"FIRST_FULL_THEN_INCREMENTAL"、timeUnit:day および interval:1 を選択します。増分時間別エクスポート：時間別増分エクスポートの場合は、
"FIRST_FULL_THEN_INCREMENTAL"、timeUnit:hour および interval:3、6、9 または 12 を選択します。timeUnitデータセットファイルを書き出す頻度に応じて、
day または hour を選択します。intervaltimeUnit が日の場合は 1 を選択し、時間単位が hour の場合は 3,6,9,12 を選択します。startTimeデータセットの書き出しを開始する日時（UNIX 秒単位）。
endTimeデータセットの書き出しが終了する日時（UNIX 秒単位）。
foldernameTemplate書き出されたファイルが格納されるストレージの場所で、想定されるフォルダー名構造を指定します。
データセット_ID= データセットの一意の ID。宛先= 宛先の名前。日時= yyyyMMdd_HHmmss の形式の日時EXPORT_TIME= データの書き出しのスケジュール時間（exportTime=YYYYMMDDHHMM形式）。DESTINATION_インスタンス名= 宛先の特定のインスタンスの名前。DESTINATION_INSTANCE_ID= 宛先インスタンスの一意の ID。SANDBOX_NAME= サンドボックス環境の名前。ORGANIZATION_Name= 組織の名前。
応答
データフローの作成 – 応答
{
"id": "eb54b3b3-3949-4f12-89c8-64eafaba858f",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Google Cloud Storage
リクエスト
宛先へのデータセットデータフロー Google Cloud Storage 作成 – リクエスト
リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Activate datasets to a Google Cloud Storage cloud storage destination",
"description": "This operation creates a dataflow to export datasets to a Google Cloud Storage destination",
"flowSpec": {
"id": "585c15c4-6cbf-4126-8f87-e26bff78b657", // Google Cloud Storage flow spec ID
"version": "1.0"
},
"sourceConnectionIds": [
"<FROM_STEP_CREATE_SOURCE_CONNECTION>"
],
"targetConnectionIds": [
"<FROM_STEP_CREATE_TARGET_CONNECTION>"
],
"transformations": [],
"scheduleParams": { // specify the scheduling info
"exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
"interval": 3, // also supports 6, 9, 12 hour increments
"timeUnit": "hour", // also supports "day" for daily increments.
"interval": 1, // when you select "timeUnit": "day"
"startTime": 1675901210, // UNIX timestamp start time (in seconds)
"endTime": 1975901210, // UNIX timestamp end time (in seconds)
"foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
}
}'
次の表では、scheduleParams の節のすべてのパラメーターについて説明します。これにより、データセットの書き出しに関する書き出し時間、頻度、場所などをカスタマイズできます。
パラメーター
説明
exportMode"DAILY_FULL_EXPORT" または "FIRST_FULL_THEN_INCREMENTAL" を選択します。この 2 つのオプションについて詳しくは、バッチ宛先の有効化に関するチュートリアルの 完全なファイルのエクスポートおよび 増分ファイルのエクスポートを参照してください。 使用可能な書き出しオプションは次の 3 つです。完全ファイル - 1 回:
"DAILY_FULL_EXPORT" は、データセットの完全な書き出しを 1 回限りで行う場合に、timeUnit:day および interval:0 と組み合わせて使用する必要があります。 データセットの 1 日あたりの完全書き出しはサポートされていません。 毎日の書き出しが必要な場合は、増分書き出しオプションを使用します。毎日の増分書き出し：毎日の増分書き出しでは、
"FIRST_FULL_THEN_INCREMENTAL"、timeUnit:day および interval:1 を選択します。増分時間別エクスポート：時間別増分エクスポートの場合は、
"FIRST_FULL_THEN_INCREMENTAL"、timeUnit:hour および interval:3、6、9 または 12 を選択します。timeUnitデータセットファイルを書き出す頻度に応じて、
day または hour を選択します。intervaltimeUnit が日の場合は 1 を選択し、時間単位が hour の場合は 3,6,9,12 を選択します。startTimeデータセットの書き出しを開始する日時（UNIX 秒単位）。
endTimeデータセットの書き出しが終了する日時（UNIX 秒単位）。
foldernameTemplate書き出されたファイルが格納されるストレージの場所で、想定されるフォルダー名構造を指定します。
データセット_ID= データセットの一意の ID。宛先= 宛先の名前。日時= yyyyMMdd_HHmmss の形式の日時EXPORT_TIME= データの書き出しのスケジュール時間（exportTime=YYYYMMDDHHMM形式）。DESTINATION_インスタンス名= 宛先の特定のインスタンスの名前。DESTINATION_INSTANCE_ID= 宛先インスタンスの一意の ID。SANDBOX_NAME= サンドボックス環境の名前。ORGANIZATION_Name= 組織の名前。
応答
データフローの作成 – 応答
{
"id": "eb54b3b3-3949-4f12-89c8-64eafaba858f",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
SFTP
リクエスト
SFTP 宛先へのデータセットデータフローの作成 – リクエスト
リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Activate datasets to an SFTP cloud storage destination",
"description": "This operation creates a dataflow to export datasets to an SFTP cloud storage destination",
"flowSpec": {
"id": "354d6aad-4754-46e4-a576-1b384561c440", // SFTP flow spec ID
"version": "1.0"
},
"sourceConnectionIds": [
"<FROM_STEP_CREATE_SOURCE_CONNECTION>"
],
"targetConnectionIds": [
"<FROM_STEP_CREATE_TARGET_CONNECTION>"
],
"transformations": [],
"scheduleParams": { // specify the scheduling info
"exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
"interval": 3, // also supports 6, 9, 12 hour increments
"timeUnit": "hour", // also supports "day" for daily increments.
"interval": 1, // when you select "timeUnit": "day"
"startTime": 1675901210, // UNIX timestamp start time (in seconds)
"endTime": 1975901210, // UNIX timestamp end time (in seconds)
"foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
}
}'
次の表では、scheduleParams の節のすべてのパラメーターについて説明します。これにより、データセットの書き出しに関する書き出し時間、頻度、場所などをカスタマイズできます。
パラメーター
説明
exportMode"DAILY_FULL_EXPORT" または "FIRST_FULL_THEN_INCREMENTAL" を選択します。この 2 つのオプションについて詳しくは、バッチ宛先の有効化に関するチュートリアルの 完全なファイルのエクスポートおよび 増分ファイルのエクスポートを参照してください。 使用可能な書き出しオプションは次の 3 つです。完全ファイル - 1 回:
"DAILY_FULL_EXPORT" は、データセットの完全な書き出しを 1 回限りで行う場合に、timeUnit:day および interval:0 と組み合わせて使用する必要があります。 データセットの 1 日あたりの完全書き出しはサポートされていません。 毎日の書き出しが必要な場合は、増分書き出しオプションを使用します。毎日の増分書き出し：毎日の増分書き出しでは、
"FIRST_FULL_THEN_INCREMENTAL"、timeUnit:day および interval:1 を選択します。増分時間別エクスポート：時間別増分エクスポートの場合は、
"FIRST_FULL_THEN_INCREMENTAL"、timeUnit:hour および interval:3、6、9 または 12 を選択します。timeUnitデータセットファイルを書き出す頻度に応じて、
day または hour を選択します。intervaltimeUnit が日の場合は 1 を選択し、時間単位が hour の場合は 3,6,9,12 を選択します。startTimeデータセットの書き出しを開始する日時（UNIX 秒単位）。
endTimeデータセットの書き出しが終了する日時（UNIX 秒単位）。
foldernameTemplate書き出されたファイルが格納されるストレージの場所で、想定されるフォルダー名構造を指定します。
データセット_ID= データセットの一意の ID。宛先= 宛先の名前。日時= yyyyMMdd_HHmmss の形式の日時EXPORT_TIME= データの書き出しのスケジュール時間（exportTime=YYYYMMDDHHMM形式）。DESTINATION_インスタンス名= 宛先の特定のインスタンスの名前。DESTINATION_INSTANCE_ID= 宛先インスタンスの一意の ID。SANDBOX_NAME= サンドボックス環境の名前。ORGANIZATION_Name= 組織の名前。
応答
データフローの作成 – 応答
{
"id": "eb54b3b3-3949-4f12-89c8-64eafaba858f",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
応答のデータフロー ID をメモします。 この ID は、データフロー実行を取得して正常なデータセット書き出しを検証する次の手順で必要になります。
データフローの実行の取得
データフローの実行を確認するには、Dataflow Runs API を使用します。
リクエスト
データフロー実行の取得 – リクエスト
データフロー実行を取得するリクエストで、データフローの作成時に前の手順で取得したデータフロー ID をクエリパラメーターとして追加します。
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/runs?property=flowId==eb54b3b3-3949-4f12-89c8-64eafaba858f' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
応答
データフロー実行の取得 – 応答
{
"items": [
{
"id": "4b7728dd-83c9-4c38-95a4-24ddab545404",
"createdAt": 1675807718296,
"updatedAt": 1675807731834,
"createdBy": "aep_activation_batch@AdobeID",
"updatedBy": "acp_foundation_connectors@AdobeID",
"createdClient": "aep_activation_batch",
"updatedClient": "acp_foundation_connectors",
"sandboxId": "7dfdcd30-0a09-11ea-8ea6-7bf93ce86c28",
"sandboxName": "sand-1",
"imsOrgId": "5555467B5D8013E50A494220@AdobeOrg",
"flowId": "aae5ec63-b0ac-4808-9a44-abf2ea67bd5a",
"flowSpec": {
"id": "615d3489-36d2-4671-9467-4ae1129facd3",
"version": "1.0"
},
"providerRefId": "ba56f98e0c49b572adb249980c39b1c7",
"etag": "\"08005e9e-0000-0200-0000-63e2cbf30000\"",
"metrics": {
"durationSummary": {
"startedAtUTC": 1675807719411,
"completedAtUTC": 1675807719416
},
"sizeSummary": {
"inputBytes": 0
},
"recordSummary": {
"inputRecordCount": 0,
"skippedRecordCount": 0,
"sourceSummaries": [
{
"id": "ea2b1205-4692-49de-b448-ebf75b1d188a",
"inputRecordCount": 0,
"skippedRecordCount": 0,
"entitySummaries": [
{
//...
データフロー実行 API によって返される様々なパラメーターに関する情報については、API リファレンスドキュメントを参照してください。
データセットの正常な書き出しの確認
データセットを書き出す際、Experience Platform は、指定されたストレージの場所に .json または .parquet ファイルを保存します。 データフローの作成時に指定した書き出しスケジュールに従って、新しいファイルがストレージの場所に格納されます。
Experience Platform は、指定されたストレージの場所にフォルダー構造を作成し、書き出されたデータセットファイルを格納します。 書き出しのたびに、次のパターンに従って新しいフォルダーが作成されます。
folder-name-you-provided/datasetID/exportTime=YYYYMMDDHHMM
デフォルトのファイル名はランダムに生成され、書き出されたファイルの名前は必ず一意になります。
サンプルデータセットファイル
これらのファイルがストレージの場所に存在すれば、書き出しは成功しています。書き出されたファイルの構造を理解するには、サンプルの .parquet ファイルまたは .json ファイルをダウンロードできます。
圧縮されたデータセットファイル
ターゲット接続の作成手順では、圧縮する書き出したデータセットファイルを選択できます。
2 つのファイルタイプを圧縮した場合、ファイル形式に違いがあることに注意してください。
- 圧縮された JSON ファイルを書き出す場合、書き出されるファイルの形式は
json.gzです - 圧縮 Parquet ファイルをエクスポートする場合、エクスポートされるファイル形式は
gz.parquetです - JSON ファイルは、圧縮モードでのみ書き出すことができます。
API エラー処理
このチュートリアルの API エンドポイントは、Experience Platform API の一般的なエラーメッセージの原則に従っています。 エラー応答の解釈について詳しくは、Experience Platform トラブルシューティングガイドの API ステータスコードおよび リクエストヘッダーエラーを参照してください。
既知の制限事項
データセットの書き出しに関する 既知の制限事項を表示します。
よくある質問
データセットの書き出しに関する よくある質問のリストを表示します。
次の手順
このチュートリアルでは、Experience Platformを目的のクラウドストレージのバッチ宛先の 1 つに正常に接続し、データセットを書き出す各宛先へのデータフローを設定しました。 次のページでは、Flow Service API を使用した既存のデータフローの編集方法などの詳細を確認します。
7f4d1967-bf93-4dba-9789-bb6b505339d6