Flow Service APIを使用したデータセットのエクスポート
この機能は、Real-Time CDP PrimeおよびUltimate パッケージ、Adobe Journey Optimizer、またはCustomer Journey Analyticsを購入したお客様が利用できます。 詳しくは、アドビ担当者にお問い合わせください。
この記事では、Flow Service APIを使用して データセット をAdobe Experience Platformから任意のクラウドストレージの場所(Amazon S3、SFTPの場所、またはGoogle Cloud Storageなど)に書き出すために必要なワークフローについて説明します。
書き出しに使用できるデータセット datasets-to-export
書き出すことができるデータセットは、Experience Platform アプリケーション (Real-Time CDP、Adobe Journey Optimizer)、階層(PrimeまたはUltimate)、および購入したアドオン (例:Data Distiller)によって異なります。
書き出すことができるデータセットについては、UI チュートリアルページ 🔗 のの表を参照してください。
サポートされる宛先 supported-destinations
現在、スクリーンショットで強調表示され、以下に示すクラウドストレージの宛先にデータセットを書き出すことができます。
前提条件 prerequisites
データセットを書き出すには、次の前提条件に注意してください。
データセットをクラウドストレージ宛先に書き出すには、正常に宛先に接続されている 必要があります。 まだ接続していない場合は、宛先カタログ に移動し、サポートされている宛先を参照し、使用する宛先を設定します。
リアルタイム顧客プロファイルで使用するには、プロファイルデータセットを有効にする必要があります。 このオプションを有効にする方法について詳細 を読む。
はじめに get-started
このガイドでは、Adobe Experience Platformの次のコンポーネントについて実際に理解する必要があります。
Experience Platform datasets : Adobe Experience Platformに正常に取り込まれたすべてのデータは、データセットとしてData Lake内に保持されます。 データセットは、スキーマ(列)とフィールド(行)で構成されるデータコレクション(通常はテーブル)を格納し管理するための構造です。 データセットには、保存するデータの様々な側面を記述したメタデータも含まれます。
Sandboxes :Experience Platform には、単一の Experience Platform インスタンスを別々の仮想環境に分割し、デジタルエクスペリエンスアプリケーションの開発と発展に役立つ仮想サンドボックスが用意されています。
次の節では、Experience Platformでデータセットをクラウドストレージの宛先に書き出すために知っておく必要がある追加情報を提供します。
必要な権限 permissions
データセットを書き出すには、宛先の表示 、データセットの表示 およびデータセット宛先の管理とアクティブ化 アクセス制御の権限 が必要です。 必要な権限を取得するには、アクセス制御の概要 を参照するか、製品管理者に問い合わせてください。
データセットの書き出しに必要な権限があることと、宛先でデータセットの書き出しがサポートされていることを確認するには、宛先カタログを参照します。 宛先に Activate またはデータセットの書き出し コントロールがある場合は、適切な権限を持っています。
API 呼び出し例の読み取り reading-sample-api-calls
このチュートリアルでは、API 呼び出しの例を提供し、リクエストの形式を設定する方法を示します。 これには、パス、必須ヘッダー、適切な形式のリクエストペイロードが含まれます。 また、API レスポンスで返されるサンプル JSON も示されています。 ドキュメントで使用される API 呼び出し例の表記について詳しくは、 トラブルシューテングガイドのAPI 呼び出し例の読み方 に関する節を参照してくださいExperience Platform。
Experience Platform個のAPIを呼び出すには、まずExperience Platform認証チュートリアル を完了する必要があります。 次に示すように、すべての Experience Platform API 呼び出しに必要な各ヘッダーの値は認証チュートリアルで説明されています。
Authorization: Bearer {ACCESS_TOKEN}
x-api-key: {API_KEY}
x-gw-ims-org-id: {ORG_ID}
Experience Platform のリソースは、特定の仮想サンドボックスに分離できます。 Experience Platform API へのリクエストでは、操作を実行するサンドボックスの名前と ID を指定できます。 次に、オプションのパラメーターを示します。
x-sandbox-name:{SANDBOX_NAME}
ペイロード(POST、PUT、PATCH)を含むすべてのリクエストには、メディアのタイプを指定する以下のような追加ヘッダーが必要です。
Content-Type: application/json
API リファレンスドキュメント api-reference-documentation
このチュートリアルに含まれるすべての API 操作について、付属リファレンスドキュメントが用意されています。 Adobe Developer web サイト 🔗 のFlow Service - Destinations API ドキュメントを参照してください。 このチュートリアルと API リファレンスのドキュメントを並行して使用することをお勧めします。
用語集 glossary
このAPI チュートリアルで使用される用語については、API リファレンスドキュメントの用語集セクション を参照してください。
目的の宛先の接続仕様とフロー仕様の収集 gather-connection-spec-flow-spec
データセットをエクスポートするワークフローを開始する前に、データセットをエクスポートする宛先の接続仕様とフロー仕様IDを特定します。 参考までに、以下の表を使用してください。
Amazon S3
4fce964d-3f37-408f-9778-e597338a21ee
269ba276-16fc-47db-92b0-c1049a3c131f
Azure Blob Storage
6d6b59bf-fb58-4107-9064-4d246c0e5bb2
95bd8965-fc8a-4119-b9c3-944c2c2df6d2
Azure Data Lake Gen 2(ADLS Gen2)
be2c3209-53bc-47e7-ab25-145db8b873e1
17be2013-2549-41ce-96e7-a70363bec293
Data Landing Zone(DLZ)
10440537-2a7b-4583-ac39-ed38d4b848e8
cd2fc47e-e838-4f38-a581-8fff2f99b63a
Google Cloud Storage
c5d93acb-ea8b-4b14-8f53-02138444ae99
585c15c4-6cbf-4126-8f87-e26bff78b657
SFTP
36965a81-b1c6-401b-99f8-22508f1e6a26
354d6aad-4754-46e4-a576-1b384561c440
様々なFlow Service エンティティを構築するには、これらのIDが必要です。 Flow Service APIsからConnection Specを取得できるように、特定のエンティティを設定するためにConnection Spec自体の一部を参照する必要もあります。 以下の例では、テーブル内のすべての宛先の接続仕様を取得しています。
Amazon S3
リクエスト
accordion
Amazon S3のconnection specを取得
code language-shell
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/4fce964d-3f37-408f-9778-e597338a21ee' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'
応答
accordion
Amazon S3 – 接続仕様
code language-json
{
"items": [
{
"id": "4fce964d-3f37-408f-9778-e597338a21ee",
"name": "Amazon S3",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
//...
Azure Blob Storage
リクエスト
accordion
Azure Blob Storageのconnection specを取得
code language-shell
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/6d6b59bf-fb58-4107-9064-4d246c0e5bb2' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'
応答
accordion
Azure Blob Storage - Connection spec
code language-json
{
"items": [
{
"id": "6d6b59bf-fb58-4107-9064-4d246c0e5bb2",
"name": "Azure Blob Storage",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
//...
Azure Data Lake Gen 2 (ADLS Gen2)
リクエスト
accordion
Azure Data Lake Gen 2(ADLS Gen2のconnection specを取得)
code language-shell
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/be2c3209-53bc-47e7-ab25-145db8b873e1' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'
応答
accordion
Azure Data Lake Gen 2(ADLS Gen2) - Connection spec
code language-json
{
"items": [
{
"id": "be2c3209-53bc-47e7-ab25-145db8b873e1",
"name": "Azure Data Lake Gen2",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
//...
データランディングゾーン(DLZ)
リクエスト
accordion
Data Landing Zone(DLZ)のconnection specを取得
code language-shell
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/10440537-2a7b-4583-ac39-ed38d4b848e8' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'
応答
accordion
Data Landing Zone(DLZ) - Connection spec
code language-json
{
"items": [
{
"id": "10440537-2a7b-4583-ac39-ed38d4b848e8",
"name": "Data Landing Zone",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
//...
Google Cloud Storage
リクエスト
accordion
Google Cloud Storageのconnection specを取得
code language-shell
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/c5d93acb-ea8b-4b14-8f53-02138444ae99' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'
応答
accordion
Google Cloud Storage - Connection spec
code language-json
{
"items": [
{
"id": "c5d93acb-ea8b-4b14-8f53-02138444ae99",
"name": "Google Cloud Storage",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
//...
SFTP
リクエスト
accordion
SFTP用にconnection specを取得
code language-shell
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/36965a81-b1c6-401b-99f8-22508f1e6a26' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'
応答
accordion
SFTP - Connection spec
code language-json
{
"items": [
{
"id": "36965a81-b1c6-401b-99f8-22508f1e6a26",
"name": "SFTP",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
//...
クラウドストレージ宛先へのデータセットデータフローを設定するには、次の手順に従います。 一部の手順では、様々なクラウドストレージの宛先間でリクエストと応答が異なります。 そのような場合は、ページ上のタブを使用して、データセットを接続して書き出す宛先に固有のリクエストと応答を取得します。 設定する宛先に対して、正しいconnection specとflow specを使用してください。
データセットのリストの取得 retrieve-list-of-available-datasets
データセットの書き出しワークフローの手順1を示す
アクティベーションの対象となるデータセットのリストを取得するには、まず、以下のエンドポイントにAPI呼び出しを行います。
リクエスト
code language-shell
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/23598e46-f560-407b-88d5-ea6207e49db0/configs?outputType=activationDatasets&outputField=datasets&start=0&limit=20&properties=name,state' \
--header 'accept: application/json' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-api-key: {API_KEY}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'
適格なデータセットを取得するには、リクエスト URLで使用されるconnection spec IDがデータレイクソース接続仕様ID、23598e46-f560-407b-88d5-ea6207e49db0である必要があり、2つのクエリパラメーターoutputField=datasetsとoutputType=activationDatasetsを指定する必要があります。 その他のすべてのクエリパラメーターは、 カタログサービス API でサポートされている標準のクエリパラメーターです。
応答
code language-json
{
"items": [
{
"id": "5ef3e324052581191aa6a466",
"name": "AAM Authenticated Profiles Meta Data",
"description": "Activation profile export dataset",
"fileDescription": {
"persisted": true,
"containerFormat": "parquet",
"format": "parquet"
},
"aspect": "production",
"state": "DRAFT"
},
{
"id": "5ef3e3259ad2a1191ab7dd7d",
"name": "AAM Devices Data",
"description": "Activation profile export dataset",
"fileDescription": {
"persisted": true,
"containerFormat": "parquet",
"format": "parquet"
},
"aspect": "production",
"state": "DRAFT"
},
{
"id": "5ef3e325582424191b1beb42",
"name": "AAM Devices Profile Meta Data",
"description": "Activation profile export dataset",
"fileDescription": {
"persisted": true,
"containerFormat": "parquet",
"format": "parquet"
},
"aspect": "production",
"state": "DRAFT"
},
{
"id": "5ef3e328582424191b1beb44",
"name": "AAM Realtime",
"description": "Activation profile export dataset",
"fileDescription": {
"persisted": true,
"containerFormat": "parquet",
"format": "parquet"
},
"aspect": "production",
"state": "DRAFT"
},
{
"id": "5ef3e328fe742a191b2b3ea5",
"name": "AAM Realtime Profile Updates",
"description": "Activation profile export dataset",
"fileDescription": {
"persisted": true,
"containerFormat": "parquet",
"format": "parquet"
},
"aspect": "production",
"state": "DRAFT"
}
],
"pageInfo": {
"start": 0,
"end": 4,
"total": 149,
"hasNext": true
}
}
応答が成功すると、アクティベーションの対象となるデータセットのリストが含まれます。 これらのデータセットは、次の手順でソース接続を構築する際に使用できます。
返される各データセットの様々な応答パラメーターについて詳しくは、 データセット API開発者ドキュメント を参照してください。
ソース接続の作成 create-source-connection
データセットの書き出しワークフローの手順2を示す
書き出すデータセットのリストを取得した後、これらのデータセット IDを使用してソース接続を作成できます。
リクエスト
リクエストサンプルのインラインコメントを含むハイライト表示された行に注意してください。これにより、追加情報が提供されます。 リクエストを任意の端末にコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-16
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/sourceConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Connecting to Data Lake",
"description": "Data Lake source connection to export datasets",
"connectionSpec": {
"id": "23598e46-f560-407b-88d5-ea6207e49db0", // this connection spec ID is always the same for Source Connections
"version": "1.0"
},
"params": {
"datasets": [ // datasets to activate
{
"dataSetId": "5ef3e3259ad2a1191ab7dd7d",
"name": "AAM Devices Data"
}
]
}
}'
応答
code language-json
{
"id": "900df191-b983-45cd-90d5-4c7a0326d650",
"etag": "\"0500ebe1-0000-0200-0000-63e28d060000\""
}
応答が成功すると、新しく作成されたソース接続のID (id)とetagが返されます。 データフローの作成時に後で必要になるソース接続IDをメモします。
また、次の点にも注意してください。
この手順で作成したソース接続は、データセットを宛先にアクティベートするために、データフローにリンクする必要があります。 ソース接続をデータフローにリンクする方法については、 データフローの作成 の節を参照してください。
ソース接続のデータセット IDは、作成後に変更できません。 ソース接続からデータセットを追加または削除する必要がある場合は、新しいソース接続を作成し、新しいソース接続のIDをデータフローにリンクする必要があります。
(ターゲット)ベース接続の作成 create-base-connection
データセットの書き出しワークフローの手順3を示す
ベース接続は、資格情報を宛先に安全に保存します。 宛先のタイプに応じて、その宛先に対して認証するために必要な資格情報は異なる場合があります。 これらの認証パラメーターを見つけるには、接続仕様とフロー仕様 の節で説明されているように、まず目的の宛先のconnection specを取得し、応答のauthSpecを確認します。 サポートされているすべての宛先のauthSpec プロパティについては、以下のタブを参照してください。
Amazon S3
accordion
Amazon S3 - Connection specにauth specが表示されています
以下のconnection spec例のインラインコメントを含む強調表示された行に注意してください。この行は、connection specの認証パラメーターの検索場所に関する追加情報を提供します。
code language-json line-numbers data-start-1 data-line-offset-4 h-8
{
"items": [
{
"id": "4fce964d-3f37-408f-9778-e597338a21ee",
"name": "Amazon S3",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [ // describes the authentication parameters
{
"name": "Access Key",
"type": "KeyBased",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"description": "Defines auth params required for connecting to amazon-s3",
"type": "object",
"properties": {
"s3AccessKey": {
"description": "Access key id",
"type": "string",
"pattern": "^[A-Z2-7]{20}$"
},
"s3SecretKey": {
"description": "Secret access key for the user account",
"type": "string",
"format": "password",
"pattern": "^[A-Za-z0-9\/+]{40}$"
}
},
"required": [
"s3SecretKey",
"s3AccessKey"
]
}
}
],
//...
Azure Blob Storage
accordion
Azure Blob Storage - Connection specにauth specが表示されています
以下のconnection spec例のインラインコメントを含む強調表示された行に注意してください。この行は、connection specの認証パラメーターの検索場所に関する追加情報を提供します。
code language-json line-numbers data-start-1 data-line-offset-4 h-8
{
"items": [
{
"id": "6d6b59bf-fb58-4107-9064-4d246c0e5bb2",
"name": "Azure Blob Storage",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [ // describes the authentication parameters
{
"name": "ConnectionString",
"type": "ConnectionString",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"description": "Connection String for Azure Blob based destinations",
"type": "object",
"properties": {
"connectionString": {
"description": "connection string for login",
"type": "string",
"format": "password"
}
},
"required": [
"connectionString"
]
}
}
],
//...
Azure Data Lake Gen 2 (ADLS Gen2)
accordion
Azure Data Lake Gen 2(ADLS Gen2) - Connection specにauth specが表示されています
以下のconnection spec例のインラインコメントを含む強調表示された行に注意してください。この行は、connection specの認証パラメーターの検索場所に関する追加情報を提供します。
code language-json line-numbers data-start-1 data-line-offset-4 h-8
{
"items": [
{
"id": "be2c3209-53bc-47e7-ab25-145db8b873e1",
"name": "Azure Data Lake Gen2",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [ // describes the authentication parameters
{
"name": "Azure Service Principal Auth",
"type": "AzureServicePrincipal",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"description": "defines auth params required for connecting to adlsgen2 using service principal",
"type": "object",
"properties": {
"url": {
"description": "Endpoint for Azure Data Lake Storage Gen2.",
"type": "string"
},
"servicePrincipalId": {
"description": "Service Principal Id to connect to ADLSGen2.",
"type": "string"
},
"servicePrincipalKey": {
"description": "Service Principal Key to connect to ADLSGen2.",
"type": "string",
"format": "password"
},
"tenant": {
"description": "Tenant information(domain name or tenant ID).",
"type": "string"
}
},
"required": [
"servicePrincipalKey",
"url",
"tenant",
"servicePrincipalId"
]
}
}
],
//...
データランディングゾーン(DLZ)
accordion
Data Landing Zone(DLZ) - Connection specにauth specが表示されています
note
NOTE
データランディングゾーンの宛先にauth specは必要ありません。
code language-json
{
"items": [
{
"id": "10440537-2a7b-4583-ac39-ed38d4b848e8",
"name": "Data Landing Zone",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [],
//...
Google Cloud Storage
accordion
Google Cloud Storage - Connection specにauth specが表示されています
以下のconnection spec例のインラインコメントを含む強調表示された行に注意してください。この行は、connection specの認証パラメーターの検索場所に関する追加情報を提供します。
code language-json line-numbers data-start-1 data-line-offset-4 h-8
{
"items": [
{
"id": "c5d93acb-ea8b-4b14-8f53-02138444ae99",
"name": "Google Cloud Storage",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [ // describes the authentication parameters
{
"name": "Google Cloud Storage authentication credentials",
"type": "GoogleCloudStorageAuth",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"description": "defines auth params required for connecting to google cloud storage connector.",
"type": "object",
"properties": {
"accessKeyId": {
"description": "Access Key Id for the user account",
"type": "string"
},
"secretAccessKey": {
"description": "Secret Access Key for the user account",
"type": "string",
"format": "password"
}
},
"required": [
"accessKeyId",
"secretAccessKey"
]
}
}
],
//...
SFTP
accordion
SFTP - Connection spec (auth specを表示)
note
NOTE
SFTP宛先には、パスワードとSSH キーの両方をサポートしているため、auth specに2つの別々の項目が含まれています。
以下のconnection spec例のインラインコメントを含む強調表示された行に注意してください。この行は、connection specの認証パラメーターの検索場所に関する追加情報を提供します。
code language-json line-numbers data-start-1 data-line-offset-4 h-8
{
"items": [
{
"id": "36965a81-b1c6-401b-99f8-22508f1e6a26",
"name": "SFTP",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [ // describes the authentication parameters
{
"name": "SFTP with Password",
"type": "SFTP",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"description": "defines auth params required for connecting to sftp locations with a password",
"type": "object",
"properties": {
"domain": {
"description": "Domain of server",
"type": "string"
},
"username": {
"description": "Username",
"type": "string"
},
"password": {
"description": "Password",
"type": "string",
"format": "password"
}
},
"required": [
"password",
"domain",
"username"
]
}
},
{
"name": "SFTP with SSH Key",
"type": "SFTP",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"description": "defines auth params required for connecting to sftp locations using SSH Key",
"type": "object",
"properties": {
"domain": {
"description": "Domain of server",
"type": "string"
},
"username": {
"description": "Username",
"type": "string"
},
"sshKey": {
"description": "Base64 string of the private SSH key",
"type": "string",
"format": "password",
"contentEncoding": "base64",
"uiAttributes": {
"tooltip": {
"id": "platform_destinations_connect_sftp_ssh",
"fallbackUrl": "http://www.adobe.com/go/destinations-sftp-connection-parameters-en "
}
}
}
},
"required": [
"sshKey",
"domain",
"username"
]
}
}
],
//...
認証仕様で指定されたプロパティ(応答からauthSpecです)を使用して、以下の例に示すように、各宛先タイプに固有の必要な資格情報を含むベース接続を作成できます。
Amazon S3
リクエスト
accordion
Amazon S3 - ベース接続リクエスト
note tip
TIP
必要な認証資格情報を取得する方法について詳しくは、Amazon S3宛先ドキュメント ページの「宛先への認証 」セクションを参照してください。
リクエストサンプルのインラインコメントを含むハイライト表示された行に注意してください。これにより、追加情報が提供されます。 リクエストを任意の端末にコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
code language-shell line-numbers data-start-1 data-line-offset-4 h-18
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
"name": "Amazon S3 Base Connection",
"auth": {
"specName": "Access Key",
"params": {
"s3SecretKey": "<Add secret key>",
"s3AccessKey": "<Add access key>"
}
},
"connectionSpec": {
"id": "4fce964d-3f37-408f-9778-e597338a21ee", // Amazon S3 connection spec
"version": "1.0"
}
}'
応答
accordion
Amazon S3 ベース接続応答
code language-json
{
"id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Azure Blob Storage
リクエスト
accordion
Azure Blob Storage - ベース接続リクエスト
note tip
TIP
必要な認証資格情報を取得する方法について詳しくは、Azure Blob Storageの宛先ドキュメント ページの「宛先への認証 」セクションを参照してください。
リクエストサンプルのインラインコメントを含むハイライト表示された行に注意してください。これにより、追加情報が提供されます。 リクエストを任意の端末にコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
code language-shell line-numbers data-start-1 data-line-offset-4 h-16
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
"name": "Azure Blob Storage Base Connection",
"auth": {
"specName": "ConnectionString",
"params": {
"connectionString": "<Add Azure Blob connection string>"
}
},
"connectionSpec": {
"id": "6d6b59bf-fb58-4107-9064-4d246c0e5bb2", // Azure Blob Storage connection spec
"version": "1.0"
}
}'
応答
accordion
Azure Blob Storage - ベース接続応答
code language-json
{
"id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Azure Data Lake Gen 2 (ADLS Gen2)
リクエスト
accordion
Azure Data Lake Gen 2(ADLS Gen2) - ベース接続リクエスト
note tip
TIP
必要な認証資格情報を取得する方法について詳しくは、Azure Data Lake Gen 2 (ADLS Gen2)宛先ドキュメントページの「宛先への認証 」セクションを参照してください。
リクエストサンプルのインラインコメントを含むハイライト表示された行に注意してください。これにより、追加情報が提供されます。 リクエストを任意の端末にコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
code language-shell line-numbers data-start-1 data-line-offset-4 h-20
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
"name": "Azure Data Lake Gen 2(ADLS Gen2) Base Connection",
"auth": {
"specName": "Azure Service Principal Auth",
"params": {
"servicePrincipalKey": "<Add servicePrincipalKey>",
"url": "<Add url>",
"tenant": "<Add tenant>",
"servicePrincipalId": "<Add servicePrincipalId>"
}
},
"connectionSpec": {
"id": "be2c3209-53bc-47e7-ab25-145db8b873e1", // Azure Data Lake Gen 2(ADLS Gen2) connection spec
"version": "1.0"
}
}'
応答
accordion
Azure Data Lake Gen 2(ADLS Gen2) - ベース接続応答
code language-json
{
"id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
データランディングゾーン(DLZ)
リクエスト
accordion
Data Landing Zone(DLZ) - ベース接続リクエスト
note tip
TIP
データランディングゾーンの宛先に認証資格情報は必要ありません。 詳しくは、データランディングゾーンの宛先ドキュメントページの「宛先への認証 」セクションを参照してください。
code language-shell
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
"name": "Data Landing Zone Base Connection",
"connectionSpec": {
"id": "3567r537-2a7b-4583-ac39-ed38d4b848e8",
"version": "1.0"
}
}'
応答
accordion
Data Landing Zone - ベース接続応答
code language-json
{
"id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Google Cloud Storage
リクエスト
accordion
Google Cloud Storage - ベース接続リクエスト
note tip
TIP
必要な認証資格情報を取得する方法について詳しくは、Google Cloud Storageの宛先ドキュメントページの「宛先への認証 」セクションを参照してください。
リクエストサンプルのインラインコメントを含むハイライト表示された行に注意してください。これにより、追加情報が提供されます。 リクエストを任意の端末にコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
code language-shell line-numbers data-start-1 data-line-offset-4 h-18
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
"name": "Google Cloud Storage Base Connection",
"auth": {
"specName": "Google Cloud Storage authentication credentials",
"params": {
"accessKeyId": "<Add accessKeyId>",
"secretAccessKey": "<Add secret Access Key>"
}
},
"connectionSpec": {
"id": "c5d93acb-ea8b-4b14-8f53-02138444ae99", // Google Cloud Storage connection spec
"version": "1.0"
}
}'
応答
accordion
Google Cloud Storage - ベース接続応答
code language-json
{
"id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
SFTP
リクエスト
accordion
パスワード付きSFTP - ベース接続リクエスト
note tip
TIP
必要な認証資格情報を取得する方法について詳しくは、SFTP宛先ドキュメントページの「宛先への認証 」セクションを参照してください。
リクエストサンプルのインラインコメントを含むハイライト表示された行に注意してください。これにより、追加情報が提供されます。 リクエストを任意の端末にコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
code language-shell line-numbers data-start-1 data-line-offset-4 h-19
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
"name": "SFTP with password Base Connection",
"auth": {
"specName": "SFTP with Password",
"params": {
"domain": "<Add domain>",
"username": "<Add username>",
"password": "<Add password>"
}
},
"connectionSpec": {
"id": "36965a81-b1c6-401b-99f8-22508f1e6a26", // SFTP connection spec
"version": "1.0"
}
}'
accordion
SSH キーを使用したSFTP - ベース接続リクエスト
note tip
TIP
必要な認証資格情報を取得する方法について詳しくは、SFTP宛先ドキュメントページの「宛先への認証 」セクションを参照してください。
リクエストサンプルのインラインコメントを含むハイライト表示された行に注意してください。これにより、追加情報が提供されます。 リクエストを任意の端末にコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
code language-shell line-numbers data-start-1 data-line-offset-4 h-19
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
"name": "SFTP with SSH key Base Connection",
"auth": {
"specName": "SFTP with SSH Key",
"params": {
"domain": "<Add domain>",
"username": "<Add username>",
"sshKey": "<Add SSH key>"
}
},
"connectionSpec": {
"id": "36965a81-b1c6-401b-99f8-22508f1e6a26", // SFTP connection spec
"version": "1.0"
}
}'
応答
accordion
SFTP - ベース接続応答
code language-json
{
"id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
応答の接続IDをメモします。 このIDは、ターゲット接続の作成時に次の手順で必要になります。
ターゲット接続の作成 create-target-connection
データセットの書き出しワークフローの手順4を示す
次に、データセットの書き出しパラメーターを格納するターゲット接続を作成する必要があります。 エクスポートパラメーターには、場所、ファイル形式、圧縮などの詳細が含まれます。 宛先の接続仕様で提供されているtargetSpec プロパティを参照して、各宛先タイプでサポートされているプロパティを確認してください。 サポートされているすべての宛先のtargetSpec プロパティについては、以下のタブを参照してください。
JSON ファイルへの書き出しは、圧縮モードでのみサポートされます。 Parquet ファイルへの書き出しは、圧縮モードと非圧縮モードの両方でサポートされています。
書き出されたJSON ファイルの形式はNDJSONで、ビッグデータエコシステムの標準的な交換形式です。 Adobeでは、書き出されたファイルを読み取るために、NDJSON互換クライアントを使用することをお勧めします。
Amazon S3
accordion
ターゲット接続パラメーターを示すAmazon S3 ~ Connection spec
以下のconnection spec例のインラインコメントを含む強調表示された行に注意してください。これにより、接続仕様のtarget spec パラメーターの検索場所に関する追加情報が提供されます。 以下の例では、データセットの書き出し先に適用できるターゲットパラメーターが not であることも確認できます。
code language-json line-numbers data-start-1 data-line-offset-4 h-10 h-41 h-56
{
"items": [
{
"id": "4fce964d-3f37-408f-9778-e597338a21ee",
"name": "Amazon S3",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [...],
"encryptionSpecs": [...],
"targetSpec": { // describes the target connection parameters
"name": "User based target",
"type": "UserNamespace",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {
"bucketName": {
"title": "Bucket name",
"description": "Bucket name",
"type": "string",
"pattern": "(?=^.{3,63}$)(?!^(\\d+\\.)+\\d+$)(^(([a-z0-9]|[a-z0-9][a-z0-9\\-]*[a-z0-9])\\.)*([a-z0-9]|[a-z0-9][a-z0-9\\-]*[a-z0-9])$)",
"uiAttributes": {
"tooltip": {
"id": "platform_destinations_connect_s3_bucket",
"fallbackUrl": "http://www.adobe.com/go/destinations-amazon-s3-connection-parameters-en"
}
}
},
"path": {
"title": "Folder path",
"description": "Output path for copying files",
"type": "string",
"pattern": "^[0-9a-zA-Z\/\\!\\-_\\.\\*\\''\\(\\)]*((\\%SEGMENT_(NAME|ID)\\%)?\/?)+$",
"uiAttributes": {
"tooltip": {
"id": "platform_destinations_connect_s3_folderpath",
"fallbackUrl": "http://www.adobe.com/go/destinations-amazon-s3-connection-parameters-en"
}
}
},
"fileType": {...}, // not applicable to dataset destinations
"datasetFileType": {
"conditional": {
"field": "flowSpec.attributes._workflow",
"operator": "CONTAINS",
"value": "DATASETS"
},
"title": "File Type",
"description": "Select file format",
"type": "string",
"enum": [
"JSON",
"PARQUET"
]
},
"csvOptions": {...}, // not applicable to dataset destinations
"compression": {
"title": "Compression format",
"description": "Select the desired file compression format.",
"type": "string",
"enum": [
"NONE",
"GZIP"
]
}
},
"required": [
"bucketName",
"path",
"datasetFileType",
"compression",
"fileType"
]
}
//...
Azure Blob Storage
accordion
ターゲット接続パラメーターを示すAzure Blob Storage ~ Connection spec
以下のconnection spec例のインラインコメントを含む強調表示された行に注意してください。これにより、接続仕様のtarget spec パラメーターの検索場所に関する追加情報が提供されます。 以下の例では、データセットの書き出し先に適用できるターゲットパラメーターが not であることも確認できます。
code language-json line-numbers data-start-1 data-line-offset-4 h-10 h-29 h-44
{
"items": [
{
"id": "6d6b59bf-fb58-4107-9064-4d246c0e5bb2",
"name": "Azure Blob Storage",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [...],
"encryptionSpecs": [...],
"targetSpec": { // describes the target connection parameters
"name": "User based target",
"type": "UserNamespace",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {
"path": {
"title": "Folder path",
"description": "Output path (relative) indicating where to upload the data",
"type": "string",
"pattern": "^[0-9a-zA-Z\/\\!\\-_\\.\\*\\'\\(\\)]+$"
},
"container": {
"title": "Container",
"description": "Container within the storage where to upload the data",
"type": "string",
"pattern": "^[a-z0-9](?!.*--)[a-z0-9-]{1,61}[a-z0-9]$"
},
"fileType": {...}, // not applicable to dataset destinations
"datasetFileType": {
"conditional": {
"field": "flowSpec.attributes._workflow",
"operator": "CONTAINS",
"value": "DATASETS"
},
"title": "File Type",
"description": "Select file format",
"type": "string",
"enum": [
"JSON",
"PARQUET"
]
},
"csvOptions": {...}, // not applicable to dataset destinations
"compression": {
"title": "Compression format",
"description": "Select the desired file compression format.",
"type": "string",
"enum": [
"NONE",
"GZIP"
]
}
},
"required": [
"container",
"path",
"datasetFileType",
"compression",
"fileType"
]
}
//...
Azure Data Lake Gen 2 (ADLS Gen2)
accordion
ターゲット接続パラメーターを示すAzure Data Lake Gen 2(ADLS Gen2) ~ Connection spec
以下のconnection spec例のインラインコメントを含む強調表示された行に注意してください。これにより、接続仕様のtarget spec パラメーターの検索場所に関する追加情報が提供されます。 以下の例では、データセットの書き出し先に適用できるターゲットパラメーターが not であることも確認できます。
code language-json line-numbers data-start-1 data-line-offset-4 h-10 h-22 h-37
{
"items": [
{
"id": "be2c3209-53bc-47e7-ab25-145db8b873e1",
"name": "Azure Data Lake Gen2",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [...],
"encryptionSpecs": [...],
"targetSpec": { // describes the target connection parameters
"name": "User based target",
"type": "UserNamespace",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {
"path": {
"title": "Folder path",
"description": "Enter the path to your Azure Data Lake Storage folder",
"type": "string"
},
"fileType": {...}, // not applicable to dataset destinations
"datasetFileType": {
"conditional": {
"field": "flowSpec.attributes._workflow",
"operator": "CONTAINS",
"value": "DATASETS"
},
"title": "File Type",
"description": "Select file format",
"type": "string",
"enum": [
"JSON",
"PARQUET"
]
},
"csvOptions":{...}, // not applicable to dataset destinations
"compression": {
"title": "Compression format",
"description": "Select the desired file compression format.",
"type": "string",
"enum": [
"NONE",
"GZIP"
]
}
},
"required": [
"path",
"datasetFileType",
"compression",
"fileType"
]
}
//...
データランディングゾーン(DLZ)
accordion
ターゲット接続パラメーターを示すData Landing Zone(DLZ) ~ Connection spec
以下のconnection spec例のインラインコメントを含む強調表示された行に注意してください。これにより、接続仕様のtarget spec パラメーターの検索場所に関する追加情報が提供されます。 以下の例では、データセットの書き出し先に適用できるターゲットパラメーターが not であることも確認できます。
code language-json line-numbers data-start-1 data-line-offset-4 h-9 h-21 h-36
"items": [
{
"id": "10440537-2a7b-4583-ac39-ed38d4b848e8",
"name": "Data Landing Zone",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [],
"encryptionSpecs": [],
"targetSpec": { // describes the target connection parameters
"name": "User based target",
"type": "UserNamespace",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {
"path": {
"title": "Folder path",
"description": "Enter the path to your Azure Data Lake Storage folder",
"type": "string"
},
"fileType": {...}, // not applicable to dataset destinations
"datasetFileType": {
"conditional": {
"field": "flowSpec.attributes._workflow",
"operator": "CONTAINS",
"value": "DATASETS"
},
"title": "File Type",
"description": "Select file format",
"type": "string",
"enum": [
"JSON",
"PARQUET"
]
},
"csvOptions": {...}, // not applicable to dataset destinations
"compression": {
"title": "Compression format",
"description": "Select the desired file compression format.",
"type": "string",
"enum": [
"NONE",
"GZIP"
]
}
},
"required": [
"path",
"datasetFileType",
"compression",
"fileType"
]
}
//...
Google Cloud Storage
accordion
ターゲット接続パラメーターを示すGoogle Cloud Storage ~ Connection spec
以下のconnection spec例のインラインコメントを含む強調表示された行に注意してください。これにより、接続仕様のtarget spec パラメーターの検索場所に関する追加情報が提供されます。 以下の例では、データセットの書き出し先に適用できるターゲットパラメーターが not であることも確認できます。
code language-json line-numbers data-start-1 data-line-offset-4 h-10 h-29 h-44
{
"items": [
{
"id": "c5d93acb-ea8b-4b14-8f53-02138444ae99",
"name": "Google Cloud Storage",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [...],
"encryptionSpecs": [...],
"targetSpec": { // describes the target connection parameters
"name": "User based target",
"type": "UserNamespace",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {
"bucketName": {
"title": "Bucket name",
"description": "Bucket name",
"type": "string",
"pattern": "(?!^goog.*$)(?!^.*g(o|0)(o|0)gle.*$)(((?=^.{3,63}$)(^([a-z0-9]|[a-z0-9][a-z0-9\\-_]*)[a-z0-9]$))|((?=^.{3,222}$)(?!^(\\d+\\.)+\\d+$)(^(([a-z0-9]{1,63}|[a-z0-9][a-z0-9\\-_]{1,61}[a-z0-9])\\.)*([a-z0-9]{1,63}|[a-z0-9][a-z0-9\\-_]{1,61}[a-z0-9])$)))"
},
"path": {
"title": "Folder path",
"description": "Output path for copying files",
"type": "string",
"pattern": "^[0-9a-zA-Z\/\\!\\-_\\.\\*\\''\\(\\)]*((\\%SEGMENT_(NAME|ID)\\%)?\/?)+$"
},
"fileType": {...}, // not applicable to dataset destinations
"datasetFileType": {
"conditional": {
"field": "flowSpec.attributes._workflow",
"operator": "CONTAINS",
"value": "DATASETS"
},
"title": "File Type",
"description": "Select file format",
"type": "string",
"enum": [
"JSON",
"PARQUET"
]
},
"csvOptions": {...}, // not applicable to dataset destinations
"compression": {
"title": "Compression format",
"description": "Select the desired file compression format.",
"type": "string",
"enum": [
"NONE",
"GZIP"
]
}
},
"required": [
"bucketName",
"path",
"datasetFileType",
"compression",
"fileType"
]
}
//...
SFTP
accordion
SFTP - ターゲット接続パラメーターを示すConnection spec
以下のconnection spec例のインラインコメントを含む強調表示された行に注意してください。これにより、接続仕様のtarget spec パラメーターの検索場所に関する追加情報が提供されます。 以下の例では、データセットの書き出し先に適用できるターゲットパラメーターが not であることも確認できます。
code language-json line-numbers data-start-1 data-line-offset-4 h-10 h-22 h-37
{
"items": [
{
"id": "36965a81-b1c6-401b-99f8-22508f1e6a26",
"name": "SFTP",
"providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
"version": "1.0",
"authSpec": [...],
"encryptionSpecs": [...],
"targetSpec": { // describes the target connection parameters
"name": "User based target",
"type": "UserNamespace",
"spec": {
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {
"remotePath": {
"title": "Folder path",
"description": "Enter your folder path",
"type": "string"
},
"fileType": {...}, // not applicable to dataset destinations
"datasetFileType": {
"conditional": {
"field": "flowSpec.attributes._workflow",
"operator": "CONTAINS",
"value": "DATASETS"
},
"title": "File Type",
"description": "Select file format",
"type": "string",
"enum": [
"JSON",
"PARQUET"
]
},
"csvOptions": {...}, // not applicable to dataset destinations
"compression": {
"title": "Compression format",
"description": "Select the desired file compression format.",
"type": "string",
"enum": [
"GZIP",
"NONE"
]
}
},
"required": [
"remotePath",
"datasetFileType",
"compression",
"fileType"
]
},
//...
上記の仕様を使用すると、以下のタブに示すように、目的のクラウドストレージ宛先に固有のターゲット接続リクエストを作成できます。
Amazon S3
リクエスト
accordion
Amazon S3 - Target接続リクエスト
note tip
TIP
必要なターゲットパラメーターの取得方法について詳しくは、Amazon S3宛先ドキュメントページの「宛先の詳細を入力 」セクションを参照してください。 サポートされているその他のdatasetFileTypeの値については、API リファレンスドキュメントを参照してください。
リクエストサンプルのインラインコメントを含むハイライト表示された行に注意してください。これにより、追加情報が提供されます。 リクエストを任意の端末にコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
code language-shell line-numbers data-start-1 data-line-offset-4 h-19
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Amazon S3 Target Connection",
"baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
"params": {
"mode": "Server-to-server",
"bucketName": "your-bucket-name",
"path": "folder/subfolder",
"compression": "NONE",
"datasetFileType": "JSON"
},
"connectionSpec": {
"id": "4fce964d-3f37-408f-9778-e597338a21ee", // Amazon S3 connection spec id
"version": "1.0"
}
}'
応答
accordion
ターゲット接続 – 応答
code language-json
{
"id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Azure Blob Storage
リクエスト
accordion
Azure Blob Storage - Target接続リクエスト
note tip
TIP
必要なターゲットパラメーターの取得方法について詳しくは、Azure Blob Storage宛先ドキュメントページの「宛先の詳細を入力 」セクションを参照してください。 サポートされているその他のdatasetFileTypeの値については、API リファレンスドキュメントを参照してください。
リクエストサンプルのインラインコメントを含むハイライト表示された行に注意してください。これにより、追加情報が提供されます。 リクエストを任意の端末にコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
code language-shell line-numbers data-start-1 data-line-offset-4 h-19
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Azure Blob Storage Target Connection",
"baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
"params": {
"mode": "Server-to-server",
"container": "your-container-name",
"path": "folder/subfolder",
"compression": "NONE",
"datasetFileType": "JSON"
},
"connectionSpec": {
"id": "6d6b59bf-fb58-4107-9064-4d246c0e5bb2", // Azure Blob Storage connection spec id
"version": "1.0"
}
}'
応答
accordion
ターゲット接続 – 応答
code language-json
{
"id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Azure Data Lake Gen 2 (ADLS Gen2)
リクエスト
accordion
Azure Blob Storage - Target接続リクエスト
note tip
TIP
必要なターゲットパラメーターの取得方法について詳しくは、Azure Data Lake Gen 2(ADLS Gen2)宛先ドキュメント ページの「宛先の詳細を入力 」セクションを参照してください。 サポートされているその他のdatasetFileTypeの値については、API リファレンスドキュメントを参照してください。
リクエストサンプルのインラインコメントを含むハイライト表示された行に注意してください。これにより、追加情報が提供されます。 リクエストを任意の端末にコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
code language-shell line-numbers data-start-1 data-line-offset-4 h-18
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Azure Data Lake Gen 2(ADLS Gen2) Target Connection",
"baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
"params": {
"mode": "Server-to-server",
"path": "folder/subfolder",
"compression": "NONE",
"datasetFileType": "JSON"
},
"connectionSpec": {
"id": "be2c3209-53bc-47e7-ab25-145db8b873e1", // Azure Data Lake Gen 2(ADLS Gen2) connection spec id
"version": "1.0"
}
}'
応答
accordion
ターゲット接続 – 応答
code language-json
{
"id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
データランディングゾーン(DLZ)
リクエスト
accordion
Data Landing Zone - Target接続リクエスト
note tip
TIP
必要なターゲットパラメーターの取得方法について詳しくは、Data Landing Zone宛先ドキュメントページの「宛先の詳細を入力 」セクションを参照してください。 サポートされているその他のdatasetFileTypeの値については、API リファレンスドキュメントを参照してください。
リクエストサンプルのインラインコメントを含むハイライト表示された行に注意してください。これにより、追加情報が提供されます。 リクエストを任意の端末にコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
code language-shell line-numbers data-start-1 data-line-offset-4 h-18
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Data Landing Zone Target Connection",
"baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
"params": {
"mode": "Server-to-server",
"path": "folder/subfolder",
"compression": "NONE",
"datasetFileType": "JSON"
},
"connectionSpec": {
"id": "10440537-2a7b-4583-ac39-ed38d4b848e8", // Data Landing Zone connection spec id
"version": "1.0"
}
}'
応答
accordion
ターゲット接続 – 応答
code language-json
{
"id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Google Cloud Storage
リクエスト
accordion
Google Cloud Storage - Target接続リクエスト
note tip
TIP
必要なターゲットパラメーターの取得方法について詳しくは、Google Cloud Storage宛先ドキュメントページの「宛先の詳細を入力 」セクションを参照してください。 サポートされているその他のdatasetFileTypeの値については、API リファレンスドキュメントを参照してください。
リクエストサンプルのインラインコメントを含むハイライト表示された行に注意してください。これにより、追加情報が提供されます。 リクエストを任意の端末にコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
code language-shell line-numbers data-start-1 data-line-offset-4 h-19
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Google Cloud Storage Target Connection",
"baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
"params": {
"mode": "Server-to-server",
"bucketName": "your-bucket-name",
"path": "folder/subfolder",
"compression": "NONE",
"datasetFileType": "JSON"
},
"connectionSpec": {
"id": "c5d93acb-ea8b-4b14-8f53-02138444ae99", // Google Cloud Storage connection spec id
"version": "1.0"
}
}'
応答
accordion
ターゲット接続 – 応答
code language-json
{
"id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
SFTP
リクエスト
accordion
SFTP - Target接続リクエスト
note tip
TIP
必要なターゲットパラメーターの取得方法について詳しくは、SFTP宛先ドキュメントページの「宛先の詳細を入力 」セクションを参照してください。 サポートされているその他のdatasetFileTypeの値については、API リファレンスドキュメントを参照してください。
リクエストサンプルのインラインコメントを含むハイライト表示された行に注意してください。これにより、追加情報が提供されます。 リクエストを任意の端末にコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
code language-shell line-numbers data-start-1 data-line-offset-4 h-18
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "SFTP Target Connection",
"baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
"params": {
"mode": "Server-to-server",
"remotePath": "folder/subfolder",
"compression": "NONE",
"datasetFileType": "JSON"
},
"connectionSpec": {
"id": "36965a81-b1c6-401b-99f8-22508f1e6a26", // SFTP connection spec id
"version": "1.0"
}
}'
応答
accordion
Target接続 – 応答
code language-json
{
"id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
応答のTarget接続IDをメモします。 このIDは、データセットを書き出すデータフローを作成する際に、次の手順で必要になります。
データフローの作成 create-dataflow
データセットの書き出しワークフローの手順5を示す
宛先設定の最後の手順は、データフローを設定することです。 データフローは、以前に作成したエンティティを結びつけ、データセット書き出しスケジュールを設定するためのオプションも提供します。 データフローを作成するには、目的のクラウドストレージの宛先に応じて、以下のペイロードを使用し、以前の手順で作成したエンティティ IDを置き換えます。
Amazon S3
リクエスト
accordion
Amazon S3宛先へのデータセットデータフローの作成 – リクエスト
リクエストサンプルのインラインコメントを含むハイライト表示された行に注意してください。これにより、追加情報が提供されます。 リクエストを任意の端末にコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-22-25
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Activate datasets to an Amazon S3 cloud storage destination",
"description": "This operation creates a dataflow to export datasets to an Amazon S3 cloud storage destination",
"flowSpec": {
"id": "269ba276-16fc-47db-92b0-c1049a3c131f", // Amazon S3 flow spec ID
"version": "1.0"
},
"sourceConnectionIds": [
"<FROM_STEP_CREATE_SOURCE_CONNECTION>"
],
"targetConnectionIds": [
"<FROM_STEP_CREATE_TARGET_CONNECTION>"
],
"transformations": [],
"scheduleParams": { // specify the scheduling info
"exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
"interval": 3, // also supports 6, 9, 12 hour increments
"timeUnit": "hour", // also supports "day" for daily increments.
"interval": 1, // when you select "timeUnit": "day"
"startTime": 1675901210, // UNIX timestamp start time (in seconds)
"endTime": 1975901210, // UNIX timestamp end time (in seconds)
"foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
}
}'
次の表では、データセットの書き出しに関する書き出し時間、頻度、場所などをカスタマイズするためのscheduleParams セクションのすべてのパラメーターについて説明します。
table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2 6-row-2 layout-auto
パラメーター
説明
exportMode
"DAILY_FULL_EXPORT" または "FIRST_FULL_THEN_INCREMENTAL" を選択します。 2つのオプションについて詳しくは、バッチ宛先アクティベーションのチュートリアルの「完全ファイルを書き出し 」と「増分ファイルを書き出し 」を参照してください。 使用可能な3つの書き出しオプションは次のとおりです。完全ファイル - 1回 : "DAILY_FULL_EXPORT"は、データセットの1回限りの完全な書き出しにtimeUnit:dayおよびinterval:0と組み合わせてのみ使用できます。 データセットの1日の完全な書き出しはサポートされていません。 毎日の書き出しが必要な場合は、「増分書き出し」オプションを使用します。日次の増分書き出し :日次の増分書き出しの場合は、"FIRST_FULL_THEN_INCREMENTAL"、timeUnit:dayおよびinterval :1を選択します。時間単位の増分書き出し :時間単位の増分書き出しでは、"FIRST_FULL_THEN_INCREMENTAL"、timeUnit:hourおよびinterval :3、6、9または12を選択します。
timeUnit
データセット ファイルを書き出す頻度に応じて、dayまたはhourを選択します。
interval
timeUnitが日の場合は1、時間単位がhourの場合は3,6,9,12を選択します。
startTime
データセットの書き出しを開始する必要があるUNIX秒単位の日時。
endTime
データセットの書き出しが終了する日時(UNIX秒単位)。
foldernameTemplate
書き出されたファイルが格納される保存場所に、想定されるフォルダー名構造を指定します。
DATASET_ID = データセットの一意のID。
宛先 = 宛先の名前。
日時 = yyyyMMdd_HHmmss形式の日時。
EXPORT_TIME = データ書き出しのスケジュール時間がexportTime=YYYYMMDDHHMM.にフォーマットされました
DESTINATION_INSTANCE_NAME = 宛先の特定のインスタンスの名前。
DESTINATION_INSTANCE_ID = 宛先インスタンスの一意のID。
SANDBOX_NAME = サンドボックス環境の名前。
ORGANIZATION_NAME = 組織の名前。
応答
accordion
データフローの作成 – 応答
code language-json
{
"id": "eb54b3b3-3949-4f12-89c8-64eafaba858f",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Azure Blob Storage
リクエスト
accordion
Azure Blob Storage宛先へのデータセットデータフローの作成 – リクエスト
リクエストサンプルのインラインコメントを含むハイライト表示された行に注意してください。これにより、追加情報が提供されます。 リクエストを任意の端末にコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-22-25
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Activate datasets to an Azure Blob Storage cloud storage destination",
"description": "This operation creates a dataflow to export datasets to an Azure Blob Storage cloud storage destination",
"flowSpec": {
"id": "95bd8965-fc8a-4119-b9c3-944c2c2df6d2", // Azure Blob Storage flow spec ID
"version": "1.0"
},
"sourceConnectionIds": [
"<FROM_STEP_CREATE_SOURCE_CONNECTION>"
],
"targetConnectionIds": [
"<FROM_STEP_CREATE_TARGET_CONNECTION>"
],
"transformations": [],
"scheduleParams": { // specify the scheduling info
"exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
"interval": 3, // also supports 6, 9, 12 hour increments
"timeUnit": "hour", // also supports "day" for daily increments.
"interval": 1, // when you select "timeUnit": "day"
"startTime": 1675901210, // UNIX timestamp start time (in seconds)
"endTime": 1975901210, // UNIX timestamp end time (in seconds)
"foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
}
}'
次の表では、データセットの書き出しに関する書き出し時間、頻度、場所などをカスタマイズするためのscheduleParams セクションのすべてのパラメーターについて説明します。
table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2 6-row-2 layout-auto
パラメーター
説明
exportMode
"DAILY_FULL_EXPORT" または "FIRST_FULL_THEN_INCREMENTAL" を選択します。 2つのオプションについて詳しくは、バッチ宛先アクティベーションのチュートリアルの「完全ファイルを書き出し 」と「増分ファイルを書き出し 」を参照してください。 使用可能な3つの書き出しオプションは次のとおりです。完全ファイル - 1回 : "DAILY_FULL_EXPORT"は、データセットの1回限りの完全な書き出しにtimeUnit:dayおよびinterval:0と組み合わせてのみ使用できます。 データセットの1日の完全な書き出しはサポートされていません。 毎日の書き出しが必要な場合は、「増分書き出し」オプションを使用します。日次の増分書き出し :日次の増分書き出しの場合は、"FIRST_FULL_THEN_INCREMENTAL"、timeUnit:dayおよびinterval :1を選択します。時間単位の増分書き出し :時間単位の増分書き出しでは、"FIRST_FULL_THEN_INCREMENTAL"、timeUnit:hourおよびinterval :3、6、9または12を選択します。
timeUnit
データセット ファイルを書き出す頻度に応じて、dayまたはhourを選択します。
interval
timeUnitが日の場合は1、時間単位がhourの場合は3,6,9,12を選択します。
startTime
データセットの書き出しを開始する必要があるUNIX秒単位の日時。
endTime
データセットの書き出しが終了する日時(UNIX秒単位)。
foldernameTemplate
書き出されたファイルが格納される保存場所に、想定されるフォルダー名構造を指定します。
DATASET_ID = データセットの一意のID。
宛先 = 宛先の名前。
日時 = yyyyMMdd_HHmmss形式の日時。
EXPORT_TIME = データ書き出しのスケジュール時間がexportTime=YYYYMMDDHHMM.にフォーマットされました
DESTINATION_INSTANCE_NAME = 宛先の特定のインスタンスの名前。
DESTINATION_INSTANCE_ID = 宛先インスタンスの一意のID。
SANDBOX_NAME = サンドボックス環境の名前。
ORGANIZATION_NAME = 組織の名前。
応答
accordion
データフローの作成 – 応答
code language-json
{
"id": "eb54b3b3-3949-4f12-89c8-64eafaba858f",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Azure Data Lake Gen 2 (ADLS Gen2)
リクエスト
accordion
Azure Data Lake Gen 2(ADLS Gen2)宛先へのデータセットデータフローの作成 – リクエスト
リクエストサンプルのインラインコメントを含むハイライト表示された行に注意してください。これにより、追加情報が提供されます。 リクエストを任意の端末にコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-22-25
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Activate datasets to an Azure Data Lake Gen 2(ADLS Gen2) cloud storage destination",
"description": "This operation creates a dataflow to export datasets to an Azure Data Lake Gen 2(ADLS Gen2) cloud storage destination",
"flowSpec": {
"id": "17be2013-2549-41ce-96e7-a70363bec293", // Azure Data Lake Gen 2(ADLS Gen2) flow spec ID
"version": "1.0"
},
"sourceConnectionIds": [
"<FROM_STEP_CREATE_SOURCE_CONNECTION>"
],
"targetConnectionIds": [
"<FROM_STEP_CREATE_TARGET_CONNECTION>"
],
"transformations": [],
"scheduleParams": { // specify the scheduling info
"exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
"interval": 3, // also supports 6, 9, 12 hour increments
"timeUnit": "hour", // also supports "day" for daily increments.
"interval": 1, // when you select "timeUnit": "day"
"startTime": 1675901210, // UNIX timestamp start time (in seconds)
"endTime": 1975901210, // UNIX timestamp end time (in seconds)
"foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
}
}'
次の表では、データセットの書き出しに関する書き出し時間、頻度、場所などをカスタマイズするためのscheduleParams セクションのすべてのパラメーターについて説明します。
table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2 6-row-2 layout-auto
パラメーター
説明
exportMode
"DAILY_FULL_EXPORT" または "FIRST_FULL_THEN_INCREMENTAL" を選択します。 2つのオプションについて詳しくは、バッチ宛先アクティベーションのチュートリアルの「完全ファイルを書き出し 」と「増分ファイルを書き出し 」を参照してください。 使用可能な3つの書き出しオプションは次のとおりです。完全ファイル - 1回 : "DAILY_FULL_EXPORT"は、データセットの1回限りの完全な書き出しにtimeUnit:dayおよびinterval:0と組み合わせてのみ使用できます。 データセットの1日の完全な書き出しはサポートされていません。 毎日の書き出しが必要な場合は、「増分書き出し」オプションを使用します。日次の増分書き出し :日次の増分書き出しの場合は、"FIRST_FULL_THEN_INCREMENTAL"、timeUnit:dayおよびinterval :1を選択します。時間単位の増分書き出し :時間単位の増分書き出しでは、"FIRST_FULL_THEN_INCREMENTAL"、timeUnit:hourおよびinterval :3、6、9または12を選択します。
timeUnit
データセット ファイルを書き出す頻度に応じて、dayまたはhourを選択します。
interval
timeUnitが日の場合は1、時間単位がhourの場合は3,6,9,12を選択します。
startTime
データセットの書き出しを開始する必要があるUNIX秒単位の日時。
endTime
データセットの書き出しが終了する日時(UNIX秒単位)。
foldernameTemplate
書き出されたファイルが格納される保存場所に、想定されるフォルダー名構造を指定します。
DATASET_ID = データセットの一意のID。
宛先 = 宛先の名前。
日時 = yyyyMMdd_HHmmss形式の日時。
EXPORT_TIME = データ書き出しのスケジュール時間がexportTime=YYYYMMDDHHMM.にフォーマットされました
DESTINATION_INSTANCE_NAME = 宛先の特定のインスタンスの名前。
DESTINATION_INSTANCE_ID = 宛先インスタンスの一意のID。
SANDBOX_NAME = サンドボックス環境の名前。
ORGANIZATION_NAME = 組織の名前。
応答
accordion
データフローの作成 – 応答
code language-json
{
"id": "eb54b3b3-3949-4f12-89c8-64eafaba858f",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
データランディングゾーン(DLZ)
リクエスト
accordion
Data Landing Zone宛先へのデータセットデータフローの作成 – リクエスト
リクエストサンプルのインラインコメントを含むハイライト表示された行に注意してください。これにより、追加情報が提供されます。 リクエストを任意の端末にコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-22-25
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Activate datasets to a Data Landing Zone cloud storage destination",
"description": "This operation creates a dataflow to export datasets to a Data Landing Zone cloud storage destination",
"flowSpec": {
"id": "cd2fc47e-e838-4f38-a581-8fff2f99b63a", // Data Landing Zone flow spec ID
"version": "1.0"
},
"sourceConnectionIds": [
"<FROM_STEP_CREATE_SOURCE_CONNECTION>"
],
"targetConnectionIds": [
"<FROM_STEP_CREATE_TARGET_CONNECTION>"
],
"transformations": [],
"scheduleParams": { // specify the scheduling info
"exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
"interval": 3, // also supports 6, 9, 12 hour increments
"timeUnit": "hour", // also supports "day" for daily increments.
"interval": 1, // when you select "timeUnit": "day"
"startTime": 1675901210, // UNIX timestamp start time (in seconds)
"endTime": 1975901210, // UNIX timestamp end time (in seconds)
"foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
}
}'
次の表では、データセットの書き出しに関する書き出し時間、頻度、場所などをカスタマイズするためのscheduleParams セクションのすべてのパラメーターについて説明します。
table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2 6-row-2 layout-auto
パラメーター
説明
exportMode
"DAILY_FULL_EXPORT" または "FIRST_FULL_THEN_INCREMENTAL" を選択します。 2つのオプションについて詳しくは、バッチ宛先アクティベーションのチュートリアルの「完全ファイルを書き出し 」と「増分ファイルを書き出し 」を参照してください。 使用可能な3つの書き出しオプションは次のとおりです。完全ファイル - 1回 : "DAILY_FULL_EXPORT"は、データセットの1回限りの完全な書き出しにtimeUnit:dayおよびinterval:0と組み合わせてのみ使用できます。 データセットの1日の完全な書き出しはサポートされていません。 毎日の書き出しが必要な場合は、「増分書き出し」オプションを使用します。日次の増分書き出し :日次の増分書き出しの場合は、"FIRST_FULL_THEN_INCREMENTAL"、timeUnit:dayおよびinterval :1を選択します。時間単位の増分書き出し :時間単位の増分書き出しでは、"FIRST_FULL_THEN_INCREMENTAL"、timeUnit:hourおよびinterval :3、6、9または12を選択します。
timeUnit
データセット ファイルを書き出す頻度に応じて、dayまたはhourを選択します。
interval
timeUnitが日の場合は1、時間単位がhourの場合は3,6,9,12を選択します。
startTime
データセットの書き出しを開始する必要があるUNIX秒単位の日時。
endTime
データセットの書き出しが終了する日時(UNIX秒単位)。
foldernameTemplate
書き出されたファイルが格納される保存場所に、想定されるフォルダー名構造を指定します。
DATASET_ID = データセットの一意のID。
宛先 = 宛先の名前。
日時 = yyyyMMdd_HHmmss形式の日時。
EXPORT_TIME = データ書き出しのスケジュール時間がexportTime=YYYYMMDDHHMM.にフォーマットされました
DESTINATION_INSTANCE_NAME = 宛先の特定のインスタンスの名前。
DESTINATION_INSTANCE_ID = 宛先インスタンスの一意のID。
SANDBOX_NAME = サンドボックス環境の名前。
ORGANIZATION_NAME = 組織の名前。
応答
accordion
データフローの作成 – 応答
code language-json
{
"id": "eb54b3b3-3949-4f12-89c8-64eafaba858f",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Google Cloud Storage
リクエスト
accordion
Google Cloud Storage宛先へのデータセットデータフローの作成 – リクエスト
リクエストサンプルのインラインコメントを含むハイライト表示された行に注意してください。これにより、追加情報が提供されます。 リクエストを任意の端末にコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-22-25
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Activate datasets to a Google Cloud Storage cloud storage destination",
"description": "This operation creates a dataflow to export datasets to a Google Cloud Storage destination",
"flowSpec": {
"id": "585c15c4-6cbf-4126-8f87-e26bff78b657", // Google Cloud Storage flow spec ID
"version": "1.0"
},
"sourceConnectionIds": [
"<FROM_STEP_CREATE_SOURCE_CONNECTION>"
],
"targetConnectionIds": [
"<FROM_STEP_CREATE_TARGET_CONNECTION>"
],
"transformations": [],
"scheduleParams": { // specify the scheduling info
"exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
"interval": 3, // also supports 6, 9, 12 hour increments
"timeUnit": "hour", // also supports "day" for daily increments.
"interval": 1, // when you select "timeUnit": "day"
"startTime": 1675901210, // UNIX timestamp start time (in seconds)
"endTime": 1975901210, // UNIX timestamp end time (in seconds)
"foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
}
}'
次の表では、データセットの書き出しに関する書き出し時間、頻度、場所などをカスタマイズするためのscheduleParams セクションのすべてのパラメーターについて説明します。
table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2 6-row-2 layout-auto
パラメーター
説明
exportMode
"DAILY_FULL_EXPORT" または "FIRST_FULL_THEN_INCREMENTAL" を選択します。 2つのオプションについて詳しくは、バッチ宛先アクティベーションのチュートリアルの「完全ファイルを書き出し 」と「増分ファイルを書き出し 」を参照してください。 使用可能な3つの書き出しオプションは次のとおりです。完全ファイル - 1回 : "DAILY_FULL_EXPORT"は、データセットの1回限りの完全な書き出しにtimeUnit:dayおよびinterval:0と組み合わせてのみ使用できます。 データセットの1日の完全な書き出しはサポートされていません。 毎日の書き出しが必要な場合は、「増分書き出し」オプションを使用します。日次の増分書き出し :日次の増分書き出しの場合は、"FIRST_FULL_THEN_INCREMENTAL"、timeUnit:dayおよびinterval :1を選択します。時間単位の増分書き出し :時間単位の増分書き出しでは、"FIRST_FULL_THEN_INCREMENTAL"、timeUnit:hourおよびinterval :3、6、9または12を選択します。
timeUnit
データセット ファイルを書き出す頻度に応じて、dayまたはhourを選択します。
interval
timeUnitが日の場合は1、時間単位がhourの場合は3,6,9,12を選択します。
startTime
データセットの書き出しを開始する必要があるUNIX秒単位の日時。
endTime
データセットの書き出しが終了する日時(UNIX秒単位)。
foldernameTemplate
書き出されたファイルが格納される保存場所に、想定されるフォルダー名構造を指定します。
DATASET_ID = データセットの一意のID。
宛先 = 宛先の名前。
日時 = yyyyMMdd_HHmmss形式の日時。
EXPORT_TIME = データ書き出しのスケジュール時間がexportTime=YYYYMMDDHHMM.にフォーマットされました
DESTINATION_INSTANCE_NAME = 宛先の特定のインスタンスの名前。
DESTINATION_INSTANCE_ID = 宛先インスタンスの一意のID。
SANDBOX_NAME = サンドボックス環境の名前。
ORGANIZATION_NAME = 組織の名前。
応答
accordion
データフローの作成 – 応答
code language-json
{
"id": "eb54b3b3-3949-4f12-89c8-64eafaba858f",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
SFTP
リクエスト
accordion
SFTP宛先へのデータセットデータフローの作成 – リクエスト
リクエストサンプルのインラインコメントを含むハイライト表示された行に注意してください。これにより、追加情報が提供されます。 リクエストを任意の端末にコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。
code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-22-25
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
"name": "Activate datasets to an SFTP cloud storage destination",
"description": "This operation creates a dataflow to export datasets to an SFTP cloud storage destination",
"flowSpec": {
"id": "354d6aad-4754-46e4-a576-1b384561c440", // SFTP flow spec ID
"version": "1.0"
},
"sourceConnectionIds": [
"<FROM_STEP_CREATE_SOURCE_CONNECTION>"
],
"targetConnectionIds": [
"<FROM_STEP_CREATE_TARGET_CONNECTION>"
],
"transformations": [],
"scheduleParams": { // specify the scheduling info
"exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
"interval": 3, // also supports 6, 9, 12 hour increments
"timeUnit": "hour", // also supports "day" for daily increments.
"interval": 1, // when you select "timeUnit": "day"
"startTime": 1675901210, // UNIX timestamp start time (in seconds)
"endTime": 1975901210, // UNIX timestamp end time (in seconds)
"foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
}
}'
次の表では、データセットの書き出しに関する書き出し時間、頻度、場所などをカスタマイズするためのscheduleParams セクションのすべてのパラメーターについて説明します。
table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2 6-row-2 layout-auto
パラメーター
説明
exportMode
"DAILY_FULL_EXPORT" または "FIRST_FULL_THEN_INCREMENTAL" を選択します。 2つのオプションについて詳しくは、バッチ宛先アクティベーションのチュートリアルの「完全ファイルを書き出し 」と「増分ファイルを書き出し 」を参照してください。 使用可能な3つの書き出しオプションは次のとおりです。完全ファイル - 1回 : "DAILY_FULL_EXPORT"は、データセットの1回限りの完全な書き出しにtimeUnit:dayおよびinterval:0と組み合わせてのみ使用できます。 データセットの1日の完全な書き出しはサポートされていません。 毎日の書き出しが必要な場合は、「増分書き出し」オプションを使用します。日次の増分書き出し :日次の増分書き出しの場合は、"FIRST_FULL_THEN_INCREMENTAL"、timeUnit:dayおよびinterval :1を選択します。時間単位の増分書き出し :時間単位の増分書き出しでは、"FIRST_FULL_THEN_INCREMENTAL"、timeUnit:hourおよびinterval :3、6、9または12を選択します。
timeUnit
データセット ファイルを書き出す頻度に応じて、dayまたはhourを選択します。
interval
timeUnitが日の場合は1、時間単位がhourの場合は3,6,9,12を選択します。
startTime
データセットの書き出しを開始する必要があるUNIX秒単位の日時。
endTime
データセットの書き出しが終了する日時(UNIX秒単位)。
foldernameTemplate
書き出されたファイルが格納される保存場所に、想定されるフォルダー名構造を指定します。
DATASET_ID = データセットの一意のID。
宛先 = 宛先の名前。
日時 = yyyyMMdd_HHmmss形式の日時。
EXPORT_TIME = データ書き出しのスケジュール時間がexportTime=YYYYMMDDHHMM.にフォーマットされました
DESTINATION_INSTANCE_NAME = 宛先の特定のインスタンスの名前。
DESTINATION_INSTANCE_ID = 宛先インスタンスの一意のID。
SANDBOX_NAME = サンドボックス環境の名前。
ORGANIZATION_NAME = 組織の名前。
応答
accordion
データフローの作成 – 応答
code language-json
{
"id": "eb54b3b3-3949-4f12-89c8-64eafaba858f",
"etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
応答のデータフローIDをメモします。 このIDは、成功したデータセットの書き出しを検証するためにデータフロー実行を取得する際に、次の手順で必要になります。
データフロー実行の取得 get-dataflow-runs
データセットの書き出しワークフローの手順6を示す
データフローの実行を確認するには、Dataflow Runs APIを使用します。
リクエスト
データフロー実行を取得するリクエストで、データフローの作成時に前の手順で取得したデータフローIDをクエリパラメーターとして追加します。
code language-shell
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/runs?property=flowId==eb54b3b3-3949-4f12-89c8-64eafaba858f' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
応答
code language-json
{
"items": [
{
"id": "4b7728dd-83c9-4c38-95a4-24ddab545404",
"createdAt": 1675807718296,
"updatedAt": 1675807731834,
"createdBy": "aep_activation_batch@AdobeID",
"updatedBy": "acp_foundation_connectors@AdobeID",
"createdClient": "aep_activation_batch",
"updatedClient": "acp_foundation_connectors",
"sandboxId": "7dfdcd30-0a09-11ea-8ea6-7bf93ce86c28",
"sandboxName": "sand-1",
"imsOrgId": "5555467B5D8013E50A494220@AdobeOrg",
"flowId": "aae5ec63-b0ac-4808-9a44-abf2ea67bd5a",
"flowSpec": {
"id": "615d3489-36d2-4671-9467-4ae1129facd3",
"version": "1.0"
},
"providerRefId": "ba56f98e0c49b572adb249980c39b1c7",
"etag": "\"08005e9e-0000-0200-0000-63e2cbf30000\"",
"metrics": {
"durationSummary": {
"startedAtUTC": 1675807719411,
"completedAtUTC": 1675807719416
},
"sizeSummary": {
"inputBytes": 0
},
"recordSummary": {
"inputRecordCount": 0,
"skippedRecordCount": 0,
"sourceSummaries": [
{
"id": "ea2b1205-4692-49de-b448-ebf75b1d188a",
"inputRecordCount": 0,
"skippedRecordCount": 0,
"entitySummaries": [
{
//...
Flow Service API🔗 から返される様々なパラメーターに関する情報は、API リファレンスドキュメントで確認できます。
データフロー内のデータセットの表示 view-datasets-in-dataflow
データセット書き出しデータフローを作成した後、そのデータフローで設定されたデータセットのリストを取得できます。 この2呼び出しワークフローを使用して、データフローが現在エクスポートしているデータセットを確認します。 これは、データフローのメタデータをプログラムで保存し、現在の設定と紐付ける必要がある場合に特に便利です。
データフローの取得 retrieve-dataflow
データフローを取得してsourceConnectionIdsを取得します。 データセット定義はソース接続に存在するため、関連付けられたデータセットを表示する前にこのIDが必要です。
データフローIDを知っている場合は、リクエストで直接使用します。 IDがわからない場合は、まず、以下に示すクエリパラメーターを使用してすべてのデータセット書き出しデータフローをリストしてから、正しいデータフローを特定します。
リクエスト
code language-shell
curl --request GET 'https://platform.adobe.io/data/foundation/flowservice/flows?property=inheritedAttributes.targetConnections[].data.outputType==DATASET_EXPORT' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'
code language-shell
curl --request GET 'https://platform.adobe.io/data/foundation/flowservice/flows/{FLOW_ID}' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'
応答
code language-json
{
"id": "eb54b3b3-3949-4f12-89c8-64eafaba858f",
"name": "Dataset export dataflow",
"sourceConnectionIds": [
"f8b5e8e0-6d50-4e32-a48a-9e9e8a42b5c2"
]
}
応答のsourceConnectionIds値に注意してください。 次のステップで使用します。
ソース接続の取得 retrieve-source-connection
前の手順で取得したソース接続IDを使用して、データフローで設定されたデータセットを取得します。
リクエスト
code language-shell
curl --request GET 'https://platform.adobe.io/data/foundation/flowservice/sourceConnections/{SOURCE_CONNECTION_ID}' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'
応答
params.datasets配列には、データフローで設定されたデータセットが一覧表示されます。 各エントリには、データセット IDと名前が含まれます。
code language-json
{
"id": "f8b5e8e0-6d50-4e32-a48a-9e9e8a42b5c2",
"name": "Dataset export source connection",
"params": {
"datasets": [
{
"dataSetId": "abc123",
"name": "AAM Devices Data"
},
{
"dataSetId": "def456",
"name": "Loyalty Members"
}
]
}
}
データセットの正常な書き出しの確認 verify
データセットを書き出す際、Experience Platform は、指定されたストレージの場所に .json または .parquet ファイルを保存します。 データフローの作成時 に指定した書き出しスケジュールに従って、新しいファイルがストレージの場所に格納されることを期待します。
Experience Platform は、指定されたストレージの場所にフォルダー構造を作成し、書き出されたデータセットファイルを格納します。 書き出しのたびに、次のパターンに従って新しいフォルダーが作成されます。
folder-name-you-provided/datasetID/exportTime=YYYYMMDDHHMM
デフォルトのファイル名はランダムに生成され、書き出されたファイルの名前は必ず一意になります。
サンプルデータセットファイル sample-files
これらのファイルがストレージの場所に存在すれば、書き出しは成功しています。 書き出されたファイルの構造を理解するには、サンプルの .parquet ファイル または .json ファイル をダウンロードできます。
圧縮されたデータセットファイル compressed-dataset-files
ターゲット接続を作成 する手順では、圧縮する書き出されたデータセット ファイルを選択できます。
圧縮した場合、2つのファイルタイプ間のファイル形式の違いに注意してください。
圧縮されたJSON ファイルを書き出す場合、書き出されるファイル形式はjson.gzです
圧縮されたparquet ファイルを書き出す場合、書き出されたファイル形式はgz.parquetです
JSON ファイルは、圧縮モードでのみ書き出すことができます。
API エラー処理 api-error-handling
このチュートリアルのAPI エンドポイントは、一般的なExperience Platform API エラーメッセージの原則に従っています。 エラー応答の解釈について詳しくは、Experience Platform トラブルシューティングガイドのAPI ステータスコード および リクエストヘッダーエラー を参照してください。
既知の制限事項 known-limitations
データセットの書き出しに関する既知の制限事項 を表示します。
よくある質問 faq
データセットの書き出しに関するよくある質問🔗 のリストを表示します。
次の手順 next-steps
Experience Platformを任意のバッチクラウドストレージの宛先に正常に接続し、データセットを書き出すために各宛先にデータフローを設定しました。 次のページでは、Flow Service API を使用した既存のデータフローの編集方法などの詳細を確認します。
experience-platform-help-destinations