Flow Service API を使用したデータセットの書き出し

AVAILABILITY
  • この機能は、Real-Time CDP Prime および Ultimate パッケージ、Adobe Journey OptimizerまたはCustomer Journey Analyticsを購入したお客様が利用できます。 詳しくは、Adobe担当者にお問い合わせください。
IMPORTANT
アクション項目:2024 年 9 月リリースのExperience Platform では、データセットデータフローを書き出す endTime 定日を設定するオプションが導入されました。 また、Adobeでは、(9 月のリリースより前に 作成されたすべてのデータセット書き出しデータフローのデフォルト終了日として、2025 年 5 月 1 日(PT が導入されます。 これらのデータフローのいずれについても、終了日より前にデータフローの終了日を手動で更新する必要があります。そうしないと、書き出しがその日に停止します。 Experience PlatformUI を使用して、5 月 1 日に停止に設定されるデータフローを確認します。
同様に、endTime 定日を指定せずに作成したデータフローの場合、デフォルトでは作成時点から 6 か月後の終了時刻になります。

この記事では、Flow Service API を使用して、Adobe Experience Platformから目的のクラウドストレージの場所(Amazon S3、SFTP の場所または Google Cloud Storage など 🔗 データセット を書き出すために必要なワークフローについて説明します。

TIP
Experience Platformユーザーインターフェイスを使用して、データセットを書き出すこともできます。 詳しくは、 データセット UI の書き出しチュートリアルを参照してください。

書き出すことができるデータセット datasets-to-export

書き出し可能なデータセットは、Experience Platformアプリケーション(Real-Time CDP、Adobe Journey Optimizer)、層(Prime または Ultimate)、購入したアドオン(例:Data Distiller)によって異なります。

書き出し可能なデータセットについては、UI チュートリアルページの表を参照してください。

サポートされる宛先 supported-destinations

現在、スクリーンショットでハイライト表示され、以下に示されているクラウドストレージの宛先にデータセットを書き出すことができます。

データセットの書き出しをサポートする宛先

はじめに get-started

概要 – 宛先の作成およびデータセットの書き出し手順

このガイドでは、Adobe Experience Platform の次のコンポーネントに関する十分な知識が必要です。

  • Experience Platform datasets:Adobe Experience Platformに正常に取り込まれたすべてのデータは、Data Lake 内にデータセットとして保持されます。 データセットは、通常、スキーマ(列)とフィールド(行)を含むテーブルであるデータコレクションのストレージと管理をおこなう構成体です。データセットには、保存するデータの様々な側面を記述したメタデータも含まれます。
    • Sandboxes:Experience Platform には、単一の Platform インスタンスを別々の仮想環境に分割し、デジタルエクスペリエンスアプリケーションの開発と発展に役立つ仮想サンドボックスが用意されています。

以下の節では、Platform のクラウドストレージ宛先にデータセットを書き出すために知っておく必要がある追加情報を示します。

必要な権限 permissions

データセットを書き出すには、宛先の表示データセットの表示 および データセットの宛先の管理とアクティブ化 アクセス制御権限が必要です。 必要な権限を取得するには、アクセス制御の概要を参照するか、製品管理者に問い合わせてください。

データセットの書き出しに必要な権限があることと、宛先でデータセットの書き出しがサポートされていることを確認するには、宛先カタログを参照します。 宛先に「アクティブ化」または「データセットを書き出し」コントロールがある場合、適切な権限を持っています。

API 呼び出し例の読み取り reading-sample-api-calls

このチュートリアルでは、API 呼び出しの例を提供し、リクエストの形式を設定する方法を示します。これには、パス、必須ヘッダー、適切な形式のリクエストペイロードが含まれます。また、API レスポンスで返されるサンプル JSON も示されています。ドキュメントで使用される API 呼び出し例の表記について詳しくは、 トラブルシューテングガイドのAPI 呼び出し例の読み方に関する節を参照してくださいExperience Platform。

必須ヘッダーおよびオプションヘッダーの値の収集 gather-values-headers

Platform API を呼び出すには、まず Experience Platform認証チュートリアルを完了する必要があります。 次に示すように、すべての Experience Platform API 呼び出しに必要な各ヘッダーの値は認証チュートリアルで説明されています。

  • Authorization: Bearer {ACCESS_TOKEN}
  • x-api-key: {API_KEY}
  • x-gw-ims-org-id: {ORG_ID}

Experience Platform のリソースは、特定の仮想サンドボックスに分離できます。Platform API へのリクエストでは、操作を実行するサンドボックスの名前と ID を指定できます。次に、オプションのパラメーターを示します。

  • x-sandbox-name:{SANDBOX_NAME}
NOTE
Experience Platform のサンドボックスについて詳しくは、サンドボックスの概要に関するドキュメントを参照してください。

ペイロード(POST、PUT、PATCH)を含むすべてのリクエストには、メディアのタイプを指定する以下のような追加ヘッダーが必要です。

  • Content-Type: application/json

API リファレンスドキュメント api-reference-documentation

このチュートリアルに含まれるすべての API 操作について、付属リファレンスドキュメントが用意されています。Adobe Developer web サイト 🔗 で Flow Service - Destinations API ドキュメントを参照してください。 このチュートリアルと API リファレンスのドキュメントを並行して使用することをお勧めします。

用語集 glossary

この API チュートリアルで発生する用語については、API リファレンスドキュメントの 用語集の節を参照してください。

目的の宛先の接続仕様とフロー仕様を収集します gather-connection-spec-flow-spec

データセットの書き出しワークフローを開始する前に、データセットの書き出し先となる宛先の接続仕様およびフロー仕様 ID を特定します。 以下の表を参照してください。

宛先
接続仕様
フロー仕様
Amazon S3
4fce964d-3f37-408f-9778-e597338a21ee
269ba276-16fc-47db-92b0-c1049a3c131f
Azure Blob Storage
6d6b59bf-fb58-4107-9064-4d246c0e5bb2
95bd8965-fc8a-4119-b9c3-944c2c2df6d2
Azure Data Lake Gen 2(ADLS Gen2)
be2c3209-53bc-47e7-ab25-145db8b873e1
17be2013-2549-41ce-96e7-a70363bec293
Data Landing Zone(DLZ)
10440537-2a7b-4583-ac39-ed38d4b848e8
cd2fc47e-e838-4f38-a581-8fff2f99b63a
Google Cloud Storage
c5d93acb-ea8b-4b14-8f53-02138444ae99
585c15c4-6cbf-4126-8f87-e26bff78b657
SFTP
36965a81-b1c6-401b-99f8-22508f1e6a26
354d6aad-4754-46e4-a576-1b384561c440

様々な Flow Service エンティティを作成するには、これらの ID が必要です。 また、Flow Service APIs から Connection Spec ータを取得できるように、Connection Spec 自体の一部を参照して、特定のエンティティを設定する必要があります。 テーブル内のすべての宛先の接続仕様を取得する例を以下に示します。

Amazon S3

リクエスト

accordion
Amazon S3 の connection spec の取得
code language-shell
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/4fce964d-3f37-408f-9778-e597338a21ee' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'

応答

accordion
Amazon S3 – 接続仕様
code language-json
{
    "items": [
        {
            "id": "4fce964d-3f37-408f-9778-e597338a21ee",
            "name": "Amazon S3",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
//...
Azure Blob Storage

リクエスト

accordion
Azure Blob Storage の connection spec の取得
code language-shell
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/6d6b59bf-fb58-4107-9064-4d246c0e5bb2' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'

応答

accordion
Azure Blob Storage - Connection spec
code language-json
{
    "items": [
        {
            "id": "6d6b59bf-fb58-4107-9064-4d246c0e5bb2",
            "name": "Azure Blob Storage",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
//...
Azure Data Lake Gen 2 (ADLS Gen2)

リクエスト

accordion
Azure Data Lake Gen 2(ADLS Gen2 の connection spec の取得)
code language-shell
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/be2c3209-53bc-47e7-ab25-145db8b873e1' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'

応答

accordion
Azure Data Lake Gen 2(ADLS Gen2) - Connection spec
code language-json
{
    "items": [
        {
            "id": "be2c3209-53bc-47e7-ab25-145db8b873e1",
            "name": "Azure Data Lake Gen2",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
//...
データランディングゾーン(DLZ)

リクエスト

accordion
Data Landing Zone(DLZ) の connection spec の取得
code language-shell
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/10440537-2a7b-4583-ac39-ed38d4b848e8' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'

応答

accordion
Data Landing Zone(DLZ) - Connection spec
code language-json
{
    "items": [
        {
            "id": "10440537-2a7b-4583-ac39-ed38d4b848e8",
            "name": "Data Landing Zone",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
//...
Google Cloud Storage

リクエスト

accordion
Google Cloud Storage の connection spec の取得
code language-shell
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/c5d93acb-ea8b-4b14-8f53-02138444ae99' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'

応答

accordion
Google Cloud Storage - Connection spec
code language-json
{
    "items": [
        {
            "id": "c5d93acb-ea8b-4b14-8f53-02138444ae99",
            "name": "Google Cloud Storage",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
//...
SFTP

リクエスト

accordion
SFTP の connection spec の取得
code language-shell
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/36965a81-b1c6-401b-99f8-22508f1e6a26' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'

応答

accordion
SFTP - Connection spec
code language-json
{
    "items": [
        {
            "id": "36965a81-b1c6-401b-99f8-22508f1e6a26",
            "name": "SFTP",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
//...

クラウドストレージの宛先へのデータセットデータフローを設定するには、次の手順に従います。 一部の手順では、リクエストと応答はクラウドストレージの様々な宛先間で異なります。 その場合、ページ上のタブを使用して、データセットの接続および書き出し先となる宛先に固有のリクエストと応答を取得します。 設定している宛先に適した connection spec と flow spec を使用してください。

データセットのリストの取得 retrieve-list-of-available-datasets

データセットの書き出しワークフローの手順 1 を示す図

アクティベーションの対象となるデータセットのリストを取得するには、まず以下のエンドポイントに対して API 呼び出しを行います。

recommendation-more-help

リクエスト

適格なデータセットの取得 – リクエスト
code language-shell
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/connectionSpecs/23598e46-f560-407b-88d5-ea6207e49db0/configs?outputType=activationDatasets&outputField=datasets&start=0&limit=20&properties=name,state' \
--header 'accept: application/json' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-api-key: {API_KEY}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}'

適格なデータセットを取得するには、リクエスト URL で使用される connection spec ID が Data Lake ソース接続仕様 ID の 23598e46-f560-407b-88d5-ea6207e49db0 である必要があり、outputField=datasetsoutputType=activationDatasets の 2 つのクエリパラメーターを指定する必要があります。 その他のすべてのクエリパラメーターは、Catalog Service API でサポートされる標準のクエリパラメーターです。

応答

データセットの取得 – 応答
code language-json
{
    "items": [
        {
            "id": "5ef3e324052581191aa6a466",
            "name": "AAM Authenticated Profiles Meta Data",
            "description": "Activation profile export dataset",
            "fileDescription": {
                "persisted": true,
                "containerFormat": "parquet",
                "format": "parquet"
            },
            "aspect": "production",
            "state": "DRAFT"
        },
        {
            "id": "5ef3e3259ad2a1191ab7dd7d",
            "name": "AAM Devices Data",
            "description": "Activation profile export dataset",
            "fileDescription": {
                "persisted": true,
                "containerFormat": "parquet",
                "format": "parquet"
            },
            "aspect": "production",
            "state": "DRAFT"
        },
        {
            "id": "5ef3e325582424191b1beb42",
            "name": "AAM Devices Profile Meta Data",
            "description": "Activation profile export dataset",
            "fileDescription": {
                "persisted": true,
                "containerFormat": "parquet",
                "format": "parquet"
            },
            "aspect": "production",
            "state": "DRAFT"
        },
        {
            "id": "5ef3e328582424191b1beb44",
            "name": "AAM Realtime",
            "description": "Activation profile export dataset",
            "fileDescription": {
                "persisted": true,
                "containerFormat": "parquet",
                "format": "parquet"
            },
            "aspect": "production",
            "state": "DRAFT"
        },
        {
            "id": "5ef3e328fe742a191b2b3ea5",
            "name": "AAM Realtime Profile Updates",
            "description": "Activation profile export dataset",
            "fileDescription": {
                "persisted": true,
                "containerFormat": "parquet",
                "format": "parquet"
            },
            "aspect": "production",
            "state": "DRAFT"
        }
    ],
    "pageInfo": {
        "start": 0,
        "end": 4,
        "total": 149,
        "hasNext": true
    }
}

成功した応答には、アクティブ化の対象となるデータセットのリストが含まれます。 これらのデータセットは、次の手順でソース接続を作成するときに使用できます。

返される各データセットの様々な応答パラメーターについて詳しくは、 データセット API 開発者向けドキュメントを参照してください。

ソース接続の作成 create-source-connection

データセットの書き出しワークフローの手順 2 を示す図

書き出すデータセットのリストを取得したら、それらのデータセット ID を使用してソース接続を作成できます。

リクエスト

ソース接続を作成 – リクエスト

リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。

code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-16
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/sourceConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
  "name": "Connecting to Data Lake",
  "description": "Data Lake source connection to export datasets",
  "connectionSpec": {
    "id": "23598e46-f560-407b-88d5-ea6207e49db0", // this connection spec ID is always the same for Source Connections
    "version": "1.0"
  },
  "params": {
    "datasets": [ // datasets to activate
      {
        "dataSetId": "5ef3e3259ad2a1191ab7dd7d",
        "name": "AAM Devices Data"
      }
    ]
  }
}'

応答

ソース接続の作成 – 応答
code language-json
{
    "id": "900df191-b983-45cd-90d5-4c7a0326d650",
    "etag": "\"0500ebe1-0000-0200-0000-63e28d060000\""
}

リクエストが成功した場合は、新しく作成したソース接続の ID (id)と etag が返されます。 後でデータフローを作成する際に必要になるので、ソース接続 ID をメモしておきます。

また、次の点にも注意してください。

  • この手順で作成したソース接続は、そのデータセットが宛先に対してアクティブ化されるように、データフローにリンクされている必要があります。 ソース接続をデータフローにリンクする方法については、 データフローの作成の節を参照してください。
  • 作成後にソース接続のデータセット ID を変更することはできません。 ソース接続にデータセットを追加または削除する必要がある場合は、新しいソース接続を作成し、新しいソース接続の ID をデータフローにリンクする必要があります。

(ターゲット)ベース接続の作成 create-base-connection

データセットの書き出しワークフローの手順 3 を示す図

ベース接続は、資格情報を宛先に安全に保存します。 宛先のタイプによって、その宛先に対して認証するために必要な資格情報は異なる場合があります。 これらの認証パラメーターを見つけるには、 接続仕様とフロー仕様の収集の節で説明されているように、最初に目的の宛先の connection spec を取得し、次に応答の authSpec を確認します。 サポートされているすべての宛先の authSpec プロパティについては、以下のタブを参照してください。

Amazon S3
accordion
auth spec を表示している Amazon S3 - Connection spec

次の connection spec の例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。この例では、connection spec 内の認証パラメーターの場所に関する追加情報を提供しています。

code language-json line-numbers data-start-1 data-line-offset-4 h-8
{
    "items": [
        {
            "id": "4fce964d-3f37-408f-9778-e597338a21ee",
            "name": "Amazon S3",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [ // describes the authentication parameters
                {
                    "name": "Access Key",
                    "type": "KeyBased",
                    "spec": {
                        "$schema": "http://json-schema.org/draft-07/schema#",
                        "description": "Defines auth params required for connecting to amazon-s3",
                        "type": "object",
                        "properties": {
                            "s3AccessKey": {
                                "description": "Access key id",
                                "type": "string",
                                "pattern": "^[A-Z2-7]{20}$"
                            },
                            "s3SecretKey": {
                                "description": "Secret access key for the user account",
                                "type": "string",
                                "format": "password",
                                "pattern": "^[A-Za-z0-9\/+]{40}$"
                            }
                        },
                        "required": [
                            "s3SecretKey",
                            "s3AccessKey"
                        ]
                    }
                }
            ],
//...
Azure Blob Storage
accordion
auth spec を表示している Azure Blob Storage - Connection spec

次の connection spec の例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。この例では、connection spec 内の認証パラメーターの場所に関する追加情報を提供しています。

code language-json line-numbers data-start-1 data-line-offset-4 h-8
{
    "items": [
        {
            "id": "6d6b59bf-fb58-4107-9064-4d246c0e5bb2",
            "name": "Azure Blob Storage",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [ // describes the authentication parameters
                {
                    "name": "ConnectionString",
                    "type": "ConnectionString",
                    "spec": {
                        "$schema": "http://json-schema.org/draft-07/schema#",
                        "description": "Connection String for Azure Blob based destinations",
                        "type": "object",
                        "properties": {
                            "connectionString": {
                                "description": "connection string for login",
                                "type": "string",
                                "format": "password"
                            }
                        },
                        "required": [
                            "connectionString"
                        ]
                    }
                }
            ],
//...
Azure Data Lake Gen 2 (ADLS Gen2)
accordion
auth spec を表示している Azure Data Lake Gen 2(ADLS Gen2) - Connection spec

次の connection spec の例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。この例では、connection spec 内の認証パラメーターの場所に関する追加情報を提供しています。

code language-json line-numbers data-start-1 data-line-offset-4 h-8
{
    "items": [
        {
            "id": "be2c3209-53bc-47e7-ab25-145db8b873e1",
            "name": "Azure Data Lake Gen2",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [ // describes the authentication parameters
                {
                    "name": "Azure Service Principal Auth",
                    "type": "AzureServicePrincipal",
                    "spec": {
                        "$schema": "http://json-schema.org/draft-07/schema#",
                        "description": "defines auth params required for connecting to adlsgen2 using service principal",
                        "type": "object",
                        "properties": {
                            "url": {
                                "description": "Endpoint for Azure Data Lake Storage Gen2.",
                                "type": "string"
                            },
                            "servicePrincipalId": {
                                "description": "Service Principal Id to connect to ADLSGen2.",
                                "type": "string"
                            },
                            "servicePrincipalKey": {
                                "description": "Service Principal Key to connect to ADLSGen2.",
                                "type": "string",
                                "format": "password"
                            },
                            "tenant": {
                                "description": "Tenant information(domain name or tenant ID).",
                                "type": "string"
                            }
                        },
                        "required": [
                            "servicePrincipalKey",
                            "url",
                            "tenant",
                            "servicePrincipalId"
                        ]
                    }
                }
            ],
//...
データランディングゾーン(DLZ)
accordion
auth spec を表示している Data Landing Zone(DLZ) - Connection spec
note note
NOTE
データランディングゾーンの宛先には auth spec は必要ありません。
code language-json
{
    "items": [
        {
            "id": "10440537-2a7b-4583-ac39-ed38d4b848e8",
            "name": "Data Landing Zone",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [],
//...
Google Cloud Storage
accordion
auth spec を表示している Google Cloud Storage - Connection spec

次の connection spec の例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。この例では、connection spec 内の認証パラメーターの場所に関する追加情報を提供しています。

code language-json line-numbers data-start-1 data-line-offset-4 h-8
{
    "items": [
        {
            "id": "c5d93acb-ea8b-4b14-8f53-02138444ae99",
            "name": "Google Cloud Storage",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [ // describes the authentication parameters
                {
                    "name": "Google Cloud Storage authentication credentials",
                    "type": "GoogleCloudStorageAuth",
                    "spec": {
                        "$schema": "http://json-schema.org/draft-07/schema#",
                        "description": "defines auth params required for connecting to google cloud storage connector.",
                        "type": "object",
                        "properties": {
                            "accessKeyId": {
                                "description": "Access Key Id for the user account",
                                "type": "string"
                            },
                            "secretAccessKey": {
                                "description": "Secret Access Key for the user account",
                                "type": "string",
                                "format": "password"
                            }
                        },
                        "required": [
                            "accessKeyId",
                            "secretAccessKey"
                        ]
                    }
                }
            ],
//...
SFTP
accordion
SFTP - auth spec を表示する Connection spec
note note
NOTE
SFTP 宛先には、パスワードと SSH キー認証の両方をサポートしているので、auth spec に 2 つの異なる項目が含まれています。

次の connection spec の例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。この例では、connection spec 内の認証パラメーターの場所に関する追加情報を提供しています。

code language-json line-numbers data-start-1 data-line-offset-4 h-8
{
    "items": [
        {
            "id": "36965a81-b1c6-401b-99f8-22508f1e6a26",
            "name": "SFTP",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [ // describes the authentication parameters
                {
                    "name": "SFTP with Password",
                    "type": "SFTP",
                    "spec": {
                        "$schema": "http://json-schema.org/draft-07/schema#",
                        "description": "defines auth params required for connecting to sftp locations with a password",
                        "type": "object",
                        "properties": {
                            "domain": {
                                "description": "Domain of server",
                                "type": "string"
                            },
                            "username": {
                                "description": "Username",
                                "type": "string"
                            },
                            "password": {
                                "description": "Password",
                                "type": "string",
                                "format": "password"
                            }
                        },
                        "required": [
                            "password",
                            "domain",
                            "username"
                        ]
                    }
                },
                {
                    "name": "SFTP with SSH Key",
                    "type": "SFTP",
                    "spec": {
                        "$schema": "http://json-schema.org/draft-07/schema#",
                        "description": "defines auth params required for connecting to sftp locations using SSH Key",
                        "type": "object",
                        "properties": {
                            "domain": {
                                "description": "Domain of server",
                                "type": "string"
                            },
                            "username": {
                                "description": "Username",
                                "type": "string"
                            },
                            "sshKey": {
                                "description": "Base64 string of the private SSH key",
                                "type": "string",
                                "format": "password",
                                "contentEncoding": "base64",
                                "uiAttributes": {
                                    "tooltip": {
                                        "id": "platform_destinations_connect_sftp_ssh",
                                        "fallbackUrl": "http://www.adobe.com/go/destinations-sftp-connection-parameters-en "
                                    }
                                }
                            }
                        },
                        "required": [
                            "sshKey",
                            "domain",
                            "username"
                        ]
                    }
                }
            ],
//...

認証仕様で指定されたプロパティ(つまり、応答からの authSpec)を使用して、以下の例に示すように、各宛先タイプに固有の必要な資格情報を含むベース接続を作成できます。

Amazon S3

リクエスト

accordion
Amazon S3 - ベース接続リクエスト
note tip
TIP
必要な認証資格情報の取得方法について詳しくは、Amazon S3 の宛先ドキュメントページの 宛先への認証の節を参照してください。

リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。

code language-shell line-numbers data-start-1 data-line-offset-4 h-18
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
  "name": "Amazon S3 Base Connection",
  "auth": {
    "specName": "Access Key",
    "params": {
      "s3SecretKey": "<Add secret key>",
      "s3AccessKey": "<Add access key>"
    }
  },
  "connectionSpec": {
    "id": "4fce964d-3f37-408f-9778-e597338a21ee", // Amazon S3 connection spec
    "version": "1.0"
  }
}'

応答

accordion
Amazon S3 ベース接続応答
code language-json
{
    "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Azure Blob Storage

リクエスト

accordion
Azure Blob Storage - ベース接続リクエスト
note tip
TIP
必要な認証資格情報の取得方法について詳しくは、Azure Blob Storage 宛先ドキュメントページの 宛先への認証の節を参照してください。

リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。

code language-shell line-numbers data-start-1 data-line-offset-4 h-16
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
  "name": "Azure Blob Storage Base Connection",
  "auth": {
    "specName": "ConnectionString",
    "params": {
      "connectionString": "<Add Azure Blob connection string>"
    }
  },
  "connectionSpec": {
    "id": "6d6b59bf-fb58-4107-9064-4d246c0e5bb2", // Azure Blob Storage connection spec
    "version": "1.0"
  }
}'

応答

accordion
Azure Blob Storage - ベース接続応答
code language-json
{
    "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Azure Data Lake Gen 2 (ADLS Gen2)

リクエスト

accordion
Azure Data Lake Gen 2(ADLS Gen2) - ベース接続リクエスト
note tip
TIP
必要な認証資格情報の取得方法については、Azure Data Lake Gen 2 (ADLS Gen2)宛先ドキュメントページの 宛先への認証の節を参照してください。

リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。

code language-shell line-numbers data-start-1 data-line-offset-4 h-20
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
  "name": "Azure Data Lake Gen 2(ADLS Gen2) Base Connection",
  "auth": {
    "specName": "Azure Service Principal Auth",
    "params": {
      "servicePrincipalKey": "<Add servicePrincipalKey>",
      "url": "<Add url>",
      "tenant": "<Add tenant>",
      "servicePrincipalId": "<Add servicePrincipalId>"
    }
  },
  "connectionSpec": {
    "id": "be2c3209-53bc-47e7-ab25-145db8b873e1", // Azure Data Lake Gen 2(ADLS Gen2) connection spec
    "version": "1.0"
  }
}'

応答

accordion
Azure Data Lake Gen 2(ADLS Gen2) - ベース接続応答
code language-json
{
    "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
データランディングゾーン(DLZ)

リクエスト

accordion
Data Landing Zone(DLZ) - ベース接続リクエスト
note tip
TIP
データランディングゾーンの宛先には、認証資格情報は必要ありません。 詳しくは、データランディングゾーンの宛先に関するドキュメントページの 宛先への認証の節を参照してください。
code language-shell
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
  "name": "Data Landing Zone(DLZ) Base Connection"
}'

応答

accordion
Data Landing Zone - ベース接続応答
code language-json
{
    "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Google Cloud Storage

リクエスト

accordion
Google Cloud Storage - ベース接続リクエスト
note tip
TIP
必要な認証資格情報の取得方法について詳しくは、Google Cloud Storage の宛先ドキュメントページの 宛先への認証の節を参照してください。

リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。

code language-shell line-numbers data-start-1 data-line-offset-4 h-18
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
  "name": "Google Cloud Storage Base Connection",
  "auth": {
    "specName": "Google Cloud Storage authentication credentials",
    "params": {
      "accessKeyId": "<Add accessKeyId>",
      "secretAccessKey": "<Add secret Access Key>"
    }
  },
  "connectionSpec": {
    "id": "c5d93acb-ea8b-4b14-8f53-02138444ae99", // Google Cloud Storage connection spec
    "version": "1.0"
  }
}'

応答

accordion
Google Cloud Storage - ベース接続応答
code language-json
{
    "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
SFTP

リクエスト

accordion
パスワードを使用した SFTP - ベース接続リクエスト
note tip
TIP
必要な認証資格情報の取得方法について詳しくは、SFTP 宛先ドキュメントページの 宛先への認証の節を参照してください。

リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。

code language-shell line-numbers data-start-1 data-line-offset-4 h-19
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
  "name": "SFTP with password Base Connection",
  "auth": {
    "specName": "SFTP with Password",
    "params": {
      "domain": "<Add domain>",
      "username": "<Add username>",
      "password": "<Add password>"
    }
  },
  "connectionSpec": {
    "id": "36965a81-b1c6-401b-99f8-22508f1e6a26", // SFTP connection spec
    "version": "1.0"
  }
}'
accordion
SSH キーを使用した SFTP - ベース接続リクエスト
note tip
TIP
必要な認証資格情報の取得方法について詳しくは、SFTP 宛先ドキュメントページの 宛先への認証の節を参照してください。

リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。

code language-shell line-numbers data-start-1 data-line-offset-4 h-19
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/connections' \
--header 'accept: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--header 'x-api-key: <API-KEY>' \
--header 'x-gw-ims-org-id: <IMS-ORG-ID>' \
--header 'x-sandbox-name: <SANDBOX-NAME>' \
--header 'Content-Type: application/json' \
--data-raw '{
  "name": "SFTP with SSH key Base Connection",
  "auth": {
    "specName": "SFTP with SSH Key",
    "params": {
      "domain": "<Add domain>",
      "username": "<Add username>",
      "sshKey": "<Add SSH key>"
    }
  },
  "connectionSpec": {
    "id": "36965a81-b1c6-401b-99f8-22508f1e6a26", // SFTP connection spec
    "version": "1.0"
  }
}'

応答

accordion
SFTP - ベース接続応答
code language-json
{
    "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}

応答からの接続 ID をメモしておきます。 この ID は、次の手順でターゲット接続を作成する際に必要になります。

ターゲット接続の作成 create-target-connection

データセットの書き出しワークフローの手順 4 を示す図

次に、データセットの書き出しパラメーターを保存するターゲット接続を作成する必要があります。 書き出しパラメーターには、場所、ファイル形式、圧縮、その他の詳細が含まれます。 各宛先タイプでサポートされているプロパティについて理解するには、宛先の接続仕様に記載されている targetSpec のプロパティを参照します。 サポートされているすべての宛先の targetSpec プロパティについては、以下のタブを参照してください。

IMPORTANT
JSON ファイルへの書き出しは、圧縮モードでのみサポートされます。 Parquet ファイルへの書き出しは、圧縮モードと非圧縮モードの両方でサポートされています。
書き出される JSON ファイルの形式は NDJSON であり、ビッグデータエコシステムの標準の交換形式です。 Adobeでは、書き出されたファイルを読み取るために NDJSON 互換のクライアントを使用することをお勧めします。
Amazon S3
accordion
Amazon S3 - ターゲット接続パラメーターを示す Connection spec

次の connection spec の例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。これは、接続仕様で target spec のパラメーターが見つかる場所に関する追加情報を提供します。 以下の例では、データセット書き出し宛先に適用されない 適用されない ターゲットパラメーターも確認できます。

code language-json line-numbers data-start-1 data-line-offset-4 h-10 h-41 h-56
{
    "items": [
        {
            "id": "4fce964d-3f37-408f-9778-e597338a21ee",
            "name": "Amazon S3",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [...],
            "encryptionSpecs": [...],
            "targetSpec": { // describes the target connection parameters
                "name": "User based target",
                "type": "UserNamespace",
                "spec": {
                    "$schema": "http://json-schema.org/draft-07/schema#",
                    "type": "object",
                    "properties": {
                        "bucketName": {
                            "title": "Bucket name",
                            "description": "Bucket name",
                            "type": "string",
                            "pattern": "(?=^.{3,63}$)(?!^(\\d+\\.)+\\d+$)(^(([a-z0-9]|[a-z0-9][a-z0-9\\-]*[a-z0-9])\\.)*([a-z0-9]|[a-z0-9][a-z0-9\\-]*[a-z0-9])$)",
                            "uiAttributes": {
                                "tooltip": {
                                    "id": "platform_destinations_connect_s3_bucket",
                                    "fallbackUrl": "http://www.adobe.com/go/destinations-amazon-s3-connection-parameters-en"
                                }
                            }
                        },
                        "path": {
                            "title": "Folder path",
                            "description": "Output path for copying files",
                            "type": "string",
                            "pattern": "^[0-9a-zA-Z\/\\!\\-_\\.\\*\\''\\(\\)]*((\\%SEGMENT_(NAME|ID)\\%)?\/?)+$",
                            "uiAttributes": {
                                "tooltip": {
                                    "id": "platform_destinations_connect_s3_folderpath",
                                    "fallbackUrl": "http://www.adobe.com/go/destinations-amazon-s3-connection-parameters-en"
                                }
                            }
                        },
                        "fileType": {...}, // not applicable to dataset destinations
                        "datasetFileType": {
                            "conditional": {
                                "field": "flowSpec.attributes._workflow",
                                "operator": "CONTAINS",
                                "value": "DATASETS"
                            },
                            "title": "File Type",
                            "description": "Select file format",
                            "type": "string",
                            "enum": [
                                "JSON",
                                "PARQUET"
                            ]
                        },
                        "csvOptions": {...}, // not applicable to dataset destinations
                        "compression": {
                            "title": "Compression format",
                            "description": "Select the desired file compression format.",
                            "type": "string",
                            "enum": [
                                "NONE",
                                "GZIP"
                            ]
                        }
                    },
                    "required": [
                        "bucketName",
                        "path",
                        "datasetFileType",
                        "compression",
                        "fileType"
                    ]
                }
//...
Azure Blob Storage
accordion
Azure Blob Storage - ターゲット接続パラメーターを示す Connection spec

次の connection spec の例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。これは、接続仕様で target spec のパラメーターが見つかる場所に関する追加情報を提供します。 以下の例では、データセット書き出し宛先に適用されない 適用されない ターゲットパラメーターも確認できます。

code language-json line-numbers data-start-1 data-line-offset-4 h-10 h-29 h-44
{
    "items": [
        {
            "id": "6d6b59bf-fb58-4107-9064-4d246c0e5bb2",
            "name": "Azure Blob Storage",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [...],
            "encryptionSpecs": [...],
            "targetSpec": { // describes the target connection parameters
                "name": "User based target",
                "type": "UserNamespace",
                "spec": {
                    "$schema": "http://json-schema.org/draft-07/schema#",
                    "type": "object",
                    "properties": {
                        "path": {
                            "title": "Folder path",
                            "description": "Output path (relative) indicating where to upload the data",
                            "type": "string",
                            "pattern": "^[0-9a-zA-Z\/\\!\\-_\\.\\*\\'\\(\\)]+$"
                        },
                        "container": {
                            "title": "Container",
                            "description": "Container within the storage where to upload the data",
                            "type": "string",
                            "pattern": "^[a-z0-9](?!.*--)[a-z0-9-]{1,61}[a-z0-9]$"
                        },
                        "fileType": {...}, // not applicable to dataset destinations
                        "datasetFileType": {
                            "conditional": {
                                "field": "flowSpec.attributes._workflow",
                                "operator": "CONTAINS",
                                "value": "DATASETS"
                            },
                            "title": "File Type",
                            "description": "Select file format",
                            "type": "string",
                            "enum": [
                                "JSON",
                                "PARQUET"
                            ]
                        },
                        "csvOptions": {...}, // not applicable to dataset destinations
                        "compression": {
                            "title": "Compression format",
                            "description": "Select the desired file compression format.",
                            "type": "string",
                            "enum": [
                                "NONE",
                                "GZIP"
                            ]
                        }
                    },
                    "required": [
                        "container",
                        "path",
                        "datasetFileType",
                        "compression",
                        "fileType"
                    ]
                }
//...
Azure Data Lake Gen 2 (ADLS Gen2)
accordion
Azure Data Lake Gen 2(ADLS Gen2) - ターゲット接続パラメーターを示す Connection spec

次の connection spec の例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。これは、接続仕様で target spec のパラメーターが見つかる場所に関する追加情報を提供します。 以下の例では、データセット書き出し宛先に適用されない 適用されない ターゲットパラメーターも確認できます。

code language-json line-numbers data-start-1 data-line-offset-4 h-10 h-22 h-37
{
    "items": [
        {
            "id": "be2c3209-53bc-47e7-ab25-145db8b873e1",
            "name": "Azure Data Lake Gen2",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [...],
            "encryptionSpecs": [...],
            "targetSpec": { // describes the target connection parameters
                "name": "User based target",
                "type": "UserNamespace",
                "spec": {
                    "$schema": "http://json-schema.org/draft-07/schema#",
                    "type": "object",
                    "properties": {
                        "path": {
                            "title": "Folder path",
                            "description": "Enter the path to your Azure Data Lake Storage folder",
                            "type": "string"
                        },
                        "fileType": {...}, // not applicable to dataset destinations
                        "datasetFileType": {
                            "conditional": {
                                "field": "flowSpec.attributes._workflow",
                                "operator": "CONTAINS",
                                "value": "DATASETS"
                            },
                            "title": "File Type",
                            "description": "Select file format",
                            "type": "string",
                            "enum": [
                                "JSON",
                                "PARQUET"
                            ]
                        },
                        "csvOptions":{...}, // not applicable to dataset destinations
                        "compression": {
                            "title": "Compression format",
                            "description": "Select the desired file compression format.",
                            "type": "string",
                            "enum": [
                                "NONE",
                                "GZIP"
                            ]
                        }
                    },
                    "required": [
                        "path",
                        "datasetFileType",
                        "compression",
                        "fileType"
                    ]
                }
//...
データランディングゾーン(DLZ)
accordion
Data Landing Zone(DLZ) - ターゲット接続パラメーターを示す Connection spec

次の connection spec の例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。これは、接続仕様で target spec のパラメーターが見つかる場所に関する追加情報を提供します。 以下の例では、データセット書き出し宛先に適用されない 適用されない ターゲットパラメーターも確認できます。

code language-json line-numbers data-start-1 data-line-offset-4 h-9 h-21 h-36
"items": [
    {
        "id": "10440537-2a7b-4583-ac39-ed38d4b848e8",
        "name": "Data Landing Zone",
        "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
        "version": "1.0",
        "authSpec": [],
        "encryptionSpecs": [],
        "targetSpec": { // describes the target connection parameters
            "name": "User based target",
            "type": "UserNamespace",
            "spec": {
                "$schema": "http://json-schema.org/draft-07/schema#",
                "type": "object",
                "properties": {
                    "path": {
                        "title": "Folder path",
                        "description": "Enter the path to your Azure Data Lake Storage folder",
                        "type": "string"
                    },
                    "fileType": {...}, // not applicable to dataset destinations
                    "datasetFileType": {
                        "conditional": {
                            "field": "flowSpec.attributes._workflow",
                            "operator": "CONTAINS",
                            "value": "DATASETS"
                        },
                        "title": "File Type",
                        "description": "Select file format",
                        "type": "string",
                        "enum": [
                            "JSON",
                            "PARQUET"
                        ]
                    },
                    "csvOptions": {...}, // not applicable to dataset destinations
                    "compression": {
                        "title": "Compression format",
                        "description": "Select the desired file compression format.",
                        "type": "string",
                        "enum": [
                            "NONE",
                            "GZIP"
                        ]
                    }
                },
                "required": [
                    "path",
                    "datasetFileType",
                    "compression",
                    "fileType"
                ]
            }
//...
Google Cloud Storage
accordion
Google Cloud Storage - ターゲット接続パラメーターを示す Connection spec

次の connection spec の例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。これは、接続仕様で target spec のパラメーターが見つかる場所に関する追加情報を提供します。 以下の例では、データセット書き出し宛先に適用されない 適用されない ターゲットパラメーターも確認できます。

code language-json line-numbers data-start-1 data-line-offset-4 h-10 h-29 h-44
{
    "items": [
        {
            "id": "c5d93acb-ea8b-4b14-8f53-02138444ae99",
            "name": "Google Cloud Storage",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [...],
            "encryptionSpecs": [...],
            "targetSpec": { // describes the target connection parameters
                "name": "User based target",
                "type": "UserNamespace",
                "spec": {
                    "$schema": "http://json-schema.org/draft-07/schema#",
                    "type": "object",
                    "properties": {
                        "bucketName": {
                            "title": "Bucket name",
                            "description": "Bucket name",
                            "type": "string",
                            "pattern": "(?!^goog.*$)(?!^.*g(o|0)(o|0)gle.*$)(((?=^.{3,63}$)(^([a-z0-9]|[a-z0-9][a-z0-9\\-_]*)[a-z0-9]$))|((?=^.{3,222}$)(?!^(\\d+\\.)+\\d+$)(^(([a-z0-9]{1,63}|[a-z0-9][a-z0-9\\-_]{1,61}[a-z0-9])\\.)*([a-z0-9]{1,63}|[a-z0-9][a-z0-9\\-_]{1,61}[a-z0-9])$)))"
                        },
                        "path": {
                            "title": "Folder path",
                            "description": "Output path for copying files",
                            "type": "string",
                            "pattern": "^[0-9a-zA-Z\/\\!\\-_\\.\\*\\''\\(\\)]*((\\%SEGMENT_(NAME|ID)\\%)?\/?)+$"
                        },
                        "fileType": {...}, // not applicable to dataset destinations
                        "datasetFileType": {
                            "conditional": {
                                "field": "flowSpec.attributes._workflow",
                                "operator": "CONTAINS",
                                "value": "DATASETS"
                            },
                            "title": "File Type",
                            "description": "Select file format",
                            "type": "string",
                            "enum": [
                                "JSON",
                                "PARQUET"
                            ]
                        },
                        "csvOptions": {...}, // not applicable to dataset destinations
                        "compression": {
                            "title": "Compression format",
                            "description": "Select the desired file compression format.",
                            "type": "string",
                            "enum": [
                                "NONE",
                                "GZIP"
                            ]
                        }
                    },
                    "required": [
                        "bucketName",
                        "path",
                        "datasetFileType",
                        "compression",
                        "fileType"
                    ]
                }
//...
SFTP
accordion
SFTP - ターゲット接続パラメーターを表示する Connection spec

次の connection spec の例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。これは、接続仕様で target spec のパラメーターが見つかる場所に関する追加情報を提供します。 以下の例では、データセット書き出し宛先に適用されない 適用されない ターゲットパラメーターも確認できます。

code language-json line-numbers data-start-1 data-line-offset-4 h-10 h-22 h-37
{
    "items": [
        {
            "id": "36965a81-b1c6-401b-99f8-22508f1e6a26",
            "name": "SFTP",
            "providerId": "14e34fac-d307-11e9-bb65-2a2ae2dbcce4",
            "version": "1.0",
            "authSpec": [...],
            "encryptionSpecs": [...],
            "targetSpec": { // describes the target connection parameters
                "name": "User based target",
                "type": "UserNamespace",
                "spec": {
                    "$schema": "http://json-schema.org/draft-07/schema#",
                    "type": "object",
                    "properties": {
                        "remotePath": {
                            "title": "Folder path",
                            "description": "Enter your folder path",
                            "type": "string"
                        },
                        "fileType": {...}, // not applicable to dataset destinations
                        "datasetFileType": {
                            "conditional": {
                                "field": "flowSpec.attributes._workflow",
                                "operator": "CONTAINS",
                                "value": "DATASETS"
                            },
                            "title": "File Type",
                            "description": "Select file format",
                            "type": "string",
                            "enum": [
                                "JSON",
                                "PARQUET"
                            ]
                        },
                        "csvOptions": {...}, // not applicable to dataset destinations
                        "compression": {
                            "title": "Compression format",
                            "description": "Select the desired file compression format.",
                            "type": "string",
                            "enum": [
                                "GZIP",
                                "NONE"
                            ]
                        }
                    },
                    "required": [
                        "remotePath",
                        "datasetFileType",
                        "compression",
                        "fileType"
                    ]
                },
//...

上記の仕様を使用すると、以下のタブに示すように、目的のクラウドストレージの宛先に固有のターゲット接続リクエストを作成できます。

Amazon S3

リクエスト

accordion
Amazon S3 - ターゲット接続リクエスト
note tip
TIP
必要なターゲットパラメーターの取得方法について詳しくは、Amazon S3 しい宛先のドキュメントページの 宛先の詳細の入力の節を参照してください。
datasetFileType のその他のサポートされている値については、API リファレンスドキュメントを参照してください。

リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。

code language-shell line-numbers data-start-1 data-line-offset-4 h-19
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Amazon S3 Target Connection",
    "baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
    "params": {
        "mode": "Server-to-server",
        "bucketName": "your-bucket-name",
        "path": "folder/subfolder",
        "compression": "NONE",
        "datasetFileType": "JSON"
    },
    "connectionSpec": {
        "id": "4fce964d-3f37-408f-9778-e597338a21ee", // Amazon S3 connection spec id
        "version": "1.0"
    }
}'

応答

accordion
ターゲット接続 – 応答
code language-json
{
    "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Azure Blob Storage

リクエスト

accordion
Azure Blob Storage - ターゲット接続リクエスト
note tip
TIP
必要なターゲットパラメーターの取得方法について詳しくは、Azure Blob Storage しい宛先のドキュメントページの 宛先の詳細の入力の節を参照してください。
datasetFileType のその他のサポートされている値については、API リファレンスドキュメントを参照してください。

リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。

code language-shell line-numbers data-start-1 data-line-offset-4 h-19
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Azure Blob Storage Target Connection",
    "baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
    "params": {
        "mode": "Server-to-server",
        "container": "your-container-name",
        "path": "folder/subfolder",
        "compression": "NONE",
        "datasetFileType": "JSON"
    },
    "connectionSpec": {
        "id": "6d6b59bf-fb58-4107-9064-4d246c0e5bb2", // Azure Blob Storage connection spec id
        "version": "1.0"
    }
}'

応答

accordion
ターゲット接続 – 応答
code language-json
{
    "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Azure Data Lake Gen 2 (ADLS Gen2)

リクエスト

accordion
Azure Blob Storage - ターゲット接続リクエスト
note tip
TIP
必要なターゲットパラメーターの取得方法について詳しくは、Azure Data Lake Gen 2(ADLS Gen2) 宛先ドキュメントページの 宛先の詳細の入力の節を参照してください。
datasetFileType のその他のサポートされている値については、API リファレンスドキュメントを参照してください。

リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。

code language-shell line-numbers data-start-1 data-line-offset-4 h-18
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Azure Data Lake Gen 2(ADLS Gen2) Target Connection",
    "baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
    "params": {
        "mode": "Server-to-server",
        "path": "folder/subfolder",
        "compression": "NONE",
        "datasetFileType": "JSON"
    },
    "connectionSpec": {
        "id": "be2c3209-53bc-47e7-ab25-145db8b873e1", // Azure Data Lake Gen 2(ADLS Gen2) connection spec id
        "version": "1.0"
    }
}'

応答

accordion
ターゲット接続 – 応答
code language-json
{
    "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
データランディングゾーン(DLZ)

リクエスト

accordion
Data Landing Zone - ターゲット接続リクエスト
note tip
TIP
必要なターゲットパラメーターの取得方法について詳しくは、Data Landing Zone しい宛先のドキュメントページの 宛先の詳細の入力の節を参照してください。
datasetFileType のその他のサポートされている値については、API リファレンスドキュメントを参照してください。

リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。

code language-shell line-numbers data-start-1 data-line-offset-4 h-18
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Data Landing Zone Target Connection",
    "baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
    "params": {
        "mode": "Server-to-server",
        "path": "folder/subfolder",
        "compression": "NONE",
        "datasetFileType": "JSON"
    },
    "connectionSpec": {
        "id": "10440537-2a7b-4583-ac39-ed38d4b848e8", // Data Landing Zone connection spec id
        "version": "1.0"
    }
}'

応答

accordion
ターゲット接続 – 応答
code language-json
{
    "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Google Cloud Storage

リクエスト

accordion
Google Cloud Storage - ターゲット接続リクエスト
note tip
TIP
必要なターゲットパラメーターの取得方法について詳しくは、Google Cloud Storage しい宛先のドキュメントページの 宛先の詳細の入力の節を参照してください。
datasetFileType のその他のサポートされている値については、API リファレンスドキュメントを参照してください。

リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。

code language-shell line-numbers data-start-1 data-line-offset-4 h-19
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Google Cloud Storage Target Connection",
    "baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
    "params": {
        "mode": "Server-to-server",
        "bucketName": "your-bucket-name",
        "path": "folder/subfolder",
        "compression": "NONE",
        "datasetFileType": "JSON"
    },
    "connectionSpec": {
        "id": "c5d93acb-ea8b-4b14-8f53-02138444ae99", // Google Cloud Storage connection spec id
        "version": "1.0"
    }
}'

応答

accordion
ターゲット接続 – 応答
code language-json
{
    "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
SFTP

リクエスト

accordion
SFTP - ターゲット接続リクエスト
note tip
TIP
必要なターゲットパラメーターの取得方法について詳しくは、SFTP 宛先ドキュメントページの 宛先の詳細の入力の節を参照してください。
datasetFileType のその他のサポートされている値については、API リファレンスドキュメントを参照してください。

リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。

code language-shell line-numbers data-start-1 data-line-offset-4 h-18
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/targetConnections' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "SFTP Target Connection",
    "baseConnectionId": "<FROM_STEP_CREATE_TARGET_BASE_CONNECTION>",
    "params": {
        "mode": "Server-to-server",
        "remotePath": "folder/subfolder",
        "compression": "NONE",
        "datasetFileType": "JSON"
    },
    "connectionSpec": {
        "id": "36965a81-b1c6-401b-99f8-22508f1e6a26", // SFTP connection spec id
        "version": "1.0"
    }
}'

応答

accordion
ターゲット接続 – 応答
code language-json
{
    "id": "12401496-2573-4ca7-8137-fef1aeb9dd4c",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}

応答からのターゲット接続 ID をメモします。 この ID は、次の手順で、データセットを書き出すデータフローを作成する際に必要になります。

データフローの作成 create-dataflow

データセットの書き出しワークフローの手順 5 を示す図

宛先設定の最後の手順は、データフローを設定することです。 データフローは、以前に作成したエンティティを結び付け、データセット書き出しスケジュールを設定するためのオプションも提供します。 データフローを作成するには、目的のクラウドストレージの宛先に応じて以下のペイロードを使用し、前の手順で取得したエンティティ ID を置き換えます。

Amazon S3

リクエスト

accordion
宛先へのデータセットデータフロー Amazon S3 作成 – リクエスト

リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。

code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-22-25
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Activate datasets to an Amazon S3 cloud storage destination",
    "description": "This operation creates a dataflow to export datasets to an Amazon S3 cloud storage destination",
    "flowSpec": {
        "id": "269ba276-16fc-47db-92b0-c1049a3c131f", // Amazon S3 flow spec ID
        "version": "1.0"
    },
    "sourceConnectionIds": [
        "<FROM_STEP_CREATE_SOURCE_CONNECTION>"
    ],
    "targetConnectionIds": [
        "<FROM_STEP_CREATE_TARGET_CONNECTION>"
    ],
    "transformations": [],
    "scheduleParams": { // specify the scheduling info
        "exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
        "interval": 3, // also supports 6, 9, 12 hour increments
        "timeUnit": "hour", // also supports "day" for daily increments.
        "interval": 1, // when you select "timeUnit": "day"
        "startTime": 1675901210, // UNIX timestamp start time (in seconds)
        "endTime": 1975901210, // UNIX timestamp end time (in seconds)
        "foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
    }
}'

次の表では、scheduleParams の節のすべてのパラメーターについて説明します。これにより、データセットの書き出しに関する書き出し時間、頻度、場所などをカスタマイズできます。

table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2 6-row-2 layout-auto
パラメーター 説明
exportMode "DAILY_FULL_EXPORT" または "FIRST_FULL_THEN_INCREMENTAL" を選択します。この 2 つのオプションについて詳しくは、バッチ宛先の有効化に関するチュートリアルの 完全なファイルのエクスポートおよび 増分ファイルのエクスポートを参照してください。 使用可能な書き出しオプションは次の 3 つです。
完全ファイル - 1 回:"DAILY_FULL_EXPORT" は、データセットの完全な書き出しを 1 回限りで行う場合に、timeUnit:day および interval:0 と組み合わせて使用する必要があります。 データセットの 1 日あたりの完全書き出しはサポートされていません。 毎日の書き出しが必要な場合は、増分書き出しオプションを使用します。
毎日の増分書き出し:毎日の増分書き出しでは、"FIRST_FULL_THEN_INCREMENTAL"timeUnit:day および interval:1 を選択します。
増分時間別エクスポート:時間別増分エクスポートの場合は、"FIRST_FULL_THEN_INCREMENTAL"timeUnit:hour および interval:369 または 12 を選択します。
timeUnit データセットファイルを書き出す頻度に応じて、day または hour を選択します。
interval timeUnit が日の場合は 1 を選択し、時間単位が hour の場合は 3,6,9,12 を選択します。
startTime データセットの書き出しを開始する日時(UNIX 秒単位)。
endTime データセットの書き出しが終了する日時(UNIX 秒単位)。
foldernameTemplate

書き出されたファイルが格納されるストレージの場所で、想定されるフォルダー名構造を指定します。

  • データセット_ID = データセットの一意の ID。
  • 宛先 = 宛先の名前。
  • 日時 = yyyyMMdd_HHmmss の形式の日時
  • EXPORT_TIME = データの書き出しのスケジュール時間(exportTime=YYYYMMDDHHMM 形式)。
  • DESTINATION_インスタンス名 = 宛先の特定のインスタンスの名前。
  • DESTINATION_INSTANCE_ID = 宛先インスタンスの一意の ID。
  • SANDBOX_NAME = サンドボックス環境の名前。
  • ORGANIZATION_Name = 組織の名前。

応答

accordion
データフローの作成 – 応答
code language-json
{
    "id": "eb54b3b3-3949-4f12-89c8-64eafaba858f",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Azure Blob Storage

リクエスト

accordion
宛先へのデータセットデータフロー Azure Blob Storage 作成 – リクエスト

リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。

code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-22-25
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Activate datasets to an Azure Blob Storage cloud storage destination",
    "description": "This operation creates a dataflow to export datasets to an Azure Blob Storage cloud storage destination",
    "flowSpec": {
        "id": "95bd8965-fc8a-4119-b9c3-944c2c2df6d2", // Azure Blob Storage flow spec ID
        "version": "1.0"
    },
    "sourceConnectionIds": [
        "<FROM_STEP_CREATE_SOURCE_CONNECTION>"
    ],
    "targetConnectionIds": [
        "<FROM_STEP_CREATE_TARGET_CONNECTION>"
    ],
    "transformations": [],
    "scheduleParams": { // specify the scheduling info
        "exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
        "interval": 3, // also supports 6, 9, 12 hour increments
        "timeUnit": "hour", // also supports "day" for daily increments.
        "interval": 1, // when you select "timeUnit": "day"
        "startTime": 1675901210, // UNIX timestamp start time (in seconds)
        "endTime": 1975901210, // UNIX timestamp end time (in seconds)
        "foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
    }
}'

次の表では、scheduleParams の節のすべてのパラメーターについて説明します。これにより、データセットの書き出しに関する書き出し時間、頻度、場所などをカスタマイズできます。

table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2 6-row-2 layout-auto
パラメーター 説明
exportMode "DAILY_FULL_EXPORT" または "FIRST_FULL_THEN_INCREMENTAL" を選択します。この 2 つのオプションについて詳しくは、バッチ宛先の有効化に関するチュートリアルの 完全なファイルのエクスポートおよび 増分ファイルのエクスポートを参照してください。 使用可能な書き出しオプションは次の 3 つです。
完全ファイル - 1 回:"DAILY_FULL_EXPORT" は、データセットの完全な書き出しを 1 回限りで行う場合に、timeUnit:day および interval:0 と組み合わせて使用する必要があります。 データセットの 1 日あたりの完全書き出しはサポートされていません。 毎日の書き出しが必要な場合は、増分書き出しオプションを使用します。
毎日の増分書き出し:毎日の増分書き出しでは、"FIRST_FULL_THEN_INCREMENTAL"timeUnit:day および interval:1 を選択します。
増分時間別エクスポート:時間別増分エクスポートの場合は、"FIRST_FULL_THEN_INCREMENTAL"timeUnit:hour および interval:369 または 12 を選択します。
timeUnit データセットファイルを書き出す頻度に応じて、day または hour を選択します。
interval timeUnit が日の場合は 1 を選択し、時間単位が hour の場合は 3,6,9,12 を選択します。
startTime データセットの書き出しを開始する日時(UNIX 秒単位)。
endTime データセットの書き出しが終了する日時(UNIX 秒単位)。
foldernameTemplate

書き出されたファイルが格納されるストレージの場所で、想定されるフォルダー名構造を指定します。

  • データセット_ID = データセットの一意の ID。
  • 宛先 = 宛先の名前。
  • 日時 = yyyyMMdd_HHmmss の形式の日時
  • EXPORT_TIME = データの書き出しのスケジュール時間(exportTime=YYYYMMDDHHMM 形式)。
  • DESTINATION_インスタンス名 = 宛先の特定のインスタンスの名前。
  • DESTINATION_INSTANCE_ID = 宛先インスタンスの一意の ID。
  • SANDBOX_NAME = サンドボックス環境の名前。
  • ORGANIZATION_Name = 組織の名前。

応答

accordion
データフローの作成 – 応答
code language-json
{
    "id": "eb54b3b3-3949-4f12-89c8-64eafaba858f",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Azure Data Lake Gen 2 (ADLS Gen2)

リクエスト

accordion
宛先へのデータセットデータフロー Azure Data Lake Gen 2(ADLS Gen2) 作成 – リクエスト

リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。

code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-22-25
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Activate datasets to an Azure Data Lake Gen 2(ADLS Gen2) cloud storage destination",
    "description": "This operation creates a dataflow to export datasets to an Azure Data Lake Gen 2(ADLS Gen2) cloud storage destination",
    "flowSpec": {
        "id": "17be2013-2549-41ce-96e7-a70363bec293", // Azure Data Lake Gen 2(ADLS Gen2) flow spec ID
        "version": "1.0"
    },
    "sourceConnectionIds": [
        "<FROM_STEP_CREATE_SOURCE_CONNECTION>"
    ],
    "targetConnectionIds": [
        "<FROM_STEP_CREATE_TARGET_CONNECTION>"
    ],
    "transformations": [],
    "scheduleParams": { // specify the scheduling info
        "exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
        "interval": 3, // also supports 6, 9, 12 hour increments
        "timeUnit": "hour", // also supports "day" for daily increments.
        "interval": 1, // when you select "timeUnit": "day"
        "startTime": 1675901210, // UNIX timestamp start time (in seconds)
        "endTime": 1975901210, // UNIX timestamp end time (in seconds)
        "foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
    }
}'

次の表では、scheduleParams の節のすべてのパラメーターについて説明します。これにより、データセットの書き出しに関する書き出し時間、頻度、場所などをカスタマイズできます。

table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2 6-row-2 layout-auto
パラメーター 説明
exportMode "DAILY_FULL_EXPORT" または "FIRST_FULL_THEN_INCREMENTAL" を選択します。この 2 つのオプションについて詳しくは、バッチ宛先の有効化に関するチュートリアルの 完全なファイルのエクスポートおよび 増分ファイルのエクスポートを参照してください。 使用可能な書き出しオプションは次の 3 つです。
完全ファイル - 1 回:"DAILY_FULL_EXPORT" は、データセットの完全な書き出しを 1 回限りで行う場合に、timeUnit:day および interval:0 と組み合わせて使用する必要があります。 データセットの 1 日あたりの完全書き出しはサポートされていません。 毎日の書き出しが必要な場合は、増分書き出しオプションを使用します。
毎日の増分書き出し:毎日の増分書き出しでは、"FIRST_FULL_THEN_INCREMENTAL"timeUnit:day および interval:1 を選択します。
増分時間別エクスポート:時間別増分エクスポートの場合は、"FIRST_FULL_THEN_INCREMENTAL"timeUnit:hour および interval:369 または 12 を選択します。
timeUnit データセットファイルを書き出す頻度に応じて、day または hour を選択します。
interval timeUnit が日の場合は 1 を選択し、時間単位が hour の場合は 3,6,9,12 を選択します。
startTime データセットの書き出しを開始する日時(UNIX 秒単位)。
endTime データセットの書き出しが終了する日時(UNIX 秒単位)。
foldernameTemplate

書き出されたファイルが格納されるストレージの場所で、想定されるフォルダー名構造を指定します。

  • データセット_ID = データセットの一意の ID。
  • 宛先 = 宛先の名前。
  • 日時 = yyyyMMdd_HHmmss の形式の日時
  • EXPORT_TIME = データの書き出しのスケジュール時間(exportTime=YYYYMMDDHHMM 形式)。
  • DESTINATION_インスタンス名 = 宛先の特定のインスタンスの名前。
  • DESTINATION_INSTANCE_ID = 宛先インスタンスの一意の ID。
  • SANDBOX_NAME = サンドボックス環境の名前。
  • ORGANIZATION_Name = 組織の名前。

応答

accordion
データフローの作成 – 応答
code language-json
{
    "id": "eb54b3b3-3949-4f12-89c8-64eafaba858f",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
データランディングゾーン(DLZ)

リクエスト

accordion
宛先へのデータセットデータフロー Data Landing Zone 作成 – リクエスト

リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。

code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-22-25
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Activate datasets to a Data Landing Zone cloud storage destination",
    "description": "This operation creates a dataflow to export datasets to a Data Landing Zone cloud storage destination",
    "flowSpec": {
        "id": "cd2fc47e-e838-4f38-a581-8fff2f99b63a", // Data Landing Zone flow spec ID
        "version": "1.0"
    },
    "sourceConnectionIds": [
        "<FROM_STEP_CREATE_SOURCE_CONNECTION>"
    ],
    "targetConnectionIds": [
        "<FROM_STEP_CREATE_TARGET_CONNECTION>"
    ],
    "transformations": [],
    "scheduleParams": { // specify the scheduling info
        "exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
        "interval": 3, // also supports 6, 9, 12 hour increments
        "timeUnit": "hour", // also supports "day" for daily increments.
        "interval": 1, // when you select "timeUnit": "day"
        "startTime": 1675901210, // UNIX timestamp start time (in seconds)
        "endTime": 1975901210, // UNIX timestamp end time (in seconds)
        "foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
    }
}'

次の表では、scheduleParams の節のすべてのパラメーターについて説明します。これにより、データセットの書き出しに関する書き出し時間、頻度、場所などをカスタマイズできます。

table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2 6-row-2 layout-auto
パラメーター 説明
exportMode "DAILY_FULL_EXPORT" または "FIRST_FULL_THEN_INCREMENTAL" を選択します。この 2 つのオプションについて詳しくは、バッチ宛先の有効化に関するチュートリアルの 完全なファイルのエクスポートおよび 増分ファイルのエクスポートを参照してください。 使用可能な書き出しオプションは次の 3 つです。
完全ファイル - 1 回:"DAILY_FULL_EXPORT" は、データセットの完全な書き出しを 1 回限りで行う場合に、timeUnit:day および interval:0 と組み合わせて使用する必要があります。 データセットの 1 日あたりの完全書き出しはサポートされていません。 毎日の書き出しが必要な場合は、増分書き出しオプションを使用します。
毎日の増分書き出し:毎日の増分書き出しでは、"FIRST_FULL_THEN_INCREMENTAL"timeUnit:day および interval:1 を選択します。
増分時間別エクスポート:時間別増分エクスポートの場合は、"FIRST_FULL_THEN_INCREMENTAL"timeUnit:hour および interval:369 または 12 を選択します。
timeUnit データセットファイルを書き出す頻度に応じて、day または hour を選択します。
interval timeUnit が日の場合は 1 を選択し、時間単位が hour の場合は 3,6,9,12 を選択します。
startTime データセットの書き出しを開始する日時(UNIX 秒単位)。
endTime データセットの書き出しが終了する日時(UNIX 秒単位)。
foldernameTemplate

書き出されたファイルが格納されるストレージの場所で、想定されるフォルダー名構造を指定します。

  • データセット_ID = データセットの一意の ID。
  • 宛先 = 宛先の名前。
  • 日時 = yyyyMMdd_HHmmss の形式の日時
  • EXPORT_TIME = データの書き出しのスケジュール時間(exportTime=YYYYMMDDHHMM 形式)。
  • DESTINATION_インスタンス名 = 宛先の特定のインスタンスの名前。
  • DESTINATION_INSTANCE_ID = 宛先インスタンスの一意の ID。
  • SANDBOX_NAME = サンドボックス環境の名前。
  • ORGANIZATION_Name = 組織の名前。

応答

accordion
データフローの作成 – 応答
code language-json
{
    "id": "eb54b3b3-3949-4f12-89c8-64eafaba858f",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
Google Cloud Storage

リクエスト

accordion
宛先へのデータセットデータフロー Google Cloud Storage 作成 – リクエスト

リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。

code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-22-25
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Activate datasets to a Google Cloud Storage cloud storage destination",
    "description": "This operation creates a dataflow to export datasets to a Google Cloud Storage destination",
    "flowSpec": {
        "id": "585c15c4-6cbf-4126-8f87-e26bff78b657", // Google Cloud Storage flow spec ID
        "version": "1.0"
    },
    "sourceConnectionIds": [
        "<FROM_STEP_CREATE_SOURCE_CONNECTION>"
    ],
    "targetConnectionIds": [
        "<FROM_STEP_CREATE_TARGET_CONNECTION>"
    ],
    "transformations": [],
    "scheduleParams": { // specify the scheduling info
        "exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
        "interval": 3, // also supports 6, 9, 12 hour increments
        "timeUnit": "hour", // also supports "day" for daily increments.
        "interval": 1, // when you select "timeUnit": "day"
        "startTime": 1675901210, // UNIX timestamp start time (in seconds)
        "endTime": 1975901210, // UNIX timestamp end time (in seconds)
        "foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
    }
}'

次の表では、scheduleParams の節のすべてのパラメーターについて説明します。これにより、データセットの書き出しに関する書き出し時間、頻度、場所などをカスタマイズできます。

table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2 6-row-2 layout-auto
パラメーター 説明
exportMode "DAILY_FULL_EXPORT" または "FIRST_FULL_THEN_INCREMENTAL" を選択します。この 2 つのオプションについて詳しくは、バッチ宛先の有効化に関するチュートリアルの 完全なファイルのエクスポートおよび 増分ファイルのエクスポートを参照してください。 使用可能な書き出しオプションは次の 3 つです。
完全ファイル - 1 回:"DAILY_FULL_EXPORT" は、データセットの完全な書き出しを 1 回限りで行う場合に、timeUnit:day および interval:0 と組み合わせて使用する必要があります。 データセットの 1 日あたりの完全書き出しはサポートされていません。 毎日の書き出しが必要な場合は、増分書き出しオプションを使用します。
毎日の増分書き出し:毎日の増分書き出しでは、"FIRST_FULL_THEN_INCREMENTAL"timeUnit:day および interval:1 を選択します。
増分時間別エクスポート:時間別増分エクスポートの場合は、"FIRST_FULL_THEN_INCREMENTAL"timeUnit:hour および interval:369 または 12 を選択します。
timeUnit データセットファイルを書き出す頻度に応じて、day または hour を選択します。
interval timeUnit が日の場合は 1 を選択し、時間単位が hour の場合は 3,6,9,12 を選択します。
startTime データセットの書き出しを開始する日時(UNIX 秒単位)。
endTime データセットの書き出しが終了する日時(UNIX 秒単位)。
foldernameTemplate

書き出されたファイルが格納されるストレージの場所で、想定されるフォルダー名構造を指定します。

  • データセット_ID = データセットの一意の ID。
  • 宛先 = 宛先の名前。
  • 日時 = yyyyMMdd_HHmmss の形式の日時
  • EXPORT_TIME = データの書き出しのスケジュール時間(exportTime=YYYYMMDDHHMM 形式)。
  • DESTINATION_インスタンス名 = 宛先の特定のインスタンスの名前。
  • DESTINATION_INSTANCE_ID = 宛先インスタンスの一意の ID。
  • SANDBOX_NAME = サンドボックス環境の名前。
  • ORGANIZATION_Name = 組織の名前。

応答

accordion
データフローの作成 – 応答
code language-json
{
    "id": "eb54b3b3-3949-4f12-89c8-64eafaba858f",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}
SFTP

リクエスト

accordion
SFTP 宛先へのデータセットデータフローの作成 – リクエスト

リクエストの例では、ハイライト表示された行にインラインコメントが付いていることに注意してください。このコメントによって追加情報が提供されます。 リクエストを選択したターミナルにコピー&ペーストする際に、リクエスト内のインラインコメントを削除します。

code language-shell line-numbers data-start-1 data-line-offset-4 h-12 h-22-25
curl --location --request POST 'https://platform.adobe.io/data/foundation/flowservice/flows' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \
--data-raw '{
    "name": "Activate datasets to an SFTP cloud storage destination",
    "description": "This operation creates a dataflow to export datasets to an SFTP cloud storage destination",
    "flowSpec": {
        "id": "354d6aad-4754-46e4-a576-1b384561c440", // SFTP flow spec ID
        "version": "1.0"
    },
    "sourceConnectionIds": [
        "<FROM_STEP_CREATE_SOURCE_CONNECTION>"
    ],
    "targetConnectionIds": [
        "<FROM_STEP_CREATE_TARGET_CONNECTION>"
    ],
    "transformations": [],
    "scheduleParams": { // specify the scheduling info
        "exportMode": DAILY_FULL_EXPORT or FIRST_FULL_THEN_INCREMENTAL
        "interval": 3, // also supports 6, 9, 12 hour increments
        "timeUnit": "hour", // also supports "day" for daily increments.
        "interval": 1, // when you select "timeUnit": "day"
        "startTime": 1675901210, // UNIX timestamp start time (in seconds)
        "endTime": 1975901210, // UNIX timestamp end time (in seconds)
        "foldernameTemplate": "%DESTINATION%_%DATASET_ID%_%DATETIME(YYYYMMdd_HHmmss)%"
    }
}'

次の表では、scheduleParams の節のすべてのパラメーターについて説明します。これにより、データセットの書き出しに関する書き出し時間、頻度、場所などをカスタマイズできます。

table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2 6-row-2 layout-auto
パラメーター 説明
exportMode "DAILY_FULL_EXPORT" または "FIRST_FULL_THEN_INCREMENTAL" を選択します。この 2 つのオプションについて詳しくは、バッチ宛先の有効化に関するチュートリアルの 完全なファイルのエクスポートおよび 増分ファイルのエクスポートを参照してください。 使用可能な書き出しオプションは次の 3 つです。
完全ファイル - 1 回:"DAILY_FULL_EXPORT" は、データセットの完全な書き出しを 1 回限りで行う場合に、timeUnit:day および interval:0 と組み合わせて使用する必要があります。 データセットの 1 日あたりの完全書き出しはサポートされていません。 毎日の書き出しが必要な場合は、増分書き出しオプションを使用します。
毎日の増分書き出し:毎日の増分書き出しでは、"FIRST_FULL_THEN_INCREMENTAL"timeUnit:day および interval:1 を選択します。
増分時間別エクスポート:時間別増分エクスポートの場合は、"FIRST_FULL_THEN_INCREMENTAL"timeUnit:hour および interval:369 または 12 を選択します。
timeUnit データセットファイルを書き出す頻度に応じて、day または hour を選択します。
interval timeUnit が日の場合は 1 を選択し、時間単位が hour の場合は 3,6,9,12 を選択します。
startTime データセットの書き出しを開始する日時(UNIX 秒単位)。
endTime データセットの書き出しが終了する日時(UNIX 秒単位)。
foldernameTemplate

書き出されたファイルが格納されるストレージの場所で、想定されるフォルダー名構造を指定します。

  • データセット_ID = データセットの一意の ID。
  • 宛先 = 宛先の名前。
  • 日時 = yyyyMMdd_HHmmss の形式の日時
  • EXPORT_TIME = データの書き出しのスケジュール時間(exportTime=YYYYMMDDHHMM 形式)。
  • DESTINATION_インスタンス名 = 宛先の特定のインスタンスの名前。
  • DESTINATION_INSTANCE_ID = 宛先インスタンスの一意の ID。
  • SANDBOX_NAME = サンドボックス環境の名前。
  • ORGANIZATION_Name = 組織の名前。

応答

accordion
データフローの作成 – 応答
code language-json
{
    "id": "eb54b3b3-3949-4f12-89c8-64eafaba858f",
    "etag": "\"0000d781-0000-0200-0000-63e29f420000\""
}

応答のデータフロー ID をメモします。 この ID は、データフロー実行を取得して正常なデータセット書き出しを検証する次の手順で必要になります。

データフローの実行の取得 get-dataflow-runs

データセットの書き出しワークフローの手順 6 を示す図

データフローの実行を確認するには、Dataflow Runs API を使用します。

リクエスト

データフロー実行の取得 – リクエスト

データフロー実行を取得するリクエストで、データフローの作成時に前の手順で取得したデータフロー ID をクエリパラメーターとして追加します。

code language-shell
curl --location --request GET 'https://platform.adobe.io/data/foundation/flowservice/runs?property=flowId==eb54b3b3-3949-4f12-89c8-64eafaba858f' \
--header 'accept: application/json' \
--header 'x-api-key: {API_KEY}' \
--header 'x-gw-ims-org-id: {ORG_ID}' \
--header 'x-sandbox-name: {SANDBOX_NAME}' \
--header 'Authorization: Bearer {ACCESS_TOKEN}' \

応答

データフロー実行の取得 – 応答
code language-json
{
    "items": [
        {
            "id": "4b7728dd-83c9-4c38-95a4-24ddab545404",
            "createdAt": 1675807718296,
            "updatedAt": 1675807731834,
            "createdBy": "aep_activation_batch@AdobeID",
            "updatedBy": "acp_foundation_connectors@AdobeID",
            "createdClient": "aep_activation_batch",
            "updatedClient": "acp_foundation_connectors",
            "sandboxId": "7dfdcd30-0a09-11ea-8ea6-7bf93ce86c28",
            "sandboxName": "sand-1",
            "imsOrgId": "5555467B5D8013E50A494220@AdobeOrg",
            "flowId": "aae5ec63-b0ac-4808-9a44-abf2ea67bd5a",
            "flowSpec": {
                "id": "615d3489-36d2-4671-9467-4ae1129facd3",
                "version": "1.0"
            },
            "providerRefId": "ba56f98e0c49b572adb249980c39b1c7",
            "etag": "\"08005e9e-0000-0200-0000-63e2cbf30000\"",
            "metrics": {
                "durationSummary": {
                    "startedAtUTC": 1675807719411,
                    "completedAtUTC": 1675807719416
                },
                "sizeSummary": {
                    "inputBytes": 0
                },
                "recordSummary": {
                    "inputRecordCount": 0,
                    "skippedRecordCount": 0,
                    "sourceSummaries": [
                        {
                            "id": "ea2b1205-4692-49de-b448-ebf75b1d188a",
                            "inputRecordCount": 0,
                            "skippedRecordCount": 0,
                            "entitySummaries": [
                                {
//...

データフロー実行 API によって返される様々なパラメーターに関する情報については、API リファレンスドキュメントを参照してください。

データセットの正常な書き出しの確認 verify

データセットを書き出す際、Experience Platform は、指定されたストレージの場所に .json または .parquet ファイルを保存します。 データフローの作成時に指定した書き出しスケジュールに従って、新しいファイルがストレージの場所に格納されます。

Experience Platform は、指定されたストレージの場所にフォルダー構造を作成し、書き出されたデータセットファイルを格納します。 書き出しのたびに、次のパターンに従って新しいフォルダーが作成されます。

folder-name-you-provided/datasetID/exportTime=YYYYMMDDHHMM

デフォルトのファイル名はランダムに生成され、書き出されたファイルの名前は必ず一意になります。

サンプルデータセットファイル sample-files

これらのファイルがストレージの場所に存在すれば、書き出しは成功しています。書き出されたファイルの構造を理解するには、サンプルの .parquet ファイルまたは .json ファイルをダウンロードできます。

圧縮されたデータセットファイル compressed-dataset-files

ターゲット接続の作成手順では、圧縮する書き出したデータセットファイルを選択できます。

2 つのファイルタイプを圧縮した場合、ファイル形式に違いがあることに注意してください。

  • 圧縮された JSON ファイルを書き出す場合、書き出されるファイルの形式は json.gz です
  • 圧縮 Parquet ファイルをエクスポートする場合、エクスポートされるファイル形式は gz.parquet です
  • JSON ファイルは、圧縮モードでのみ書き出すことができます。

API エラー処理 api-error-handling

このチュートリアルの API エンドポイントは、一般的なExperience PlatformAPI エラーメッセージの原則に従っています。 エラー応答の解釈について詳しくは、Platform トラブルシューティングガイドの API ステータスコードおよび リクエストヘッダーエラーを参照してください。

よくある質問 faq

データセットの書き出しに関する よくある質問のリストを表示します。

次の手順 next-steps

このチュートリアルでは、目的のクラウドストレージのバッチ宛先の 1 つに Platform を正常に接続し、データセットを書き出す各宛先へのデータフローを設定しました。 次のページでは、Flow Service API を使用した既存のデータフローの編集方法などの詳細を確認します。

7f4d1967-bf93-4dba-9789-bb6b505339d6