Flow Service APIを使用してクラウドストレージフォルダーを探索する

このチュートリアルでは、Flow Service APIを使用して、クラウドストレージの構造と内容を確認およびプレビューする方法について説明します。

はじめに

このガイドは、Adobe Experience Platform の次のコンポーネントを実際に利用および理解しているユーザーを対象としています。

Experience Platform APIの使用

Experience Platform APIの呼び出しを正常に行う方法について詳しくは、Experience Platform APIの概要に関するガイドを参照してください。

クラウドストレージフォルダーの探索

ソースのベース接続IDを指定しながらFlow Service APIにGET リクエストを実行すると、クラウドストレージフォルダーの構造に関する情報を取得できます。

クラウドストレージを探索するGET リクエストを実行する場合は、次の表に示すクエリパラメーターを含める必要があります。

API 形式

GET /connections/{BASE_CONNECTION_ID}/explore?objectType=root
GET /connections/{BASE_CONNECTION_ID}/explore?objectType=folder&object={PATH}

リクエスト

curl -X GET \
  'http://platform.adobe.io/data/foundation/flowservice/connections/dc3c0646-5e30-47be-a1ce-d162cb8f1f07/explore?objectType=folder&object=root' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -H 'x-sandbox-name: {SANDBOX_NAME}'

応答

応答が成功すると、クエリされたディレクトリ内にあるファイルとフォルダーの配列が返されます。 次の手順でファイルを指定して構造を検査する必要があるため、アップロードするファイルのpath プロパティに注意してください。

[
    {
        "type": "file",
        "name": "account.csv",
        "path": "/test-connectors/testFolder-fileIngestion/account.csv",
        "canPreview": true,
        "canFetchSchema": true
    },
    {
        "type": "file",
        "name": "profileData.json",
        "path": "/test-connectors/testFolder-fileIngestion/profileData.json",
        "canPreview": true,
        "canFetchSchema": true
    },
    {
        "type": "file",
        "name": "sampleprofile--3.parquet",
        "path": "/test-connectors/testFolder-fileIngestion/sampleprofile--3.parquet",
        "canPreview": true,
        "canFetchSchema": true
    }
]

ファイルの構造を調べる

クラウドストレージからデータファイルの構造を調べるには、ファイルのパスとタイプをクエリパラメーターとして指定しながらGET リクエストを実行します。

ファイルのパスとタイプを指定しながらGET リクエストを実行することで、クラウドストレージソースからデータファイルの構造を検査できます。 また、クエリパラメーターの一部としてファイルの種類を指定することで、CSV、TSV、圧縮JSON、区切りファイルなど、様々なファイルの種類を調べることもできます。

API 形式

GET /connections/{BASE_CONNECTION_ID}/explore?objectType=file&object={FILE_PATH}&fileType={FILE_TYPE}&{QUERY_PARAMS}&preview=true
GET /connections/{BASE_CONNECTION_ID}/explore?objectType=file&object={FILE_PATH}&preview=true&fileType=delimited&columnDelimiter=\t
GET /connections/{BASE_CONNECTION_ID}/explore?objectType=file&object={FILE_PATH}&preview=true&fileType=delimited&compressionType=gzip;
GET /connections/{BASE_CONNECTION_ID}/explore?objectType=FILE&object={FILE_PATH}&preview=true&fileType=delimited&encoding=ISO-8859-1;

リクエスト

curl -X GET \
    'http://platform.adobe.io/data/foundation/flowservice/connections/{BASE_CONNECTION_ID}/explore?objectType=file&object=/aep-bootcamp/Adobe%20Pets%20Customer%2020190801%20EXP.json&fileType=json&preview=true' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {ORG_ID}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}'

応答

応答が成功すると、テーブル名とデータタイプを含む、クエリされたファイルの構造が返されます。

[
    {
        "name": "Id",
        "type": "String"
    },
    {
        "name": "FirstName",
        "type": "String"
    },
    {
        "name": "LastName",
        "type": "String"
    },
    {
        "name": "Email",
        "type": "String"
    },
    {
        "name": "Phone",
        "type": "String"
    }
]

クエリパラメーターの使用 query

Flow Service APIは、異なるファイル形式をプレビューおよび検査するためのクエリパラメーターの使用をサポートしています。

次の手順

このチュートリアルに従うことで、クラウドストレージシステムを調べ、Experience Platformに取り込むファイルのパスを見つけ、その構造を確認しました。 次のチュートリアルでこの情報を使用して、クラウドストレージからデータを収集し、Experience Platformに取り込むことができます。