Flow Service API を使用したクラウドストレージフォルダーの探索
作成対象:
- 開発者
このチュートリアルでは、Flow Service API を使用してクラウドストレージの構造と内容を調査およびプレビューする手順を説明します。
はじめに
このガイドでは、Adobe Experience Platform の次のコンポーネントに関する十分な知識が必要です。
Experience Platform API の使用
Experience Platform API を正常に呼び出す方法について詳しくは、Experience Platform API の概要を参照してください。
クラウドストレージフォルダーの参照
ソースのベース接続 ID を指定したうえで Flow Service API に対してGET リクエストを行うことで、クラウドストレージフォルダーの構造に関する情報を取得できます。
クラウドストレージを調べるためにGET リクエストを実行する場合、次の表にリストされているクエリパラメーターを含める必要があります。
パラメーター | 説明 |
---|---|
objectType |
参照するオブジェクトのタイプ。 この値を次のいずれかに設定します。
|
object | このパラメーターは、特定のディレクトリを表示する場合にのみ必要です。 値は、参照するディレクトリのパスを表します。 |
API 形式
GET /connections/{BASE_CONNECTION_ID}/explore?objectType=root
GET /connections/{BASE_CONNECTION_ID}/explore?objectType=folder&object={PATH}
パラメーター | 説明 |
---|---|
{BASE_CONNECTION_ID} | クラウドストレージソースのベース接続 ID。 |
{PATH} | ディレクトリのパス。 |
リクエスト
curl -X GET \
'http://platform.adobe.io/data/foundation/flowservice/connections/dc3c0646-5e30-47be-a1ce-d162cb8f1f07/explore?objectType=folder&object=root' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}'
応答
応答が成功すると、クエリされたディレクトリ内にあるファイルとフォルダーの配列が返されます。 アップロードするファイルの path
プロパティをメモします。構造を検査するには次の手順でファイルを指定する必要があります。
[
{
"type": "file",
"name": "account.csv",
"path": "/test-connectors/testFolder-fileIngestion/account.csv",
"canPreview": true,
"canFetchSchema": true
},
{
"type": "file",
"name": "profileData.json",
"path": "/test-connectors/testFolder-fileIngestion/profileData.json",
"canPreview": true,
"canFetchSchema": true
},
{
"type": "file",
"name": "sampleprofile--3.parquet",
"path": "/test-connectors/testFolder-fileIngestion/sampleprofile--3.parquet",
"canPreview": true,
"canFetchSchema": true
}
]
ファイルの構造を検査する
クラウドストレージからデータファイルの構造を調べるには、GET リクエストを実行し、その際にファイルのパスとタイプをクエリパラメーターとして指定します。
クラウドストレージソースのデータファイルの構造を調べるには、ファイルのパスとタイプを指定したうえでGET リクエストを実行します。 また、クエリパラメーターの一部としてファイルタイプを指定することで、CSV、TSV、圧縮 JSON や区切り文字付きファイルなど、様々なファイルタイプを検査することもできます。
API 形式
GET /connections/{BASE_CONNECTION_ID}/explore?objectType=file&object={FILE_PATH}&fileType={FILE_TYPE}&{QUERY_PARAMS}&preview=true
GET /connections/{BASE_CONNECTION_ID}/explore?objectType=file&object={FILE_PATH}&preview=true&fileType=delimited&columnDelimiter=\t
GET /connections/{BASE_CONNECTION_ID}/explore?objectType=file&object={FILE_PATH}&preview=true&fileType=delimited&compressionType=gzip;
GET /connections/{BASE_CONNECTION_ID}/explore?objectType=FILE&object={FILE_PATH}&preview=true&fileType=delimited&encoding=ISO-8859-1;
{BASE_CONNECTION_ID}
{FILE_PATH}
{FILE_TYPE}
ファイルのタイプ。 次のファイルタイプがサポートされています。
区切り
:区切り文字区切りの値。 DSV ファイルはコンマで区切る必要があります。JSON
:JavaScript オブジェクトの表記。 JSON ファイルは XDM に準拠している必要があります寄木細工
: Apache Parquet。 Parquet ファイルは XDM に準拠している必要があります。
{QUERY_PARAMS}
リクエスト
curl -X GET \
'http://platform.adobe.io/data/foundation/flowservice/connections/{BASE_CONNECTION_ID}/explore?objectType=file&object=/aep-bootcamp/Adobe%20Pets%20Customer%2020190801%20EXP.json&fileType=json&preview=true' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}'
応答
応答が成功すると、テーブル名とデータタイプを含む、クエリされたファイルの構造が返されます。
[
{
"name": "Id",
"type": "String"
},
{
"name": "FirstName",
"type": "String"
},
{
"name": "LastName",
"type": "String"
},
{
"name": "Email",
"type": "String"
},
{
"name": "Phone",
"type": "String"
}
]
クエリパラメーターの使用
Flow Service API では、クエリパラメーターを使用して、様々なファイルタイプのプレビューと検査を行うことができます。
columnDelimiter
(,)
になります。compressionType
圧縮された区切り文字付きまたは JSON ファイルをプレビューするための必須のクエリパラメーター。 サポートされている圧縮ファイルは次のとおりです。
bzip2
gzip
deflate
zipDeflate
tarGzip
tar
encoding
UTF-8
と ISO-8859-1
です。 メモ:encoding
パラメーターは、区切り形式の CSV ファイルを取り込む場合にのみ使用できます。 他のファイルタイプは、デフォルトのエンコーディング UTF-8
で取り込まれます。次の手順
このチュートリアルでは、クラウドストレージシステムを調べ、Experience Platform に取り込むファイルのパスを見つけ、その構造を確認しました。 次のチュートリアルではこの情報を使用して クラウドストレージからデータを収集し、Experience Platformに取り込むことができます。