Flow Service API を使用して AzureHDInsights ベース接続に Apache Spark を作成します
ベース接続は、ソースと Adobe Experience Platform 間の認証済み接続を表します。
このチュートリアルでは、Flow Service API を使用して、Azure HDInsights 上の Apache Spark (以下「Spark」と呼びます)のベース接続を作成する手順について説明します。
はじめに
このガイドでは、Adobe Experience Platform の次のコンポーネントに関する十分な知識が必要です。
次の節では、Flow Service API を使用してに正常に接続するために必要な追加情報を示 Spark ています。
必要な資格情報の収集
Flow Service を Spark に接続するには、次の接続プロパティの値を指定する必要があります。
host
username
password
connectionSpec.id
6a8d82bc-1caf-45d1-908d-cadabc9d63a6
です。基本について詳しくは、 この Spark ドキュメントを参照してください。
Platform API の使用
Platform API への呼び出しを正常に実行する方法について詳しくは、Platform API の概要を参照してください。
ベース接続の作成
ベース接続は、ソースと Platform 間の情報(ソースの認証資格情報、現在の接続状態、固有のベース接続 ID など)を保持します。ベース接続 ID により、ソース内からファイルを参照および移動し、データタイプやフォーマットに関する情報を含む、取り込みたい特定の項目を識別することができます。
ベース接続 ID を作成するには、/connections
エンドポイントに POST リクエストを実行し、Spark 認証資格情報をリクエストパラメーターの一部として使用します。
API 形式
POST /connections
リクエスト
次のリクエストは、Spark のベース接続を作成します。
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/connections' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "Spark test connection",
"description": "A Spark test connection",
"auth": {
"specName": "HDInsights Basic Authentication",
"params": {
"host": "{HOST}",
"username": "{USERNAME}",
"password":"{PASSWORD}"
}
},
"connectionSpec": {
"id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
"version": "1.0"
}
}'
auth.params.host
auth.params.username
auth.params.password
connectionSpec.id
6a8d82bc-1caf-45d1-908d-cadabc9d63a6
。応答
リクエストが成功した場合は、一意の ID(id
)を含む、新しく作成した接続の詳細が返されます。この ID は、次のチュートリアルでデータを調べるために必要です。
{
"id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
"etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}
次の手順
このチュートリアルでは、Flow Service API を使用して Spark ベース接続を作成しました。このベース接続 ID は、次のチュートリアルで使用できます。