Flow Service API を使用して AzureHDInsights ベース接続に Apache Spark を作成します
作成対象:
- 開発者
ベース接続は、ソースと Adobe Experience Platform 間の認証済み接続を表します。
このチュートリアルでは、Flow Service API を使用して、Azure HDInsights 上の Apache Spark (以下「Spark」と呼びます)のベース接続を作成する手順について説明します。
はじめに
このガイドでは、Adobe Experience Platform の次のコンポーネントに関する十分な知識が必要です。
次の節では、Flow Service API を使用してに正常に接続するために必要な追加情報を示 Spark ています。
必要な資格情報の収集
Flow Service を Spark に接続するには、次の接続プロパティの値を指定する必要があります。
資格情報 | 説明 |
---|---|
host | Spark サーバーの IP アドレスまたはホスト名。 |
username | Spark Server へのアクセスに使用するユーザー名。 |
password | ユーザーに対応するパスワード。 |
connectionSpec.id | 接続仕様は、ベース接続とソース接続の作成に関連する認証仕様などの、ソースのコネクタプロパティを返します。Spark の接続仕様 ID は 6a8d82bc-1caf-45d1-908d-cadabc9d63a6 です。 |
基本について詳しくは、 この Spark ドキュメントを参照してください。
Experience Platform API の使用
Experience Platform API を正常に呼び出す方法について詳しくは、Experience Platform API の概要を参照してください。
ベース接続の作成
ベース接続は、ソースとExperience Platform間の情報(ソースの認証資格情報、現在の接続状況、一意のベース接続 ID など)を保持します。 ベース接続 ID により、ソース内からファイルを参照および移動し、データタイプやフォーマットに関する情報を含む、取り込みたい特定の項目を識別することができます。
ベース接続 ID を作成するには、/connections
エンドポイントに POST リクエストを実行し、Spark 認証資格情報をリクエストパラメーターの一部として使用します。
API 形式
POST /connections
リクエスト
次のリクエストは、Spark のベース接続を作成します。
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/connections' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "Spark test connection",
"description": "A Spark test connection",
"auth": {
"specName": "HDInsights Basic Authentication",
"params": {
"host": "{HOST}",
"username": "{USERNAME}",
"password":"{PASSWORD}"
}
},
"connectionSpec": {
"id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
"version": "1.0"
}
}'
auth.params.host
auth.params.username
auth.params.password
connectionSpec.id
6a8d82bc-1caf-45d1-908d-cadabc9d63a6
。応答
リクエストが成功した場合は、一意の ID(id
)を含む、新しく作成した接続の詳細が返されます。この ID は、次のチュートリアルでデータを調べるために必要です。
{
"id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
"etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}
次の手順
このチュートリアルでは、Flow Service API を使用して Spark ベース接続を作成しました。このベース接続 ID は、次のチュートリアルで使用できます。