Azure HDInsightsコネクタのApache Sparkはベータ版です。 ベータラベル付きコネクタの使用方法の詳細については、ソースの概要を参照してください。
Flow Service は、Adobe Experience Platform内のさまざまな異なるソースから顧客データを収集し、一元化するために使用されます。このサービスは、ユーザーインターフェイスとRESTful APIを提供し、サポートされるすべてのソースを接続できます。
このチュートリアルでは、Flow Service APIを使用して、Azure HDInsightsのApache Spark (以下「Spark」と呼びます)をExperience Platformに接続する手順を順を追って説明します。
このガイドでは、Adobe Experience Platform の次のコンポーネントに関する作業を理解している必要があります。
Flow Service APIを使用してSparkに正しく接続するために知っておく必要のある追加情報については、以下の節で説明します。
Flow ServiceがSparkと接続するには、次の接続プロパティの値を指定する必要があります。
Credential | 説明 |
---|---|
host |
SparkサーバーのIPアドレスまたはホスト名。 |
username |
Sparkサーバーへのアクセスに使用するユーザー名です。 |
password |
ユーザーに対応するパスワード。 |
connectionSpec.id |
接続を作成するために必要な一意の識別子。 Sparkの接続指定IDは次のとおりです。6a8d82bc-1caf-45d1-908d-cadabc9d63a6 |
開始方法の詳細については、このSparkドキュメントを参照してください。
このチュートリアルでは、API 呼び出しの例を提供し、リクエストの形式を設定する方法を示します。この中には、パス、必須ヘッダー、適切な形式のリクエストペイロードが含まれます。また、API レスポンスで返されるサンプル JSON も示されています。ドキュメントで使用される API 呼び出し例の表記について詳しくは、 トラブルシューテングガイドのAPI 呼び出し例の読み方に関する節を参照してください。Experience Platform
Platform APIを呼び出すには、まず認証チュートリアルを完了する必要があります。 次に示すように、すべてのExperience Platform API呼び出しに必要な各ヘッダーの値を認証チュートリアルで説明します。
Authorization: Bearer {ACCESS_TOKEN}
x-api-key: {API_KEY}
x-gw-ims-org-id: {IMS_ORG}
Experience Platform内のすべてのリソース(Flow Serviceに属するリソースを含む)は、特定の仮想サンドボックスに分離されます。 Platform APIへのすべてのリクエストには、操作が行われるサンドボックスの名前を指定するヘッダーが必要です。
x-sandbox-name: {SANDBOX_NAME}
ペイロード(POST、PUT、PATCH)を含むすべてのリクエストには、メディアのタイプを指定する以下のような追加ヘッダーが必要です。
Content-Type: application/json
接続は、ソースを指定し、そのソースの資格情報を含みます。 異なるデータを取り込むために複数のソースコネクタを作成するのに使用できるため、Sparkアカウントごとに1つの接続のみが必要です。
API 形式
POST /connections
リクエスト
Spark接続を作成するには、POST要求の一部として一意の接続指定IDを指定する必要があります。 Sparkの接続指定IDは6a8d82bc-1caf-45d1-908d-cadabc9d63a6
です。
curl -X POST \
'https://platform.adobe.io/data/foundation/flowservice/connections' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {IMS_ORG}' \
-H 'x-sandbox-name: {SANDBOX_NAME}' \
-H 'Content-Type: application/json' \
-d '{
"name": "Spark test connection",
"description": "A Spark test connection",
"auth": {
"specName": "HDInsights Basic Authentication",
"params": {
"host" : "{HOST}",
"username" : "{USERNAME}",
"password" :"{PASSWORD}"
}
},
"connectionSpec": {
"id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
"version": "1.0"
}
}'
パラメーター | 説明 |
---|---|
auth.params.host |
Sparkサーバーのホスト。 |
auth.params.username |
Spark接続に関連付けられているユーザー名。 |
auth.params.password |
Spark接続に関連付けられているパスワードです。 |
connectionSpec.id |
Spark接続指定ID:6a8d82bc-1caf-45d1-908d-cadabc9d63a6 . |
応答
正常に応答すると、新たに作成された接続の詳細(一意の識別子(id
)が返されます。 このIDは、次のチュートリアルでデータを調べるために必要です。
{
"id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
"etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}
このチュートリアルに従うと、Flow Service APIを使用してSpark接続を作成し、接続の一意のID値を取得したことになります。 このIDは、Flow Service API ](…/…/explore/database-nosql.md)を使用して[データベースを調査する方法を学習する際に、次のチュートリアルで使用できます。