Flow Service APIを使ってApache HDFSコネクタを作成する

メモ

Apache HDFSコネクタはベータ版です。 ベータラベル付きコネクタの使用方法の詳細については、ソースの概要を参照してください。

Flow Service 様々な異なるソースから顧客データを収集して一元化し、Adobe Experience Platformに持ち込むために使用します。このサービスは、ユーザーインターフェイスとRESTful APIを提供し、サポートされるすべてのソースを接続できます。

このチュートリアルでは、Flow Service APIを使用して、ApacheHadoop分散ファイルシステム（以下「HDFS」と呼ばれます）をExperience Platformに接続する手順を順を追って説明します。

はじめに

このガイドでは、Adobe Experience Platform の次のコンポーネントに関する作業を理解している必要があります。

  • ソース: Experience Platform 様々なソースからデータを取り込むことができ、 Platform サービスを使用してデータの構造化、ラベル付け、および入力データの拡張を行うことができます。
  • サンドボックス: Experience Platform は、1つの Platform インスタンスを個別の仮想環境に分割し、デジタルエクスペリエンスアプリケーションの開発と発展に役立つ仮想サンドボックスを提供します。

Flow Service APIを使用してHDFSに正しく接続するために必要な追加情報については、以下の節で説明します。

必要な資格情報の収集

Credential 説明
url URLは、HDFSへの接続に必要な認証パラメーターを匿名で定義します。 この値の取得方法の詳細については、このHDFSドキュメントを参照してください。
connectionSpec.id 接続を作成するために必要な識別子。 HDFSの固定接続仕様IDは54e221aa-d342-4707-bcff-7a4bceef0001です。

API 呼び出し例の読み取り

このチュートリアルでは、API 呼び出しの例を提供し、リクエストの形式を設定する方法を示します。この中には、パス、必須ヘッダー、適切な形式のリクエストペイロードが含まれます。また、API レスポンスで返されるサンプル JSON も示されています。ドキュメントで使用される API 呼び出し例の表記について詳しくは、 トラブルシューテングガイドのAPI 呼び出し例の読み方に関する節を参照してください。Experience Platform

必須ヘッダーの値の収集

Platform APIを呼び出すには、まず認証チュートリアルを完了する必要があります。 次に示すように、すべてのExperience Platform API呼び出しに必要な各ヘッダーの値を認証チュートリアルで説明します。

  • Authorization: Bearer {ACCESS_TOKEN}
  • x-api-key: {API_KEY}
  • x-gw-ims-org-id: {IMS_ORG}

Experience Platform内のすべてのリソース（Flow Serviceに属するリソースを含む）は、特定の仮想サンドボックスに分離されます。 Platform APIへのすべてのリクエストには、操作が行われるサンドボックスの名前を指定するヘッダーが必要です。

  • x-sandbox-name: {SANDBOX_NAME}

ペイロード（POST、PUT、PATCH）を含むすべてのリクエストには、メディアのタイプを指定する以下のような追加ヘッダーが必要です。

  • Content-Type: application/json

接続の作成

接続は、ソースを指定し、そのソースの資格情報を含みます。 異なるデータを取り込むために複数のソースコネクタを作成する場合に使用できるため、HDFSアカウントごとに必要な接続は1つだけです。

API 形式

POST /connections

リクエスト

次の要求は、ペイロードで提供されるプロパティによって設定された、新しいHDFS接続を作成します。

curl -X POST \
    'https://platform.adobe.io/data/foundation/flowservice/connections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {IMS_ORG}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "HDFS test connection",
        "description": "A test connection for an HDFS source",
        "auth": {
            "specName": "Anonymous Authentication",
            "params": {
                "url": "{URL}"
                }
        },
        "connectionSpec": {
            "id": "54e221aa-d342-4707-bcff-7a4bceef0001",
            "version": "1.0"
        }
    }'
プロパティ 説明
auth.params.url HDFSへの匿名接続に必要な認証パラメーターを定義するURLです
connectionSpec.id HDFS接続仕様ID:54e221aa-d342-4707-bcff-7a4bceef0001.

応答

正常に応答すると、新たに作成された接続の詳細(一意の識別子(id)が返されます。 このIDは、次のチュートリアルでデータを調べるために必要です。

{
    "id": "6a6a880a-2b15-4051-aa88-0a2b1570516d",
    "etag": "\"1801bb7d-0000-0200-0000-5ed6ad580000\""
}

次の手順

このチュートリアルに従うと、Flow Service APIを使用してHDFS接続を作成し、接続の固有のID値を取得したことになります。 このIDは、Flow Service API](…/…/explore/cloud-storage.md)を使用して[サードパーティのクラウドストレージを調査する方法を学習する際に、次のチュートリアルで使用できます。

このページ