[Ultimate]{class="badge positive"}

Flow Service API を使用した Google PubSub ソース接続の作成

IMPORTANT
この Google PubSub ソースは、Real-time Customer Data Platform Ultimate を購入したユーザーがソースカタログから利用できます。

このチュートリアルでは、 [Flow Service API] (https://www.adobe.io/experience-platform-apis/references/flow-service/) を使用して Google PubSub(以下「PubSub」)を Experience Platform に接続する手順を詳しく説明します。

はじめに

このガイドでは、Adobe Experience Platform の次のコンポーネントに関する十分な知識が必要です。

  • ソース:Experience Platform を使用すると、様々なソースからデータを取得しながら、Platform サービスを使用して受信データの構造化、ラベル付け、拡張を行うことができます。
  • サンドボックス:Experience Platform には、単一の Platform インスタンスを別々の仮想環境に分割し、デジタルエクスペリエンスアプリケーションの開発と発展に役立つ仮想サンドボックスが用意されています。

以下の節では、Flow Service API を使用して PubSub を Platform に正しく接続するために必要な追加情報を示します。

必要な資格情報の収集

を接続するには、以下に説明する接続プロパティの値を指定する必要があります PubSub 移動先の口座 Flow Service. 認証と前提条件の設定について詳しくは、以下を参照してください PubSub source の概要.

プロジェクトベースの認証
table 0-row-2 1-row-2 2-row-2 3-row-2
資格情報 説明
projectId PubSub の認証に必要なプロジェクト ID。
credentials 認証に必要な資格情報 PubSub. 資格情報から空白を削除した後、必ず完全な JSON ファイルを配置してください。
connectionSpec.id 接続仕様は、ベース接続とソースターゲット接続の作成に関連する認証仕様を含む、ソースのコネクタプロパティを返します。 PubSub 接続仕様 ID は 70116022-a743-464a-bbfe-e226a7f8210c です。
トピックと購読ベースの認証
table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2
資格情報 説明
credentials 認証に必要な資格情報 PubSub. 資格情報から空白を削除した後、必ず完全な JSON ファイルを配置してください。
topicName メッセージのフィードを表すリソースの名前。 の特定のデータストリームへのアクセスを提供する場合は、トピック名を指定する必要があります PubSub ソース。 トピック名の形式は次のとおりです。 projects/{PROJECT_ID}/topics/{TOPIC_ID}.
subscriptionName の名前 PubSub 登録。 対象: PubSub購読では、メッセージの公開先のトピックを購読することで、メッセージを受信できます。 注意:単一 PubSub 購読は、1 つのデータフローに対してのみ使用できます。 複数のデータフローを作成するには、複数の購読が必要です。 登録名の形式は次のとおりです。 projects/{PROJECT_ID}/subscriptions/{SUBSCRIPTION_ID}.
connectionSpec.id 接続仕様は、ベース接続とソースターゲット接続の作成に関連する認証仕様を含む、ソースのコネクタプロパティを返します。 PubSub 接続仕様 ID は 70116022-a743-464a-bbfe-e226a7f8210c です。

これらの値について詳しくは、こちらを参照してください PubSub 認証 ドキュメント。 サービスアカウントベースの認証を使用するには、次をお読みください PubSub サービスアカウント作成ガイド 資格情報の生成手順については、を参照してください。

TIP
サービスアカウントベースの認証を使用している場合は、サービスアカウントに十分なユーザーアクセス権が付与され、資格情報をコピー&ペーストする際に、JSON 内に余分な空白がないことを確認してください。

Platform API の使用

Platform API への呼び出しを正常に実行する方法について詳しくは、Platform API の概要を参照してください。

ベース接続の作成

TIP
作成後は、の認証タイプを変更できません Google PubSub ベース接続。 認証タイプを変更するには、新しいベース接続を作成する必要があります。

ソース接続を作成する最初の手順は、PubSub ソースを認証し、ベース接続 ID を生成することです。ベース接続 ID を使用すると、ソース内を移動してファイルを探索し、データのタイプや形式に関する情報など、取り込みたい特定の項目を識別できます。

ベース接続 ID を作成するには、/connections エンドポイントに対して POST リクエストを実行し、その際に PubSub 認証資格情報をリクエストパラメーターの一部として指定します。

この PubSub ソース:認証時に許可するアクセスのタイプを指定できます。 ルートアクセスを持つように、または特定のユーザーにアクセスを制限するために、アカウントを設定することができます PubSub トピックと購読。

NOTE
に割り当てられたプリンシパル(役割) PubSub プロジェクトは、内で作成されたすべてのトピックと購読に継承されます。 PubSub プロジェクト。 プリンシパル(役割)に特定のトピックへのアクセス権を付与する場合は、そのプリンシパル(役割)もトピックの対応するサブスクリプションに追加する必要があります。 詳しくは、 [PubSub アクセス制御に関するドキュメント] (https://cloud.google.com/pubsub/docs/access-control).

API 形式

POST /connections
プロジェクトベースの認証

プロジェクトベースの認証を使用したベース接続を作成するには、に対してPOSTリクエストを行います。 /connections エンドポイントと提供 projectId および credentials リクエスト本文内で。

accordion
リクエスト
code language-shell
curl -X POST \
  'https://platform.adobe.io/data/foundation/flowservice/connections' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -H 'x-sandbox-name: {SANDBOX_NAME}' \
  -H 'Content-Type: application/json' \
  -d '{
      "name": "Google PubSub connection",
      "description": "Google PubSub connection",
      "auth": {
          "specName": "Project Based Authentication",
          "params": {
              "projectId": "{PROJECT_ID}",
              "credentials": "{CREDENTIALS}"
          }
      },
      "connectionSpec": {
          "id": "70116022-a743-464a-bbfe-e226a7f8210c",
          "version": "1.0"
      }
  }'
table 0-row-2 1-row-2 2-row-2 3-row-2
プロパティ 説明
auth.params.projectId PubSub の認証に必要なプロジェクト ID。
auth.params.credentials PubSub の認証に必要な資格情報またはキー。
connectionSpec.id PubSub 接続仕様 ID:70116022-a743-464a-bbfe-e226a7f8210c
accordion
応答

リクエストが成功した場合は、一意の ID(id)を含む、新しく作成した接続の詳細が返されます。このベース接続 ID は、次の手順でソース接続を作成する際に必要になります。

code language-json
{
    "id": "4cb0c374-d3bb-4557-b139-5712880adc55",
    "etag": "\"6507cfd8-0000-0200-0000-5e18fc600000\""
}
トピックと購読ベースの認証

トピックおよび購読ベースの認証を使用したベース接続を作成するには、に対してPOSTリクエストを行います。 /connections エンドポイントと提供 credentials, topicName、および subscriptionName リクエスト本文内で。

accordion
リクエスト
code language-shell
curl -X POST \
  'https://platform.adobe.io/data/foundation/flowservice/connections' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -H 'x-sandbox-name: {SANDBOX_NAME}' \
  -H 'Content-Type: application/json' \
  -d '{
      "name": "Google PubSub connection",
      "description": "Google PubSub connection",
      "auth": {
          "specName": "Topic & Subscription Based Authentication",
          "params": {
              "credentials": "{CREDENTIALS}",
              "topicName": "projects/{PROJECT_ID}/topics/{TOPIC_ID}",
              "subscriptionName": "projects/{PROJECT_ID}/subscriptions/{SUBSCRIPTION_ID}"
          }
      },
      "connectionSpec": {
          "id": "70116022-a743-464a-bbfe-e226a7f8210c",
          "version": "1.0"
      }
  }'
table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2
プロパティ 説明
auth.params.credentials PubSub の認証に必要な資格情報またはキー。
auth.params.topicName のプロジェクト ID とトピック ID のペア PubSub アクセスを提供するソース。
auth.params.subscriptionName のプロジェクト ID とサブスクリプション ID のペア PubSub アクセスを提供するソース。
connectionSpec.id PubSub 接続仕様 ID:70116022-a743-464a-bbfe-e226a7f8210c
accordion
応答

リクエストが成功した場合は、一意の ID(id)を含む、新しく作成した接続の詳細が返されます。このベース接続 ID は、次の手順でソース接続を作成する際に必要になります。

code language-json
{
    "id": "4cb0c374-d3bb-4557-b139-5712880adc55",
    "etag": "\"6507cfd8-0000-0200-0000-5e18fc600000\""
}

ソース接続の作成 source

ソース接続は、データの取り込み元となる外部ソースへの接続を作成および管理します。ソース接続は、データソース、データ形式、データフローの作成に必要なソース接続 ID などの情報で構成されます。ソース接続インスタンスは、テナントと組織に固有です。

ソース接続を作成するには、Flow Service API の /sourceConnections エンドポイントに POST リクエストを実行します。

API 形式

POST /sourceConnections

リクエスト

curl -X POST \
  'https://platform.adobe.io/data/foundation/flowservice/sourceConnections' \
  -H 'authorization: Bearer {ACCESS_TOKEN}' \
  -H 'content-type: application/json' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -H 'x-sandbox-name: {SANDBOX_NAME}' \
  -d '{
      "name": "Google PubSub source connection",
      "description": "A source connection for Google PubSub",
      "baseConnectionId": "4cb0c374-d3bb-4557-b139-5712880adc55",
      "connectionSpec": {
          "id": "70116022-a743-464a-bbfe-e226a7f8210c",
          "version": "1.0"
      },
      "data": {
          "format": "json"
      },
      "params": {
          "topicName": "projects/{PROJECT_ID}/topics/{TOPIC_ID}",
          "subscriptionName": "projects/{PROJECT_ID}/subscriptions/{SUBSCRIPTION_ID}",
          "dataType": "raw"
      }
  }'
プロパティ
説明
name
ソース接続の名前。 ソース接続の情報を検索する際に使用できるので、ソース接続の名前はわかりやすいものにしてください。
description
指定するとソース接続に関する詳細情報を含めることができるオプションの値。
baseConnectionId
前の手順で生成された PubSub ソースのベース接続 ID。
connectionSpec.id
PubSub の固定接続仕様 ID。この ID は 70116022-a743-464a-bbfe-e226a7f8210c です。
data.format
取り込む PubSub データの形式。現在、サポートされているデータ形式は json のみです。
params.topicName
の名前 PubSub トピック。 対象: PubSubトピックは、メッセージのフィードを表す名前付きリソースです。
params.subscriptionName
特定のトピックに対応するサブスクリプション名。 対象: PubSub購読を使用すると、トピックからメッセージを読み取ることができます。 1 つまたは複数の購読を 1 つのトピックに割り当てることができます。
params.dataType
このパラメーターは、取り込まれるデータのタイプを定義します。raw および xdm を含むデータタイプがサポートされています。

応答

リクエストが成功した場合は、新しく作成されたソース接続の一意の ID(id)が返されます。この ID は、次のチュートリアルでデータフローを作成する際に必要です。

{
    "id": "e96d6135-4b50-446e-922c-6dd66672b6b2",
    "etag": "\"66013508-0000-0200-0000-5f6e2ae70000\""
}

次の手順

このチュートリアルでは、Flow Service API を使用して PubSub ソース接続を作成しました。次のチュートリアルでは、このソース接続 ID を使用して、 Flow Service API を使用したストリーミングデータフローの作成を行います。

recommendation-more-help
337b99bb-92fb-42ae-b6b7-c7042161d089