Amazon Kinesis コネクタ

Adobe Experience Platformは、AWSなどのクラウドプロバイダーにネイティブの接続を提供します。 Google Cloud Platform、および Azure. これらのシステムからにデータを取り込むことができます。 Platform.

クラウドストレージソースを使用すると、ダウンロード、フォーマット、アップロードを行う必要なく、独自のデータを Platform に取り込むことができます。取り込んだデータは、XDM JSON、XDM Parquet 形式または区切り形式で書式設定できます。 プロセスのすべての手順がソースワークフローに統合されます。Platform では、Amazon Kinesis からリアルタイムにデータを取り込むことができます。

メモ

の尺度 Kinesis 大量のデータを取り込む必要がある場合は、を増やす必要があります。 現在、 Kinesis Platform へのアカウントは、1 秒あたり 4,000 レコードです。 大量のデータをスケールアップして取り込むには、Adobe担当者にお問い合わせください。

前提条件

次の節では、を作成する前に必要な前提条件の設定について詳しく説明します Kinesis ソース接続。

アクセスポリシーを設定する

A Kinesis ストリームでソース接続を作成するには、次の権限が必要です。

  • GetShardIterator
  • GetRecords
  • DescribeStream
  • ListStreams

これらの権限は、 Kinesis コンソールにアクセスし、資格情報を入力してデータストリームを選択すると、Platform によって確認されます。

次の例は、 Kinesis ソース接続。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "kinesis:GetShardIterator",
                "kinesis:GetRecords",
                "kinesis:DescribeStream",
                "kinesis:ListStreams"
            ],
            "Resource": [
                "arn:aws:kinesis:us-east-2:901341027596:stream/*"
            ]
        }
    ]
}
プロパティ 説明
kinesis:GetShardIterator レコードをトラバースするのに必要なアクション。
kinesis:GetRecords 特定のオフセット ID または共有 ID からレコードを取得するために必要なアクション。
kinesis:DescribeStream シャード ID の生成に必要なシャードマップを含む、ストリームに関する情報を返すアクション。
kinesis:ListStreams UI から選択できる使用可能なストリームのリストアウトに必要なアクション。

のアクセス制御の詳細 Kinesis データストリームについては、次を参照してください。 Kinesis 文書.

イテレータータイプを設定

Kinesis では、次のイテレータータイプをサポートしており、データの読み取り順序を指定できます。

反復子タイプ 説明
AT_SEQUENCE_NUMBER データは、特定のシーケンス番号で識別された位置から読み出される。
AFTER_SEQUENCE_NUMBER データは、特定のシーケンス番号で識別される位置の後から読み出される。
AT_TIMESTAMP データは、特定のタイムスタンプで識別された位置から読み出される。
TRIM_HORIZON データは、最も古いデータレコードから読み取られます。
LATEST データは、最新のデータレコードから読み取られます。

A Kinesis UI ソースは現在、 TRIM_HORIZONAPI は TRIM_HORIZON および LATEST をデータを取得するモードとして使用します。 Platform が Kinesis ソースは TRIM_HORIZON.

反復子のタイプの詳細については、次を参照してください。 Kinesis 文書.

接続 Amazon Kinesis から Platform

以下のドキュメントでは、API やユーザーインターフェイスを使用して Amazon Kinesis と を接続する方法について説明します。Platform

API の使用

UI の使用

このページ