Amazon Kinesis 连接器

Adobe Experience Platform为AWS、Google Cloud Platform和Azure等云提供商提供本机连接。 您可以将这些系统中的数据导入Platform。

云存储源可以将您自己的数据导入Platform,而无需下载、格式化或上传。 收录的数据可以格式化为XDM JSON、XDM Perface或分隔。 流程的每个步骤都集成到源工作流中。 Platform 让您能够实时导入 Amazon Kinesis 数据。

IP地址允许列表

在使用源连接器之前,必须向允许列表添加IP地址列表。 如果无法将您的区域特定IP地址添加到允许列表,在使用源时可能会导致错误或性能不佳。 有关详细信息,请参阅 IP地址允许列表页。

先决条件

以下部分提供了在创建Kinesis源连接之前所需的入门项目设置的详细信息。

设置访问策略

Kinesis流需要以下权限才能创建源连接:

  • GetShardIterator
  • GetRecords
  • DescribeStream
  • ListStreams

这些权限通过Kinesis控制台进行排列,在您输入凭据并选择数据流后,平台会对其进行检查。

以下示例显示创建Kinesis源连接所需的最低访问权限。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "kinesis:GetShardIterator",
                "kinesis:GetRecords",
                "kinesis:DescribeStream",
                "kinesis:ListStreams"
            ],
            "Resource": [
                "arn:aws:kinesis:us-east-2:901341027596:stream/*"
            ]
        }
    ]
}
属性 描述
kinesis:GetShardIterator 遍历记录所需的操作。
kinesis:GetRecords 从特定偏移或共享ID获取记录所需的操作。
kinesis:DescribeStream 返回有关包括共享映射的流的信息的操作,生成共享ID时需要该映射。
kinesis:ListStreams 列表可从UI中选择的可用流所需的操作。

有关控制Kinesis数据流访问的详细信息,请参阅以下Kinesis 文档

配置迭代器类型

Kinesis 支持以下迭代器类型,以便指定数据的读取顺序:

迭代器类型 描述
AT_SEQUENCE_NUMBER 从由特定序列号标识的位置开始读取数据。
AFTER_SEQUENCE_NUMBER 在由特定序列号标识的位置之后读取数据。
AT_TIMESTAMP 从由特定时间戳标识的位置开始读取数据。
TRIM_HORIZON 从最旧的数据记录开始读取数据。
LATEST 从最近的数据记录开始读取数据。

Kinesis UI源当前仅支持TRIM_HORIZON,而API支持TRIM_HORIZONLATEST作为获取数据的模式。 平台用于Kinesis源的默认迭代器值为TRIM_HORIZON

有关迭代器类型的详细信息,请参阅以下Kinesis 文档

将Amazon Kinesis连接到Platform

以下文档提供了如何使用API或用户界面将Amazon Kinesis连接到Platform的信息:

使用API

使用UI

On this page