文档Experience Platform源连接器指南

[Ultimate]{class="badge positive"}

Amazon Kinesis源

Last update: Tue Jul 16 2024 00:00:00 GMT+0000 (Coordinated Universal Time)
  • 主题：

创建对象：

  • undefined
IMPORTANT
Amazon Kinesis源在源目录中可供已购买Real-time Customer Data Platform Ultimate的用户使用。

Adobe Experience Platform为AWS、Google Cloud Platform和Azure等云提供商提供本机连接。 您可以将来自这些系统的数据导入Platform。

云存储源可以将您自己的数据导入Platform，而无需下载、格式化或上传。 引入的数据可以格式化为XDM JSON、XDM Parquet或分隔。 该过程的每个步骤都集成到源工作流中。 Platform允许您从Amazon Kinesis实时引入数据。

NOTE
如果需要摄取大量数据，必须增加Kinesis的缩放因子。 目前，您可以从Kinesis帐户向Platform引入的最大数据量为每秒4000条记录。 要扩展并摄取更大数量的数据，请联系您的Adobe代表。

先决条件

以下部分提供了在创建Kinesis源连接之前所需的先决条件设置的详细信息。

设置访问策略

Kinesis流需要以下权限才能创建源连接：

  • GetShardIterator
  • GetRecords
  • DescribeStream
  • ListStreams

这些权限通过Kinesis控制台进行排列，并在输入凭据并选择数据流后由Platform检查。

以下示例显示了创建Kinesis源连接所需的最低访问权限。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "kinesis:GetShardIterator",
                "kinesis:GetRecords",
                "kinesis:DescribeStream",
                "kinesis:ListStreams"
            ],
            "Resource": [
                "arn:aws:kinesis:us-east-2:901341027596:stream/*"
            ]
        }
    ]
}
属性
描述
kinesis:GetShardIterator
遍历记录所需的操作。
kinesis:GetRecords
从特定偏移或分片ID获取记录所需的操作。
kinesis:DescribeStream
一个操作，用于返回有关流的信息，包括生成分片ID所需的分片映射。
kinesis:ListStreams
列出可从UI中选择的可用流时需要执行的操作。

有关控制Kinesis数据流的访问权限的详细信息，请参阅以下Kinesis 文档。

配置迭代器类型

Kinesis支持以下迭代器类型，允许您指定读取数据的顺序：

迭代器类型
描述
AT_SEQUENCE_NUMBER
从由特定序列号标识的位置开始读取数据。
AFTER_SEQUENCE_NUMBER
从特定序列号标识的位置之后开始读取数据。
AT_TIMESTAMP
从由特定时间戳标识的位置开始读取数据。
TRIM_HORIZON
从最早的数据记录开始读取数据。
LATEST
从最近的数据记录开始读取数据。

Kinesis UI源当前仅支持TRIM_HORIZON，而API同时支持TRIM_HORIZON和LATEST作为获取数据的模式。 Platform为Kinesis源使用的默认迭代器值为TRIM_HORIZON。

有关迭代器类型的详细信息，请参阅以下Kinesis 文档。

将Amazon Kinesis连接到Platform

以下文档提供了有关如何使用API或用户界面将Amazon Kinesis连接到Platform的信息：

使用API

使用UI

recommendation-more-help
337b99bb-92fb-42ae-b6b7-c7042161d089