文档Experience Platform源连接器指南

[Ultimate]{class="badge positive"}

Amazon Kinesis源

Last update: Thu Jan 09 2025 00:00:00 GMT+0000 (Coordinated Universal Time)
  • 主题：

创建对象：

  • 开发人员
IMPORTANT

  • Amazon Kinesis源在源目录中可供已购买Real-Time CDP Ultimate的用户使用。

  • 在Amazon Web Services (AWS)上运行Adobe Experience Platform时，您现在可以使用Amazon Kinesis源。 在AWS上运行的Experience Platform当前仅对有限数量的客户可用。 要了解有关支持的Experience Platform基础架构的更多信息，请参阅Experience Platform多云概述。

Adobe Experience Platform为AWS、Google Cloud Platform和Azure等云提供商提供本机连接。 您可以将来自这些系统的数据导入Platform。

云存储源可以将您自己的数据导入Platform，而无需下载、格式化或上传。 引入的数据可以格式化为XDM JSON、XDM Parquet或分隔。 该过程的每个步骤都集成到源工作流中。 Platform允许您从Amazon Kinesis实时引入数据。

NOTE
如果需要摄取大量数据，必须增加Kinesis的缩放因子。 目前，您可以从Kinesis帐户向Platform引入的最大数据量为每秒4000条记录。 要扩展并摄取更大数量的数据，请联系您的Adobe代表。

先决条件

以下部分提供了在创建Kinesis源连接之前所需的先决条件设置的详细信息。

设置访问策略

Kinesis流需要以下权限才能创建源连接：

  • GetShardIterator
  • GetRecords
  • DescribeStream
  • ListStreams

这些权限通过Kinesis控制台进行排列，并在输入凭据并选择数据流后由Platform检查。

以下示例显示了创建Kinesis源连接所需的最低访问权限。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "kinesis:GetShardIterator",
                "kinesis:GetRecords",
                "kinesis:DescribeStream",
                "kinesis:ListStreams"
            ],
            "Resource": [
                "arn:aws:kinesis:us-east-2:901341027596:stream/*"
            ]
        }
    ]
}
属性
描述
kinesis:GetShardIterator
遍历记录所需的操作。
kinesis:GetRecords
从特定偏移或分片ID获取记录所需的操作。
kinesis:DescribeStream
一个操作，用于返回有关流的信息，包括生成分片ID所需的分片映射。
kinesis:ListStreams
列出可从UI中选择的可用流时需要执行的操作。

有关控制Kinesis数据流的访问权限的详细信息，请参阅以下Kinesis 文档。

配置迭代器类型

Kinesis支持以下迭代器类型，允许您指定读取数据的顺序：

迭代器类型
描述
AT_SEQUENCE_NUMBER
从由特定序列号标识的位置开始读取数据。
AFTER_SEQUENCE_NUMBER
从特定序列号标识的位置之后开始读取数据。
AT_TIMESTAMP
从由特定时间戳标识的位置开始读取数据。
TRIM_HORIZON
从最早的数据记录开始读取数据。
LATEST
从最近的数据记录开始读取数据。

Kinesis UI源当前仅支持TRIM_HORIZON，而API同时支持TRIM_HORIZON和LATEST作为获取数据的模式。 Platform为Kinesis源使用的默认迭代器值为TRIM_HORIZON。

有关迭代器类型的详细信息，请参阅以下Kinesis 文档。

将Amazon Kinesis连接到Platform

以下文档提供了有关如何使用API或用户界面将Amazon Kinesis连接到Platform的信息：

使用API

使用UI

recommendation-more-help
337b99bb-92fb-42ae-b6b7-c7042161d089