[Ultimate]{class="badge positive"}
Amazon Kinesis源
IMPORTANT
Amazon Kinesis源在源目录中可供已购买Real-time Customer Data Platform Ultimate的用户使用。
Adobe Experience Platform为AWS、Google Cloud Platform和Azure等云提供商提供本机连接。 您可以将来自这些系统的数据导入Platform。
云存储源可以将您自己的数据导入Platform,而无需下载、格式化或上传。 引入的数据可以格式化为XDM JSON、XDM Parquet或分隔。 该过程的每个步骤都集成到源工作流中。 Platform允许您从Amazon Kinesis实时引入数据。
NOTE
如果需要摄取大量数据,必须增加Kinesis的缩放因子。 目前,您可以从Kinesis帐户向Platform引入的最大数据量为每秒4000条记录。 要扩展并摄取更大数量的数据,请联系您的Adobe代表。
先决条件
以下部分提供了在创建Kinesis源连接之前所需的先决条件设置的详细信息。
设置访问策略
Kinesis流需要以下权限才能创建源连接:
GetShardIterator
GetRecords
DescribeStream
ListStreams
这些权限通过Kinesis控制台进行排列,并在输入凭据并选择数据流后由Platform检查。
以下示例显示了创建Kinesis源连接所需的最低访问权限。
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"kinesis:GetShardIterator",
"kinesis:GetRecords",
"kinesis:DescribeStream",
"kinesis:ListStreams"
],
"Resource": [
"arn:aws:kinesis:us-east-2:901341027596:stream/*"
]
}
]
}
属性
描述
kinesis:GetShardIterator
遍历记录所需的操作。
kinesis:GetRecords
从特定偏移或分片ID获取记录所需的操作。
kinesis:DescribeStream
一个操作,用于返回有关流的信息,包括生成分片ID所需的分片映射。
kinesis:ListStreams
列出可从UI中选择的可用流时需要执行的操作。
有关控制Kinesis数据流的访问权限的详细信息,请参阅以下Kinesis 文档。
配置迭代器类型
Kinesis支持以下迭代器类型,允许您指定读取数据的顺序:
迭代器类型
描述
AT_SEQUENCE_NUMBER
从由特定序列号标识的位置开始读取数据。
AFTER_SEQUENCE_NUMBER
从特定序列号标识的位置之后开始读取数据。
AT_TIMESTAMP
从由特定时间戳标识的位置开始读取数据。
TRIM_HORIZON
从最早的数据记录开始读取数据。
LATEST
从最近的数据记录开始读取数据。
Kinesis UI源当前仅支持TRIM_HORIZON
,而API同时支持TRIM_HORIZON
和LATEST
作为获取数据的模式。 Platform为Kinesis源使用的默认迭代器值为TRIM_HORIZON
。
有关迭代器类型的详细信息,请参阅以下Kinesis 文档。
将Amazon Kinesis连接到Platform
以下文档提供了有关如何使用API或用户界面将Amazon Kinesis连接到Platform的信息:
使用API
使用UI
recommendation-more-help
337b99bb-92fb-42ae-b6b7-c7042161d089