A variável Amazon Kinesis origem está disponível no catálogo de origens para usuários que compraram o Real-time Customer Data Platform Ultimate.
O Adobe Experience Platform fornece conectividade nativa para provedores de nuvem, como o AWS, Google Cloud Platform, e Azure. Você pode trazer seus dados desses sistemas para Platform.
As fontes de armazenamento na nuvem podem trazer seus próprios dados para Platform sem a necessidade de baixar, formatar ou fazer upload. Os dados assimilados podem ser formatados como XDM JSON, XDM Parquet ou delimitados. Cada etapa do processo é integrada ao fluxo de trabalho Origens. Platform permite trazer dados do Amazon Kinesis em tempo real.
O fator de escala para Kinesis deve ser aumentado se você precisar assimilar dados de alto volume. Atualmente, o volume máximo de dados que você pode trazer de seu Kinesis para a Platform é de 4000 registros por segundo. Para aumentar e assimilar dados de volume maior, entre em contato com o representante da Adobe.
A seção a seguir fornece mais informações sobre a configuração de pré-requisitos necessária antes que você possa criar um Kinesis conexão de origem.
A Kinesis o fluxo requer as seguintes permissões para criar uma conexão de origem:
GetShardIterator
GetRecords
DescribeStream
ListStreams
Essas permissões são organizadas por meio da variável Kinesis e são verificados pela Platform depois de inserir suas credenciais e selecionar o fluxo de dados.
O exemplo abaixo exibe os direitos de acesso mínimos necessários para criar uma Kinesis conexão de origem.
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"kinesis:GetShardIterator",
"kinesis:GetRecords",
"kinesis:DescribeStream",
"kinesis:ListStreams"
],
"Resource": [
"arn:aws:kinesis:us-east-2:901341027596:stream/*"
]
}
]
}
Propriedade | Descrição |
---|---|
kinesis:GetShardIterator |
Uma ação necessária para percorrer registros. |
kinesis:GetRecords |
Uma ação necessária para obter registros de um deslocamento específico ou ID compartilhada. |
kinesis:DescribeStream |
Uma ação que retorna informações sobre o fluxo, incluindo o mapa de fragmentos, que é necessário para gerar uma ID de fragmentos. |
kinesis:ListStreams |
Uma ação necessária para listar os fluxos disponíveis que você pode selecionar na interface do usuário. |
Para obter mais informações sobre o controle de acesso para Kinesis fluxos de dados, consulte o seguinte Kinesis documento.
Kinesis O suporta os seguintes tipos de iterador para permitir que você especifique a ordem de leitura dos seus dados:
Tipo de iterador | Descrição |
---|---|
AT_SEQUENCE_NUMBER |
Os dados são lidos a partir de uma posição identificada por um número de sequência específico. |
AFTER_SEQUENCE_NUMBER |
Os dados são lidos, começando após a posição identificada por um número de sequência específico. |
AT_TIMESTAMP |
Os dados são lidos a partir de uma posição identificada por um carimbo de data e hora específico. |
TRIM_HORIZON |
Os dados são lidos a partir do registro de dados mais antigo. |
LATEST |
Os dados são lidos a partir do registro de dados mais recente. |
A Kinesis A origem da interface do usuário só oferece suporte no momento TRIM_HORIZON
, enquanto a API oferece suporte a TRIM_HORIZON
e LATEST
como modos para obter dados. O valor padrão do iterador que a Platform usa para o Kinesis a origem é TRIM_HORIZON
.
Para obter mais informações sobre tipos de iteradores, consulte o seguinte Kinesis documento.
A documentação abaixo fornece informações sobre como se conectar Amazon Kinesis para Platform uso de APIs ou da interface do usuário: