Amazon Kinesis conector

O Adobe Experience Platform fornece conectividade nativa para provedores de nuvem como AWS, Google Cloud Platform e Azure. Você pode trazer seus dados desses sistemas para Platform.

As fontes de armazenamento em nuvem podem trazer seus próprios dados para Platform sem a necessidade de baixar, formatar ou fazer upload. Os dados assimilados podem ser formatados como XDM JSON, XDM Parquet ou delimitados. Cada etapa do processo é integrada ao fluxo de trabalho Fontes . Platform O permite trazer dados do Amazon Kinesis em tempo real.

Pré-requisitos

A seção a seguir fornece mais informações sobre a configuração de pré-requisito necessária antes que você possa criar uma conexão de origem Kinesis.

Configurar política de acesso

Um fluxo Kinesis requer as seguintes permissões para criar uma conexão de origem:

  • GetShardIterator
  • GetRecords
  • DescribeStream
  • ListStreams

Essas permissões são organizadas por meio do console Kinesis e são verificadas pela Platform depois de inserir suas credenciais e selecionar seu fluxo de dados.

O exemplo abaixo exibe os direitos mínimos de acesso necessários para criar uma conexão de origem Kinesis.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "kinesis:GetShardIterator",
                "kinesis:GetRecords",
                "kinesis:DescribeStream",
                "kinesis:ListStreams"
            ],
            "Resource": [
                "arn:aws:kinesis:us-east-2:901341027596:stream/*"
            ]
        }
    ]
}
Propriedade Descrição
kinesis:GetShardIterator Uma ação necessária para percorrer registros.
kinesis:GetRecords Uma ação necessária para obter registros de um deslocamento ou ID de compartilhamento específico.
kinesis:DescribeStream Uma ação que retorna informações sobre o fluxo, incluindo o mapa compartilhado, necessário para gerar uma ID compartilhada.
kinesis:ListStreams Uma ação necessária para listar os fluxos disponíveis que você pode selecionar na interface do usuário.

Para obter mais informações sobre como controlar o acesso para Kinesis fluxos de dados, consulte o seguinte Kinesis documento.

Configurar tipo de iterador

Kinesis O suporta os seguintes tipos de iterador para permitir que você especifique a ordem de leitura dos dados:

Tipo de iterador Descrição
AT_SEQUENCE_NUMBER Os dados são lidos a partir de uma posição identificada por um número de sequência específico.
AFTER_SEQUENCE_NUMBER Os dados são lidos começando após a posição identificada por um número de sequência específico.
AT_TIMESTAMP Os dados são lidos a partir de uma posição identificada por um carimbo de data e hora específico.
TRIM_HORIZON Os dados são lidos a partir do registro de dados mais antigo.
LATEST Os dados são lidos a partir do registro de dados mais recente.

No momento, uma fonte de interface Kinesis suporta apenas TRIM_HORIZON, enquanto a API suporta TRIM_HORIZON e LATEST como modos para obter dados. O valor padrão do iterador que a Platform usa para a origem Kinesis é TRIM_HORIZON.

Para obter mais informações sobre tipos de iterador, consulte o seguinte Kinesis document.

Conecte Amazon Kinesis a Platform

A documentação abaixo fornece informações sobre como se conectar Amazon Kinesis a Platform usando APIs ou a interface do usuário:

Uso de APIs

Uso da interface do usuário

Nesta página