Amazon Kinesis origem

Last update: Tue Jul 16 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

Tópicos:

Criado para:

Desenvolvedor

IMPORTANT

A origem Amazon Kinesis está disponível no catálogo de origens para usuários que compraram o Real-time Customer Data Platform Ultimate.

O Adobe Experience Platform fornece conectividade nativa para provedores de nuvem, como AWS, Google Cloud Platform e Azure. Você pode trazer seus dados desses sistemas para o Platform.

As fontes de armazenamento na nuvem podem trazer seus próprios dados para o Platform sem precisar baixar, formatar ou carregar. Os dados assimilados podem ser formatados como XDM JSON, XDM Parquet ou delimitados. Cada etapa do processo é integrada ao fluxo de trabalho Origens. Platform permite trazer dados de Amazon Kinesis em tempo real.

NOTE

O fator de escala para Kinesis deve ser aumentado se você precisar assimilar dados de alto volume. Atualmente, o volume máximo de dados que você pode trazer da sua conta do Kinesis para a Platform é de 4.000 registros por segundo. Para aumentar e assimilar dados de volume maior, entre em contato com o representante da Adobe.

Pré-requisitos

A seção a seguir fornece mais informações sobre a configuração de pré-requisito necessária para que você possa criar uma conexão de origem Kinesis.

Configurar política de acesso

Um fluxo Kinesis requer as seguintes permissões para criar uma conexão de origem:

GetShardIterator
GetRecords
DescribeStream
ListStreams

Essas permissões são organizadas por meio do console Kinesis e são verificadas pela Platform depois que você insere suas credenciais e seleciona seu fluxo de dados.

O exemplo abaixo exibe os direitos de acesso mínimos necessários para criar uma conexão de origem Kinesis.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "kinesis:GetShardIterator",
                "kinesis:GetRecords",
                "kinesis:DescribeStream",
                "kinesis:ListStreams"
            ],
            "Resource": [
                "arn:aws:kinesis:us-east-2:901341027596:stream/*"
            ]
        }
    ]
}

Propriedade

Descrição

kinesis:GetShardIterator

Uma ação necessária para percorrer registros.

kinesis:GetRecords

Uma ação necessária para obter registros de um deslocamento específico ou ID compartilhada.

kinesis:DescribeStream

Uma ação que retorna informações sobre o fluxo, incluindo o mapa de fragmentos, que é necessário para gerar uma ID de fragmentos.

kinesis:ListStreams

Uma ação necessária para listar os fluxos disponíveis que você pode selecionar na interface do usuário.

Para obter mais informações sobre como controlar o acesso a Kinesis fluxos de dados, consulte o seguinte Kinesis documento.

Configurar tipo de iterador

Kinesis oferece suporte aos seguintes tipos de iterador para permitir que você especifique a ordem de leitura dos seus dados:

Tipo de iterador

Descrição

AT_SEQUENCE_NUMBER

Os dados são lidos a partir de uma posição identificada por um número de sequência específico.

AFTER_SEQUENCE_NUMBER

Os dados são lidos, começando após a posição identificada por um número de sequência específico.

AT_TIMESTAMP

Os dados são lidos a partir de uma posição identificada por um carimbo de data e hora específico.

TRIM_HORIZON

Os dados são lidos a partir do registro de dados mais antigo.

LATEST

Os dados são lidos a partir do registro de dados mais recente.

Atualmente, uma origem de interface do usuário Kinesis dá suporte apenas a TRIM_HORIZON, enquanto a API dá suporte a TRIM_HORIZON e LATEST como modos de obtenção de dados. O valor de iterador padrão que a Platform usa para a origem Kinesis é TRIM_HORIZON.

Para obter mais informações sobre tipos de iterador, consulte o seguinte Kinesis documento.

Conectar Amazon Kinesis a Platform

A documentação abaixo fornece informações sobre como conectar o Amazon Kinesis ao Platform usando APIs ou a interface do usuário:

Uso de APIs

Uso da interface

recommendation-more-help

337b99bb-92fb-42ae-b6b7-c7042161d089