DocumentaciónExperience PlatformGuía de conectores de origen

[Ultimate]{class="badge positive"}

Amazon Kinesis origen

Last update: Tue Jul 16 2024 00:00:00 GMT+0000 (Coordinated Universal Time)
  • Temas:

Creado para:

  • Desarrollador
IMPORTANT
El origen Amazon Kinesis está disponible en el catálogo de orígenes para los usuarios que han adquirido Real-time Customer Data Platform Ultimate.

Adobe Experience Platform proporciona conectividad nativa para proveedores de la nube como AWS, Google Cloud Platform y Azure. Puede llevar los datos de estos sistemas a Platform.

Las fuentes de almacenamiento en la nube pueden traer sus propios datos a Platform sin necesidad de descargarlos, formatearlos o cargarlos. Los datos introducidos pueden tener el formato XDM JSON, XDM Parquet o estar delimitados. Cada paso del proceso se integra en el flujo de trabajo de orígenes. Platform le permite traer datos de Amazon Kinesis en tiempo real.

NOTE
El factor de escala de Kinesis debe aumentarse si necesita ingerir datos de gran volumen. En la actualidad, el volumen máximo de datos que puede traer de su cuenta de Kinesis a Platform es de 4000 registros por segundo. Para ampliar e ingerir datos de mayor volumen, póngase en contacto con su representante de Adobe.

Requisitos previos

La siguiente sección proporciona más información sobre la configuración de requisitos previos necesaria para poder crear una conexión de origen de Kinesis.

Configurar la directiva de acceso

Una secuencia Kinesis requiere los siguientes permisos para crear una conexión de origen:

  • GetShardIterator
  • GetRecords
  • DescribeStream
  • ListStreams

Estos permisos se organizan a través de la consola Kinesis y Platform los comprueba cuando escribe sus credenciales y selecciona el flujo de datos.

El ejemplo siguiente muestra los derechos de acceso mínimos necesarios para crear una conexión de origen de Kinesis.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "kinesis:GetShardIterator",
                "kinesis:GetRecords",
                "kinesis:DescribeStream",
                "kinesis:ListStreams"
            ],
            "Resource": [
                "arn:aws:kinesis:us-east-2:901341027596:stream/*"
            ]
        }
    ]
}
Propiedad
Descripción
kinesis:GetShardIterator
Una acción necesaria para atravesar registros.
kinesis:GetRecords
Una acción necesaria para obtener registros de un ID de desplazamiento o compartido específico.
kinesis:DescribeStream
Una acción que devuelve información con respecto al flujo, incluido el mapa compartido, que es necesario para generar un ID compartido.
kinesis:ListStreams
Una acción necesaria para enumerar los flujos disponibles que puede seleccionar en la interfaz de usuario.

Para obtener más información sobre el control del acceso a las secuencias de datos de Kinesis, consulte el siguiente Kinesis documento.

Configuración del tipo de iterador

Kinesis admite los siguientes tipos de iterador para permitirle especificar el orden en que se leen los datos:

Tipo de iterador
Descripción
AT_SEQUENCE_NUMBER
Los datos se leen a partir de una posición identificada por un número de secuencia específico.
AFTER_SEQUENCE_NUMBER
Los datos se leen comenzando después de la posición identificada por un número de secuencia específico.
AT_TIMESTAMP
Los datos se leen a partir de una posición identificada por una marca de tiempo específica.
TRIM_HORIZON
Los datos se leen a partir del registro de datos más antiguo.
LATEST
Los datos se leen a partir del registro de datos más reciente.

Actualmente, un origen de interfaz de usuario Kinesis solo admite TRIM_HORIZON, mientras que la API admite TRIM_HORIZON y LATEST como modos para obtener datos. El valor de iterador predeterminado que Platform usa para el origen Kinesis es TRIM_HORIZON.

Para obtener más información sobre los tipos de iterador, consulte el siguiente Kinesis documento.

Conectar Amazon Kinesis a Platform

La siguiente documentación proporciona información sobre cómo conectar Amazon Kinesis a Platform mediante API o la interfaz de usuario:

Uso de API

Uso de la IU

recommendation-more-help
337b99bb-92fb-42ae-b6b7-c7042161d089