Amazon Kinesis connector

Adobe Experience Platform proporciona conectividad nativa para proveedores de nube como AWS, Google Cloud Platform y Azure. Puede introducir los datos de estos sistemas en Platform.

Las fuentes de almacenamiento en la nube pueden traer sus propios datos a Platform sin necesidad de descargar, formatear o cargar. Los datos introducidos pueden tener el formato XDM JSON, XDM Parquet o delimitados. Cada paso del proceso se integra en el flujo de trabajo Orígenes . Platform permite introducir datos desde Amazon Kinesis en tiempo real.

LISTA DE PERMITIDOS de direcciones IP

Se debe agregar una lista de direcciones IP a una lista de permitidos antes de trabajar con conectores de origen. Si no agrega las direcciones IP específicas de su región a su lista de permitidos, puede que se produzcan errores o que no se produzca un rendimiento al utilizar fuentes. Consulte la página lista de permitidos de direcciones IP para obtener más información.

Requisitos previos

La siguiente sección proporciona más información sobre la configuración previa necesaria para poder crear una conexión de origen Kinesis.

Configuración de la directiva de acceso

Un flujo Kinesis requiere los siguientes permisos para crear una conexión de origen:

  • GetShardIterator
  • GetRecords
  • DescribeStream
  • ListStreams

Estos permisos se organizan a través de la consola Kinesis y Platform los comprueba una vez que introduce las credenciales y selecciona el flujo de datos.

El ejemplo siguiente muestra los derechos de acceso mínimos necesarios para crear una conexión de origen Kinesis.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "kinesis:GetShardIterator",
                "kinesis:GetRecords",
                "kinesis:DescribeStream",
                "kinesis:ListStreams"
            ],
            "Resource": [
                "arn:aws:kinesis:us-east-2:901341027596:stream/*"
            ]
        }
    ]
}
Propiedad Descripción
kinesis:GetShardIterator Acción necesaria para recorrer los registros.
kinesis:GetRecords Acción necesaria para obtener registros de un desplazamiento o ID compartido específico.
kinesis:DescribeStream Acción que devuelve información sobre el flujo, incluido el mapa compartido, que es necesario para generar un ID compartido.
kinesis:ListStreams Acción necesaria para enumerar los flujos disponibles que puede seleccionar en la interfaz de usuario.

Para obtener más información sobre el control del acceso para Kinesis flujos de datos, consulte el siguiente Kinesis documento.

Configurar el tipo de iterador

Kinesis admite los siguientes tipos de iteradores para permitirle especificar el orden en que se leen los datos:

Tipo de iterador Descripción
AT_SEQUENCE_NUMBER Los datos se leen empezando por una posición identificada por un número de secuencia específico.
AFTER_SEQUENCE_NUMBER Los datos se leen comenzando después de la posición identificada con un número de secuencia específico.
AT_TIMESTAMP Los datos se leen a partir de una posición identificada por una marca de tiempo específica.
TRIM_HORIZON Los datos se leen a partir del registro de datos más antiguo.
LATEST Los datos se leen a partir del registro de datos más reciente.

Actualmente, una fuente de interfaz de usuario Kinesis solo admite TRIM_HORIZON, mientras que la API admite TRIM_HORIZON y LATEST como modos de obtener datos. El valor predeterminado del iterador que utiliza Platform para el origen Kinesis es TRIM_HORIZON.

Para obtener más información sobre los tipos de iterador, consulte el siguiente Kinesis documento.

Conectar Amazon Kinesis a Platform

La documentación siguiente proporciona información sobre cómo conectar Amazon Kinesis a Platform mediante API o la interfaz de usuario:

Uso de API

Uso de la interfaz de usuario

En esta página