Amazon Kinesis conector

Adobe Experience Platform proporciona conectividad nativa para proveedores de la nube como AWS, Google Cloud Platform, y Azure. Puede introducir los datos de estos sistemas en Platform.

Las fuentes de almacenamiento en la nube pueden incorporar sus propios datos en Platform sin necesidad de descargar, formatear ni cargar. Los datos introducidos pueden tener el formato XDM JSON, XDM Parquet o estar delimitados. Cada paso del proceso se integra en el flujo de trabajo de orígenes. Platform le permite introducir datos de Amazon Kinesis en tiempo real.

NOTA

El factor de escala para Kinesis debe aumentarse si necesita introducir datos de gran volumen. En este momento, el volumen máximo de datos que puede traer de su Kinesis cuenta a Platform es de 4000 registros por segundo. Para ampliar e ingerir datos de mayor volumen, póngase en contacto con su representante de Adobe.

Requisitos previos

La siguiente sección proporciona más información sobre la configuración de requisitos previos necesaria para crear una Kinesis conexión de origen.

Configurar la directiva de acceso

A Kinesis La secuencia requiere los siguientes permisos para crear una conexión de origen:

  • GetShardIterator
  • GetRecords
  • DescribeStream
  • ListStreams

Estos permisos se organizan a través de la variable Kinesis y son comprobados por Platform una vez que introduce sus credenciales y selecciona el flujo de datos.

El ejemplo siguiente muestra los derechos de acceso mínimos necesarios para crear una Kinesis conexión de origen.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "kinesis:GetShardIterator",
                "kinesis:GetRecords",
                "kinesis:DescribeStream",
                "kinesis:ListStreams"
            ],
            "Resource": [
                "arn:aws:kinesis:us-east-2:901341027596:stream/*"
            ]
        }
    ]
}
Propiedad Descripción
kinesis:GetShardIterator Una acción necesaria para atravesar registros.
kinesis:GetRecords Una acción necesaria para obtener registros de un ID de desplazamiento o compartido específico.
kinesis:DescribeStream Una acción que devuelve información con respecto al flujo, incluido el mapa compartido, que es necesario para generar un ID compartido.
kinesis:ListStreams Una acción necesaria para enumerar los flujos disponibles que puede seleccionar en la interfaz de usuario.

Para obtener más información sobre el control de acceso de Kinesis secuencias de datos, consulte lo siguiente Kinesis documento.

Configuración del tipo de iterador

Kinesis admite los siguientes tipos de iterador para permitirle especificar el orden en que se leen los datos:

Tipo de iterador Descripción
AT_SEQUENCE_NUMBER Los datos se leen a partir de una posición identificada por un número de secuencia específico.
AFTER_SEQUENCE_NUMBER Los datos se leen comenzando después de la posición identificada por un número de secuencia específico.
AT_TIMESTAMP Los datos se leen a partir de una posición identificada por una marca de tiempo específica.
TRIM_HORIZON Los datos se leen a partir del registro de datos más antiguo.
LATEST Los datos se leen a partir del registro de datos más reciente.

A Kinesis Actualmente, la fuente de IU solo admite TRIM_HORIZON, mientras que la API admite ambas TRIM_HORIZON y LATEST como modos para obtener datos. El valor del iterador predeterminado que Platform utiliza para Kinesis el origen es TRIM_HORIZON.

Para obtener más información sobre los tipos de iteradores, consulte lo siguiente Kinesis documento.

Connect Amazon Kinesis hasta Platform

La siguiente documentación proporciona información sobre cómo conectarse Amazon Kinesis hasta Platform mediante las API de o la interfaz de usuario de:

Uso de API

Uso de la IU

En esta página