El Amazon Kinesis La fuente de está disponible en el catálogo de fuentes de para los usuarios que han adquirido Real-time Customer Data Platform Ultimate.
Adobe Experience Platform proporciona conectividad nativa para proveedores de la nube como AWS, Google Cloud Platform, y Azure. Puede introducir los datos de estos sistemas en Platform.
Las fuentes de almacenamiento en la nube pueden incorporar sus propios datos en Platform sin necesidad de descargar, formatear ni cargar. Los datos introducidos pueden tener el formato XDM JSON, XDM Parquet o estar delimitados. Cada paso del proceso se integra en el flujo de trabajo de orígenes. Platform le permite introducir datos de Amazon Kinesis en tiempo real.
El factor de escala para Kinesis debe aumentarse si necesita introducir datos de gran volumen. En este momento, el volumen máximo de datos que puede traer de su Kinesis cuenta a Platform es de 4000 registros por segundo. Para ampliar e ingerir datos de mayor volumen, póngase en contacto con su representante de Adobe.
La siguiente sección proporciona más información sobre la configuración de requisitos previos necesaria para crear una Kinesis conexión de origen.
A Kinesis La secuencia requiere los siguientes permisos para crear una conexión de origen:
GetShardIterator
GetRecords
DescribeStream
ListStreams
Estos permisos se organizan a través de la variable Kinesis y son comprobados por Platform una vez que introduce sus credenciales y selecciona el flujo de datos.
El ejemplo siguiente muestra los derechos de acceso mínimos necesarios para crear una Kinesis conexión de origen.
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"kinesis:GetShardIterator",
"kinesis:GetRecords",
"kinesis:DescribeStream",
"kinesis:ListStreams"
],
"Resource": [
"arn:aws:kinesis:us-east-2:901341027596:stream/*"
]
}
]
}
Propiedad | Descripción |
---|---|
kinesis:GetShardIterator |
Una acción necesaria para atravesar registros. |
kinesis:GetRecords |
Una acción necesaria para obtener registros de un ID de desplazamiento o compartido específico. |
kinesis:DescribeStream |
Una acción que devuelve información con respecto al flujo, incluido el mapa compartido, que es necesario para generar un ID compartido. |
kinesis:ListStreams |
Una acción necesaria para enumerar los flujos disponibles que puede seleccionar en la interfaz de usuario. |
Para obtener más información sobre el control de acceso de Kinesis secuencias de datos, consulte lo siguiente Kinesis documento.
Kinesis admite los siguientes tipos de iterador para permitirle especificar el orden en que se leen los datos:
Tipo de iterador | Descripción |
---|---|
AT_SEQUENCE_NUMBER |
Los datos se leen a partir de una posición identificada por un número de secuencia específico. |
AFTER_SEQUENCE_NUMBER |
Los datos se leen comenzando después de la posición identificada por un número de secuencia específico. |
AT_TIMESTAMP |
Los datos se leen a partir de una posición identificada por una marca de tiempo específica. |
TRIM_HORIZON |
Los datos se leen a partir del registro de datos más antiguo. |
LATEST |
Los datos se leen a partir del registro de datos más reciente. |
A Kinesis Actualmente, la fuente de IU solo admite TRIM_HORIZON
, mientras que la API admite ambas TRIM_HORIZON
y LATEST
como modos para obtener datos. El valor del iterador predeterminado que Platform utiliza para Kinesis el origen es TRIM_HORIZON
.
Para obtener más información sobre los tipos de iteradores, consulte lo siguiente Kinesis documento.
La siguiente documentación proporciona información sobre cómo conectarse Amazon Kinesis hasta Platform mediante las API de o la interfaz de usuario de: