Amazon Kinesis connettore

Adobe Experience Platform fornisce connettività nativa per fornitori di cloud come AWS, Google Cloud Platforme Azure. È possibile inserire i dati di questi sistemi in Platform.

Le origini di archiviazione cloud possono importare i tuoi dati Platform senza dover scaricare, formattare o caricare. I dati acquisiti possono essere formattati come JSON XDM, Parquet XDM o delimitati. Ogni passaggio del processo viene integrato nel flusso di lavoro Origini . Platform consente di inserire dati da Amazon Kinesis in tempo reale.

NOTA

Fattore di scala per Kinesis deve essere aumentato se è necessario acquisire dati con volumi elevati. Attualmente, il volume massimo di dati che puoi ottenere dal tuo Kinesis L’account a Platform è di 4000 record al secondo. Per ingrandire e acquisire dati di volume più elevati, contattare il rappresentante di Adobe.

Prerequisiti

La sezione seguente fornisce ulteriori informazioni sulla configurazione dei prerequisiti necessaria per creare un Kinesis connessione di origine.

Imposta criteri di accesso

A Kinesis per creare una connessione di origine, lo streaming richiede le seguenti autorizzazioni:

  • GetShardIterator
  • GetRecords
  • DescribeStream
  • ListStreams

Queste autorizzazioni sono organizzate tramite Kinesis e vengono controllati da Platform una volta immesse le credenziali e selezionate il flusso di dati.

Nell’esempio seguente vengono visualizzati i diritti di accesso minimi necessari per creare un Kinesis connessione di origine.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "kinesis:GetShardIterator",
                "kinesis:GetRecords",
                "kinesis:DescribeStream",
                "kinesis:ListStreams"
            ],
            "Resource": [
                "arn:aws:kinesis:us-east-2:901341027596:stream/*"
            ]
        }
    ]
}
Proprietà Descrizione
kinesis:GetShardIterator Un’azione necessaria per scorrere i record.
kinesis:GetRecords Un'azione necessaria per ottenere i record da un ID offset o condiviso specifico.
kinesis:DescribeStream Un’azione che restituisce informazioni sul flusso, inclusa la mappa condivisa, necessaria per generare un ID condiviso.
kinesis:ListStreams Un’azione necessaria per elencare i flussi disponibili che puoi selezionare dall’interfaccia utente.

Per ulteriori informazioni sul controllo dell'accesso per Kinesis flussi di dati, vedi Kinesis documento.

Configura il tipo di iteratore

Kinesis supporta i seguenti tipi di iteratore per consentire di specificare l’ordine di lettura dei dati:

Tipo di iteratore Descrizione
AT_SEQUENCE_NUMBER I dati vengono letti a partire da una posizione identificata da un numero di sequenza specifico.
AFTER_SEQUENCE_NUMBER I dati vengono letti a partire dalla posizione identificata da un numero di sequenza specifico.
AT_TIMESTAMP I dati vengono letti a partire da una posizione identificata da un timestamp specifico.
TRIM_HORIZON I dati vengono letti a partire dal record di dati più vecchio.
LATEST I dati vengono letti a partire dal record di dati più recente.

A Kinesis L'origine dell'interfaccia attualmente supporta solo TRIM_HORIZON, mentre l’API supporta entrambi TRIM_HORIZON e LATEST come modalità per ottenere i dati. Il valore iteratore predefinito utilizzato da Platform per la Kinesis source TRIM_HORIZON.

Per ulteriori informazioni sui tipi di iteratore, consulta quanto segue Kinesis documento.

Connetti Amazon Kinesis a Platform

La documentazione seguente fornisce informazioni su come connettersi Amazon Kinesis a Platform utilizzando le API o l’interfaccia utente:

Utilizzo delle API

Utilizzo dell’interfaccia

In questa pagina