Amazon Kinesis connettore

Adobe Experience Platform fornisce connettività nativa per i provider di cloud come AWS, Google Cloud Platform, e Azure. È possibile inserire i dati da questi sistemi in Platform.

Le origini di archiviazione cloud possono inserire i tuoi dati in Platform senza dover scaricare, formattare o caricare. I dati acquisiti possono essere formattati come XDM JSON, XDM Parquet o delimitati. Ogni passaggio del processo viene integrato nel flusso di lavoro Origini. Platform consente di inserire dati da Amazon Kinesis in tempo reale.

NOTA

Fattore di scala per Kinesis deve essere aumentata se devi acquisire dati con volumi elevati. Attualmente, il volume massimo di dati che puoi portare dal tuo Kinesis l’account per Platform è di 4000 record al secondo. Per aumentare e acquisire dati con volumi più elevati, contatta il rappresentante del tuo Adobe.

Prerequisiti

La sezione seguente fornisce ulteriori informazioni sui prerequisiti necessari per la creazione di un Kinesis connessione sorgente.

Configurare i criteri di accesso

A Kinesis per creare una connessione di origine, il flusso richiede le seguenti autorizzazioni:

  • GetShardIterator
  • GetRecords
  • DescribeStream
  • ListStreams

Queste autorizzazioni sono organizzate tramite Kinesis e sono controllati da Platform dopo aver immesso le credenziali e selezionato il flusso di dati.

L’esempio seguente mostra i diritti di accesso minimi necessari per creare un Kinesis connessione sorgente.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "kinesis:GetShardIterator",
                "kinesis:GetRecords",
                "kinesis:DescribeStream",
                "kinesis:ListStreams"
            ],
            "Resource": [
                "arn:aws:kinesis:us-east-2:901341027596:stream/*"
            ]
        }
    ]
}
Proprietà Descrizione
kinesis:GetShardIterator Azione necessaria per scorrere i record.
kinesis:GetRecords Azione necessaria per ottenere record da un ID di offset o di partizione specifico.
kinesis:DescribeStream Azione che restituisce informazioni relative al flusso, inclusa la mappa di partizioni, necessaria per generare un ID di partizione.
kinesis:ListStreams Azione necessaria per elencare i flussi disponibili che è possibile selezionare dall’interfaccia utente.

Per ulteriori informazioni sul controllo dell'accesso per Kinesis flussi di dati, vedi quanto segue Kinesis documento.

Configura tipo di iteratore

Kinesis supporta i seguenti tipi di iteratore per specificare l'ordine di lettura dei dati:

Tipo di iteratore Descrizione
AT_SEQUENCE_NUMBER I dati vengono letti a partire da una posizione identificata da un numero di sequenza specifico.
AFTER_SEQUENCE_NUMBER I dati vengono letti a partire dalla posizione identificata da un numero di sequenza specifico.
AT_TIMESTAMP I dati vengono letti a partire da una posizione identificata da una marca temporale specifica.
TRIM_HORIZON I dati vengono letti a partire dal record di dati meno recente.
LATEST I dati vengono letti a partire dal record di dati più recente.

A Kinesis L’origine dell’interfaccia utente attualmente supporta solo TRIM_HORIZON, mentre l’API supporta entrambi TRIM_HORIZON e LATEST come modalità per ottenere i dati. Il valore iteratore predefinito utilizzato da Platform per Kinesis sorgente è TRIM_HORIZON.

Per ulteriori informazioni sui tipi di iteratore, vedere Kinesis documento.

Connetti Amazon Kinesis a Platform

La documentazione seguente fornisce informazioni sulle modalità di connessione Amazon Kinesis a Platform utilizzando le API o l’interfaccia utente:

Utilizzo delle API

Utilizzo dell’interfaccia utente

In questa pagina