Amazon Kinesis-källa

Last update: Tue Jul 16 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

Ämnen:

Skapat för:

Utvecklare

IMPORTANT

Källan Amazon Kinesis är tillgänglig i källkatalogen för användare som har köpt Real-time Customer Data Platform Ultimate.

Adobe Experience Platform erbjuder inbyggd anslutning för molnleverantörer som AWS, Google Cloud Platform och Azure. Du kan hämta data från dessa system till Platform.

Molnlagringskällor kan hämta dina egna data till Platform utan att du behöver hämta, formatera eller överföra dem. Inkapslade data kan formateras som XDM JSON, XDM Parquet eller avgränsade. Varje steg i processen är integrerat i arbetsflödet för källor. Med Platform kan du hämta data från Amazon Kinesis i realtid.

NOTE

Skalningsfaktorn för Kinesis måste ökas om du behöver importera data med hög volym. För närvarande är den maximala datavolymen som du kan hämta från ditt Kinesis-konto till plattformen 4 000 poster per sekund. Om du vill skala upp och importera data i större volymer kontaktar du Adobe.

Förhandskrav

I följande avsnitt finns mer information om nödvändiga inställningar som krävs innan du kan skapa en Kinesis-källanslutning.

Ställ in åtkomstprincip

En Kinesis-dataström kräver följande behörigheter för att skapa en källanslutning:

GetShardIterator
GetRecords
DescribeStream
ListStreams

Dessa behörigheter ordnas via Kinesis-konsolen och kontrolleras av plattformen när du anger dina autentiseringsuppgifter och väljer dataström.

I exemplet nedan visas den lägsta åtkomstbehörighet som krävs för att skapa en Kinesis-källanslutning.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "kinesis:GetShardIterator",
                "kinesis:GetRecords",
                "kinesis:DescribeStream",
                "kinesis:ListStreams"
            ],
            "Resource": [
                "arn:aws:kinesis:us-east-2:901341027596:stream/*"
            ]
        }
    ]
}

Egenskap

Beskrivning

kinesis:GetShardIterator

En åtgärd som krävs för att gå igenom poster.

kinesis:GetRecords

En åtgärd som krävs för att hämta poster från ett visst förskjutnings- eller delnings-ID.

kinesis:DescribeStream

En åtgärd som returnerar information om strömmen, inklusive skuggkartan, som behövs för att generera ett kort-ID.

kinesis:ListStreams

En åtgärd som krävs för att visa en lista över tillgängliga strömmar som du kan välja i användargränssnittet.

Mer information om hur du styr åtkomst för Kinesis dataströmmar finns i följande Kinesis dokument.

Konfigurera iteratortyp

Kinesis har stöd för följande iteratortyper så att du kan ange ordningen för hur data läses:

Iterator-typ

Beskrivning

AT_SEQUENCE_NUMBER

Data läses från en position som identifieras av ett visst sekvensnummer.

AFTER_SEQUENCE_NUMBER

Data läses med början efter en position som identifieras av ett visst sekvensnummer.

AT_TIMESTAMP

Data läses från en position som identifieras av en viss tidsstämpel.

TRIM_HORIZON

Data läses från den äldsta dataposten.

LATEST

Data läses från den senaste dataposten.

En Kinesis-gränssnittskälla har för närvarande bara stöd för TRIM_HORIZON, medan API:t har stöd för både TRIM_HORIZON och LATEST som lägen för att hämta data. Standarditeratorvärdet som används för källan Kinesis är TRIM_HORIZON.

Mer information om iteratortyper finns i följande Kinesis dokument.

Anslut Amazon Kinesis till Platform

Dokumentationen nedan innehåller information om hur du ansluter Amazon Kinesis till Platform med API:er eller användargränssnittet:

Använda API:er

Använda gränssnittet

recommendation-more-help

337b99bb-92fb-42ae-b6b7-c7042161d089