Amazon Kinesis

Last update: Thu Jan 09 2025 00:00:00 GMT+0000 (Coordinated Universal Time)

Themen:

Erstellt für:

Entwickler

IMPORTANT

Die Amazon Kinesis ist im Quellkatalog für Benutzende verfügbar, die Real-Time CDP Ultimate erworben haben.
Sie können jetzt die Amazon Kinesis-Quelle verwenden, wenn Sie Adobe Experience Platform auf Amazon Web Services (AWS) ausführen. Experience Platform, das auf AWS ausgeführt wird, steht derzeit einer begrenzten Anzahl von Kunden zur Verfügung. Weitere Informationen zur unterstützten Experience Platform-Infrastruktur finden Sie in der Übersicht zur Experience Platform-Multi-Cloud.

Adobe Experience Platform bietet native Konnektivität für Cloud-Anbieter wie AWS, Google Cloud Platform und Azure. Sie können Ihre Daten aus diesen Systemen in Platform bringen.

Mit Cloud-Speicherquellen können Sie Ihre eigenen Daten in Platform übertragen, ohne sie herunterladen, formatieren oder hochladen zu müssen. Aufgenommene Daten können als XDM JSON, XDM Parquet oder mit Trennzeichen formatiert werden. Jeder Schritt des Prozesses wird in den Quell-Workflow integriert. Mit Platform können Sie Daten aus Amazon Kinesis in Echtzeit importieren.

NOTE

Der Skalierungsfaktor für Kinesis muss erhöht werden, wenn Daten mit hohem Volumen aufgenommen werden sollen. Derzeit beträgt das maximale Datenvolumen, das Sie von Ihrem Kinesis-Konto an Platform übermitteln können, 4.000 Datensätze pro Sekunde. Wenden Sie sich an Ihren Adobe-Support-Mitarbeiter, um Daten mit einem größeren Datenvolumen zu skalieren und aufzunehmen.

Voraussetzungen

Im folgenden Abschnitt finden Sie weitere Informationen zur erforderlichen Einrichtung, bevor Sie eine Kinesis Quellverbindung erstellen können.

Einrichten der Zugriffsrichtlinie

Ein Kinesis-Stream benötigt die folgenden Berechtigungen, um eine Quellverbindung zu erstellen:

GetShardIterator
GetRecords
DescribeStream
ListStreams

Diese Berechtigungen werden über die Kinesis Console angeordnet und von Platform überprüft, sobald Sie Ihre Anmeldeinformationen eingeben und Ihren Daten-Stream auswählen.

Im folgenden Beispiel werden die Mindestzugriffsrechte angezeigt, die zum Erstellen einer Kinesis-Quellverbindung erforderlich sind.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "kinesis:GetShardIterator",
                "kinesis:GetRecords",
                "kinesis:DescribeStream",
                "kinesis:ListStreams"
            ],
            "Resource": [
                "arn:aws:kinesis:us-east-2:901341027596:stream/*"
            ]
        }
    ]
}

Eigenschaft

Beschreibung

kinesis:GetShardIterator

Eine Aktion, die zum Durchlaufen von Datensätzen erforderlich ist.

kinesis:GetRecords

Eine Aktion, die erforderlich ist, um Datensätze von einer bestimmten Offset- oder Shard-ID abzurufen.

kinesis:DescribeStream

Eine Aktion, die Informationen zum Stream zurückgibt, einschließlich der Shard-Zuordnung, die zum Generieren einer Shard-ID erforderlich ist.

kinesis:ListStreams

Eine Aktion, die erforderlich ist, um verfügbare Streams aufzulisten, die Sie in der Benutzeroberfläche auswählen können.

Weitere Informationen zum Steuern des Zugriffs für Kinesis Datenströme finden Sie im folgenden Kinesis Dokument.

Iterationstyp konfigurieren

Kinesis unterstützt die folgenden Iteratortypen, mit denen Sie die Reihenfolge angeben können, in der Ihre Daten gelesen werden:

Iteratortyp

Beschreibung

AT_SEQUENCE_NUMBER

Das Auslesen der Daten erfolgt ausgehend von einer durch eine bestimmte Ablaufnummer identifizierten Position.

AFTER_SEQUENCE_NUMBER

Die Daten werden nach einer durch eine bestimmte Folgenummer identifizierten Position ausgelesen.

AT_TIMESTAMP

Die Daten werden ausgehend von einer Position gelesen, die durch einen bestimmten Zeitstempel identifiziert wird.

TRIM_HORIZON

Die Daten werden ausgehend vom ältesten Datensatz gelesen.

LATEST

Die Daten werden ab dem letzten Datensatz gelesen.

Eine Kinesis UI-Quelle unterstützt derzeit nur TRIM_HORIZON, während die API sowohl TRIM_HORIZON als auch LATEST als Modus unterstützt, um Daten abzurufen. Der standardmäßige Iteratorwert, den Platform für die Kinesis-Quelle verwendet, ist TRIM_HORIZON.

Weitere Informationen zu Iteratortypen finden Sie im folgenden Kinesis Dokument.

Amazon Kinesis mit Platform verbinden

Die folgende Dokumentation enthält Informationen zum Verbinden von Amazon Kinesis mit Platform mithilfe von APIs oder der Benutzeroberfläche:

Verwenden von APIs

Verwenden der Benutzeroberfläche

recommendation-more-help

337b99bb-92fb-42ae-b6b7-c7042161d089