DokumentationExperience PlatformAnleitung zu Quell-Connectoren

[Ultimate]{class="badge positive"}

Amazon Kinesis source

Last update: Tue Nov 14 2023 00:00:00 GMT+0000 (Coordinated Universal Time)

Erstellt für:

  • Entwickler
IMPORTANT
Die Amazon Kinesis -Quelle ist im Quellkatalog für Benutzer verfügbar, die Real-time Customer Data Platform Ultimate erworben haben.

Adobe Experience Platform bietet native Konnektivität für Cloud-Anbieter wie AWS, Google Cloud Platform, und Azure. Sie können Ihre Daten aus diesen Systemen in Platform.

Mit Cloud-Speicherquellen können Sie Ihre eigenen Daten in Platform übertragen, ohne sie herunterladen, formatieren oder hochladen zu müssen. Aufgenommene Daten können als XDM JSON, XDM Parquet oder mit Trennzeichen formatiert werden. Jeder Schritt des Prozesses wird in den Quell-Workflow integriert. PlatformMit können Sie Daten aus Amazon Kinesis in Echtzeit importieren.

NOTE
Der Skalierungsfaktor für Kinesis muss erhöht werden, wenn Sie Daten mit hohem Datenvolumen erfassen müssen. Derzeit können Sie ein Höchstvolumen an Daten aus Ihrem Kinesis -Konto in Platform enthält 4000 Datensätze pro Sekunde. Wenden Sie sich an Ihren Adobe-Support-Mitarbeiter, um Daten mit höherem Datenvolumen zu skalieren und aufzunehmen.

Voraussetzungen

Im folgenden Abschnitt finden Sie weitere Informationen zur erforderlichen Einrichtung, bevor Sie eine Kinesis Quellverbindung.

Zugriffsrichtlinie einrichten

A Kinesis Für den Stream sind die folgenden Berechtigungen erforderlich, um eine Quellverbindung zu erstellen:

  • GetShardIterator
  • GetRecords
  • DescribeStream
  • ListStreams

Diese Berechtigungen werden über die Kinesis und werden von Platform überprüft, sobald Sie Ihre Anmeldedaten eingeben und Ihren Datenstrom auswählen.

Im folgenden Beispiel werden die Mindestzugriffsrechte angezeigt, die zum Erstellen einer Kinesis Quellverbindung.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "kinesis:GetShardIterator",
                "kinesis:GetRecords",
                "kinesis:DescribeStream",
                "kinesis:ListStreams"
            ],
            "Resource": [
                "arn:aws:kinesis:us-east-2:901341027596:stream/*"
            ]
        }
    ]
}
Eigenschaft
Beschreibung
kinesis:GetShardIterator
Eine Aktion, die erforderlich ist, um durch Datensätze zu navigieren.
kinesis:GetRecords
Eine Aktion, die erforderlich ist, um Datensätze von einer bestimmten Offset- oder Shard-ID abzurufen.
kinesis:DescribeStream
Eine Aktion, die Informationen zum Stream einschließlich der Shard Map zurückgibt, die zum Generieren einer SHARD-ID erforderlich ist.
kinesis:ListStreams
Eine Aktion, die erforderlich ist, um verfügbare Streams aufzulisten, die Sie über die Benutzeroberfläche auswählen können.

Weitere Informationen zur Zugriffskontrolle für Kinesis Datenströme, siehe die folgenden Kinesis Dokument.

Iterator-Typ konfigurieren

Kinesis unterstützt die folgenden Iteratortypen, mit denen Sie die Reihenfolge angeben können, in der Ihre Daten gelesen werden:

Trennzeichentyp
Beschreibung
AT_SEQUENCE_NUMBER
Die Daten werden ausgehend von einer Position gelesen, die durch eine bestimmte Sequenznummer identifiziert wird.
AFTER_SEQUENCE_NUMBER
Die Daten werden ab der Position gelesen, die durch eine bestimmte Sequenznummer identifiziert wird.
AT_TIMESTAMP
Die Daten werden ausgehend von einer Position gelesen, die durch einen bestimmten Zeitstempel identifiziert wird.
TRIM_HORIZON
Die Daten werden ab dem ältesten Datensatz gelesen.
LATEST
Die Daten werden ab dem letzten Datensatz gelesen.

A Kinesis Benutzeroberflächenquelle wird derzeit nur unterstützt TRIM_HORIZON, während die API beide TRIM_HORIZON und LATEST als Modi zum Abrufen von Daten. Der standardmäßige Iterator-Wert, den Platform für die Kinesis source is TRIM_HORIZON.

Weitere Informationen zu Iteratortypen finden Sie in den folgenden Kinesis Dokument.

Verbinden Amazon Kinesis nach Platform

Die folgende Dokumentation enthält Informationen zur Verbindung von Amazon Kinesis mit mithilfe von APIs oder der Benutzeroberfläche:Platform

Verwenden von APIs

Verwenden der Benutzeroberfläche

recommendation-more-help
337b99bb-92fb-42ae-b6b7-c7042161d089