Amazon Kinesis Connector

Adobe Experience Platform bietet native Konnektivität für Cloud-Anbieter wie AWS, Google Cloud Platformund Azure. Sie können Ihre Daten aus diesen Systemen in Platform.

Cloud-Speicher-Quellen können Ihre eigenen Daten in Platform ohne herunterladen, formatieren oder hochladen zu müssen. Aufgenommene Daten können als XDM JSON-, XDM Parquet- oder als Trennzeichen formatiert werden. Jeder Schritt des Prozesses wird in den Sources-Workflow integriert. Platform ermöglicht Ihnen das Einbringen von Daten aus Amazon Kinesis in Echtzeit.

HINWEIS

Der Skalierungsfaktor für Kinesis muss erhöht werden, wenn Sie Daten mit hohem Datenvolumen erfassen müssen. Derzeit können Sie ein Höchstvolumen an Daten aus Ihrem Kinesis -Konto in Platform enthält 4000 Datensätze pro Sekunde. Wenden Sie sich an Ihren Ansprechpartner bei der Adobe, um Daten mit höherem Datenvolumen zu skalieren und zu erfassen.

Voraussetzungen

Im folgenden Abschnitt finden Sie weitere Informationen zur erforderlichen Einrichtung, bevor Sie eine Kinesis Quellverbindung.

Zugriffsrichtlinie einrichten

A Kinesis Für den Stream sind die folgenden Berechtigungen erforderlich, um eine Quellverbindung zu erstellen:

  • GetShardIterator
  • GetRecords
  • DescribeStream
  • ListStreams

Diese Berechtigungen werden über die Kinesis und werden von Platform überprüft, sobald Sie Ihre Anmeldedaten eingeben und Ihren Datenstrom auswählen.

Im folgenden Beispiel werden die Mindestzugriffsrechte angezeigt, die zum Erstellen einer Kinesis Quellverbindung.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "kinesis:GetShardIterator",
                "kinesis:GetRecords",
                "kinesis:DescribeStream",
                "kinesis:ListStreams"
            ],
            "Resource": [
                "arn:aws:kinesis:us-east-2:901341027596:stream/*"
            ]
        }
    ]
}
Eigenschaft Beschreibung
kinesis:GetShardIterator Eine Aktion, die erforderlich ist, um durch Datensätze zu navigieren.
kinesis:GetRecords Eine Aktion, die erforderlich ist, um Datensätze von einer bestimmten Offset- oder Shard-ID abzurufen.
kinesis:DescribeStream Eine Aktion, die Informationen zum Stream einschließlich der Shard Map zurückgibt, die zum Generieren einer SHARD-ID erforderlich ist.
kinesis:ListStreams Eine Aktion, die erforderlich ist, um verfügbare Streams aufzulisten, die Sie über die Benutzeroberfläche auswählen können.

Weitere Informationen zur Zugriffskontrolle für Kinesis Datenströme, siehe die folgenden Kinesis Dokument.

Iterator-Typ konfigurieren

Kinesis unterstützt die folgenden Iteratortypen, mit denen Sie die Reihenfolge angeben können, in der Ihre Daten gelesen werden:

Iterator-Typ Beschreibung
AT_SEQUENCE_NUMBER Die Daten werden ausgehend von einer Position gelesen, die durch eine bestimmte Sequenznummer identifiziert wird.
AFTER_SEQUENCE_NUMBER Die Daten werden nach Position gelesen, die durch eine bestimmte Sequenznummer identifiziert wird.
AT_TIMESTAMP Die Daten werden ausgehend von einer Position gelesen, die durch einen bestimmten Zeitstempel identifiziert wird.
TRIM_HORIZON Die Daten werden ab dem ältesten Datensatz gelesen.
LATEST Die Daten werden ab dem letzten Datensatz gelesen.

A Kinesis Benutzeroberflächenquelle wird derzeit nur unterstützt TRIM_HORIZON, während die API beide TRIM_HORIZON und LATEST als Modi zum Abrufen von Daten. Der standardmäßige Iterator-Wert, den Platform für die Kinesis source is TRIM_HORIZON.

Weitere Informationen zu Iteratortypen finden Sie in den folgenden Kinesis Dokument.

Verbinden Amazon Kinesis nach Platform

Die folgende Dokumentation enthält Informationen zur Verbindung Amazon Kinesis nach Platform Verwendung von APIs oder der Benutzeroberfläche:

Verwenden von APIs

Verwenden der Benutzeroberfläche

Auf dieser Seite