Amazon Kinesis connector

Adobe Experience Platform bietet native Konnektivität für Cloud-Anbieter wie AWS, Google Cloud Platform und Azure. Sie können Ihre Daten von diesen Systemen in Platform übertragen.

Cloud-Datenspeicherung-Quellen können Ihre eigenen Daten in Platform übertragen, ohne dass Sie sie herunterladen, formatieren oder hochladen müssen. Ingetierte Daten können als XDM-JSON, XDM-Parquet oder als Trennzeichen formatiert werden. Jeder Schritt des Prozesses ist in den Sources-Workflow integriert. Platform ermöglicht es Ihnen, Daten Amazon Kinesis in Echtzeit einzubringen.

Zulassungsliste der IP-Adresse

Eine Liste von IP-Adressen muss einer Zulassungsliste hinzugefügt werden, bevor Sie mit Quellschnittstellen arbeiten können. Wenn Sie Ihre regionsspezifischen IP-Adressen nicht zu Ihrer Zulassungsliste hinzufügen, kann dies bei der Verwendung von Quellen zu Fehlern oder Leistungseinbußen führen. Weitere Informationen finden Sie auf der Zulassungsliste IP-Adresse.

Voraussetzungen

Im folgenden Abschnitt finden Sie weitere Informationen zur erforderlichen Einrichtung, bevor Sie eine Kinesis-Quellverbindung erstellen können.

Zugriffsrichtlinie einrichten

Ein Kinesis-Stream erfordert die folgenden Berechtigungen, um eine Quellverbindung zu erstellen:

GetShardIterator
GetRecords
DescribeStream
ListStreams

Diese Berechtigungen werden über die Konsole Kinesis angeordnet und von der Plattform überprüft, sobald Sie Ihre Anmeldeinformationen eingegeben und den Datenstrom ausgewählt haben.

Im folgenden Beispiel werden die Mindestzugriffsrechte angezeigt, die erforderlich sind, um eine Kinesis-Quellverbindung zu erstellen.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "kinesis:GetShardIterator",
                "kinesis:GetRecords",
                "kinesis:DescribeStream",
                "kinesis:ListStreams"
            ],
            "Resource": [
                "arn:aws:kinesis:us-east-2:901341027596:stream/*"
            ]
        }
    ]
}

Eigenschaft	Beschreibung
`kinesis:GetShardIterator`	Eine Aktion, die zum Durchlaufen von Datensätzen erforderlich ist.
`kinesis:GetRecords`	Eine Aktion, die erforderlich ist, um Datensätze von einer bestimmten Offset- oder freigegebenen ID abzurufen.
`kinesis:DescribeStream`	Eine Aktion, die Informationen zum Stream einschließlich der gemeinsamen Zuordnung zurückgibt, die zum Generieren einer gemeinsamen ID erforderlich sind.
`kinesis:ListStreams`	Eine erforderliche Aktion zur Liste der verfügbaren Streams, die Sie in der Benutzeroberfläche auswählen können.

Weitere Informationen zum Steuern des Zugriffs für Kinesis-Datenströme finden Sie im folgenden Kinesis Dokument.

Iterator-Typ konfigurieren

Kinesis unterstützt die folgenden Iterator-Typen, damit Sie die Reihenfolge angeben können, in der Ihre Daten gelesen werden:

Iterator-Typ	Beschreibung
`AT_SEQUENCE_NUMBER`	Die Daten werden ausgehend von einer durch eine bestimmte Sequenznummer identifizierten Position gelesen.
`AFTER_SEQUENCE_NUMBER`	Die Daten werden ab der durch eine bestimmte Sequenznummer identifizierten Position gelesen.
`AT_TIMESTAMP`	Die Daten werden ausgehend von einer durch einen bestimmten Zeitstempel identifizierten Position gelesen.
`TRIM_HORIZON`	Die Daten werden ausgehend vom ältesten Datensatz gelesen.
`LATEST`	Die Daten werden ab dem neuesten Datensatz gelesen.

Eine Kinesis-UI-Quelle unterstützt derzeit nur TRIM_HORIZON, während die API sowohl TRIM_HORIZON als auch LATEST als Modi zum Abrufen von Daten unterstützt. Der standardmäßige Iterator-Wert, den Platform für die Kinesis-Quelle verwendet, ist TRIM_HORIZON.

Weitere Informationen zu Iteratortypen finden Sie im folgenden Kinesis Dokument.

Verbinden Sie Amazon Kinesis mit Platform

Die nachstehende Dokumentation enthält Informationen dazu, wie Amazon Kinesis mithilfe von APIs oder der Benutzeroberfläche mit Platform verbunden wird: