DokumentationExperience PlatformAnleitung zu Quell-Connectoren

[Ultimate]{class="badge positive"}

Amazon Kinesis source

Last update: Tue Jul 16 2024 00:00:00 GMT+0000 (Coordinated Universal Time)
  • Themen:

Erstellt für:

  • Entwickler
IMPORTANT
Die Quelle "Amazon Kinesis" steht Benutzern, die Real-time Customer Data Platform Ultimate erworben haben, im Quellkatalog zur Verfügung.

Adobe Experience Platform bietet native Konnektivität für Cloud-Anbieter wie AWS, Google Cloud Platform und Azure. Sie können Ihre Daten aus diesen Systemen in Platform übertragen.

Mit Cloud-Speicherquellen können Sie Ihre eigenen Daten in Platform übertragen, ohne sie herunterladen, formatieren oder hochladen zu müssen. Aufgenommene Daten können als XDM JSON, XDM Parquet oder mit Trennzeichen formatiert werden. Jeder Schritt des Prozesses wird in den Quell-Workflow integriert. Mit Platform können Sie Daten von Amazon Kinesis in Echtzeit einbringen.

NOTE
Der Skalierungsfaktor für Kinesis muss erhöht werden, wenn Sie Daten mit hohem Volumen erfassen müssen. Derzeit beträgt das maximale Datenvolumen, das Sie von Ihrem Kinesis -Konto an Platform übermitteln können, 4.000 Datensätze pro Sekunde. Wenden Sie sich an Ihren Adobe-Support-Mitarbeiter, um Daten mit höherem Datenvolumen zu skalieren und aufzunehmen.

Voraussetzungen

Im folgenden Abschnitt finden Sie weitere Informationen zur erforderlichen Einrichtung, bevor Sie eine Kinesis-Quellverbindung erstellen können.

Zugriffsrichtlinie einrichten

Ein Kinesis -Stream erfordert die folgenden Berechtigungen, um eine Quellverbindung zu erstellen:

  • GetShardIterator
  • GetRecords
  • DescribeStream
  • ListStreams

Diese Berechtigungen werden über die Konsole Kinesis angeordnet und von Platform überprüft, sobald Sie Ihre Anmeldeinformationen eingeben und Ihren Daten-Stream auswählen.

Im folgenden Beispiel werden die Mindestzugriffsberechtigungen angezeigt, die zum Erstellen einer Quellverbindung mit dem Wert Kinesis erforderlich sind.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "kinesis:GetShardIterator",
                "kinesis:GetRecords",
                "kinesis:DescribeStream",
                "kinesis:ListStreams"
            ],
            "Resource": [
                "arn:aws:kinesis:us-east-2:901341027596:stream/*"
            ]
        }
    ]
}
Eigenschaft
Beschreibung
kinesis:GetShardIterator
Eine Aktion, die erforderlich ist, um durch Datensätze zu navigieren.
kinesis:GetRecords
Eine Aktion, die erforderlich ist, um Datensätze von einer bestimmten Offset- oder Shard-ID abzurufen.
kinesis:DescribeStream
Eine Aktion, die Informationen zum Stream einschließlich der Shard Map zurückgibt, die zum Generieren einer SHARD-ID erforderlich ist.
kinesis:ListStreams
Eine Aktion, die erforderlich ist, um verfügbare Streams aufzulisten, die Sie über die Benutzeroberfläche auswählen können.

Weitere Informationen zum Steuern des Zugriffs für Kinesis-Datenströme finden Sie im folgenden Kinesis Dokument.

Iterator-Typ konfigurieren

Kinesis unterstützt die folgenden Iteratortypen, mit denen Sie die Reihenfolge angeben können, in der Ihre Daten gelesen werden:

Trennzeichentyp
Beschreibung
AT_SEQUENCE_NUMBER
Die Daten werden ausgehend von einer Position gelesen, die durch eine bestimmte Sequenznummer identifiziert wird.
AFTER_SEQUENCE_NUMBER
Die Daten werden ab der Position gelesen, die durch eine bestimmte Sequenznummer identifiziert wird.
AT_TIMESTAMP
Die Daten werden ausgehend von einer Position gelesen, die durch einen bestimmten Zeitstempel identifiziert wird.
TRIM_HORIZON
Die Daten werden ab dem ältesten Datensatz gelesen.
LATEST
Die Daten werden ab dem letzten Datensatz gelesen.

Eine Kinesis UI-Quelle unterstützt derzeit nur TRIM_HORIZON, während die API sowohl TRIM_HORIZON als auch LATEST als Modi zum Abrufen von Daten unterstützt. Der standardmäßige Iteratorwert, den Platform für die Kinesis -Quelle verwendet, ist TRIM_HORIZON.

Weitere Informationen zu Iteratortypen finden Sie im folgenden Kinesis Dokument.

Amazon Kinesis mit Platform verbinden

Die folgende Dokumentation enthält Informationen dazu, wie Sie mithilfe von APIs oder der Benutzeroberfläche Amazon Kinesis mit Platform verbinden:

Verwenden von APIs

Verwenden der Benutzeroberfläche

recommendation-more-help
337b99bb-92fb-42ae-b6b7-c7042161d089