Partielle Batch-Erfassung

Partielle Batch-Erfassung ist die Fähigkeit, Daten mit Fehlern bis zu einem bestimmten Schwellenwert zu erfassen. Mit dieser Funktion können Benutzer alle korrekten Daten erfolgreich in Adobe Experience Platform erfassen, während alle fehlerhaften Daten in Batches separat verarbeitet werden (zusammen mit Details dazu, warum sie ungültig sind).

Dieses Dokument enthält eine Anleitung zum Verwalten der partiellen Batch-Erfassung.

Erste Schritte

Diese Anleitung setzt grundlegende Kenntnisse zu den verschiedenen Adobe Experience Platform-Diensten voraus, die mit der partiellen Batch-Erfassung verbunden sind. Bevor Sie mit diesem Tutorial beginnen, lesen Sie bitte die Dokumentation für die folgenden Dienste:

Die folgenden Abschnitte enthalten zusätzliche Informationen, die Sie benötigen, um die Experience Platform-APIs erfolgreich aufrufen zu können.

Lesen von Beispiel-API-Aufrufen

In diesem Handbuch wird anhand von Beispielen für API-Aufrufe die korrekte Formatierung von Anfragen aufgezeigt. Dazu gehören Pfade, erforderliche Kopfzeilen und ordnungsgemäß formatierte Anfrage-Payloads. Außerdem wird ein Beispiel für eine von der API im JSON-Format zurückgegebene Antwort bereitgestellt. Informationen zu den Konventionen, die in der Dokumentation für Beispiel-API-Aufrufe verwendet werden, finden Sie im Abschnitt zum Lesen von Beispiel-API-Aufrufen im Handbuch zur Fehlerbehebung für Experience Platform

Sammeln von Werten für erforderliche Kopfzeilen

Um Experience Platform-APIs aufzurufen, müssen Sie zunächst das Authentifizierungs-Tutorial abschließen. Durch Abschluss des Authentifizierungs-Tutorials werden die Werte für die einzelnen erforderlichen Header in allen Experience Platform-API-Aufrufen bereitgestellt, wie unten dargestellt:

Alle Ressourcen in Experience Platform sind auf bestimmte virtuelle Sandboxes beschränkt. Bei allen Anfragen an Experience Platform-APIs ist eine Kopfzeile erforderlich, die den Namen der Sandbox angibt, in der der Vorgang ausgeführt werden soll:

Aktivieren eines Batches für die partielle Batch-Aufnahme in der API enable-api

Sie können einen neuen Batch mit aktivierter partieller Aufnahme erstellen.

Um einen neuen Batch zu erstellen, befolgen Sie die Schritte im Entwicklerhandbuch zur Batch-Aufnahme. Sobald Sie den Create batch Schritt erreicht haben, fügen Sie das folgende Feld im Anfrageinhalt hinzu:

{
    "enableErrorDiagnostics": true,
    "partialIngestionPercent": 5
}

Aktivieren eines Batches für die partielle Batch-Aufnahme in der Benutzeroberfläche enable-ui

Um einen Batch für die partielle Aufnahme über die Experience Platform-Benutzeroberfläche zu aktivieren, können Sie einen neuen Batch über Quellverbindungen erstellen, einen neuen Batch in einem vorhandenen Datensatz erstellen oder einen neuen Batch über die "Map CSV to XDM flow" erstellen.

Erstellen einer neuen Quellverbindung new-source

Um eine neue Quellverbindung zu erstellen, führen Sie die in der Quellen - Übersicht aufgelisteten Schritte aus. Beachten Sie beim Erreichen des Dataflow detail die Felder Partial ingestion und Error diagnostics .

Mit dem Umschalter Partial ingestion können Sie die Verwendung der partiellen Batch-Aufnahme aktivieren oder deaktivieren.

Der Umschalter Error diagnostics wird nur angezeigt, wenn der Umschalter Partial ingestion deaktiviert ist. Mit dieser Funktion können Experience Platform detaillierte Fehlermeldungen über Ihre aufgenommenen Batches generieren. Wenn der Umschalter Partial ingestion aktiviert ist, wird die erweiterte Fehlerdiagnose automatisch erzwungen.

Mit der Error threshold können Sie den Prozentsatz der akzeptablen Fehler festlegen, bevor der gesamte Batch fehlschlägt. Standardmäßig ist dieser Wert auf 5 % eingestellt.

Verwenden eines vorhandenen Datensatzes existing-dataset

Um einen vorhandenen Datensatz zu verwenden, wählen Sie zunächst einen Datensatz aus. Die Seitenleiste rechts enthält Informationen zum Datensatz.

Mit dem Umschalter Partial ingestion können Sie die Verwendung der partiellen Batch-Aufnahme aktivieren oder deaktivieren.

Der Umschalter Error diagnostics wird nur angezeigt, wenn der Umschalter Partial ingestion deaktiviert ist. Mit dieser Funktion können Experience Platform detaillierte Fehlermeldungen über Ihre aufgenommenen Batches generieren. Wenn der Umschalter Partial ingestion aktiviert ist, wird die erweiterte Fehlerdiagnose automatisch erzwungen.

Mit der Error threshold können Sie den Prozentsatz der akzeptablen Fehler festlegen, bevor der gesamte Batch fehlschlägt. Standardmäßig ist dieser Wert auf 5 % eingestellt.

Jetzt können Sie Daten mit der Schaltfläche Daten hinzufügen hochladen und sie werden mit der partiellen Aufnahme aufgenommen.

Fluss "Map CSV to XDM schema" verwenden map-flow

Um den Fluss "Map CSV to XDM schema" zu verwenden, führen Sie die im Tutorial Zuordnen einer CSV-Datei“ ​ Schritte aus. Beachten Sie beim Erreichen des Add data die Felder Partial ingestion und Error diagnostics .

Mit dem Umschalter Partial ingestion können Sie die Verwendung der partiellen Batch-Aufnahme aktivieren oder deaktivieren.

Der Umschalter Error diagnostics wird nur angezeigt, wenn der Umschalter Partial ingestion deaktiviert ist. Mit dieser Funktion können Experience Platform detaillierte Fehlermeldungen über Ihre aufgenommenen Batches generieren. Wenn der Umschalter Partial ingestion aktiviert ist, wird die erweiterte Fehlerdiagnose automatisch erzwungen.

Mit Error threshold können Sie den Prozentsatz der akzeptablen Fehler festlegen, bevor der gesamte Batch fehlschlägt. Standardmäßig ist dieser Wert auf 5 % eingestellt.

Aktivieren der partiellen Aufnahme und Fehlerdiagnose für einen vorhandenen Datenfluss

Wenn ein Datenfluss in Experience Platform erstellt wurde, ohne die partielle Aufnahme oder Fehlerdiagnose zu aktivieren, können Sie diese Funktionen dennoch aktivieren, ohne den Fluss neu zu erstellen. Durch die Aktivierung der partiellen Aufnahme und einer robusten Fehlerdiagnose können Sie die Zuverlässigkeit und Fehlerbehebung in Ihren Datenaufnahme-Workflows erheblich verbessern. Lesen Sie die folgenden Abschnitte, um zu erfahren, wie Sie die partielle Aufnahme und Fehlerdiagnose für einen vorhandenen Datenfluss mithilfe der Flow Service-API aktivieren.

Standardmäßig ist bei Datenflüssen die partielle Aufnahme oder Fehlerdiagnose möglicherweise nicht aktiviert. Diese Funktionen sind hilfreich, um Probleme bei der Datenaufnahme zu identifizieren und zu isolieren. Mit der Flow Service-API können Sie Ihre aktuelle Datenflusskonfiguration abrufen und die erforderlichen Änderungen mithilfe einer PATCH-Anfrage anwenden.

Gehen Sie wie folgt vor, um die partielle Aufnahme und Fehlerdiagnose für einen vorhandenen Datenfluss zu aktivieren.

Abrufen von Flussdetails

Um Ihre Datenflusskonfigurationen abzurufen, stellen Sie eine GET-Anfrage an den /flows/{FLOW_ID}-Endpunkt und geben Sie die ID Ihres Datenflusses an. Weitere Informationen zum Abrufen von Datenflussdetails finden Sie im Aktualisieren von Datenflüssen mithilfe der Flow Service -API.

Stellen Sie sicher, dass Sie den Wert des in der Antwort zurückgegebenen etag-Felds speichern. Dies ist für die Aktualisierungsanfrage erforderlich, um die Versionskonsistenz sicherzustellen.

Flusskonfiguration aktualisieren

Stellen Sie als Nächstes eine PATCH-Anfrage an den /flows/-Endpunkt und geben Sie die ID des Datenflusses an, für den Sie die partielle Aufnahme und Fehlerdiagnose aktivieren möchten.

API-Format

PATCH /flows/{FLOW_ID}

Anfrage

curl -X PATCH \
    'https://platform.adobe.io/data/foundation/flowservice/flows/2edc08ac-4df5-4fe6-936f-81a19ce92f5c' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {ORG_ID}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}'
    -H 'If-Match: "1a0037e4-0000-0200-0000-602e06f60000"' \
    -d '[
        {
            "op": "add",
            "path": "/options",
            "value": {
                "partialIngestionPercent": "10"
            }
        },
        {
            "op": "add",
            "path": "/options/errorDiagnosticsEnabled",
            "value": true
        }
    ]'

Antwort

Eine erfolgreiche Antwort gibt die id Ihres Datenflusses und eine aktualisierte etag zurück.

{
    "id": "2edc08ac-4df5-4fe6-936f-81a19ce92f5c",
    "etag": "\"2c000802-0000-0200-0000-613976440000\""
}

Überprüfen des Updates

Nachdem die PATCH abgeschlossen ist, stellen Sie eine GET-Anfrage und rufen Sie Ihren Datenfluss ab, um zu überprüfen, ob die Änderungen erfolgreich abgeschlossen wurden.

API-Format

GET /flows/{FLOW_ID}

Anfrage

Mit der folgenden Anfrage werden aktualisierte Informationen zu Ihrer Fluss-ID abgerufen.

curl -X GET \
  'https://platform.adobe.io/data/foundation/flowservice/flows/2edc08ac-4df5-4fe6-936f-81a19ce92f5c' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -H 'x-sandbox-name: {SANDBOX_NAME}'

Antwort

Bei einer erfolgreichen Antwort werden Ihre Datenflussdetails zurückgegeben und bestätigt, dass die partielle Aufnahme und Fehlerdiagnose jetzt im Abschnitt options aktiviert sind.

"options": {
    "partialIngestionPercent": 10,
    "errorDiagnosticsEnabled": true
}

Nächste Schritte next-steps

In dieser Anleitung wurde beschrieben, wie Sie einen Datensatz erstellen oder ändern, um die partielle Batch-Erfassung zu aktivieren. Weiterführende Informationen zur Batch-Erfassung finden Sie im Entwicklerhandbuch zur Batch-Erfassung.

Informationen zum Überwachen partieller Aufnahmefehler finden Sie im Handbuch zur Fehlerdiagnose bei der Batch.