In dieser Lektion erfassen Sie Batch-Daten mit verschiedenen Methoden in Experience Platform.
Mit der Batch-Datenerfassung können Sie eine große Datenmenge gleichzeitig in Adobe Experience Platform erfassen. Sie können Batch-Daten in einem einmaligen Upload innerhalb der Benutzeroberfläche von Platform oder mithilfe der API erfassen. Sie können auch regelmäßig geplante Batch-Uploads von Drittanbieterdiensten wie Cloud-Speicher-Services mithilfe von Quell-Connectoren konfigurieren.
Dateningenieure Batch-Daten müssen außerhalb dieses Tutorials erfasst werden.
Bevor Sie mit den Übungen beginnen, sehen Sie sich dieses kurze Video an, um mehr über die Datenerfassung zu erfahren:
Im Berechtigungen konfigurieren Lektion erstellen Sie alle Zugriffssteuerungen, die zum Abschluss dieser Lektion erforderlich sind.
Sie benötigen Zugriff auf einen (S)FTP-Server oder eine Cloud-Speicherlösung für die Quellübung. Es gibt eine Problemumgehung, wenn Sie keine haben.
Daten können direkt in einen Datensatz auf dem Datensatzbildschirm in den Formaten JSON und Parquet hochgeladen werden. Auf diese Weise können Sie die Erfassung einiger Ihrer Daten testen, nachdem Sie eine
Rufen Sie zunächst die Beispieldaten ab und passen Sie sie für Ihren Mandanten an:
Die in luma-data.zip -Datei ist fiktiv und nur zu Demonstrationszwecken verwendet.
Herunterladen luma-data.zip auf Luma-Tutorial-Assets Ordner.
Dekomprimieren Sie die Datei und erstellen Sie einen Ordner mit dem Namen luma-data
enthält die vier Datendateien, die wir in dieser Lektion verwenden werden
Öffnen luma-loyalty.json
in einem Texteditor und ersetzen Sie alle Instanzen von _techmarketingdemos
mit Ihrer eigenen Unterstrich-Mandanten-ID, wie in Ihren eigenen Schemas dargestellt:
Die aktualisierte Datei speichern
Wählen Sie in der Benutzeroberfläche von Platform die Option Datensätze in der linken Navigation
Öffnen Sie Ihre Luma Loyalty Dataset
Scrollen Sie nach unten, bis Sie die Daten hinzufügen in der rechten Spalte
Hochladen der luma-loyalty.json
-Datei.
Sobald die Datei hochgeladen wurde, wird eine Zeile für den Batch angezeigt
Wenn Sie die Seite nach einigen Minuten neu laden, sollten Sie sehen, dass der Batch mit 1000 Datensätzen und 1000 Profilfragmenten erfolgreich hochgeladen wurde.
Es gibt einige Optionen, Fehlerdiagnose und Partielle Erfassung, die Sie auf verschiedenen Bildschirmen in dieser Lektion sehen werden. Diese Optionen werden im Tutorial nicht behandelt. Kurzinformationen:
Es gibt einige Möglichkeiten, um zu bestätigen, dass die Daten erfolgreich erfasst wurden.
So bestätigen Sie, dass die Daten in den Datensatz aufgenommen wurden:
Wählen Sie auf der Seite, auf der Sie die Daten aufgenommen haben, die Datensatz-Vorschau Schaltfläche oben rechts
Wählen Sie die Vorschau und Sie sollten einige der erfassten Daten sehen können.
So bestätigen Sie, dass die in Profil gelandeten Daten (es kann einige Minuten dauern, bis die Daten landen):
Luma Loyalty Id
namespaceloyaltyId
Werte aus Ihrem Datensatz, 5625458
Wenn Sie in der vorherigen Lektion Datenerfassungsereignisse abonniert haben, überprüfen Sie Ihre eindeutige webhook.site-URL. Es sollten drei Anfragen in der folgenden Reihenfolge angezeigt werden, wobei einige Zeit dazwischen liegt, mit der folgenden eventCode
-Werte:
ing_load_success
—der Batch wie erfasstig_load_success
—Der Batch wurde in das Identitätsdiagramm aufgenommen.ps_load_success
—Der Batch wurde in den Profildienst aufgenommen.Siehe Dokumentation für weitere Informationen zu den Benachrichtigungen.
Laden wir nun Daten mithilfe der API hoch.
Datenarchitekten können die CRM-Daten gerne über die Benutzeroberflächenmethode hochladen.
Luma Tutorial Assets
Ordner.luma-crm.json
in einem Texteditor und ersetzen Sie alle Instanzen von _techmarketingdemos
mit Ihrer eigenen Unterstrich-Mandanten-ID, wie in Ihren Schemas dargestelltZunächst rufen wir die ID der Datensatz-ID des Datensatzes ab, in den wir Daten aufnehmen möchten:
tenant
200 OK
responseLuma CRM Dataset
aus dem AntworttextJetzt können wir einen Batch im Datensatz erstellen:
Herunterladen Data Ingestion-API.postman_collection.json auf Luma Tutorial Assets
Ordner
Importieren Sie die Sammlung in Postman
Anforderung auswählen Data Ingestion API > Batch Ingestion > Create a new batch in Catalog Service.
Fügen Sie Folgendes als body des Antrags, Ersetzen des Datensatzkennung-Werts durch Ihren eigenen:
{
"datasetId":"REPLACE_WITH_YOUR_OWN_DATASETID",
"inputFormat": {
"format": "json"
}
}
Wählen Sie die Senden button
Sie sollten eine 201 Erstellte Antwort mit der ID Ihres neuen Batches erhalten!
Kopieren Sie die id
des neuen Batches
Jetzt können wir die Daten in den Batch hochladen:
Anforderung auswählen Data Ingestion API > Batch Ingestion > Upload a file to a dataset in a batch.
Im Parameter Registerkarte geben Sie Ihre Datensatz-ID und Batch-ID in die entsprechenden Felder ein.
Im Parameter Registerkarte, geben Sie luma-crm.json
als filePath
Im body auswählen, wählen Sie die binary option
Wählen Sie die heruntergeladene luma-crm.json
von Ihrem lokalen Luma Tutorial Assets
Ordner
Auswählen Senden und Sie sollten eine 200 OK-Antwort mit "1"im Antworttext erhalten
Wenn Sie sich Ihren Batch an dieser Stelle in der Benutzeroberfläche von Platform ansehen, sehen Sie, dass er sich in einem "Laden" status:
Da die Batch-API häufig zum Hochladen mehrerer Dateien verwendet wird, müssen Sie Platform mitteilen, wann ein Batch abgeschlossen ist, was wir im nächsten Schritt tun werden.
So schließen Sie den Batch ab:
Anforderung auswählen Data Ingestion API > Batch Ingestion > Finish uploading a file to a dataset in a batch.
Im Parameter Registerkarte, geben Sie COMPLETE
als action
Im Parameter Geben Sie Ihre Batch-Kennung ein. Machen Sie sich keine Gedanken über die Datensatz-ID oder den Dateipfad, sofern diese vorhanden sind.
Stellen Sie sicher, dass die URL der POST https://platform.adobe.io/data/foundation/import/batches/:batchId?action=COMPLETE
und dass es keine unnötigen Verweise auf die datasetId
oder filePath
Auswählen Senden und Sie sollten eine 200 OK-Antwort mit "1"im Antworttext erhalten
Überprüfen Sie, ob die Daten in der Benutzeroberfläche von Platform gelandet sind, genau wie beim Loyalitätsdatensatz.
Bestätigen Sie zunächst, dass der Batch zeigt, dass 1000 Datensätze erfasst wurden:
Bestätigen Sie dann den Batch mit Vorschau des Datensatzes:
Bestätigen Sie schließlich, dass eines Ihrer Profile erstellt wurde, indem Sie eines der Profile durch die Luma CRM Id
Namespace, beispielsweise 112ca06ed53d3db37e4cea49cc45b71e
Es gibt eine interessante Sache, die gerade passiert ist, auf die ich hinweisen möchte. Öffnen Sie das Danny Wright
Profil. Das Profil verfügt über eine Lumacrmid
und Lumaloyaltyid
. Speichern Sie die Luma Loyalty Schema
enthielt zwei Identitätsfelder: "Luma Loyalty Id"und "CRM ID". Nachdem wir nun beide Datensätze hochgeladen haben, wurden sie zu einem einzigen Profil zusammengeführt. Die Loyalitätsdaten hatten Daniel
als Vorname und "New York City"als Privatadresse, während die CRM-Daten Danny
als Vornamen und Portland
als Hausadresse für den Kunden mit derselben Loyalitäts-ID. Wir kommen zurück, warum der Vorname angezeigt wird Danny
in der Lektion zu Zusammenführungsrichtlinien.
Herzlichen Glückwunsch! Sie haben gerade Profile zusammengeführt!
Wenn Sie in der vorherigen Lektion Datenerfassungsereignisse abonniert haben, überprüfen Sie Ihre eindeutige webhook.site-URL. Es sollten drei Anfragen eingehen, genau wie bei den Treuedaten:
Siehe Dokumentation für weitere Informationen zu den Benachrichtigungen.
Sehen wir uns eine andere Möglichkeit an, Daten hochzuladen. Mit der Workflow-Funktion können Sie CSV-Daten erfassen, die noch nicht in XDM modelliert wurden.
Luma Tutorial Assets
Ordner.luma-products.csv
Richten wir nun den Workflow ein:
Luma Product Catalog Dataset
und wählen Sie die Nächste buttonluma-products.csv
heruntergeladene Datei und wählen Sie die Nächste buttonluma-products.csv
-Datei) in XDM-Felder im Zielschema. In unserem Beispiel sind die Spaltennamen so nah wie möglich an den Schemafeldnamen, dass der Mapper die richtige Zuordnung automatisch erkennen kann! Wenn das Mapper das richtige Feld nicht automatisch erkennen konnte, wählen Sie das Symbol rechts neben dem Zielfeld aus, um das richtige XDM-Feld auszuwählen. Wenn Sie eine der Spalten nicht aus der CSV aufnehmen möchten, können Sie die Zeile aus der Zuordnung löschen. Sie können frei spielen und Spaltenüberschriften im luma-products.csv
um sich mit der Funktionsweise des Mappers vertraut zu machen.Überprüfen Sie nach dem Hochladen des Batches den Upload durch Vorschau des Datensatzes.
Seit Luma Product SKU
ist ein Namespace ohne Personen. Für die Produkt-SKU werden keine Profile angezeigt.
Sie sollten die drei Treffer in Ihrem Webhook sehen.
Okay, Sie haben Dinge auf die harte Art gemacht. Gehen wir nun in das versprochene Land von automatisiert Batch-Erfassung! Wenn ich sage: "SETZEN SIE ES!" Sie sagen: "VERGESSEN SIE ES!" "LEGEN SIE ES FEST!" "VERGESSEN SIE ES!" "LEGEN SIE ES FEST!" "VERGESSEN SIE ES!" Nur ein Scherz! So etwas tätest du nie! OK, zurück zur Arbeit. Du bist fast fertig.
Navigieren Sie zu Quellen im linken Navigationsbereich, um den Quellkatalog zu öffnen. Hier finden Sie verschiedene vordefinierte Integrationen mit branchenführenden Daten- und Speicheranbietern.
Okay, lassen Sie uns Daten über einen Quell-Connector erfassen.
Diese Übung wird Ihr eigenes Abenteuer-Stil sein. Ich zeige den Workflow über den FTP-Quell-Connector. Sie können entweder einen anderen Quell-Connector für Cloud-Speicher verwenden, den Sie in Ihrem Unternehmen verwenden, oder die JSON-Datei mit der Datensatz-Benutzeroberfläche hochladen, wie wir es mit den Treuedaten getan haben.
Viele der Quellen verfügen über einen ähnlichen Konfigurations-Workflow, in dem Sie:
Die Offline-Kaufdaten, die wir in dieser Übung verwenden werden, enthalten Zeitdaten. Die Datums-/Uhrzeitdaten sollten in Formatierte Zeichenfolgen im ISO 8061-Format ("2018-07-10T15:05:59.000-08:00") oder Unix-Zeit formatiert in Millisekunden (1531263959000) und werden bei der Aufnahme in den Ziel-XDM-Typ konvertiert. Weitere Informationen zur Datenkonvertierung und anderen Einschränkungen finden Sie unter die Dokumentation zur Batch Ingestion-API.
Luma Tutorial Assets
Ordner.luma-offline-purchases.json
in einem Texteditor und ersetzen Sie alle Instanzen von _techmarketingdemos
mit Ihrer eigenen Unterstrich-Mandanten-ID, wie in Ihren Schemas dargestellt"timestamp":"2022-06
und ersetzen Jahr und Monat)luma-offline-purchases.json
an einen Speicherort in Ihrem bevorzugten Cloud-Speicher-ProviderFiltern Sie in der Benutzeroberfläche von Platform die Quellen Katalog zu Cloud-Speicher
Beachten Sie, dass es praktische Links zur Dokumentation unter der ...
Wählen Sie im Feld Ihres bevorzugten Cloud-Speicher-Anbieters die Konfigurieren button
Authentifizierung ist der erste Schritt. Geben Sie den Namen für Ihr Konto ein, beispielsweise Luma's FTP Account
und Ihre Authentifizierungsdetails. Dieser Schritt sollte für alle Cloud-Speicher-Quellen relativ ähnlich sein, auch wenn die Felder geringfügig variieren können. Nachdem Sie die Authentifizierungsdetails für ein Konto eingegeben haben, können Sie sie für andere Quellverbindungen wiederverwenden, die möglicherweise verschiedene Daten für verschiedene Zeitpläne von anderen Dateien im selben Konto senden
Wählen Sie die Schaltfläche "Verbindung mit Quelle herstellen"
Wenn Platform erfolgreich eine Verbindung zur Quelle hergestellt hat, wählen Sie die Nächste button
Im Daten auswählen Schritt, die Benutzeroberfläche verwendet Ihre Anmeldeinformationen, um den Ordner in Ihrer Cloud-Speicher-Lösung zu öffnen
Wählen Sie die Dateien aus, die Sie aufnehmen möchten, beispielsweise luma-offline-purchases.json
Als Datenformat auswählen XDM JSON
Anschließend können Sie eine Vorschau der JSON-Struktur und der Beispieldaten in Ihrer Datei anzeigen
Wählen Sie die Nächste button
Im Zuordnung Schritt auswählen Luma Offline Purchase Events Dataset
und wählen Sie die Nächste Schaltfläche. Beachten Sie in der Nachricht, dass es keinen Zuordnungsschritt gibt, durch den das Quellfeld dem Zielfeld zugeordnet wird, da es sich bei den erfassten Daten um eine JSON-Datei handelt. JSON-Daten müssen sich bereits in XDM befinden. Wenn Sie eine CSV-Datei erfassen, sehen Sie in diesem Schritt die vollständige Zuordnungs-Benutzeroberfläche:
Im Planung Schritt, wählen Sie die Häufigkeit, mit der Sie Daten aus der Quelle erfassen möchten. Nehmen Sie sich einen Moment Zeit, um sich die Optionen anzusehen. Wir werden nur eine einmalige Aufnahme vornehmen, also lassen Sie die Häufigkeit on Einmal und wählen Sie die Nächste Schaltfläche:
Im Datenflussdetails Schritt, können Sie einen Namen für Ihren Datenfluss auswählen, eine optionale Beschreibung eingeben, die Fehlerdiagnose aktivieren und die partielle Erfassung aktivieren. Behalten Sie die Einstellungen bei und wählen Sie die Nächste Schaltfläche:
Im Überprüfen Schritt, können Sie alle Ihre Einstellungen zusammen überprüfen und sie entweder bearbeiten oder die Beenden button
Nach dem Speichern landen Sie auf einem Bildschirm wie diesem:
Überprüfen Sie nach dem Hochladen des Batches den Upload durch Vorschau des Datensatzes.
Sie sollten die drei Treffer in Ihrem Webhook sehen.
Profil mit Wert nachschlagen 5625458
im loyaltyId
-Namespace erneut, um zu sehen, ob sich in ihrem Profil Kaufereignisse befinden. Sie sollten einen Kauf sehen. Sie können die Details des Kaufs durch Auswahl von JSON anzeigen:
Adobe arbeitet mit mehreren ETL-Anbietern zusammen, um die Datenerfassung in Experience Platform zu unterstützen. Aufgrund der Vielzahl von Drittanbietern wird ETL in diesem Tutorial nicht behandelt. Sie können jedoch einige dieser Ressourcen lesen:
Jetzt lass uns Streamen von Daten mit dem Web SDK