In dieser Lektion erfassen Sie Stapeldaten mit verschiedenen Methoden in die Experience Platform.
Durch die Stapeldatenerfassung können Sie eine große Datenmenge gleichzeitig in Adobe Experience Platform erfassen. Sie können Stapeldaten in einem einmaligen Upload auf der Oberfläche der Plattform oder mithilfe der API erfassen. Sie können auch regelmäßig geplante Batch-Uploads von Drittanbieterdiensten wie Cloud-Datenspeicherung-Diensten über Source-Connectors konfigurieren.
Dateningenieure müssen Stapeldaten außerhalb dieses Tutorials erfassen.
Bevor Sie mit den Übungen beginnen, sehen Sie sich dieses kurze Video an, um mehr über die Datenaufnahme zu erfahren:
In Berechtigungen konfigurieren Lektion erstellen Sie alle Zugriffskontrollen, die zum Abschluss dieser Lektion erforderlich sind.
Sie benötigen Zugriff auf einen (S)FTP-Server oder eine Cloud-Datenspeicherung-Lösung für die Sources-Übung. Es gibt eine Problemumgehung, wenn Sie keine haben.
Daten können direkt in ein DataSet auf dem DataSet-Bildschirm in JSON- und Parkettformaten hochgeladen werden. So können Sie die Aufnahme einiger Ihrer Daten nach dem Erstellen einer
Laden Sie zunächst die Beispieldaten herunter und passen Sie sie Ihrem Mandanten an:
Daten in luma-data.zip Datei ist fiktiv und nur zu Demonstrationszwecken zu verwenden.
Herunterladen luma-data.zip , um Luma Tutorial Assets Ordner.
Entpacken Sie die Datei und erstellen Sie einen Ordner mit dem Namen luma-data
die die vier Datendateien enthält, die wir in dieser Lektion verwenden werden
Öffnen luma-loyalty.json
in einem Texteditor und ersetzen alle Instanzen von _techmarketingdemos
mit Ihrer eigenen Unterstrich-Mandanten-ID, wie in Ihren eigenen Schemas dargestellt:
Aktualisierte Datei speichern
Wählen Sie in der Platform-Benutzeroberfläche Datenbestände in der linken Navigation
Öffnen Sie Ihre Luma Loyalty Dataset
Bildlauf nach unten, bis Sie die Daten Hinzufügen Abschnitt in der rechten Spalte
Laden Sie die luma-loyalty.json
Datei.
Sobald die Datei hochgeladen wurde, wird eine Zeile für den Stapel angezeigt
Wenn Sie die Seite nach einigen Minuten erneut laden, sollten Sie sehen, dass der Stapel erfolgreich mit 1000 Datensätzen und 1000 Profil-Fragmenten hochgeladen wurde.
Es gibt einige Optionen, Fehlerdiagnose und Partielle Aufnahme, die Sie auf verschiedenen Bildschirmen in dieser Lektion sehen werden. Diese Optionen werden im Tutorial nicht behandelt. Kurzinformationen:
Es gibt einige Möglichkeiten, um zu bestätigen, dass die Daten erfolgreich erfasst wurden.
So bestätigen Sie, dass die Daten in den Datensatz aufgenommen wurden:
Wählen Sie auf derselben Seite, auf der Sie die Daten eingegeben haben, die Vorschau-Datensatz Schaltfläche oben rechts
Wählen Sie Vorschau -Taste und Sie sollten einige der erfassten Daten sehen können.
So bestätigen Sie, dass die in Profil angelandeten Daten (kann einige Minuten dauern, bis die Daten angelandet wurden):
Gehe zu Profile in der linken Navigation
Wählen Sie das Symbol neben dem Identitäts-Namensraum auswählen Feld zum Öffnen des Modals
Wählen Sie Luma Loyalty Id
Namensraum
Geben Sie dann einen der folgenden Felder ein: loyaltyId
Werte aus Ihrem Datensatz, 5625458
Auswählen Ansicht
Wenn Sie in der vorherigen Lektion Ereignisse zur Datenaufnahme abonniert haben, überprüfen Sie Ihre eindeutige webaken.site-URL. Es sollten drei Anforderungen in der folgenden Reihenfolge angezeigt werden, wobei einige Zeit dazwischen liegt, mit den folgenden eventCode
Werte:
ing_load_success
—der Stapel wie angefordertig_load_success
—der Stapel wurde in das Identitätsdiagramm eingeschlossenps_load_success
—Der Stapel wurde in den Profil-Dienst integriertSiehe Dokumentation für weitere Einzelheiten zu den Mitteilungen.
Laden wir nun Daten mit der API hoch.
Datenarchitekten können die CRM-Daten über die User-Interface-Methode hochladen.
Luma Tutorial Assets
Ordner.luma-crm.json
in einem Texteditor und ersetzen alle Instanzen von _techmarketingdemos
mit Ihrer eigenen Unterstrich-Pächter-ID, wie in Ihren SchemasZuerst erhalten wir die ID der DataSet-ID des DataSets, in das wir Daten aufnehmen möchten:
tenant
200 OK
AntwortLuma CRM Dataset
aus dem AntwortgremiumJetzt können wir einen Stapel im Datensatz erstellen:
Herunterladen Data Ingestion API.postman_collection.json , um Luma Tutorial Assets
Ordner
Sammlung importieren in Postman
Anforderung auswählen Data Ingestion API > Batch Ingestion > Create a new batch in Catalog Service.
Folgendes einfügen als Hauptteil des Antrags, Ersetzen des Werts "datasetId"durch einen eigenen:
{
"datasetId":"REPLACE_WITH_YOUR_OWN_DATASETID",
"inputFormat": {
"format": "json"
}
}
Wählen Sie Senden Schaltfläche
Sie sollten eine 201 Erstellte Antwort mit der ID Ihres neuen Stapels erhalten!
Kopieren Sie die id
der neuen Charge
Jetzt können wir die Daten in den Stapel hochladen:
Anforderung auswählen Data Ingestion API > Batch Ingestion > Upload a file to a dataset in a batch.
In Parameter auf, geben Sie Ihre Dataset-ID und Stapel-ID in die entsprechenden Felder ein.
In Parameter Tabulator eingeben luma-crm.json
als filePath
In Hauptteil wählen Sie die binär Option
Wählen Sie den heruntergeladenen luma-crm.json
von Ihrer lokalen Luma Tutorial Assets
Ordner
Auswählen Senden und Sie sollten eine 200 OK-Antwort mit '1' im Antworttext erhalten
Wenn Sie sich den Stapel in der Platform-Benutzeroberfläche ansehen, sehen Sie, dass er sich in einem "Wird geladen" Status:
Da die Batch-API häufig zum Hochladen mehrerer Dateien verwendet wird, müssen Sie Platform mitteilen, wann ein Stapel abgeschlossen ist, was wir im nächsten Schritt tun werden.
So schließen Sie den Stapel ab:
Anforderung auswählen Data Ingestion API > Batch Ingestion > Finish uploading a file to a dataset in a batch.
In Parameter Tabulator eingeben COMPLETE
als Aktion
In Parameter auf, geben Sie Ihre Stapel-ID ein. Machen Sie sich keine Gedanken über die DataSet-ID oder den filePath, falls vorhanden.
Vergewissern Sie sich, dass die URL der POST https://platform.adobe.io/data/foundation/import/batches/:batchId?action=COMPLETE
und dass es keine unnötigen Verweise auf die datasetId
oder filePath
Auswählen Senden und Sie sollten eine 200 OK-Antwort mit '1' im Antworttext erhalten
Validieren Sie die Daten, die in der Benutzeroberfläche der Plattform landen, wie Sie es für das Loyalty-Datenset getan haben.
Bestätigen Sie zunächst, dass 1000 Datensätze erfasst wurden:
Bestätigen Sie den Stapel als Nächstes mithilfe des Datasets Vorschau:
Bestätigen Sie schließlich, dass eines Ihrer Profile erstellt wurde, indem Sie eines der Profil nachschlagen von Luma CRM Id
Namensraum, z. B. 112ca06ed53d3db37e4cea49cc45b71e
Es ist gerade eine interessante Sache passiert, auf die ich hinweisen möchte. Öffnen Danny Wright
Profil. Das Profil hat beide Lumacrmid
und Lumaloyaltyid
. Merken Sie sich Luma Loyalty Schema
enthielt zwei Identitätsfelder, die Luma Loyalty-ID und die CRM-ID. Nun, da wir beide Datensätze hochgeladen haben, haben sie sich zu einem einzigen Profil zusammengeführt. Die Treuedaten hatten Daniel
als Vorname und "New York City" als Heimatadresse, während die CRM-Daten Danny
als Vorname und Portland
als Home-Adresse des Kunden mit derselben Loyalität-ID. Wir werden darauf zurückkommen, warum der Vorname angezeigt wird Danny
in der Lektion zu den Zusammenführungsrichtlinien.
Herzlichen Glückwunsch! Sie haben gerade Profile zusammengeführt!
Wenn Sie in der vorherigen Lektion Ereignisse zur Datenaufnahme abonniert haben, überprüfen Sie Ihre eindeutige webaken.site-URL. Es sollten drei Anfragen eingehen, genau wie bei den Treuedaten:
Siehe Dokumentation für weitere Einzelheiten zu den Mitteilungen.
Schauen wir uns eine andere Möglichkeit an, Daten hochzuladen. Mit der Workflows-Funktion können Sie CSV-Daten erfassen, die noch nicht in XDM modelliert sind.
Luma Tutorial Assets
Ordner.luma-products.csv
Legen Sie nun den Workflow fest:
Luma Product Catalog Dataset
und wählen Sie Weiter Schaltflächeluma-products.csv
heruntergeladene Datei und wählen Sie Weiter Schaltflächeluma-products.csv
-Datei) in XDM-Felder im Schema Zielgruppe. In unserem Beispiel sind die Spaltennamen den Feldnamen des Schemas so nahe, dass der Mapper die richtige Zuordnung automatisch erkennen kann! Wenn das richtige Feld nicht automatisch erkannt werden konnte, wählen Sie das Symbol rechts neben der Zielgruppe aus, um das richtige XDM-Feld auszuwählen. Wenn Sie eine der Spalten nicht aus der CSV erfassen möchten, können Sie die Zeile aus der Zuordnung löschen. Sie können sich frei abspielen und die Spaltenüberschriften in der luma-products.csv
um sich mit der Funktionsweise des Mappers vertraut zu machen.Wenn der Stapel hochgeladen wurde, überprüfen Sie den Upload, indem Sie eine Vorschau des Datasets anzeigen.
Seit Luma Product SKU
ist ein Non-People-Namensraum, wir werden keine Profile für den Produkt-Skus sehen.
Sie sollten die drei Treffer in Ihrem Webhaken sehen.
Okay, Sie haben die Dinge auf die harte Tour gemacht. Nun lassen Sie uns in das versprochene Land von automatisiert Stapelverarbeitung! Wenn ich sage: "SET IT!" Sie sagen: "VERGESSEN SIE ES!" "SET IT!" "VERGESSEN SIE ES!" "SET IT!" "VERGESSEN SIE ES!" Nur ein Scherz! Du würdest so etwas nie tun! OK, zurück an die Arbeit. Du bist fast fertig.
Gehe zu Quellen in der linken Navigation, um den Quellkatalog zu öffnen. Hier finden Sie verschiedene Out-of-the-Box-Integrationen mit branchenführenden Daten- und Datenspeicherung-Anbietern.
Okay, lassen Sie uns Daten mit einem Quellanschluss erfassen.
Diese Übung wird der eigene Abenteuerstil sein. Ich werde den Workflow über den FTP-Quellanschluss anzeigen. Sie können entweder einen anderen Cloud-Datenspeicherung-Quellanschluss verwenden, den Sie in Ihrer Firma verwenden, oder die JSON-Datei über die DataSet-Benutzeroberfläche hochladen, wie dies bei den Treuedaten der Fall war.
Viele der Quellen verfügen über einen ähnlichen Konfigurations-Workflow, in dem Sie:
Die Daten zum Offline-Einkauf, die wir in dieser Übung verwenden werden, enthalten Daten zu den Daten. Die Daten zur Datenzeit müssen sich in ISO 8061 formatierte Zeichenfolgen ("2018-07-10T15:05:59.000-08:00") oder Unix-Zeit in Millisekunden formatiert (1531263959000) und bei der Aufnahme in den XDM-Typ der Zielgruppe konvertiert. Weitere Informationen zur Datenkonvertierung und anderen Beschränkungen finden Sie unter die Dokumentation zur Batch Ingestion API.
Luma Tutorial Assets
Ordner.luma-offline-purchases.json
in einem Texteditor und ersetzen alle Instanzen von _techmarketingdemos
mit Ihrer eigenen Unterstrich-Pächter-ID, wie in Ihren Schemasluma-offline-purchases.json
an einen Speicherort in Ihrem bevorzugten Cloud-Datenspeicherung-ProviderFiltern Sie die Quellen Katalog in Cloud-Datenspeicherung
Beachten Sie, dass es praktische Links zur Dokumentation unter ...
Wählen Sie im Feld Ihres bevorzugten Cloud-Datenspeicherung-Anbieters die Konfigurieren Schaltfläche
Authentifizierung ist der erste Schritt. Geben Sie den Namen für Ihr Konto ein, z. B. Luma's FTP Account
und Ihre Authentifizierungsdetails. Dieser Schritt sollte für alle Cloud-Datenspeicherung-Quellen ziemlich ähnlich sein, auch wenn die Felder leicht abweichen können. Sobald Sie die Authentifizierungsdetails für ein Konto eingegeben haben, können Sie diese für andere Quellverbindungen verwenden, die möglicherweise andere Daten aus verschiedenen Zeitplänen als andere Dateien im gleichen Konto senden.
Wählen Sie Mit Quellschaltfläche verbinden
Wenn die Plattform erfolgreich mit der Quelle verbunden ist, wählen Sie Weiter Schaltfläche
Auf Daten auswählen -Schritt, verwendet die Benutzeroberfläche Ihre Anmeldedaten, um den Ordner in Ihrer Cloud-Datenspeicherung-Lösung zu öffnen.
Wählen Sie beispielsweise die Dateien aus, die Sie aufnehmen möchten luma-offline-purchases.json
As the Datenformat, wählen XDM JSON
Sie können dann die JSON-Struktur und Beispieldaten in der Datei Vorschau haben
Wählen Sie Weiter Schaltfläche
Auf Zuordnung wählen Sie Luma Offline Purchase Events Dataset
und wählen Sie Weiter Schaltfläche. Beachten Sie in der Meldung, dass es sich bei den eingegebenen Daten um eine JSON-Datei handelt und dass es keinen Zuordnungsschritt gibt, bei dem das Quellfeld dem Feld Zielgruppe zugeordnet wird. JSON-Daten müssen sich bereits in XDM befinden. Wenn Sie eine CSV-Datei verwenden, sehen Sie in diesem Schritt die vollständige Benutzeroberfläche für die Zuordnung:
Auf Planung wählen Sie die Frequenz aus, mit der Sie Daten aus der Quelle erfassen möchten. Nehmen Sie sich einen Moment Zeit, um sich die Optionen anzusehen. Wir werden nur eine einmalige Aufnahme machen, also lassen Sie die Häufigkeit on Einmal und wählen Sie Weiter Schaltfläche:
Auf Datenflasche - Detail Schritt, können Sie einen Namen für Ihren Datenaflow auswählen, eine optionale Beschreibung eingeben, die Fehlerdiagnose aktivieren und die teilweise Erfassung aktivieren. Lassen Sie die Einstellungen unverändert und wählen Sie die Weiter Schaltfläche:
Auf Überprüfen Schritt, können Sie alle Einstellungen zusammen überprüfen und entweder bearbeiten oder Fertigstellen Schaltfläche
Nach dem Speichern landen Sie auf einem Bildschirm wie diesem:
Wenn der Stapel hochgeladen wurde, überprüfen Sie den Upload, indem Sie eine Vorschau des Datasets anzeigen.
Sie sollten die drei Treffer in Ihrem Webhaken sehen.
Profil mit Wert nachschlagen 5625458
in loyaltyId
Namensraum, um zu sehen, ob sich Ereignis in ihrem Profil befinden. Sie sollten einen Kauf sehen. Sie können die Details des Kaufs einsehen, indem Sie Ansicht JSON:
Adobe arbeitet mit mehreren ETL-Anbietern zusammen, um die Datenerfassung in die Experience Platform zu unterstützen. Aufgrund der Vielfalt von Drittanbietern wird ETL in diesem Tutorial nicht behandelt, obwohl Sie einige dieser Ressourcen gerne überprüfen können:
Jetzt lasst uns Stream-Daten mit dem Web SDK