DokumentationTutorialsBlueprints

Blueprint zur Datenvorbereitung und -aufnahme

Last update: Sat Jul 20 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

Erstellt für:

  • Entwickler
  • Benutzende

Das Blueprint zur Datenvorbereitung und -aufnahme umfasst alle Methoden, mit denen Daten vorbereitet und in Adobe Experience Platform aufgenommen werden können.

Die Datenvorbereitung umfasst die Zuordnung der Quelldaten zum Experience Data Model-Schema (XDM). Sie umfasst auch die Durchführung von Datentransformationen, einschließlich Datenformatierung, Feldaufteilung/-verknüpfung/-umwandlung und die Zusammenführung von Datensätzen sowie die Vergabe neuer Schlüssel. Die Datenvorbereitung hilft bei der Vereinheitlichung von Kundendaten für gesammelte/gefilterte Analysen, einschließlich Berichten oder der Vorbereitung von Daten für die Erstellung von Kundenprofilen, Datenwissenschaft und Aktivierung.

Architektur

Referenzarchitektur für die Blueprint „Datenvorbereitung und -aufnahme“

Leitlinien für die Datenaufnahme

Das folgende Diagramm zeigt die durchschnittlichen Leistungsgarantien und die Latenz für die Datenerfassung in Adobe Experience Platform.

Experience Platform Datenfluss

Methoden der Datenaufnahme

Streaming-Quellen
Methode
Häufige Anwendungsfälle
Protokolle
Allgemeine Überlegungen
Adobe Web/Mobile SDK
  • Datenerfassung über Websites und Mobile Apps.
  • Bevorzugte Methode für die Client-seitige Erfassung.
Push, HTTP, JSON
  • Implementieren mehrerer Adobe-Anwendungen mit einem einzigen SDK.
HTTP-API-Connector
  • Erfassung aus Streaming-Quellen, Transaktionen, relevanten Kundenereignissen und -signalen
Push, REST API, JSON
  • Die Daten werden direkt an den Hub gestreamt, sodass keine Echtzeit-Edge-Segmentierung oder Ereignisweiterleitung erfolgt.
Edge Network API
  • Sammlung aus Streaming-Quellen, Transaktionen, relevanten Kundenereignissen und -Signalen aus dem global verteilten Edge Network
Push, REST API, JSON
  • Die Daten werden über die Edge Network gestreamt. Unterstützung für Echtzeit-Segmentierung im Edge Network.
Adobe-Anwendungen
  • Vorherige Implementierung von Adobe Analytics, Marketo, Campaign, Target, AAM
Push, Quell-Connectoren und API
  • Empfohlene Methode ist Migration zum Web/Mobile SDK gegenüber herkömmlichen Anwendungs-SDKs.
Streaming-Quell-Connectoren
  • Aufnahme eines Unternehmensereignis-Datenstroms, normalerweise verwendet für die Freigabe von Unternehmensdaten für mehrere nachgelagerte Anwendungen.
Push, REST API, JSON
  • Muss im XDM-Format gestreamt werden.
Streaming-Quellen-SDK
  • Ähnlich wie HTTP-API-Connector, ermöglicht Self-Service-Konfigurationskarte eines externen Datenstroms.
Push, HTTP-API, JSON
  • Edge Network
Batch-Quellen
Methode
Häufige Anwendungsfälle
Protokolle
Allgemeine Überlegungen
Batch-Aufnahme-API
  • Aufnahme über eine vom Unternehmen verwaltete Warteschlange. Datenbereinigung und -umwandlung vor der Erfassung.
Push, JSON oder Parquet
  • Muss Batches und Dateien für die Erfassung verwalten
Batch-Quell-Connectoren
  • Allgemeine Methode für die Aufnahme von Dateien von Cloud-Speichern.
  • Connectoren für gängige CRM- und Marketing-Anwendungen.
  • Ideal für die Aufnahme großer Mengen historischer Daten.
Pull, CSV, JSON, Parquet
  • Nicht immer aktiv, sofortige Aufnahme.
  • Wiederholte Frequenzprüfungen zur Aufnahme von Delta-Dateien mindestens alle 15 Minuten.
Data Landing Zone
  • Von Adobe bereitgestellter Datei-Speicherort, an den Dateien zur Aufnahme gepusht werden können.
Push, CSV, JSON, Parquet
– Dateien erhalten eine TTL von 7 Tagen.
Batch Sources-SDK
  • Ermöglicht Self-Service-Konfigurationskarte einer externen Datenquelle.
  • Ideal für Partner-Connectoren oder ein maßgeschneidertes Workflow-Erlebnis zum Einrichten eines Enterprise-Connectors.
Pull-, REST-API-, CSV- oder JSON-Dateien
  • Mindestfrequenz von 15 Minuten
  • Beispiele: MailChimp, One Trust, Zendesk
Aufnahmemethoden
Beschreibung
Web/Mobile SDK

Latenz:

  • Echtzeit - gleiche Seitenerfassung auf Edge Network
  • Streaming-Erfassung in Profil < 15 Minuten am 95. Perzentil
  • Streaming-Aufnahme in Data Lake (Mikro-Batch ~15 Minuten)

Dokumentation:

Streaming-Quellen

Streaming-Quellen
Latenz:

  • Echtzeit - gleiche Seitenerfassung auf Edge Network
  • Streaming-Aufnahme in Profil ~1 Minute
  • Streaming-Aufnahme in Data Lake (Mikro-Batch ~15 Minuten)
Streaming-API

Edge Network Server-API (empfohlen) - unterstützt Edge-Dienste einschließlich Edge-Segmentierung und
Datenerfassungs-Core-Service-API - unterstützt keine Edge-Dienste, sondern routet direkt zum Hub.
Latenz:

  • Echtzeit - gleiche Seitenerfassung auf Edge Network
  • Streaming-Aufnahme in Profil ~1 Minute
  • Streaming-Aufnahme in Data Lake (Mikro-Batch ~15 Minuten)
  • 7 GB/Stunde

Dokumentation

ETL-Tools

Verwenden Sie ETL-Tools, um Unternehmensdaten vor der Aufnahme in Experience Platform zu ändern und umzuwandeln.

Latenz:

  • Zeitrahmen abhängig vom externen Zeitplan des ETL-Tools, dann gelten Standardleitlinien für die Aufnahme basierend auf der Aufnahmemethode.
Batch-Quellen
Geplanter Abruf aus Quellen
Latenz: ~ 200 GB/Stunde

Dokumentation
Video-Tutorials
Batch-API

Latenz:

  • Batch-Aufnahme in Profil abhängig von Größe und Traffic-Volumen ~45 Minuten
  • Batch-Aufnahme in Data Lake abhängig von Größe und Traffic-Volumen

Dokumentation

Adobe-Programm-Connectoren

Automatische Aufnahme von Daten, die aus Adobe Experience Cloud-Programmen stammen

Methoden der Datenvorbereitung

Methoden der Datenvorbereitung
Beschreibung
Externes ETL-Tool (Snaplogic, Mulesoft, Informatica usw.)
Führen Sie komplexe Umwandlungen in ETL-Tools durch und verwenden Sie standardmäßige Experience Platform Flow Service -APIs oder Quell-Connectoren, um die resultierenden Daten zu erfassen.
Abfrage-Service – Datenvorbereitung
Verbinden, Teilen, Zusammenführen, Transformieren, Abfragen und Filtern von Daten und Erstellung eines neuen Datensatzes. Verwendung von „Create Table as Select“ (CTAS)
Dokumentation
XDM-Mapper- und Datenvorbereitungsfunktionen (Streaming und Batch)
Ordnen Sie während der Experience Platform-Erfassung Quellattribute im CSV- oder JSON-Format XDM-Attributen zu.
Berechnung von Funktionen bei der Aufnahme von Daten, d. h. Datenformatierung, Teilung, Verknüpfung usw.
Dokumentation

Verwandte Blog-Posts

recommendation-more-help
045b7d44-713c-4708-a7a6-5dea7cc2546b