Erkunden, Fehlerbehebung und Verifizierung der Batch-Aufnahme mit SQL
In diesem Dokument wird erläutert, wie Sie Datensätze in aufgenommenen Batches mit SQL überprüfen und validieren können. In diesem Dokument erfahren Sie, wie Sie:
- Zugriff auf Datensatz-Batch-Metadaten
- Fehlerbehebung und Gewährleistung der Datenintegrität durch die Abfrage von Batches
NOTEVoraussetzungen
Um Ihnen das Verständnis der in diesem Dokument besprochenen Konzepte zu erleichtern, sollten Sie über Kenntnisse in den folgenden Themen verfügen:
- Datenaufnahme: In der Übersicht zur Datenaufnahme erfahren Sie mehr über die Grundlagen, wie Daten in Experience Platform aufgenommen werden, einschließlich der verschiedenen Methoden und Prozesse.
- Batch-Aufnahme: In der Übersicht zur Batch-Aufnahme- erfahren Sie mehr über die grundlegenden Konzepte der Batch-Aufnahme. Im Einzelnen geht es darum, was ein „Batch“ ist und wie er innerhalb des Datenerfassungsprozesses von Experience Platform funktioniert.
- Systemmetadaten in Datensätzen: In der Übersicht über den Katalog-Service erfahren Sie, wie Systemmetadatenfelder verwendet werden, um aufgenommene Daten zu verfolgen und abzufragen.
- Experience-Datenmodell (XDM): In der Übersicht über die Schemabenutzeroberfläche und den Grundlagen der Schemakomposition' erfahrenmehr über XDM-Schemata und darüber, wie sie die Struktur und das Format von Daten darstellen und validieren, die in Experience Platform aufgenommen werden.
Zugriff auf Datensatz-Batch-Metadaten
Um sicherzustellen, dass Systemspalten (Metadatenspalten) in den Abfrageergebnissen enthalten sind, verwenden Sie die SQL-set drop_system_columns=false im Abfrage-Editor. Dadurch wird das Verhalten Ihrer SQL-Abfragesitzung konfiguriert. Diese Eingabe muss wiederholt werden, wenn Sie eine neue Sitzung starten.
Führen Sie als Nächstes eine SELECT ALL-Anweisung aus, um die Systemfelder des Datensatzes anzuzeigen, z. B. select * from movie_data, um die Ergebnisse des Datensatzes anzuzeigen. Die Ergebnisse umfassen zwei neue Spalten auf der rechten Seite _acp_system_metadata und _ACP_BATCHID. Die Metadatenspalten _acp_system_metadata und _ACP_BATCHID helfen bei der Identifizierung der logischen und physischen Partitionen der aufgenommenen Daten.
Wenn Daten in Experience Platform aufgenommen werden, wird ihnen auf der Grundlage der eingehenden Daten eine logische Partition zugewiesen. Diese logische Partition wird durch _acp_system_metadata.sourceBatchId dargestellt. Diese ID hilft, die Datenstapel logisch zu gruppieren und zu identifizieren, bevor sie verarbeitet und gespeichert werden.
Nachdem die Daten verarbeitet und in den Data Lake aufgenommen wurden, wird ihnen eine physische Partition zugewiesen, die durch _ACP_BATCHID dargestellt wird. Diese ID spiegelt die tatsächliche Speicherpartition im Data Lake wider, in dem sich die aufgenommenen Daten befinden.
