Arbeiten mit Parquet-Dateien in Daten-Feeds
Customer Journey Analytics-Daten-Feeds stellen Dateien im Parquet-Format bereit. Die meisten modernen Data Warehouses können Parquet-Dateien direkt lesen, sodass Sie die Dateien normalerweise nicht konvertieren müssen, bevor Sie sie verwenden.
Verwenden Sie die folgenden Informationen, um zu verstehen, warum Daten-Feeds Parquet verwenden, wie Parquet mit anderen Dateiformaten vergleicht und wie Sie Parquet-Dateien in Ihrem Data Warehouse abfragen oder laden.
Vorteile der Verwendung von Parquet für Daten-Feeds
Parquet eignet sich aus den folgenden Gründen besser für die Datenfeed-Ausgabe als CSV, TSV oder JSON:
-
Wide Feeds: Daten-Feeds können Hunderte von Spalten haben. Mit Parquet kann eine Abfrage nur die benötigten Spalten lesen.
-
Verschachtelte Felder: Parquet stellt verschachtelte Felder, z. B. eine Produktliste, nativ dar. CSV und TSV können sie nur darstellen, indem sie in Zeichenfolgen codiert werden. Weitere Informationen finden Sie unter Komponenten von Unterereignissen in Daten-Feeds.
-
Große Exporte: Parkett reduziert in der Regel die Lager- und Transferkosten. Außerdem werden das Parsen von Text und das Raten von Typen beim Laden der Daten vermieden.
Vergleich von Parquet mit CSV, TSV und JSON
CSV, TSV und JSON sind gängige textbasierte Dateiformate:
-
CSV und TSV: Jede Datenzeile ist eine Textzeile mit durch Kommas (CSV) oder Tabulatoren (TSV) getrennten Werten. Adobe Analytics-Daten-Feeds stellen TSV-Dateien bereit. Weitere Unterschiede zwischen Daten-Feeds in Customer Journey Analytics und Adobe Analytics finden Sie unter Vergleichen von Daten-Feeds in Customer Journey Analytics und Adobe Analytics.
-
JSON: Jeder Datensatz wird als Text mit benannten Feldern gespeichert und kann verschachtelte Arrays und Objekte enthalten.
In der folgenden Tabelle werden die Unterschiede zwischen Parquet, CSV, TSV und JSON beschrieben:
Abfragen oder Laden von Parquet-Dateien
Die Daten-Feed-Dateien werden im Parquet-Format an den Cloud-Speicherort bereitgestellt, den Sie beim Erstellen Daten-Feeds ausgewählt .
Anstatt die Dateien herunterzuladen, verbinden Sie Ihr Data Warehouse normalerweise mit dem Speicherort. Sie können die Parquet-Dateien dann auf eine der folgenden Arten verwenden:
Abfragen der vorhandenen Dateien
Definieren Sie eine externe Tabelle, die auf die Dateien in Ihrem Cloud-Speicher verweist. Das Data Warehouse liest die Dateien, wenn Sie eine Abfrage ausführen.
- Snowflake: Externe Tabellen oder Abfragen für ein externes Stadium
- Databricks: Externe Tabellen über Amazon S3, Azure Data Lake Storage (ADLS) oder Google Cloud Storage
- BigQuery: Externe Tabellen über Google Cloud Storage
- Amazon Redshift: Redshift Spectrum über Amazon S3
Laden der Dateien in verwaltete Tabellen
Das Laden von Dateien in verwaltete Tabellen ist eine gängige Wahl für wiederkehrende Arbeitslasten. Beispiel:
- Snowflake:
COPY INTO - BigQuery: Aufträge laden
- Databricks:
COPY INTOoder Auto Loader
Parquet-Daten in CSV oder JSON konvertieren
Wenn Ihre nachgelagerten Prozesse CSV- oder JSON-Dateien erfordern, können die meisten Data Warehouses und Tools Parquet-Daten nach dem Laden in eines der beiden Formate exportieren. In Snowflake können Sie beispielsweise Abfrageergebnisse als CSV- oder JSON-Datei mit COPY INTO entladen.