在資料摘要中使用Parquet檔案
Customer Journey Analytics資料摘要會傳送Parquet格式的檔案。 大部分的現代資料倉儲都可以直接讀取Parquet檔案,因此在使用檔案之前,您通常不需要先轉換檔案。
使用下列資訊來瞭解資料摘要使用Parquet的原因、Parquet與其他檔案格式的比較方式,以及如何在Data Warehouse中查詢或載入Parquet檔案。
將Parquet用於資料摘要的優勢
Parquet比CSV、TSV或JSON更適合用於資料摘要輸出,原因如下:
-
寬摘要:資料摘要可以有數百欄。 Parquet讓查詢只讀取它需要的欄。
-
巢狀欄位: Parquet以原生方式表示巢狀欄位,例如產品清單。 CSV和TSV只能透過將其編碼為字串來表示它們。 如需詳細資訊,請參閱資料摘要🔗中的子事件元件。
-
內建結構描述:每個Parquet檔案都儲存自己的結構描述,包括資料行名稱、資料型別和巢狀結構。 因為結構描述在檔案中,所以您的Data Warehouse可以直接從檔案建立表格。 您不需要提供單獨的標頭檔案或結構描述定義,而且Data Warehouse不需要推斷資料型別。
-
大型匯出: Parquet通常會降低儲存和傳輸成本。 它也會避免在載入資料時進行文字剖析。
Parquet與CSV、TSV和JSON的比較
CSV、TSV和JSON是常見的文字型檔案格式:
-
CSV和TSV:每一列資料都是一行純文字,其值以逗號(CSV)或定位字元(TSV)分隔。 Adobe Analytics資料摘要會傳遞TSV檔案。 如需Customer Journey Analytics和Adobe Analytics中資料摘要的其他差異,請參閱比較Customer Journey Analytics和Adobe Analytics中的資料摘要。
-
JSON:每個記錄都儲存為具有具名欄位的文字,並可包含巢狀陣列和物件。
下表詳細說明了Parquet、CSV、TSV和JSON之間的差異:
查詢或載入Parquet檔案
資料摘要檔案會以Parquet格式傳送至您建立資料摘要時所選取的雲端儲存位置。
您通常不會下載檔案,而是將資料倉儲連線至儲存位置。 然後可以下列任一種方式使用Parquet檔案:
就地查詢檔案
定義指向雲端儲存空間中檔案的外部表格。 當您執行查詢時,Data Warehouse會讀取檔案。
- Snowflake:外部資料表,或針對外部階段的查詢
- 資料庫:透過Amazon S3、Azure Data Lake Storage (ADLS)或Google雲端儲存空間的外部表格
- BigQuery:外部資料表透過Google雲端儲存空間
- Amazon Redshift: Amazon S3上的Redshift光譜
將檔案載入受管理的資料表
將檔案載入受管理表格是重複工作負荷的常見選擇。 例如:
- Snowflake:
COPY INTO - BigQuery:載入工作
- 資料庫:
COPY INTO或自動載入器
將Parquet資料轉換為CSV或JSON
如果您的下游流程需要CSV或JSON檔案,大部分資料倉儲和工具都可以在您載入Parquet資料後,將其匯出為任一格式。 例如,在Snowflake中,您可以將查詢結果解除安裝為CSV或具有COPY INTO的JSON。