Trabalhar com arquivos Parquet em feeds de dados
Os feeds de dados do Customer Journey Analytics fornecem arquivos no formato Parquet. A maioria dos data warehouses modernos pode ler arquivos Parquet diretamente, então você geralmente não precisa converter os arquivos antes de usá-los.
Use as seguintes informações para entender por que os feeds de dados usam o Parquet, como o Parquet se compara a outros formatos de arquivo e como consultar ou carregar arquivos do Parquet no data warehouse.
Vantagens de usar o Parquet para feeds de dados
O Parquet é mais adequado para a saída do feed de dados do que CSV, TSV ou JSON pelos seguintes motivos:
-
Feeds amplos: os feeds de dados podem ter centenas de colunas. Parquet permite que uma consulta leia somente as colunas necessárias.
-
Campos aninhados: Parquet representa campos aninhados, como uma lista de produtos, nativamente. CSV e TSV podem representá-los somente codificando-os em strings. Para obter mais informações, consulte Componentes de subeventos em feeds de dados.
-
Esquema interno: cada arquivo do Parquet armazena seu próprio esquema, incluindo nomes de colunas, tipos de dados e estruturas aninhadas. Como o esquema está no arquivo, o data warehouse pode criar tabelas diretamente dos arquivos. Você não precisa fornecer um arquivo de cabeçalho ou uma definição de esquema separados, e o data warehouse não precisa inferir tipos de dados.
-
Grandes exportações: o Parquet geralmente reduz os custos de armazenamento e transferência. Também evita a análise de texto ao carregar os dados.
Como o Parquet se compara ao CSV, TSV e JSON
CSV, TSV e JSON são formatos de arquivo comuns baseados em texto:
-
CSV e TSV: cada linha de dados é uma linha de texto simples, com valores separados por vírgulas (CSV) ou tabulações (TSV). Os feeds de dados do Adobe Analytics fornecem arquivos TSV. Para outras diferenças entre os feeds de dados no Customer Journey Analytics e no Adobe Analytics, consulte Comparar feeds de dados no Customer Journey Analytics e no Adobe Analytics.
-
JSON: cada registro é armazenado como texto com campos nomeados e pode incluir matrizes e objetos aninhados.
A tabela a seguir detalha as diferenças entre Parquet, CSV, TSV e JSON:
Consultar ou carregar arquivos Parquet
Os arquivos de feed de dados são entregues no formato Parquet ao local de armazenamento na nuvem selecionado quando você criou o feed de dados.
Em vez de baixar os arquivos, você normalmente conecta seu data warehouse ao local de armazenamento. Você pode usar os arquivos Parquet de qualquer uma das seguintes maneiras:
Consultar os arquivos no local
Defina uma tabela externa que aponte para os arquivos no armazenamento em nuvem. O data warehouse lê os arquivos quando você executa uma consulta.
- Snowflake: tabelas externas ou consultas em um estágio externo
- Databricks: tabelas externas no Amazon S3, Azure Data Lake Storage (ADLS) ou Google Cloud Storage
- BigQuery: tabelas externas no Google Cloud Storage
- Amazon Redshift: espectro Redshift sobre o Amazon S3
Carregar os arquivos em tabelas gerenciadas
O carregamento de arquivos em tabelas gerenciadas é uma opção comum para cargas de trabalho recorrentes. Por exemplo:
- Snowflake:
COPY INTO - BigQuery: carregar trabalhos
- Databricks:
COPY INTOou Carregador Automático
Converter dados do Parquet em CSV ou JSON
Se os processos de downstream exigirem arquivos CSV ou JSON, a maioria dos data warehouses e ferramentas poderá exportar os dados do Parquet para qualquer formato depois de carregá-los. Por exemplo, no Snowflake, você pode descarregar os resultados da consulta como CSV ou JSON com COPY INTO.