데이터 피드에서 Parquet 파일 작업
Customer Journey Analytics 데이터 피드는 파일을 Parquet 형식으로 전달합니다. 대부분의 최신 데이터 웨어하우스는 Parquet 파일을 직접 읽을 수 있으므로 일반적으로 파일을 사용하기 전에 변환할 필요가 없습니다.
다음 정보를 사용하여 데이터 피드에서 Parquet를 사용하는 이유, Parquet가 다른 파일 형식과 비교하는 방법, Data Warehouse에서 Parquet 파일을 쿼리하거나 로드하는 방법을 이해합니다.
데이터 피드에 Parquet 사용의 이점
Parquet는 다음과 같은 이유로 CSV, TSV 또는 JSON보다 데이터 피드 출력에 더 적합합니다.
-
넓은 피드: 데이터 피드에 수백 개의 열이 있을 수 있습니다. Parquet을 사용하면 쿼리에 필요한 열만 읽을 수 있습니다.
-
중첩된 필드: Parquet는 기본적으로 제품 목록과 같은 중첩된 필드를 나타냅니다. CSV와 TSV는 문자열로 인코딩해야만 이를 나타낼 수 있습니다. 자세한 내용은 데이터 피드의 하위 이벤트 구성 요소를 참조하세요.
-
대규모 내보내기: Parquet는 일반적으로 저장 및 전송 비용을 줄입니다. 또한 데이터를 로드할 때 텍스트 구문 분석과 유형 추측을 방지할 수 있습니다.
Parquet가 CSV, TSV 및 JSON과 비교하는 방법
CSV, TSV 및 JSON은 일반적인 텍스트 기반 파일 형식입니다.
-
CSV 및 TSV: 각 데이터 행은 쉼표(CSV) 또는 탭(TSV)으로 구분된 값이 있는 일반 텍스트 줄입니다. Adobe Analytics 데이터 피드는 TSV 파일을 제공합니다. Customer Journey Analytics과 Adobe Analytics의 데이터 피드 간 다른 차이점에 대해서는 Customer Journey Analytics과 Adobe Analytics의 데이터 피드 비교를 참조하십시오.
-
JSON: 각 레코드는 명명된 필드가 있는 텍스트로 저장되며 중첩된 배열과 개체를 포함할 수 있습니다.
다음 표에서는 Parquet, CSV, TSV 및 JSON의 차이점에 대해 자세히 설명합니다.
Parquet 파일 쿼리 또는 로드
데이터 피드 파일은 데이터 피드를 만들 때선택한 클라우드 저장소 위치에 Parquet 형식으로 전달됩니다.
파일을 다운로드하는 대신 일반적으로 데이터 웨어하우스를 저장소 위치에 연결합니다. 그런 다음 다음 다음 방법 중 하나로 Parquet 파일을 사용할 수 있습니다.
그 자리에 있는 파일 쿼리
클라우드 스토리지의 파일을 가리키는 외부 테이블을 정의합니다. 쿼리를 실행하면 데이터 웨어하우스에서 파일을 읽습니다.
- Snowflake: 외부 테이블 또는 외부 스테이지에 대한 쿼리
- 데이터 블록: Amazon S3, Azure ADLS(데이터 레이크 저장소) 또는 Google Cloud Storage를 통한 외부 테이블
- BigQuery: Google Cloud Storage의 외부 테이블
- Amazon Redshift: Amazon S3의 Redshift 스펙트럼
관리되는 테이블에 파일 로드
관리되는 테이블에 파일을 로드하는 것은 반복되는 워크로드에 대한 일반적인 선택입니다. 예:
- Snowflake:
COPY INTO - BigQuery: 작업 로드
- 데이터 블록:
COPY INTO또는 자동 로더
Parquet 데이터를 CSV 또는 JSON으로 변환
다운스트림 프로세스에 CSV 또는 JSON 파일이 필요한 경우 대부분의 데이터 웨어하우스 및 도구는 Parquet 데이터를 로드한 후 두 형식 중 하나로 내보낼 수 있습니다. 예를 들어 Snowflake에서 COPY INTO을(를) 사용하여 쿼리 결과를 CSV 또는 JSON으로 언로드할 수 있습니다.