데이터 피드에서 Parquet 파일 작업

AVAILABILITY
이 문서에서 설명하는 기능은 릴리스의 제한된 테스트 단계에 있으며 사용자 환경에서 아직 사용하지 못할 수 있습니다. 기능이 일반적으로 제공되면 이 메모는 제거됩니다. Customer Journey Analytics 릴리스 프로세스에 대한 자세한 내용은 Customer Journey Analytics 기능 릴리스를 참조하십시오.

Customer Journey Analytics 데이터 피드는 파일을 Parquet 형식으로 전달합니다. 대부분의 최신 데이터 웨어하우스는 Parquet 파일을 직접 읽을 수 있으므로 일반적으로 파일을 사용하기 전에 변환할 필요가 없습니다.

다음 정보를 사용하여 데이터 피드에서 Parquet를 사용하는 이유, Parquet가 다른 파일 형식과 비교하는 방법, Data Warehouse에서 Parquet 파일을 쿼리하거나 로드하는 방법을 이해합니다.

데이터 피드에 Parquet 사용의 이점

Parquet는 다음과 같은 이유로 CSV, TSV 또는 JSON보다 데이터 피드 출력에 더 적합합니다.

  • 넓은 피드: 데이터 피드에 수백 개의 열이 있을 수 있습니다. Parquet을 사용하면 쿼리에 필요한 열만 읽을 수 있습니다.

  • 중첩된 필드: Parquet는 기본적으로 제품 목록과 같은 중첩된 필드를 나타냅니다. CSV와 TSV는 문자열로 인코딩해야만 이를 나타낼 수 있습니다. 자세한 내용은 데이터 피드의 하위 이벤트 구성 요소를 참조하세요.

  • 대규모 내보내기: Parquet는 일반적으로 저장 및 전송 비용을 줄입니다. 또한 데이터를 로드할 때 텍스트 구문 분석과 유형 추측을 방지할 수 있습니다.

Parquet가 CSV, TSV 및 JSON과 비교하는 방법

CSV, TSV 및 JSON은 일반적인 텍스트 기반 파일 형식입니다.

  • CSV 및 TSV: 각 데이터 행은 쉼표(CSV) 또는 탭(TSV)으로 구분된 값이 있는 일반 텍스트 줄입니다. Adobe Analytics 데이터 피드는 TSV 파일을 제공합니다. Customer Journey Analytics과 Adobe Analytics의 데이터 피드 간 다른 차이점에 대해서는 Customer Journey Analytics과 Adobe Analytics의 데이터 피드 비교를 참조하십시오.

  • JSON: 각 레코드는 명명된 필드가 있는 텍스트로 저장되며 중첩된 배열과 개체를 포함할 수 있습니다.

다음 표에서는 Parquet, CSV, TSV 및 JSON의 차이점에 대해 자세히 설명합니다.

특성
쪽모이 세공
CSV 또는 TSV
JSON
파일 크기
가장 작음. 압축은 파일에 내장되어 있으며, 도구는 쿼리가 읽는 열만 압축을 해제합니다.
더 크게 gzip과 같은 압축은 전체 파일에 적용되므로, 도구는 전체 파일을 읽기 위해 압축을 풀어야 하며 종종 동시에 읽을 수 없습니다.
가장 크게. 필드 이름은 모든 레코드에서 반복됩니다.
쿼리 속도
빨리! 쿼리는 필요한 열만 읽습니다.
천천히. 전체 행을 읽고 구문 분석해야 합니다.
천천히. 전체 행을 읽고 구문 분석해야 합니다.
데이터 유형
입력. 스키마가 파일에 포함되어 있습니다.
입력 안 됨. 모든 값은 텍스트이며 데이터를 로드할 때 유형이 추론됩니다.
느슨하게 입력.
중첩된 데이터
배열 및 개체는 기본적으로 지원됩니다.
지원되지 않습니다. 배열과 개체를 병합하거나 문자열로 인코딩해야 합니다.
배열 및 개체는 기본적으로 지원됩니다.
가독성
Data Warehouse, DuckDB 또는 Python과 같은 도구가 필요합니다.
텍스트 편집기 또는 스프레드시트에서 열립니다.
텍스트 편집기에서 열립니다.

Parquet 파일 쿼리 또는 로드

데이터 피드 파일은 데이터 피드를 만들 때선택한 클라우드 저장소 위치에 Parquet 형식으로 전달됩니다.

파일을 다운로드하는 대신 일반적으로 데이터 웨어하우스를 저장소 위치에 연결합니다. 그런 다음 다음 다음 방법 중 하나로 Parquet 파일을 사용할 수 있습니다.

그 자리에 있는 파일 쿼리

클라우드 스토리지의 파일을 가리키는 외부 테이블을 정의합니다. 쿼리를 실행하면 데이터 웨어하우스에서 파일을 읽습니다.

  • Snowflake: 외부 테이블 또는 외부 스테이지에 대한 쿼리
  • 데이터 블록: Amazon S3, Azure ADLS(데이터 레이크 저장소) 또는 Google Cloud Storage를 통한 외부 테이블
  • BigQuery: Google Cloud Storage의 외부 테이블
  • Amazon Redshift: Amazon S3의 Redshift 스펙트럼

관리되는 테이블에 파일 로드

관리되는 테이블에 파일을 로드하는 것은 반복되는 워크로드에 대한 일반적인 선택입니다. 예:

  • Snowflake: COPY INTO
  • BigQuery: 작업 로드
  • 데이터 블록: COPY INTO 또는 자동 로더

Parquet 데이터를 CSV 또는 JSON으로 변환

다운스트림 프로세스에 CSV 또는 JSON 파일이 필요한 경우 대부분의 데이터 웨어하우스 및 도구는 Parquet 데이터를 로드한 후 두 형식 중 하나로 내보낼 수 있습니다. 예를 들어 Snowflake에서 COPY INTO을(를) 사용하여 쿼리 결과를 CSV 또는 JSON으로 언로드할 수 있습니다.

recommendation-more-help
analytics-platform-help-main