데이터 수집 개요
- 주제:
- 데이터 수집
작성 대상:
- 개발자
Adobe Experience Platform에서 데이터 수집은 다양한 소스에서 조직에서 액세스, 사용 및 분석할 수 있는 저장 매체로 데이터를 전송하는 것입니다. Experience Platform의 데이터 수집은 수집 스트리밍 및 수집 일괄 처리 의 두 가지 기본 범주로 그룹화할 수 있습니다.
스트리밍 및 일괄 처리 수집 아래에는 데이터를 Experience Platform에 수집하는 데 사용할 수 있는 여러 가지 방법이 있습니다. 이러한 방법에는 다양한 소스 를 사용하고 이러한 소스에 연결하여 데이터를 Experience Platform으로 가져오는 방법이 포함됩니다.
Experience Platform에 데이터를 수집할 수 있는 다양한 방법에 대한 개요는 이 문서 를 참조하십시오.
스트리밍 수집
스트리밍 수집 을 사용하여 클라이언트 및 서버측 장치에서 실시간으로 Experience Platform으로 데이터를 전송할 수 있습니다. Experience Platform은 데이터 입력 기능을 사용하여 들어오는 경험 데이터를 스트리밍할 수 있도록 지원하며, 이는 데이터 레이크 내의 스트리밍 지원 데이터 세트에서 유지됩니다. 데이터 입력 기능은 수집된 데이터를 자동으로 인증하도록 구성하여 신뢰할 수 있는 소스에서 데이터가 오는지 확인할 수 있습니다.
자세한 내용은 스트리밍 수집 개요를 참조하십시오.
일괄 처리 수집
Experience Platform에서 일괄 처리는 일정 기간 동안 수집된 데이터 세트이며 단일 단위로 함께 처리됩니다. 데이터 세트는 배치로 구성됩니다. 일괄 처리 수집 을 사용하여 데이터를 일괄 처리 파일로 Experience Platform에 수집할 수 있습니다. 배치가 수집되면 배치는 성공적으로 수집된 레코드 수와 실패한 레코드 수 및 관련 오류 메시지를 설명하는 메타데이터를 제공합니다.
플랫 CSV 파일(XDM 스키마에 매핑됨) 및 Parquet 파일과 같이 수동으로 업로드한 데이터 파일은 이 방법을 사용하여 수집해야 합니다.
자세한 내용은 일괄 처리 수집 개요를 참조하십시오.
소스
Experience Platform 소스에 연결하여 데이터를 수집할 수도 있습니다. Experience Platform은 연결하고 데이터를 수집할 수 있는 다양한 데이터 소스의 카탈로그를 유지 관리합니다. 이러한 소스는 Adobe Analytics 소스 또는 Marketo Engage 소스와 같은 기본 Adobe 애플리케이션일 수 있습니다. Amazon S3 원본 및 Google Cloud Storage 원본과 같은 타사 원본에 연결할 수도 있습니다.
소스는 클라우드 저장소, 데이터베이스 및 CRM 시스템과 같은 다양한 카테고리로 그룹화됩니다. 지정된 소스는 일괄 처리 또는 스트리밍 수집을 지원할 수 있습니다.
소스를 사용하면 다양한 데이터 소스 및 다양한 사용 사례 범주의 데이터를 수집할 수 있습니다. 또한 소스를 통한 데이터 수집을 통해 외부 데이터 소스에 대해 인증하고 수집 일정을 구성하고 수집 처리량을 관리할 수 있습니다.
자세한 내용은 소스 개요를 참조하십시오.
ML 지원 스키마 만들기
이제 새로운 데이터 소스를 빠르게 통합하기 위해 머신 러닝 알고리즘을 사용하여 샘플 데이터에서 스키마를 생성할 수 있습니다. 이러한 자동화는 정확한 스키마 생성을 단순화하고 오류를 줄이며 데이터 수집에서 분석 및 통찰력에 이르는 프로세스의 속도를 높입니다.
이 워크플로에 대한 자세한 내용은 ML 지원 스키마 만들기 안내서를 참조하십시오.
데이터 준비
데이터 준비는 수집 방법이 아니지만 데이터 수집 과정에서 중요한 부분입니다. 데이터를 Experience Platform에 수집하기 위한 데이터 흐름을 생성하기 전에 데이터 준비 기능을 사용하여 XDM(Experience Data Model)과 데이터를 매핑, 변환 및 검증할 수 있습니다. 데이터 준비는 데이터 수집 프로세스 동안 Experience Platform 사용자 인터페이스에서 "매핑" 단계로 표시됩니다.
자세한 내용은 데이터 준비 개요를 참조하십시오.
스트리밍 수집 방법
다음 표에서는 Experience Platform으로 스트리밍 데이터를 수집하는 데 사용할 수 있는 다양한 방법에 대해 설명합니다.
스트리밍 소스 | |||
메서드 | 일반적인 사용 사례 | 프로토콜 | 고려 사항 |
Adobe 웹/모바일 SDK |
| 푸시, HTTP, JSON |
|
HTTP API 커넥터 |
| 푸시, REST API, JSON |
|
Edge Network API |
| 푸시, REST API, JSON |
|
Adobe 애플리케이션 |
| 푸시, Source 커넥터 및 API |
|
스트리밍 소스 |
| 푸시, REST API, JSON |
|
| 푸시, HTTP API, JSON |
|
일괄 처리 수집 방법
다음 표에서는 배치 데이터를 Experience Platform으로 수집하는 데 사용할 수 있는 다양한 방법에 대해 설명합니다.
일괄 처리 소스 | |||
메서드 | 일반적인 사용 사례 | 프로토콜 | 고려 사항 |
일괄 처리 수집 API |
| 푸시, JSON 또는 Parquet |
|
일괄 처리 소스 |
| 풀, CSV, JSON, Parquet |
|
데이터 랜딩 구역 |
| 푸시, CSV, JSON, Parquet |
|
일괄 처리 소스 SDK |
| 풀, REST API, CSV 또는 JSON |
|
다음 단계 및 추가 리소스
이 문서에서는 Experience Platform의 Data Ingestion에 대한 다양한 측면을 간략하게 소개합니다. 각 수집 방법에 대한 개요 설명서 를 계속 읽으면서 다양한 기능, 사용 사례 및 모범 사례를 숙지하십시오. 또한 아래 수집 개요 비디오를 시청하여 학습을 보완할 수도 있습니다. Experience Platform이(가) 수집된 레코드의 메타데이터를 추적하는 방법에 대한 자세한 내용은 카탈로그 서비스 개요를 참조하십시오.