데이터 수집 보호
IMPORTANT
일괄 처리 및 스트리밍 수집에 대한 보호는 일반적으로 샌드박스 수준이 아닌 조직 수준에서 계산됩니다. 즉, 샌드박스당 데이터 사용량이 전체 조직에 해당하는 총 라이선스 사용 권한에 바인딩됩니다. 또한 개발 샌드박스의 데이터 사용은 총 프로필의 10%로 제한됩니다. 라이선스 사용 권한에 대한 자세한 내용은 데이터 관리 모범 사례 가이드를 참조하세요.
가드레일은 Adobe Experience Platform에서 데이터 및 시스템 사용, 성능 최적화 및 오류나 예기치 않은 결과의 회피를 위한 지침을 제공하는 임계값입니다. 보호 기능은 라이선스 권한과 관련하여 데이터 사용 또는 소비 및 처리를 의미할 수 있습니다.
IMPORTANT
이 보호 기능 페이지 외에 실제 사용 제한에 대해 판매 주문에서 라이선스 자격 및 해당 제품 설명을(를) 확인하십시오.
이 문서에서는 Adobe Experience Platform의 데이터 수집을 위한 보호 기능에 대한 지침을 제공합니다.
일괄 처리 수집 보호 기능
다음 표에서는 일괄 처리 수집 API 또는 소스를 사용할 때 고려해야 할 경고에 대해 설명합니다.
수집 유형
지침
참고
일괄 처리 수집 API를 사용한 데이터 레이크 수집
- Adobe은 한 묶음에 있는 파일 수를 10,000개 미만으로 유지하는 것을 권장합니다. 10,000개 이상의 파일이 포함된 배치는 적시에 효율적으로 수집되지 않습니다.
- Adobe은 배치 크기를 100GB 미만으로 유지하는 것을 권장합니다. 100GB가 넘는 배치는 시기적절하고 효율적인 방식으로 수집되지 않습니다.
- 일괄 처리 수집 API를 사용하여 시간당 최대 20GB의 데이터를 데이터 레이크로 수집할 수 있습니다.
- 배치당 최대 파일 수는 25,000개입니다. 25,000개 이상의 파일이 포함된 배치는 수집 시 실패합니다.
- 최대 배치 크기는 1TB입니다. 1TB보다 큰 배치는 수집 시 실패합니다.
- 최대 CDC(변경 데이터 캡처) 배치 크기는 100GB입니다.
- 행당 최대 속성 또는 필드 수는 10000.
- 사용자당 분당 최대 배치 수는 2000개입니다.
일괄 처리가 강제 적용된 파일 수 또는 일괄 처리 크기 제한을 초과하는 경우 수집이 실패하고 오류 메시지가 초과된 임계값을 식별합니다. 예:
Batch ingestion guardrails hit: 25143 files (over the 25000 threshold); 1150000000000 bytes (over the 1099511627776 threshold)일괄 처리 소스를 사용한 데이터 레이크 수집
- Adobe은 한 묶음에 있는 파일 수를 10,000개 미만으로 유지하는 것을 권장합니다. 10,000개 이상의 파일이 포함된 배치는 적시에 효율적으로 수집되지 않습니다.
- Adobe은 배치 크기를 100GB 미만으로 유지하는 것을 권장합니다. 100GB가 넘는 배치는 시기적절하고 효율적인 방식으로 수집되지 않습니다.
- Azure Blob, Amazon S3 및 SFTP과(와) 같은 일괄 처리 수집 소스를 사용하여 시간당 최대 200GB의 데이터를 데이터 레이크로 수집할 수 있습니다.
- 배치 크기는 256MB에서 1TB 사이여야 합니다. 1TB보다 큰 배치는 수집 시 실패합니다. 압축되지 않은 데이터와 압축된 데이터 모두에 적용됩니다. 압축된 데이터가 데이터 레이크에서 압축되지 않은 경우 이러한 제한 사항이 적용됩니다.
- 배치당 최대 파일 수는 25,000개입니다. 25,000개 이상의 파일이 포함된 배치는 수집 시 실패합니다.
- 파일 또는 폴더의 최소 크기는 1바이트입니다. 0바이트 크기 파일 또는 폴더는 수집할 수 없습니다.
데이터 수집에 사용할 수 있는 소스 카탈로그의 경우 소스 개요를 읽어 보십시오. 일괄 처리가 강제 적용된 파일 수 또는 일괄 처리 크기 제한을 초과하는 경우 수집이 실패하고 오류 메시지가 초과된 임계값을 식별합니다.
프로필에 일괄 처리 수집
- 레코드 클래스의 최대 크기는 100KB(하드)입니다.
- ExperienceEvent 클래스의 최대 크기는 10KB(하드)입니다.
하루에 수집된 프로필 또는 ExperienceEvent 배치 수
하루에 수집되는 프로필 또는 ExperienceEvent 일괄 처리의 최대 수는 샌드박스당 90개입니다. 즉, 매일 수집된 프로필 및 ExperienceEvent 배치의 총 합은 90을 초과할 수 없습니다. 추가 배치를 수집하면 시스템 성능에 영향을 줍니다.
이는 소프트 제한입니다. 소프트 제한을 넘어설 수 있지만 소프트 제한은 시스템 성능에 대한 권장 지침을 제공합니다. 또한 이 가드레일은 조직 단위가 아닌 샌드박스 단위 단위로 이루어집니다.
암호화된 데이터 수집
단일 암호화 파일의 최대 지원 크기는 1GB입니다. 예를 들어 단일 데이터 흐름 실행에서 2GB 이상의 데이터를 수집할 수 있지만 데이터 흐름 실행의 개별 파일이 1GB를 초과할 수는 없습니다.
암호화된 데이터를 수집하는 과정은 일반 데이터 수집보다 시간이 더 오래 걸릴 수 있다. 자세한 내용은 암호화된 데이터 수집 API 안내서를 참조하십시오.
일괄 처리 수집 업데이트
업데이트 일괄 처리 수집은 일반 일괄 처리보다 최대 10배 느릴 수 있으므로, 효율적인 런타임과 샌드박스에서 다른 일괄 처리가 처리되지 않도록 업데이트 일괄 처리를 2백만 개 기록 미만으로 유지해야 합니다.
200만 개의 레코드를 초과하는 일괄 처리를 수집할 수 있지만 작은 샌드박스의 한계로 인해 수집 시간이 상당히 길어집니다.
NOTE
권장되는 배치 크기 및 파일 수는 성능 지침이며 강제 제한이 아닙니다. 10,000~25,000개의 파일 또는 100GB 이상 최대 1TB의 파일을 포함하는 일반 배치를 수집할 수 있지만 이러한 배치가 적시에 효율적으로 수집될 수는 없습니다. 적용 가능한 강제 한도를 초과하는 배치는 수집 시 실패합니다.
스트리밍 수집 보호 기능
스트리밍 수집을 위한 보호 기능에 대한 자세한 내용은 스트리밍 수집 개요를 참조하십시오.
스트리밍 소스 보호 기능
다음 표에서는 스트리밍 소스 사용 시 고려해야 할 가드레일에 대해 설명합니다.
수집 유형
지침
참고
스트리밍 소스
- 최대 레코드 크기는 1MB이며 권장 크기는 10KB입니다.
- 스트리밍 소스는 데이터 레이크로 수집할 때 초당 4000~5000개의 요청을 지원합니다. 이는 기존 소스 연결뿐만 아니라 새로 생성된 소스 연결 모두에 적용됩니다. 참고: 스트리밍 데이터가 데이터 레이크로 완전히 처리되는 데 최대 60분이 걸릴 수 있습니다.
- 스트리밍 소스는 프로필로 데이터를 수집하거나 스트리밍 세분화를 수행할 때 초당 최대 1500개의 요청을 지원합니다.
Kafka, Azure Event Hubs 및 Amazon Kinesis과(와) 같은 스트리밍 원본은 Data Collection Core Service(DCCS) 경로를 사용하지 않으며 다른 처리량 제한을 가질 수 있습니다. 데이터 수집에 사용할 수 있는 소스 카탈로그는 소스 개요를 참조하십시오.
다음 단계
Real-Time CDP 제품 설명 문서의 기타 Experience Platform 서비스 보호, 종단 간 지연 정보 및 라이선스 정보에 대한 자세한 내용은 다음 설명서를 참조하십시오.
recommendation-more-help
experience-platform-help-ingestion