API에서 소스 연결에 대한 변경 데이터 캡처 활성화

Adobe Experience Platform 소스의 변경 데이터 캡처를 사용하여 소스 및 대상 시스템을 거의 실시간으로 동기화합니다.

Experience Platform은 현재 새로 생성되거나 업데이트된 레코드를 소스 시스템에서 수집된 데이터 세트로 정기적으로 전송하는 증분 데이터 복사 ​를 지원합니다. 이 방법은 timestamp 열 ​을 사용하여 변경 내용을 추적하지만 삭제를 감지하지 않으므로 시간이 지남에 따라 데이터가 일치하지 않을 수 있습니다.

반면 변경 데이터 캡처는 거의 실시간으로 삽입, 업데이트 및 삭제를 캡처하고 적용합니다. 이러한 포괄적인 변경 사항 추적을 통해 데이터 세트를 소스 시스템과 완벽하게 연계하고 변동분 복제본이 지원하는 것 이상의 완벽한 변경 내역을 제공할 수 있습니다. 그러나 삭제 작업은 대상 데이터 세트를 사용하는 모든 애플리케이션에 영향을 미치므로 특별히 고려해야 합니다.

Experience Platform에서 데이터 캡처를 변경하려면 모델 기반 스키마(관계형 스키마라고도 함)가 있는 Data Mirror이(가) 필요합니다. 다음 두 가지 방법으로 Data Mirror에 변경 데이터를 제공할 수 있습니다.

두 가지 접근 방식 모두 관계를 유지하고 고유성을 적용하기 위해 Data Mirror에 모델 기반 스키마가 있어야 합니다.

모델 기반 스키마가 있는 Data Mirror

Data Mirror은 모델 기반 스키마를 사용하여 변경 데이터 캡처를 확장하고 고급 데이터베이스 동기화 기능을 활성화합니다. Data Mirror에 대한 개요는 Data Mirror 개요를 참조하십시오.

모델 기반 스키마는 Experience Platform을 확장하여 기본 키 고유성을 적용하고 행 수준 변경 사항을 추적하며 스키마 수준 관계를 정의합니다. 변경 데이터 캡처를 사용하면 데이터 레이크에서 직접 삽입, 업데이트 및 삭제를 적용하여 추출, 변환, 로드(ETL) 또는 수동 조정에 대한 필요성을 줄일 수 있습니다.

자세한 내용은 모델 기반 스키마 개요를 참조하십시오.

변경 데이터 캡처를 위한 모델 기반 스키마 요구 사항

변경 데이터 캡처와 함께 모델 기반 스키마를 사용하기 전에 다음 식별자를 구성합니다.

컨트롤 열 처리 control-column-handling

_change_request_type 열을 사용하여 각 행의 처리 방법을 지정하십시오.

이 열은 수집 중에만 평가되며 XDM 필드에 저장되거나 매핑되지 않습니다.

워크플로 workflow

모델 기반 스키마로 변경 데이터 캡처를 활성화하려면 다음을 수행합니다.

파일 기반 소스에 대한 변경 데이터 제공 file-based-sources

파일 기반 원본(Amazon S3, Azure Blob, Google Cloud Storage 및 SFTP)의 경우 파일에 _change_request_type 열을 포함하십시오.

위의 _change_request_type컨트롤 열 처리​ 섹션에 정의된 ​ 값을 사용하십시오.

아래의 소스별 단계를 따르십시오.

클라우드 스토리지 소스 cloud-storage-sources

다음 단계를 수행하여 클라우드 스토리지 소스에 대한 변경 데이터 캡처를 활성화합니다.

모든 클라우드 저장소 원본은 위의 _change_request_type파일 기반 원본​ 섹션에서 설명한 것과 동일한 ​ 열 형식을 사용합니다.

데이터베이스 소스 database-sources

Azure Databricks

변경 데이터 캡처를 Azure Databricks과(와) 함께 사용하려면 소스 테이블에서 변경 데이터 피드 ​를 사용하도록 설정하고 Experience Platform에서 모델 기반 스키마로 Data Mirror을 구성해야 합니다.

다음 명령을 사용하여 테이블에서 변경 데이터 피드를 활성화합니다.

새 테이블

변경 데이터 피드를 새 테이블에 적용하려면 delta.enableChangeDataFeed 명령에서 테이블 속성 TRUE을(를) CREATE TABLE(으)로 설정해야 합니다.

CREATE TABLE student (id INT, name STRING, age INT) TBLPROPERTIES (delta.enableChangeDataFeed = true)

기존 테이블

기존 테이블에 변경 데이터 피드를 적용하려면 delta.enableChangeDataFeed 명령에서 테이블 속성 TRUE을(를) ALTER TABLE(으)로 설정해야 합니다.

ALTER TABLE myDeltaTable SET TBLPROPERTIES (delta.enableChangeDataFeed = true)

새 테이블 모두

모든 새 테이블에 변경 데이터 피드를 적용하려면 기본 속성을 TRUE(으)로 설정해야 합니다.

set spark.databricks.delta.properties.defaults.enableChangeDataFeed = true;

자세한 내용은 변경 데이터 피드를 사용하는 방법에 대한 Azure Databricks 안내서를 참조하세요.

Azure Databricks 소스 연결에 변경 데이터 캡처를 활성화하는 방법에 대한 단계는 다음 설명서를 참조하십시오.

Data Landing Zone

변경 데이터 캡처를 Data Landing Zone과(와) 함께 사용하려면 소스 테이블에서 변경 데이터 피드 ​를 사용하도록 설정하고 Experience Platform에서 모델 기반 스키마로 Data Mirror을 구성해야 합니다.

Data Landing Zone 소스 연결에 변경 데이터 캡처를 활성화하는 방법에 대한 단계는 다음 설명서를 참조하십시오.

Google BigQuery

Google BigQuery에서 변경 데이터 캡처를 사용하려면 소스 테이블에서 변경 기록을 활성화하고 Experience Platform에서 모델 기반 스키마를 사용하여 Data Mirror을 구성해야 합니다.

Google BigQuery 원본 연결에서 변경 기록을 사용하려면 Google BigQuery 콘솔에서 Google Cloud 페이지로 이동하여 enable_change_history을(를) TRUE(으)로 설정하십시오. 이 속성을 사용하면 데이터 테이블에 대한 변경 내역을 사용할 수 있습니다.

자세한 내용은 ​ GoogleSQL의 ​데이터 정의 언어 구문에 대한 안내서를 참조하십시오.

Google BigQuery 소스 연결에 변경 데이터 캡처를 활성화하는 방법에 대한 단계는 다음 설명서를 참조하십시오.

Snowflake

Snowflake에서 변경 데이터 캡처를 사용하려면 소스 테이블에서 변경 추적 ​을 사용하도록 설정하고 Experience Platform에서 모델 기반 스키마로 Data Mirror을 구성해야 합니다.

Snowflake에서 ALTER TABLE을(를) 사용하고 CHANGE_TRACKING을(를) TRUE(으)로 설정하여 변경 내용 추적을 사용하도록 설정합니다.

ALTER TABLE mytable SET CHANGE_TRACKING = TRUE

자세한 내용은 Snowflake 변경 내용 절 사용 가이드를 참조하십시오.

Snowflake 소스 연결에 변경 데이터 캡처를 활성화하는 방법에 대한 단계는 다음 설명서를 참조하십시오.