일괄 처리 데이터 수집

마지막 업데이트: 2025년 6월 5일

작성 대상:

  • 초급
  • 중간
  • 개발자

이 단원에서는 다양한 방법을 사용하여 배치 데이터를 Experience Platform에 수집합니다.

일괄 데이터 수집을 사용하면 한 번에 많은 양의 데이터를 Adobe Experience Platform으로 수집할 수 있습니다. Platform의 인터페이스 내에서 또는 API를 사용하여 일괄 데이터를 한 번에 업로드할 수 있습니다. Source 커넥터를 사용하여 클라우드 스토리지 서비스와 같은 서드파티 서비스에서 정기적으로 예약된 일괄 업로드를 구성할 수도 있습니다.

데이터 엔지니어 ​는 이 자습서 외부에서 일괄 데이터를 수집해야 합니다.

연습을 시작하기 전에 이 짧은 비디오를 시청하여 데이터 수집에 대해 자세히 알아보십시오.

권한 필요

권한 구성 단원에서 이 단원을 완료하는 데 필요한 모든 액세스 제어를 설정합니다.

소스 연습을 수행하려면 (S)FTP 서버 또는 클라우드 스토리지 솔루션에 액세스해야 합니다. 없는 경우 해결 방법이 있습니다.

Platform 사용자 인터페이스를 사용하여 데이터 배치 수집

데이터는 JSON 및 Parquet 형식으로 데이터 세트 화면의 데이터 세트에 직접 업로드할 수 있습니다. 이는 을(를) 만든 후 일부 데이터의 수집을 테스트하는 좋은 방법입니다

데이터 다운로드 및 준비

먼저 샘플 데이터를 가져와 테넌트에 맞게 사용자 지정합니다.

노트
luma-data.zip 파일에 포함된 데이터는 가상 데이터이며 데모용으로만 사용됩니다.

  1. Luma 튜토리얼 Assets 폴더에 luma-data.zip을(를) 다운로드합니다.

  2. 파일의 압축을 풀고 이 단원에서 사용할 4개의 데이터 파일이 포함된 luma-data 폴더를 만듭니다.

  3. 텍스트 편집기에서 luma-loyalty.json을(를) 열고 _techmarketingdemos의 모든 인스턴스를 고유한 스키마에 표시된 대로 고유한 밑줄 테넌트 ID로 바꿉니다.
    밑줄 테넌트 ID

  4. 업데이트된 파일 저장

데이터 수집

  1. Platform 사용자 인터페이스의 왼쪽 탐색에서 데이터 세트 ​를 선택합니다

  2. Luma Loyalty Dataset 열기

  3. 오른쪽 열에 데이터 추가 섹션이 표시될 때까지 아래로 스크롤합니다.

  4. luma-loyalty.json 파일을 업로드합니다.

  5. 파일이 업로드되면 배치에 대한 행이 나타납니다

  6. 몇 분 후 페이지를 다시 로드하면 1000개의 레코드와 1000개의 프로필 조각과 함께 배치가 성공적으로 업로드된 것을 볼 수 있습니다.

    수집

노트
이 단원의 다양한 화면에서 볼 수 있는 몇 가지 옵션인 오류 진단 및 부분 수집 ​이 있습니다. 이러한 옵션은 자습서에서 다루지 않습니다. 몇 가지 빠른 정보:
  • 오류 진단을 활성화하면 데이터 수집에 대한 데이터가 생성되고 이 데이터는 Data Access API를 사용하여 검토할 수 있습니다. 자세한 내용은 설명서를 참조하세요.
  • 부분 수집을 사용하면 지정 가능한 특정 임계값까지, 오류가 포함된 데이터를 수집할 수 있습니다. 자세한 내용은 설명서를 참조하세요.

데이터 유효성 검사

데이터가 성공적으로 수집되었는지 확인하는 방법에는 몇 가지가 있습니다.

Platform 사용자 인터페이스에서 유효성 검사

데이터가 데이터 세트에 수집되었는지 확인하려면:

  1. 데이터를 수집한 페이지에서 오른쪽 상단의 데이터 집합 미리 보기 단추를 선택합니다.

  2. 미리 보기 단추를 선택하면 수집된 데이터 중 일부를 볼 수 있습니다.

    성공한 데이터 집합 미리 보기

데이터가 프로필에 도달했는지 확인하려면(데이터가 도착하는 데 몇 분 정도 걸릴 수 있음):

  1. 왼쪽 탐색에서 프로필(으)로 이동
  2. ID 네임스페이스 선택 필드 옆의 아이콘을 선택하여 모달을 엽니다.
  3. Luma Loyalty Id 네임스페이스 선택
  4. 그런 다음 데이터 집합 5625458에서 loyaltyId 값 중 하나를 입력하십시오.
  5. 보기 선택
    데이터 집합에서 프로필 확인

데이터 수집 이벤트로 유효성 검사

이전 단원에서 데이터 수집 이벤트를 구독한 경우 고유한 webhook.site URL을 확인합니다. 세 개의 요청이 다음 순서로 표시되고 그 사이에 시간이 좀 걸리며 다음 eventCode 값이 표시됩니다.

  1. ing_load_success—수집된 일괄 처리
  2. ig_load_success - 배치가 id 그래프로 수집되었습니다.
  3. ps_load_success - 배치가 프로필 서비스에 수집되었습니다.

데이터 수집 Webhook

알림에 대한 자세한 내용은 설명서를 참조하세요.

Platform API를 사용하여 데이터 배치 수집

이제 API를 사용하여 데이터를 업로드하겠습니다.

노트
데이터 설계자는 사용자 인터페이스 메서드를 통해 CRM 데이터를 자유롭게 업로드할 수 있습니다.

데이터 다운로드 및 준비

  1. Luma Tutorial Assets 폴더에 luma-data.zip을(를) 이미 다운로드하고 압축 해제했어야 합니다.
  2. 텍스트 편집기에서 luma-crm.json을(를) 열고 스키마에 표시된 대로 _techmarketingdemos의 모든 인스턴스를 고유한 밑줄 테넌트 ID로 바꾸십시오.
  3. 업데이트된 파일 저장

데이터 세트 ID 가져오기

먼저 데이터를 수집할 데이터 세트의 데이터 세트 ID를 가져옵니다.

  1. Postman 열기
  2. 액세스 토큰이 없는 경우 Postman 단원에서 수행한 것처럼 OAuth: Request Access Token 요청을 열고 보내기 ​를 선택하여 새 액세스 토큰을 요청합니다.
  3. 환경 변수를 열고 CONTAINER_ID ​의 값이 여전히 tenant인지 확인하십시오
  4. Catalog Service API > Datasets > Retrieve a list of datasets. 요청을 열고 보내기 ​를 선택합니다.
  5. 200 OK 응답을 받아야 합니다.
  6. 응답 본문에서 Luma CRM Dataset의 ID 복사
    데이터 세트 ID 가져오기