배치 데이터 수집

이 단원에서는 다양한 방법을 사용하여 배치 데이터를 Experience Platform에 수집합니다.

배치 데이터 섭취 를 사용하면 많은 양의 데이터를 한 번에 Adobe Experience Platform에 수집할 수 있습니다. 플랫폼의 인터페이스 내에서 또는 API를 사용하여 한 번에 배치 데이터를 업로드할 수 있습니다. 소스 커넥터를 사용하여 클라우드 스토리지 서비스와 같은 타사 서비스에서 정기적으로 예약된 배치 업로드를 구성할 수도 있습니다.

Data Engineer는 이 자습서 외부에서 배치 데이터를 수집해야 합니다.

연습을 시작하기 전에 이 짧은 비디오에서 데이터 처리에 대해 자세히 알아보십시오.

필요한 권한

권한 구성 단원에서는 이 단원을 완료하는 데 필요한 모든 액세스 컨트롤을 설정합니다. 특히

  • 권한 항목 데이터 관리 > 데이터 세트 보기, 데이터 세트 관리데이터 모니터링
  • 권한 항목 데이터 수집 > 소스 보기소스 관리
  • 권한 항목 프로필 관리 > 프로필 보기
  • 권한 항목 샌드박스 > Luma Tutorial
  • Luma Tutorial Platform 제품 프로필에 대한 사용자 역할 액세스
  • Luma Tutorial Platform 제품 프로필에 대한 개발자 역할 액세스(API용)

또한 소스 연습을 위해 (S) FTP 서버 또는 클라우드 스토리지 솔루션에 액세스할 수 있어야 합니다.

플랫폼 UI를 사용하여 데이터를 일괄 처리로 처리

데이터는 JSON 및 Parquet 형식으로 데이터 세트 화면의 데이터 세트에 직접 업로드할 수 있습니다.

데이터 다운로드 및 준비

먼저 샘플 데이터를 가져와서 테넌트에 대해 사용자 지정합니다.

노트

luma-data.zip 파일에 포함된 데이터는 가상의 것이며 데모용으로만 사용됩니다.

  1. luma-data.zipLuma 자습서 자산 폴더에 다운로드합니다.

  2. 파일의 압축을 풀고 이 단원에서 사용할 4개의 데이터 파일이 포함된 luma-data 폴더를 만듭니다

  3. 텍스트 편집기에서 luma-loyalty.json 를 열고 자체 스키마에서 보듯이 _techmarketingdemos 의 모든 인스턴스를 밑줄이 있는 테넌트 ID로 바꿉니다.
    밑줄 테넌트 ID

  4. 업데이트된 파일을 저장합니다

데이터 수집

  1. 플랫폼 UI의 왼쪽 탐색에서 데이터 세트 를 선택합니다

  2. Luma Loyalty Dataset에서 선택합니다.

  3. 오른쪽 열에 데이터 추가 섹션이 표시될 때까지 아래로 스크롤합니다.

  4. luma-loyalty.json 파일을 업로드합니다.

  5. 파일이 업로드되면 배치에 대한 행이 나타납니다

  6. 몇 분 후에 페이지를 다시 로드하는 경우 일괄 처리가 1000개의 레코드 및 1000개의 프로필 조각으로 성공적으로 업로드되었음을 확인해야 합니다.

    수집

노트

이 단원의 다양한 화면에 표시되는 오류 진단부분 수집 옵션이 있습니다. 이러한 옵션은 자습서에서 다루지 않습니다. 일부 빠른 정보:

  • 오류 진단을 활성화하면 데이터 처리에 대한 데이터가 생성되며, 그런 다음 데이터 액세스 API를 사용하여 검토할 수 있습니다. 자세한 내용은 설명서에서 알아보십시오.
  • 부분 수집에서는 오류가 포함된 데이터를 지정할 수 있는 특정 임계값까지 수집할 수 있습니다. 자세한 내용은 설명서에서 알아보십시오

데이터 유효성 검사

데이터를 성공적으로 수집했는지 확인하는 방법에는 몇 가지가 있습니다.

플랫폼 UI에서 유효성 검사

데이터가 데이터 집합에 수집되었는지 확인하려면:

  1. 데이터를 수집한 동일한 페이지에서 오른쪽 상단에 있는 데이터 세트 미리 보기 단추를 선택합니다

  2. 미리 보기 단추를 선택하면 수집된 데이터 중 일부를 볼 수 있습니다.

    성공적인 데이터 세트 미리 보기

데이터가 프로필에 도착했는지 확인하려면(데이터가 도착하는 데 몇 분 정도 걸릴 수 있음):

  1. 왼쪽 탐색 영역에서 프로필​로 이동합니다.

  2. ID 네임스페이스 선택 필드 옆에 있는 아이콘을 선택하여 모달을 엽니다

  3. Luma Loyalty Id 네임스페이스를 선택합니다

  4. 그런 다음 데이터 세트에 있는 loyaltyId 값 중 하나를 입력합니다. 5625458

  5. 보기 선택

    데이터 세트에서 프로필 확인

데이터 수집 이벤트를 사용한 유효성 검사

이전 단원에서 데이터 수집 이벤트를 구독한 경우 고유한 webhook.site URL을 확인합니다. 다음 eventCode 값이 있는 시간이 있고 다음 순서로 세 개의 요청이 표시됩니다.

  1. ing_load_success- 수집된 일괄 처리
  2. ig_load_success—일괄 처리를 id 그래프로 수집했습니다.
  3. ps_load_success—일괄 처리를 프로필 서비스에 수집했습니다.

데이터 수집 웹후크

알림에 대한 자세한 내용은 설명서를 참조하십시오.

플랫폼 API를 사용하여 데이터를 일괄로 수집

이제 API를 사용하여 데이터를 업로드하겠습니다.

노트

데이터 설계자는 UI 방법을 통해 자유롭게 CRM 데이터를 업로드합니다.

데이터 다운로드 및 준비

  1. luma-data.zip 을 이미 Luma Tutorial Assets 폴더에 다운로드하여 압축을 푼 상태여야 합니다.
  2. 텍스트 편집기에서 luma-crm.json 를 열고 스키마에 표시된 대로 _techmarketingdemos 의 모든 인스턴스를 고유한 밑줄-테넌트 ID로 바꿉니다
  3. 업데이트된 파일을 저장합니다

데이터 세트 ID 가져오기

먼저 데이터를 수집할 데이터 세트의 데이터 세트 ID를 가져오겠습니다.

  1. 열기 Postman
  2. 지난 24시간 동안 요청을 하지 않은 경우 인증 토큰이 만료되었을 수 있습니다. Adobe I/O Access Token Generation > Local Signing (Non-production use-only) > IMS: JWT Generate + Auth via User Token 요청을 열고 Send 를 선택하여 Postman 단원에서 했던 것처럼 새 JWT 및 액세스 토큰을 요청합니다.
  3. 환경 변수를 열고 CONTAINER_ID 값이 여전히 tenant인지 확인합니다
  4. 요청 Catalog Service API > Datasets > Retrieve a list of datasets.​을 열고 Send​를 선택합니다.
  5. 200 OK 응답이 있어야 합니다.
  6. 응답 본문에서 Luma CRM Dataset ID를 복사합니다
    데이터 세트 ID 가져오기

배치 만들기

이제 데이터 세트에서 일괄 처리를 만들 수 있습니다.

  1. 데이터 수집 API.postman_collection.jsonLuma Tutorial Assets 폴더로 다운로드합니다

  2. 컬렉션을 Postman에 가져오기

  3. 요청 Data Ingestion API > Batch Ingestion > Create a new batch in Catalog Service.​을 선택합니다

  4. 다음을 요청의 Body​로 붙여 넣고 datasetId 값을 고유한​로 바꿉니다.

    {
        "datasetId":"REPLACE_WITH_YOUR_OWN_DATASETID",
        "inputFormat": {
            "format": "json"
        }
    }
    
  5. Send 단추를 선택합니다.

  6. 새 일괄 처리의 ID가 포함된 201 생성 응답이 있어야 합니다!

  7. 새 일괄 처리의 id 을 복사합니다.
    일괄 생성

데이터 수집

이제 데이터를 배치에 업로드할 수 있습니다.

  1. 요청 Data Ingestion API > Batch Ingestion > Upload a file to a dataset in a batch.​을 선택합니다

  2. 매개 변수 탭에서 데이터 세트 ID와 배치 ID를 각각의 필드에 입력합니다

  3. Params 탭에서 luma-crm.jsonfilePath 로 입력합니다.

  4. Body 탭에서 이진 옵션을 선택합니다

  5. 로컬 Luma Tutorial Assets 폴더에서 다운로드한 luma-crm.json을 선택합니다

  6. 보내기​를 선택하면 응답 본문에 '1'이 있는 200 OK 응답이 있어야 합니다

    업로드된 데이터

이제 플랫폼 UI에서 일괄 처리를 보면 "로드 중" 상태가 표시됩니다.
일괄 로드

배치 API는 여러 파일을 업로드하는 데 종종 사용되므로 일괄 처리가 완료되면 Platform에 알려 주어야 하며, 이 작업은 다음 단계에서 수행합니다.

일괄 처리를 완료합니다

배치를 완료하려면

  1. 요청 Data Ingestion API > Batch Ingestion > Finish uploading a file to a dataset in a batch.​을 선택합니다

  2. Params 탭에서 COMPLETEaction​로 입력합니다.

  3. 매개 변수 탭에서 배치 ID를 입력합니다. 데이터 세트 ID나 filePath가 있는 경우 걱정하지 마십시오.

  4. POST의 URL이 https://platform.adobe.io/data/foundation/import/batches/:batchId?action=COMPLETE이고 datasetId 또는 filePath에 대한 불필요한 참조가 없는지 확인합니다

  5. 보내기​를 선택하면 응답 본문에 '1'이 있는 200 OK 응답이 있어야 합니다

    일괄 처리 완료

데이터 유효성 검사

플랫폼 UI에서 유효성 검사

충성도 데이터 세트에 대해 수행한 것처럼 Platform UI에 데이터가 전달되었는지 확인합니다.

먼저, 1000개의 레코드가 수집되었음을 나타내는 일괄 처리를 확인합니다.

일괄 처리 성공

그런 다음 미리 보기 데이터 세트를 사용하여 배치를 확인합니다.

일괄 미리 보기

마지막으로 Luma CRM Id 네임스페이스(예: 112ca06ed53d3db37e4cea49cc45b71e)로 프로필 중 하나를 검색하여 프로필 중 하나가 만들어졌는지 확인합니다

수집된 프로필

제가 지적하고 싶은 한가지 흥미로운 사실이 있습니다. 해당 Danny Wright 프로필을 엽니다. 프로필에는 LumacrmidLumaloyaltyid이 모두 있습니다. Luma Loyalty Schema에 Luma 충성도 ID와 CRM ID라는 두 개의 ID 필드가 포함되어 있다는 것을 기억하십시오. 두 데이터 세트를 모두 업로드했으므로 하나의 프로필에 병합되었습니다. 충성도 데이터에는 Daniel 이 이름과 홈 주소가 있고, CRM 데이터에는 Danny 가 이름과 Portland 가 동일한 충성도 ID를 가진 고객의 홈 주소로 있었습니다. 병합 정책에 대한 단원에서 이름 이름에 Danny이 표시되는 이유를 다시 살펴보겠습니다.

축하합니다. 프로필을 병합했습니다.

프로필 병합됨

데이터 수집 이벤트를 사용한 유효성 검사

이전 단원에서 데이터 수집 이벤트를 구독한 경우 고유한 webhook.site URL을 확인합니다. 충성도 데이터와 마찬가지로 세 개의 요청이 들어오는 것을 볼 수 있습니다.

데이터 수집 웹후크

알림에 대한 자세한 내용은 설명서를 참조하십시오.

워크플로우를 사용하여 데이터 수집

데이터를 업로드하는 다른 방법을 살펴보겠습니다. 워크플로우 기능을 사용하면 XDM에서 아직 모델링되지 않은 CSV 데이터를 수집할 수 있습니다.

데이터 다운로드 및 준비

  1. luma-data.zip 을 이미 Luma Tutorial Assets 폴더에 다운로드하여 압축을 푼 상태여야 합니다.
  2. luma-products.csv이 있는지 확인합니다.

워크플로우 만들기

이제 워크플로우를 설정하겠습니다.

  1. 왼쪽 탐색 영역에서 워크플로우​로 이동합니다.
  2. XDM 스키마에 CSV 매핑​을 선택하고 Launch 단추를 선택합니다
    워크플로우 시작
  3. Luma Product Catalog Dataset 을 선택하고 다음 단추를 선택합니다.
    데이터 세트 선택
  4. 다운로드한 luma-products.csv 파일을 추가하고 다음 단추를 선택합니다
    데이터 세트 선택
  5. 이제 매퍼 인터페이스에 있습니다. 이 인터페이스에서 소스 데이터(luma-products.csv 파일의 열 이름 중 하나)의 필드를 대상 스키마의 XDM 필드에 매핑할 수 있습니다. 이 예제에서 열 이름은 매퍼가 올바른 매핑을 자동으로 감지할 수 있는 스키마 필드 이름과 충분히 비슷합니다. 매퍼가 올바른 필드를 자동으로 감지할 수 없는 경우 대상 필드의 오른쪽에 있는 아이콘을 선택하여 올바른 XDM 필드를 선택합니다. 또한 CSV에서 열 중 하나를 수집하지 않으려면 매퍼에서 행을 삭제할 수 있습니다. 언제든지 luma-products.csv에서 열 제목을 재생 및 변경하여 매퍼 작동 방식을 알 수 있습니다.
  6. 완료 단추를 선택합니다.
    데이터 세트 선택

데이터 유효성 검사

일괄 처리가 업로드되면 데이터 세트를 미리 보고 업로드를 확인합니다.

Luma Product SKU은(는) 사람이 아닌 네임스페이스이므로 제품 sku에 대한 프로필이 표시되지 않습니다.

웹 후크에 대한 세 개의 히트가 표시됩니다.

소스를 사용하여 데이터 처리

그래, 넌 힘든 일을 했어 이제 약속된 자동화된 일괄 처리가 완료되는 영역으로 넘어갑시다! "SET IT!"라고 말하면 "잊어버려!"라고 하시는군요. "설정!" "잊어버려!" "설정!" "잊어버려!" 농담입니다, 절대로 그런 짓을 하지 않을 겁니다! 좋아, 다시 일하자 거의 다 끝났어

왼쪽 탐색에서 소스​로 이동하여 소스 카탈로그를 엽니다. 여기서는 업계 최고의 데이터 및 스토리지 공급자와 완벽하게 통합되는 다양한 기능을 확인할 수 있습니다.

소스 카탈로그

좋아요, 소스 커넥터를 사용하여 데이터를 수집합시다.

이 운동은 선택-자신만의 모험 스타일이 될 것이다. FTP 소스 커넥터를 사용하는 워크플로우를 표시합니다. 회사에서 사용하는 다른 클라우드 스토리지 소스 커넥터를 사용하거나 충성도 데이터를 사용하여 수행한 것처럼 데이터 세트 UI를 사용하여 json 파일을 업로드할 수 있습니다.

많은 소스에는 다음과 유사한 구성 워크플로우가 있으며, 이 워크플로우는 다음과 같습니다.

  1. 인증 세부 정보를 입력합니다
  2. 수집할 데이터를 선택합니다
  3. 수집할 Platform 데이터 세트를 선택합니다
  4. 필드를 XDM 스키마에 매핑
  5. 해당 위치에서 데이터를 수집할 빈도를 선택합니다
노트

이 연습에서 사용할 오프라인 구매 데이터에는 datetime 데이터가 포함됩니다. 날짜/시간 데이터는 ISO 8061 형식의 문자열("2018-07-10T15:05:59.000-08:00") 또는 Unix 시간(밀리초)으로 지정되며 수집 시 대상 XDM 유형으로 변환됩니다. 데이터 변환 및 기타 제약에 대한 자세한 내용은 배치 수집 API 설명서를 참조하십시오.

선호하는 클라우드 스토리지 공급업체로 데이터를 다운로드, 준비 및 업로드합니다

  1. luma-data.zip 을 이미 Luma Tutorial Assets 폴더에 다운로드하여 압축을 푼 상태여야 합니다.
  2. 텍스트 편집기에서 luma-offline-purchases.json 를 열고 스키마에 표시된 대로 _techmarketingdemos 의 모든 인스턴스를 고유한 밑줄-테넌트 ID로 바꿉니다
  3. 선호하는 클라우드 스토리지 공급자를 선택하여 소스 카탈로그에서 사용할 수 있는지 확인합니다.
  4. 기본 설정 클라우드 저장소 공급자의 위치에 luma-offline-purchases.json 업로드

데이터를 원하는 클라우드 스토리지 위치에 수집

  1. 플랫폼 UI에서 소스 카탈로그를 클라우드 저장소​로 필터링합니다

  2. ... 아래에 편리한 설명서 링크가 있습니다.

  3. 기본 설정 클라우드 스토리지 공급업체의 상자에서 구성 단추를 선택합니다
    구성 선택

  4. ​인증은 첫 번째 단계입니다. 계정 이름(예: Luma's FTP Account 및 인증 세부 정보)을 입력합니다. 이 단계는 필드가 약간 다를 수 있지만 모든 클라우드 스토리지 소스에서 매우 유사해야 합니다. 계정에 대한 인증 세부 정보를 입력하면 동일한 계정의 다른 파일과 다른 일정에 있는 다른 데이터를 전송할 수 있는 다른 소스 연결에 대해 다시 사용할 수 있습니다

  5. 소스에 연결 단추를 선택합니다.

  6. Platform이 소스에 연결되면 다음 단추를 선택합니다.
    소스 인증

  7. 데이터 선택 단계에서 UI는 자격 증명을 사용하여 클라우드 스토리지 솔루션의 폴더를 엽니다

  8. 수집할 파일(예: luma-offline-purchases.json)을 선택합니다

  9. 데이터 형식​으로 XDM JSON를 선택합니다

  10. 그런 다음 파일에서 json 구조 및 샘플 데이터를 미리 볼 수 있습니다

  11. 다음 단추를 선택합니다.
    데이터 파일 선택

  12. 매핑 단계에서 Luma Offline Purchase Event Dataset을 선택하고 다음 단추를 선택합니다. 수집 중인 데이터가 JSON 파일이므로 소스 필드를 대상 필드에 매핑하는 매핑 단계가 없다는 메시지 내용을 참조하십시오. JSON 데이터는 이미 XDM에 있어야 합니다. CSV를 수집하는 경우 이 단계에서 전체 매핑 UI가 표시됩니다.
    데이터 세트 선택

  13. 예약 단계에서 소스에서 데이터를 재수집할 빈도를 선택합니다. 잠시 옵션을 살펴보십시오. 한 번만 수집하려고 하므로 Once​의 Frequency​을(를) 두고 Next 단추를 선택하십시오.
    데이터 흐름 예약

  14. 데이터 흐름 세부 정보 단계에서 데이터 흐름의 이름을 선택하고, 선택적 설명을 입력하고, 오류 진단을 설정하고, 부분 수집을 설정할 수 있습니다. 설정을 그대로 두고 다음 단추를 선택합니다.
    데이터 플로우 세부 사항 편집

  15. 검토 단계에서 모든 설정을 함께 검토하고 편집하거나 완료 단추를 선택할 수 있습니다

  16. 저장한 후에 다음과 같은 화면에 표시됩니다.
    완료

데이터 유효성 검사

일괄 처리가 업로드되면 데이터 세트를 미리 보고 업로드를 확인합니다.

웹 후크에 대한 세 개의 히트가 표시됩니다.

프로필에 구매 이벤트가 있는지 확인하려면 loyaltyId 네임스페이스에서 값 5625458이 있는 프로필을 다시 찾습니다. 구매가 한 개 표시됩니다. JSON 보기​를 선택하여 구매 세부 사항을 검토할 수 있습니다.

프로필의 구매 이벤트

ETL 도구

Adobe은 여러 ETL 공급업체와 협력하여 Experience Platform으로 데이터 수집을 지원합니다. 다양한 타사 공급업체로 인해 ETL은 이 자습서에서 다루지 않지만, 다음 리소스 중 일부를 검토할 수는 있습니다.

기타 리소스

이제 웹 SDK🔗를 사용하여 데이터를 스트리밍하겠습니다

이 페이지에서는