분류 세트 파일 형식

JSON 파일 형식은 JSON 라인(JSONL)에 대한 규칙을 따릅니다. 파일에는 라인당 하나의 JSON 오브젝트가 포함되어야 하며, 여기서 각 오브젝트는 단일 분류 레코드를 나타냅니다.

JSON 구조

각 JSON 개체에는 다음이 포함되어야 합니다.

• key(필수): 분류 레코드에 대한 고유 식별자

• data(업데이트에 필요): 분류 열 이름 및 해당 값이 포함된 개체

• action(선택 사항): 수행할 작업입니다. 지원되는 값은 다음과 같습니다.

  • update(기본값)
  • delete-field
  • delete-key

• enc(선택 사항): 데이터 인코딩 사양입니다. 지원되는 값은 다음과 같습니다.

  • utf8 또는 UTF8(기본값)
  • latin1 또는 LATIN1

모든 JSON 필드 이름(key, data, action, enc)은 대/소문자를 구분하며 소문자여야 합니다.

JSON 예

기본 업데이트 레코드:

{"key": "product123", "data": {"Product Name": "Basketball Shoes", "Brand": "Brand A", "Category": "Sports"}}

지정된 인코딩으로 업데이트:

{"key": "product456", "enc": "utf8", "data": {"Product Name": "Running Shoes", "Brand": "Brand B"}}

특정 필드 삭제:

{"key": "product789", "action": "delete-field", "data": {"Brand": null, "Category": null}}

전체 키 삭제:

{"key": "product999", "action": "delete-key"}

JSON 유효성 검사 규칙

• key 필드는 필수이며 null이거나 비워 둘 수 없습니다.
• update 작업의 경우 data 필드는 필수이며 비워 둘 수 없습니다.
• delete-field 작업의 경우 data 필드에 삭제할 필드가 있어야 합니다.
• delete-key 작업의 경우 data 필드가 없어야 합니다.
• 지원되는 인코딩 값은 대소문자를 구분하지 않으며 표준 문자 세트 이름을 포함합니다.

CSV(쉼표로 구분된 값) 파일은 쉼표를 사용하여 분류 데이터 필드를 구분합니다.

CSV 구조

• 머리글 행: 첫 번째 행에는 열 머리글이 포함되어야 하며 첫 번째 열은 키 열이어야 합니다. 후속 열은 분류 세트 스키마의 이름과 일치해야 합니다.
• 데이터 행: 각 후속 행에 분류 데이터가 포함되어 있습니다.
• 구분 기호: 필드는 쉼표로 구분됩니다.
• Quoting: 쉼표, 따옴표 또는 줄바꿈을 포함하는 필드는 큰따옴표로 묶어야 합니다.

CSV 예

기본 분류 데이터:

Key,Product Name,Brand,Category,Price
product123,"Basketball Shoes",Brand A,Sports,89.99
product456,"Running Shoes",Brand B,Sports,79.99
product789,"Winter Jacket",Brand C,Clothing,149.99

전체 키 삭제:

Key,Product Name,Brand,Category,Price
product999,~deletekey~,,,

특정 필드 삭제(업데이트와 혼합):

Key,Product Name,Brand,Category,Price
product123,"Updated Product Name",Brand A,Sports,89.99
product456,,~empty~,~empty~,79.99

CSV 형식 규칙

• 쉼표가 포함된 필드는 큰따옴표로 묶어야 합니다.
• 큰따옴표가 포함된 필드는 큰따옴표("")를 두 배로 늘려 이스케이프 처리를 해야 합니다.
• 빈 필드는 해당 분류에 대한 null 값을 나타냅니다.
• 필드 주위의 선행 및 후행 공백은 자동으로 트리밍됩니다.
• 따옴표 붙은 필드 내의 특수 문자(탭, 줄 바꿈)는 유지됩니다.

삭제 작업:

• 모든 필드에서 ~deletekey~을(를) 사용하여 전체 키와 모든 해당 분류 데이터를 삭제합니다.
• 특정 필드에서 ~empty~을(를) 사용하여 해당 분류 값만 삭제합니다(다른 필드는 그대로 유지).
• ~empty~을(를) 사용하는 경우 같은 파일의 업데이트와 함께 삭제를 혼합할 수 있습니다

TSV(탭으로 구분된 값) 및 TAB 파일은 탭 문자를 사용하여 분류 데이터 필드를 구분합니다.

TSV 및 탭 구조

• 머리글 행: 첫 번째 행에는 열 머리글이 포함되어야 하며 첫 번째 열은 키 열이어야 합니다. 후속 열은 분류 세트 스키마의 이름과 일치해야 합니다.
• 데이터 행: 후속 행마다 분류 데이터가 있습니다.
• 구분 기호: 필드가 탭 문자(\t)로 구분됩니다.
• 따옴표: 일반적으로 따옴표는 필요하지 않지만 일부 구현은 따옴표 붙은 필드를 지원합니다.

TSV 및 탭 예

기본 분류 데이터:

Key    Product Name    Brand    Category    Price
product123    Basketball Shoes    Brand A    Sports    89.99
product456    Running Shoes    Brand B    Sports    79.99
product789    Winter Jacket    Brand C    Clothing    149.99

전체 키 삭제:

Key    Product Name    Brand    Category    Price
product999    ~deletekey~

특정 필드 삭제(업데이트와 혼합):

Key    Product Name    Brand    Category    Price
product123    Updated Product Name    Brand A    Sports    89.99
product456        ~empty~    ~empty~    79.99

TSV/탭 서식 규칙

• 필드는 단일 탭 문자로 구분됩니다.
• 빈 필드(연속 탭)는 null 값을 나타냅니다.
• 일반적으로 특별한 견적은 필요하지 않습니다.
• 선행 및 후행 공백은 그대로 유지됩니다.
• 필드 내에 줄 바꿈 문자는 사용하지 않아야 합니다.

삭제 작업:

• 모든 필드에서 ~deletekey~을(를) 사용하여 전체 키와 모든 해당 분류 데이터를 삭제합니다.
• 특정 필드에서 ~empty~을(를) 사용하여 해당 분류 값만 삭제합니다(다른 필드는 그대로 유지).
• ~empty~을(를) 사용하는 경우 같은 파일의 업데이트와 함께 삭제를 혼합할 수 있습니다.