Formati dei file del set di classificazione

Il formato del file JSON segue le convenzioni per le linee JSON (JSONL). Il file deve contenere un oggetto JSON per riga, dove ogni oggetto rappresenta un singolo record di classificazione.

Struttura JSON

Ogni oggetto JSON deve contenere:

• key (obbligatorio): identificatore univoco per il record di classificazione

• data (obbligatorio per gli aggiornamenti): oggetto contenente i nomi delle colonne di classificazione e i relativi valori

• action (facoltativo): azione da eseguire. I valori supportati includono:

  • update (predefinito)
  • delete-field
  • delete-key

• enc (facoltativo): specifica di codifica dati. I valori supportati includono:

  • utf8 o UTF8 (impostazione predefinita)
  • latin1 o LATIN1

Tutti i nomi di campo JSON (key, data, action, enc) fanno distinzione tra maiuscole e minuscole e devono essere minuscole.

Esempi JSON

Record aggiornamento di base:

{"key": "product123", "data": {"Product Name": "Basketball Shoes", "Brand": "Brand A", "Category": "Sports"}}

Aggiornamento con codifica specificata:

{"key": "product456", "enc": "utf8", "data": {"Product Name": "Running Shoes", "Brand": "Brand B"}}

Elimina campi specifici:

{"key": "product789", "action": "delete-field", "data": {"Brand": null, "Category": null}}

Elimina chiave intera:

{"key": "product999", "action": "delete-key"}

Regole di convalida JSON

• Il campo key è obbligatorio e non può essere nullo o vuoto.
• Per le azioni update, il campo data è obbligatorio e non può essere vuoto.
• Per le azioni delete-field, il campo data deve contenere i campi da eliminare.
• Per le azioni delete-key, il campo data non deve essere presente.
• I valori di codifica supportati non fanno distinzione tra maiuscole e minuscole e includono nomi di set di caratteri standard.

I file CSV (Comma-Separated Values, Valori separati da virgole) utilizzano le virgole per separare i campi dei dati di classificazione.

Struttura CSV

• Riga intestazione: la prima riga deve contenere intestazioni di colonna e la prima colonna deve essere la colonna chiave. Le colonne successive devono corrispondere ai nomi nello schema del set di classificazione
• Righe dati: ogni riga successiva contiene dati di classificazione
• Delimitatori: i campi sono separati da virgole
• Virgolette: i campi contenenti virgole, virgolette o nuove righe devono essere racchiusi tra virgolette doppie

Esempi di CSV

Dati di classificazione di base:

Key,Product Name,Brand,Category,Price
product123,"Basketball Shoes",Brand A,Sports,89.99
product456,"Running Shoes",Brand B,Sports,79.99
product789,"Winter Jacket",Brand C,Clothing,149.99

Elimina chiave intera:

Key,Product Name,Brand,Category,Price
product999,~deletekey~,,,

Elimina campi specifici (insieme agli aggiornamenti):

Key,Product Name,Brand,Category,Price
product123,"Updated Product Name",Brand A,Sports,89.99
product456,,~empty~,~empty~,79.99

Regole di formattazione CSV

• I campi contenenti virgole devono essere racchiusi tra virgolette doppie
• I campi contenenti virgolette doppie devono essere preceduti da virgolette di escape doppie ("")
• I campi vuoti rappresentano valori nulli per tale classificazione
• Gli spazi iniziali e finali intorno ai campi vengono tagliati automaticamente
• I caratteri speciali (tabulazioni, nuove righe) nei campi tra virgolette vengono mantenuti

Operazioni di eliminazione:

• Utilizza ~deletekey~ in qualsiasi campo per eliminare l'intera chiave e tutti i relativi dati di classificazione
• Utilizza ~empty~ in campi specifici per eliminare solo i valori di classificazione (lasciando invariati gli altri campi)
• Quando si utilizza ~empty~, è possibile combinare eliminazioni con aggiornamenti nello stesso file

I file TSV (Valori separati da tabulazioni) e TAB utilizzano i caratteri di tabulazione per separare i campi dei dati di classificazione.

Struttura TSV/TAB

• Riga intestazione: la prima riga deve contenere intestazioni di colonna e la prima colonna deve essere la colonna chiave. Le colonne successive devono corrispondere ai nomi nello schema del set di classificazione
• Righe dati: ogni riga successiva contiene dati di classificazione
• Delimitatori: i campi sono separati da caratteri di tabulazione (\t)
• Virgolette: in genere non sono necessarie virgolette, ma alcune implementazioni supportano campi tra virgolette

Esempi di TSV/TAB

Dati di classificazione di base:

Key    Product Name    Brand    Category    Price
product123    Basketball Shoes    Brand A    Sports    89.99
product456    Running Shoes    Brand B    Sports    79.99
product789    Winter Jacket    Brand C    Clothing    149.99

Elimina chiave intera:

Key    Product Name    Brand    Category    Price
product999    ~deletekey~

Elimina campi specifici (insieme agli aggiornamenti):

Key    Product Name    Brand    Category    Price
product123    Updated Product Name    Brand A    Sports    89.99
product456        ~empty~    ~empty~    79.99

Regole di formattazione TSV/TAB

• I campi sono separati da caratteri di tabulazione singoli
• I campi vuoti (schede consecutive) rappresentano valori Null
• In genere non sono richieste virgolette speciali
• Gli spazi iniziali e finali vengono mantenuti
• Evitare l’utilizzo di caratteri di nuova riga all’interno dei campi

Operazioni di eliminazione:

• Utilizza ~deletekey~ in qualsiasi campo per eliminare l'intera chiave e tutti i relativi dati di classificazione
• Utilizza ~empty~ in campi specifici per eliminare solo i valori di classificazione (lasciando invariati gli altri campi)
• Quando si utilizza ~empty~, è possibile combinare eliminazioni con aggiornamenti nello stesso file