Formatos de arquivo do conjunto de classificações

O formato de arquivo JSON segue as convenções para Linhas JSON (JSONL). O arquivo deve conter um objeto JSON por linha, em que cada objeto representa um único registro de classificação.

Estrutura JSON

Cada objeto JSON deve conter:

• key (obrigatório): o identificador exclusivo do registro de classificação

• data (obrigatório para atualizações): um objeto contendo nomes de colunas de classificação e seus valores

• action (opcional): a ação a ser executada. Os valores compatíveis incluem:

  • update (padrão)
  • delete-field
  • delete-key

• enc (opcional): especificação de codificação de dados. Os valores compatíveis incluem:

  • utf8 ou UTF8 (padrão)
  • latin1 ou LATIN1

Todos os nomes de campos JSON (key, data, action, enc) diferenciam maiúsculas de minúsculas e devem ser minúsculas.

Exemplos de JSON

Registro de atualização básica:

{"key": "product123", "data": {"Product Name": "Basketball Shoes", "Brand": "Brand A", "Category": "Sports"}}

Atualizar com codificação especificada:

{"key": "product456", "enc": "utf8", "data": {"Product Name": "Running Shoes", "Brand": "Brand B"}}

Excluir campos específicos:

{"key": "product789", "action": "delete-field", "data": {"Brand": null, "Category": null}}

Excluir uma chave inteira:

{"key": "product999", "action": "delete-key"}

Regras de validação JSON

• O campo key é obrigatório e não pode ser nulo ou vazio.
• Para ações update, o campo data é obrigatório e não pode estar vazio.
• Para ações delete-field, o campo data deve conter os campos a serem excluídos.
• Para ações delete-key, o campo data não deve estar presente.
• Os valores de codificação compatíveis não fazem distinção entre maiúsculas e minúsculas e incluem nomes de conjuntos de caracteres padrão.

Os arquivos CSV (valores separados por vírgula) usam vírgulas para separar campos de dados de classificação.

Estrutura CSV

• Linha de cabeçalho: a primeira linha deve conter cabeçalhos de coluna e a primeira coluna deve ser a coluna de chave. As colunas subsequentes devem corresponder aos nomes no esquema do conjunto de classificações
• Linhas de dados: cada linha subsequente contém dados de classificação
• Delimitadores: os campos são separados por vírgulas
• Aspas: os campos que contêm vírgulas, aspas ou novas linhas devem estar entre aspas duplas

Exemplos de CSV

Dados básicos de classificação:

Key,Product Name,Brand,Category,Price
product123,"Basketball Shoes",Brand A,Sports,89.99
product456,"Running Shoes",Brand B,Sports,79.99
product789,"Winter Jacket",Brand C,Clothing,149.99

Excluir uma chave inteira:

Key,Product Name,Brand,Category,Price
product999,~deletekey~,,,

Excluir campos específicos (combinados com atualizações):

Key,Product Name,Brand,Category,Price
product123,"Updated Product Name",Brand A,Sports,89.99
product456,,~empty~,~empty~,79.99

Regras de formatação CSV

• Os campos que contêm vírgulas devem ser colocados entre aspas duplas.
• Os campos que contêm aspas duplas devem escapar das aspas, duplicando-as ("").
• Campos vazios representam valores nulos para essa classificação.
• Espaços à esquerda e à direita em torno de campos são cortados automaticamente.
• Caracteres especiais (guias, novas linhas) em campos entre aspas são preservados.

Excluir operações:

• Use ~deletekey~ em qualquer campo para excluir a chave inteira e todos os seus dados de classificação
• Use ~empty~ em campos específicos para excluir apenas esses valores de classificação (deixa outros campos intactos)
• Ao usar o ~empty~, você pode misturar exclusões com atualizações no mesmo arquivo

Os arquivos TSV (Valores separados por tabulação) e TAB usam caracteres de tabulação para separar campos de dados de classificação.

Estrutura TSV e TAB

• Linha de cabeçalho: a primeira linha deve conter cabeçalhos de coluna e a primeira coluna deve ser a coluna de chave. As colunas subsequentes devem corresponder aos nomes no esquema do conjunto de classificações.
• Linhas de dados: cada linha subsequente contém dados de classificação.
• Delimitadores: os campos são separados por caracteres de tabulação (\t).
• Quoting: geralmente não é necessário citar, mas algumas implementações dão suporte a campos citados.

Exemplos de TSV e TAB

Dados básicos de classificação:

Key    Product Name    Brand    Category    Price
product123    Basketball Shoes    Brand A    Sports    89.99
product456    Running Shoes    Brand B    Sports    79.99
product789    Winter Jacket    Brand C    Clothing    149.99

Excluir uma chave inteira:

Key    Product Name    Brand    Category    Price
product999    ~deletekey~

Excluir campos específicos (combinados com atualizações):

Key    Product Name    Brand    Category    Price
product123    Updated Product Name    Brand A    Sports    89.99
product456        ~empty~    ~empty~    79.99

Regras de formatação TSV/TAB

• Os campos são separados por caracteres de tabulação única.
• Campos vazios (guias consecutivas) representam valores nulos.
• Normalmente, nenhuma citação especial é necessária.
• Os espaços à esquerda e à direita são preservados.
• Caracteres de nova linha em campos devem ser evitados.

Excluir operações:

• Use ~deletekey~ em qualquer campo para excluir a chave inteira e todos os seus dados de classificação.
• Use ~empty~ em campos específicos para excluir apenas esses valores de classificação (deixa outros campos intactos).
• Ao usar o ~empty~, você pode misturar exclusões com atualizações no mesmo arquivo.