Formats de fichiers d’ensemble de classifications

Le format de fichier JSON respecte les conventions relatives aux lignes JSON (JSONL). Le fichier doit contenir un objet JSON par ligne, où chaque objet représente un seul enregistrement de classification.

Structure JSON

Chaque objet JSON doit contenir :

• key (obligatoire) : identifiant unique de l’enregistrement de classification

• data (obligatoire pour les mises à jour) : objet contenant les noms des colonnes de classification et leurs valeurs

• action (facultatif) : action à effectuer. Les valeurs acceptables sont :

  • update (par défaut)
  • delete-field
  • delete-key

• enc (facultatif) : spécification du codage des données. Les valeurs acceptables sont :

  • utf8 ou UTF8 (par défaut)
  • latin1 ou LATIN1

Tous les noms de champ JSON (key, data, action, enc) sont sensibles à la casse et doivent être en minuscules.

Exemples JSON

Enregistrement de mise à jour de base :

{"key": "product123", "data": {"Product Name": "Basketball Shoes", "Brand": "Brand A", "Category": "Sports"}}

Mise à jour avec encodage spécifié :

{"key": "product456", "enc": "utf8", "data": {"Product Name": "Running Shoes", "Brand": "Brand B"}}

Supprimer des champs spécifiques :

{"key": "product789", "action": "delete-field", "data": {"Brand": null, "Category": null}}

Supprimer une clé entière :

{"key": "product999", "action": "delete-key"}

Règles de validation JSON

• Le champ key est obligatoire et ne peut pas être nul ou vide.
• Pour les actions update, le champ data est obligatoire et ne peut pas être vide.
• Pour delete-field actions, le champ data doit contenir les champs à supprimer.
• Pour les actions delete-key, le champ data ne doit pas être présent.
• Les valeurs de codage prises en charge ne respectent pas la casse et incluent des noms de jeux de caractères standard.

Les fichiers CSV (valeurs séparées par des virgules) utilisent des virgules pour séparer les champs de données de classification.

Structure CSV

• Ligne d’en-tête : la première ligne doit contenir des en-têtes de colonne et la première colonne doit être la colonne clé. Les colonnes suivantes doivent correspondre aux noms dans votre schéma d’ensemble de classifications
• Lignes de données : chaque ligne suivante contient des données de classification
• Délimiteurs : les champs sont séparés par des virgules
• Guillemet : les champs contenant des virgules, des guillemets ou des nouvelles lignes doivent être placés entre guillemets doubles

Exemples CSV

Données de classification de base :

Key,Product Name,Brand,Category,Price
product123,"Basketball Shoes",Brand A,Sports,89.99
product456,"Running Shoes",Brand B,Sports,79.99
product789,"Winter Jacket",Brand C,Clothing,149.99

Supprimer une clé entière :

Key,Product Name,Brand,Category,Price
product999,~deletekey~,,,

Supprimer les champs spécifiques (associés aux mises à jour) :

Key,Product Name,Brand,Category,Price
product123,"Updated Product Name",Brand A,Sports,89.99
product456,,~empty~,~empty~,79.99

Règles de formatage CSV

• Les champs qui contiennent des virgules doivent être placés entre guillemets doubles.
• Les champs qui contiennent des guillemets doubles doivent échapper les guillemets en les doublant ("").
• Les champs vides représentent des valeurs nulles pour cette classification.
• Les espaces de début et de fin autour des champs sont automatiquement supprimés.
• Les caractères spéciaux (tabulations, nouvelles lignes) contenus dans les champs entre guillemets sont conservés.

Opérations de suppression :

• Utilisez ~deletekey~ dans n’importe quel champ pour supprimer la clé entière et toutes ses données de classification
• Utilisez des ~empty~ dans des champs spécifiques pour supprimer uniquement ces valeurs de classification (en laissant les autres champs intacts).
• Lorsque vous utilisez ~empty~, vous pouvez combiner des suppressions et des mises à jour dans le même fichier

Les fichiers TSV (valeurs séparées par des tabulations) et TAB utilisent des caractères de tabulation pour séparer les champs de données de classification.

Structure TSV et TAB

• Ligne d’en-tête : la première ligne doit contenir des en-têtes de colonne et la première colonne doit être la colonne clé. Les colonnes suivantes doivent correspondre aux noms dans votre schéma d’ensemble de classifications.
• Lignes de données : chaque ligne suivante contient des données de classification.
• Délimiteurs : les champs sont séparés par des tabulations (\t).
• Guillemet : en règle générale, aucun guillemet n’est nécessaire, mais certaines implémentations prennent en charge les champs entre guillemets.

Exemples TSV et TAB

Données de classification de base :

Key    Product Name    Brand    Category    Price
product123    Basketball Shoes    Brand A    Sports    89.99
product456    Running Shoes    Brand B    Sports    79.99
product789    Winter Jacket    Brand C    Clothing    149.99

Supprimer une clé entière :

Key    Product Name    Brand    Category    Price
product999    ~deletekey~

Supprimer les champs spécifiques (associés aux mises à jour) :

Key    Product Name    Brand    Category    Price
product123    Updated Product Name    Brand A    Sports    89.99
product456        ~empty~    ~empty~    79.99

Règles de formatage TSV/TAB

• Les champs sont séparés par des caractères à une seule tabulation.
• Les champs vides (onglets consécutifs) représentent des valeurs nulles.
• Aucune citation spéciale n'est généralement requise.
• Les espaces de début et de fin sont conservés.
• Les caractères de nouvelle ligne dans les champs doivent être évités.

Opérations de suppression :

• Utilisez ~deletekey~ dans n’importe quel champ pour supprimer la clé entière et toutes ses données de classification.
• Utilisez des ~empty~ dans des champs spécifiques pour supprimer uniquement ces valeurs de classification (en laissant les autres champs intacts).
• Lorsque vous utilisez ~empty~, vous pouvez mélanger les suppressions avec les mises à jour dans le même fichier.