Amélioration des temps de traitement des fichiers journaux avec les tables de recherche improve-log-file-processing-times-with-lookup-tables

Placer les données des fichiers de logs des rapports Performances de diffusion dans des tables contenant uniquement des identifiants. Placez les métadonnées non-ID dans des tables de recherche distinctes pour réduire la taille du fichier et les temps de traitement.

Les métadonnées du fichier journal augmentent la taille du fichier et le temps de traitement

Un fichier journal type utilisé par le rapport Delivery Performance contient généralement des milliers de lignes et des dizaines de colonnes. Il se compose d’identifiants numériques et d’informations lisibles par l’utilisateur, telles que les noms des créatifs, des annonceurs, des ordres d’insertion, etc.

Ces informations non identifiables sont appelées metadata (c’est-à-dire informations sur d’autres informations) et sont écrites dans chaque ligne du fichier journal.

Cependant, le rapport Delivery Performance fonctionne principalement avec les identifiants figurant dans le fichier journal. Les métadonnées sont utiles, mais répétitives. Cela augmente la taille du fichier et les temps d’ingestion des données.

Réduction de la taille des fichiers et du temps de traitement grâce aux tables d’index

Pour améliorer les performances, votre fichier de données principal ne doit contenir que des identifiants. Placez les métadonnées dans une table de recherche (ou d’index) distincte et liez ces enregistrements au fichier principal avec une variable clé commune aux deux.

Réduction de la taille des fichiers grâce aux tables de recherche

Supposons que vous ayez un fichier de données qui ressemble à celui ci-dessous.

Voici le même fichier journal avec les métadonnées supprimées. Le fichier est plus petit et plus facile à traiter lorsqu’il se compose uniquement d’identifiants.

Le fichier de recherche ci-dessous contient les métadonnées et peut être lié au fichier principal avec l’ID d’annonce. Notez également la taille. Au lieu de répéter chaque annonceur plusieurs fois, vous n’avez besoin que d’une seule référence pour chaque annonceur.

Les API peuvent rendre inutiles les tables de recherche

Si votre système de diffusion d’annonces dispose d’une API, vous n’aurez peut-être pas besoin d’envoyer de métadonnées dans un fichier de recherche. Nous pouvons peut-être obtenir ces renseignements par l'intermédiaire de l'API. Si c’est le cas, vos fichiers journaux ne doivent contenir que des identifiants . Nous collaborerons avec vous pour déterminer si les métadonnées peuvent être obtenues par le biais d’une API.