Gestion de la conservation des jeux de données d’événements d’expérience dans le lac de données à l’aide de TTL

Une gestion efficace des données est essentielle pour optimiser les performances, le contrôle des coûts et l’intégrité des données. Utilisez la durée de vie (TTL) de conservation des jeux de données d’événements d’expérience pour appliquer l’expiration au niveau des lignes, supprimant automatiquement les enregistrements obsolètes des jeux de données du lac de données tout en assurant une efficacité de stockage et une pertinence des données optimales.

Ce guide explique comment évaluer, définir et gérer une TTL à l’aide de l’API Catalog Service. Vous apprendrez quand et pourquoi appliquer une durée de vie, comment configurer et mettre à jour les valeurs de durée de vie à l’aide d’appels d’API, ainsi que les bonnes pratiques pour garantir une implémentation efficace.

Pourquoi utiliser la durée de vie pour la gestion des données au niveau des lignes ?

À mesure que les jeux de données se développent, une gestion efficace des données devient de plus en plus importante pour préserver les performances, contrôler les coûts et conserver la pertinence des données. L’expiration des données au niveau des lignes basée sur une durée de vie automatise le nettoyage des données en supprimant les enregistrements obsolètes sans intervention manuelle afin d’optimiser le stockage et d’améliorer l’efficacité du système.

La durée de vie est utile pour gérer les données sensibles au temps qui perdent de leur pertinence au fil du temps. Pensez à mettre en œuvre une durée de vie si vous devez :

Utilisez les configurations de durée de vie pour optimiser le stockage en fonction des droits. Bien que les données du magasin de profils (utilisées dans Real-Time CDP) puissent être considérées comme obsolètes et supprimées après 30 jours, les mêmes données d’événement dans le lac de données peuvent rester disponibles pendant 12 à 13 mois (ou plus longtemps selon les droits) pour les cas d’utilisation d’Analytics et de Data Distiller.

Exemple de secteur industry-example

Prenons l’exemple d’un service de diffusion en continu de vidéos qui effectue le suivi des interactions utilisateur, telles que les vues vidéo, les recherches et les recommandations. Bien que les données d’engagement récentes soient essentielles pour la personnalisation, les journaux d’activité plus anciens (par exemple, les interactions d’il y a plus d’un an) perdent de leur pertinence. En utilisant l’expiration au niveau des lignes, Experience Platform supprime automatiquement les journaux obsolètes, en s’assurant que seules des données actuelles et significatives sont utilisées pour les analyses et les recommandations.

Évaluation de l’adéquation de la TTL evaluate-ttl-suitability

Avant d’appliquer une politique de rétention, évaluez si votre jeu de données est un bon candidat pour l’expiration au niveau des lignes. Tenez compte des points suivants :

Si les enregistrements historiques sont essentiels pour l’analyse à long terme ou les opérations commerciales, la durée de vie peut ne pas être la bonne approche. En examinant ces facteurs, vous vous assurez que la durée de vie correspond à vos besoins de conservation des données sans affecter négativement la disponibilité des données.

Bonnes pratiques pour définir la durée de vie best-practices

Sélectionnez la valeur de TTL appropriée pour vous assurer que votre politique de conservation des jeux de données d’événements d’expérience équilibre entre la conservation des données, l’efficacité du stockage et les besoins analytiques. Une durée de vie trop courte peut entraîner une perte de données, tandis qu’une durée de vie trop longue peut augmenter les coûts de stockage et entraîner une accumulation de données inutile. Assurez-vous que la durée de vie correspond à l’objectif de votre jeu de données en tenant compte de la fréquence d’accès aux données et de la durée pendant laquelle elles restent pertinentes.

Le tableau ci-dessous fournit des recommandations courantes relatives à la durée de vie en fonction du type de jeu de données et des schémas d’utilisation :

Passez régulièrement en revue les paramètres de durée de vie pour vous assurer qu’ils continuent de s’aligner sur vos politiques de stockage, vos besoins analytiques et vos exigences commerciales.

Considérations principales lors de la définition de la durée de vie key-considerations

Suivez ces bonnes pratiques pour vous assurer que les paramètres de durée de vie s’alignent sur votre stratégie de conservation des données :

Limites de TTL limitations

Gardez à l’esprit les limites suivantes lors de l’utilisation de TTL :

Analyser la taille et la pertinence du jeu de données avant d’appliquer la TTL analyze-dataset-size

Avant d’appliquer une durée de vie, utilisez des requêtes pour analyser la taille et la pertinence des jeux de données. Exécutez des requêtes ciblées (comme le comptage des enregistrements dans des périodes spécifiques) pour prévisualiser l’impact de différentes valeurs de durée de vie. Utilisez ensuite ces informations pour choisir une période de conservation optimale qui équilibre l’utilité des données et le rapport coût-efficacité.

L’exécution de requêtes ciblées permet de déterminer la quantité de données conservée ou supprimée dans différentes configurations de TTL. Par exemple, la requête SQL suivante comptabilise le nombre d’enregistrements créés au cours des 30 derniers jours :

SELECT COUNT(1) FROM [datasetName] WHERE timestamp > date_sub(now(), INTERVAL 30 DAY);

L’exécution de requêtes similaires pour différents intervalles de temps permet de valider les paramètres de TTL et de s’assurer qu’ils équilibrent l’efficacité du stockage et l’accessibilité des données.

Prise en main de la gestion des TTL

Avant de pouvoir évaluer, définir et gérer la conservation des jeux de données d’événement d’expérience à l’aide de l’API Catalog Service, vous devez comprendre comment formater correctement vos requêtes. Cela inclut la connaissance des chemins d’API, la fourniture des en-têtes requis et le formatage des payloads des requêtes. Reportez-vous au guide de prise en main de l’API Catalog Service pour obtenir ces informations essentielles.

Vérifier vos contraintes de durée de vie check-ttl-constraints

Utilisez le point d’entrée /ttl/{DATASET_ID} de l’API Data Hygiene pour planifier les configurations de TTL. Ce point d’entrée renvoie les valeurs de durée de vie minimale et maximale prises en charge pour votre organisation, ainsi qu’une valeur recommandée (defaultValue) pour le type de jeu de données.

Pour plus d’informations, consultez la documentation d’Adobe Developer API Data Hygiene .

Pour vérifier la TTL actuellement appliquée à un jeu de données, envoyez plutôt une requête GET au point d’entrée de 🔗API Catalog Service/dataSets/{DATASET_ID}.

Format d’API

GET /ttl/{DATASET_ID}

Requête

La requête suivante récupère les contraintes de durée de vie de votre organisation pour un jeu de données spécifique.

curl -X GET \
  'https://platform.adobe.io/data/foundation/catalog/ttl/{DATASET_ID}' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -H 'x-sandbox-name: {SANDBOX_NAME}'
  -H 'x-sandbox-id: {SANDBOX_ID}'

Réponse

Une réponse réussie renvoie les valeurs de TTL recommandées, maximales et minimales en fonction des droits de votre organisation, ainsi qu’une durée de vie suggérée (defaultValue) pour le jeu de données. Il s’defaultValue d’une durée de vie recommandée, fournie uniquement à titre indicatif. Elle n’est pas appliquée, sauf si vous la configurez explicitement. La réponse n’inclut aucune valeur de durée de vie personnalisée déjà définie. Pour afficher la TTL actuelle d’un jeu de données, utilisez le point d’entrée /catalog/dataSets/{DATASET_ID} GET.

{
  "extensions": {
    "adobe_lakeHouse": {
      "rowExpiration": {
        "defaultValue": "P12M",
        "maxValue": "P12M",
        "minValue": "P7D"
      }
    }
  }
}

Comment vérifier les valeurs de durée de vie appliquées check-applied-ttl-values

Pour vérifier la valeur de durée de vie actuelle qui a été appliquée à un jeu de données, utilisez l’appel API suivant :

GET /dataSets/{DATASET_ID}

Cet appel renvoie la ttlValue actuelle (si elle est définie) dans la section extensions.adobe_lakeHouse.rowExpiration.

Requête

La requête suivante récupère la valeur de durée de vie de votre organisation pour un jeu de données spécifique.

curl -X GET \
https://platform.adobe.io/data/foundation/catalog/dataSets/{DATASET_ID} \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -H 'x-sandbox-name: {SANDBOX_NAME}'

Réponse

Une réponse réussie inclut l’objet extensions , qui contient la configuration de TTL actuelle appliquée au jeu de données. L’exemple de réponse ci-dessous est tronqué par souci de concision.

{
    "{DATASET_ID}": {
        "name": "Acme Sales Data",
        "description": "This dataset contains sales transaction records for Acme Corporation.",
        "imsOrg": "{ORG_ID}",
        "sandboxId": "{SANDBOX_ID}",
        "extensions": {
            "adobe_lakeHouse": {
            "rowExpiration": {
                "ttlValue": "P3M",
            }
            }
        }
        ...
    }
}

Définir ou mettre à jour une TTL pour un jeu de données set-update-ttl

Vous pouvez configurer la conservation des jeux de données d’événements d’expérience en définissant une nouvelle TTL ou en mettant à jour une TTL existante à l’aide de la même méthode API. Utilisez une requête PATCH au point d’entrée /v2/datasets/{DATASET_ID} pour appliquer ou ajuster la durée de vie.

Format d’API

PATCH /v2/datasets/{DATASET_ID}

Requête

Dans l’exemple ci-dessous, la ttlValue est définie sur P3M. Cela signifie que les enregistrements de plus de trois mois sont automatiquement supprimés. Ajustez la période de conservation en fonction des besoins de votre entreprise (par exemple, P6M pendant six mois ou P12M pendant un an).

curl -X PATCH \
  'https://platform.adobe.io/data/foundation/catalog/v2/datasets/{DATASET_ID}' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'Content-Type: application/json' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -d '{
    "extensions": {
        "adobe_lakeHouse": {
            "rowExpiration": {
                "ttlValue": "P3M"  // A 3 month retention period
            }
        }
    }
}

Réponse

Une réponse réussie renvoie une référence au jeu de données mis à jour, mais n’inclut pas explicitement les paramètres de TTL. Pour confirmer la configuration de la TTL, envoyez une requête de GET /dataSets/{DATASET_ID} de suivi.

[
  "@/dataSets/{DATASET_ID}"
]

Exemple de scénario example-scenario

Prenons l’exemple d’une plateforme de streaming vidéo qui définit initialement la durée de vie sur trois mois afin de garantir de nouvelles données d’engagement pour la personnalisation. Cependant, si l’analyse ultérieure révèle que les interactions plus anciennes fournissent toujours des informations précieuses, la durée de vie peut être étendue à six mois avec la requête suivante :

curl -X PATCH \
  'https://platform.adobe.io/data/foundation/catalog/v2/datasets/{DATASET_ID}' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'Content-Type: application/json' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -d '{
    "extensions": {
        "adobe_lakeHouse": {
            "rowExpiration": {
                "ttlValue": "P6M"  // Extend to 6 months
            }
        }
    }
}

FAQ sur la politique de conservation des jeux de données faqs

Cette FAQ aborde des questions pratiques sur les tâches de conservation des jeux de données, les effets immédiats des modifications de durée de vie, les options de récupération et les différences de périodes de conservation entre les services Platform.

À quels types de jeux de données puis-je appliquer des règles de politique de rétention ?

Dans combien de temps la tâche de conservation des jeux de données supprimera-t-elle les données des services de lac de données ?

Puis-je définir différentes politiques de conservation pour les services de lac de données et de profil ?

Comment puis-je vérifier l’utilisation actuelle de mon jeu de données ?

Comment puis-je vérifier si la tâche de conservation des données a réussi ?

Puis-je récupérer les données supprimées ?

Quelle est la durée de vie minimale que je peux configurer sur un jeu de données Événement d’expérience de lac de données ?

Que se passe-t-il si je dois conserver certains champs du lac de données plus longtemps que ne le permet ma politique de TTL ?

Étapes suivantes next-steps

Maintenant que vous avez appris à gérer les paramètres de TTL pour l’expiration au niveau des lignes, consultez la documentation suivante pour mieux comprendre la gestion des TTL :