Analyse efficace des données volumineuses avec des hypercubes
AVAILABILITYDécouvrez comment utiliser des hypercubes dans Adobe Experience Platform Experience Query Service pour effectuer une analyse avancée des données avec une efficacité accrue. Ce document explique comment utiliser les fonctions avancées de la Apache Datasketches bibliothèque pour gérer des comptes distincts et des calculs complexes de manière incrémentielle, sans avoir à retraiter les données historiques à chaque fois.
Dans l’analyse des données volumineuses, la génération de mesures telles que des décomptes distincts, des quantiles, des éléments les plus fréquents, des jointures et des analyses graphiques implique souvent un comptage non additif (où les résultats ne peuvent pas simplement être résumés à partir de sous-groupes). Les méthodes traditionnelles nécessitent le retraitement de toutes les données historiques, ce qui peut nécessiter beaucoup de ressources et prendre du temps. Utilisez des schémas, qui sont des résumés compacts qui utilisent des probabilités pour représenter des jeux de données volumineux, et des fonctions avancées de Query Service pour rationaliser ce processus en réduisant la nécessité de recalculer.
Fonctions clés des hypercubes
Les hypercubes offrent plusieurs fonctions puissantes pour améliorer l’efficacité et la flexibilité de l’analyse des données.
- Compter les utilisateurs uniques ou les requêtes distinctes : utilisez les fonctionnalités SQL pour générer des nombres uniques d’utilisateurs interagissant avec diverses dimensions de données, telles que les consultations de produits, les visites de site ou l’activité commerciale, sans réanalyser à plusieurs reprises les données brutes.
- Traitement incrémentiel : effectuez des mises à jour incrémentielles pour plier et fusionner des points de données sur plusieurs dimensions et dans le temps sans recalculer tout de zéro.
- Analyse multidimensionnelle : les hypercubes permettent le filtrage multidimensionnel et la réorganisation des données afin de créer des lignes récapitulatives qui représentent des combinaisons de dimensions. Ces résumés peuvent ensuite être utilisés pour générer des informations avec un temps de calcul minimal.
Cas pratiques des hypercubes
Utilisez des hypercubes pour générer efficacement des nombres distincts pour diverses interactions utilisateur sans recalculer complètement les données à chaque fois. Voici quelques scénarios pratiques d’utilisation :
- Analysez les visiteurs uniques qui affichent des produits spécifiques au cours d’une période définie.
- Identifiez les utilisateurs qui interagissent avec plusieurs produits au cours d’une période donnée afin d’améliorer l’analyse des ventes croisées.
- Distinguer les utilisateurs qui interagissent avec un produit mais pas avec un autre au fil du temps pour découvrir les modèles de préférences.
- Combinez les données d’interaction en ligne et hors ligne pour obtenir une vue d’ensemble complète du comportement des utilisateurs sur une période donnée.
- Effectuez le suivi des mouvements des utilisateurs dans différentes activités au sein d’un événement afin d’optimiser la mise en page et les services.
Avantages des hypercubes
Dans ce cas, vous pouvez pré-calculer des informations de base pour des catégories spécifiques. Cependant, lors de l’analyse des données sur plusieurs dimensions et périodes, vous devez soit recalculer tout le contenu des données brutes, soit utiliser un hypercube Query Service. Les hypercubes rationalisent le processus en organisant efficacement les données, ce qui permet un filtrage flexible et une analyse multidimensionnelle sans retraitement. Ils utilisent des fonctions avancées pour estimer les résultats rapidement et précisément afin d’offrir des avantages clés tels qu’une meilleure efficacité de traitement, une évolutivité et une adaptabilité améliorées pour des tâches analytiques complexes.
Efficacité de la taille des données pour le traitement des requêtes
Query Service peut compresser des millions ou des milliards de points de données (par exemple, les identifiants utilisateur) dans un formulaire compact appelé schéma. Cette esquisse a une taille de données considérablement réduite pour le traitement des requêtes, ce qui permet de maintenir l’évolutivité et de travailler beaucoup plus facilement et plus rapidement. Quelle que soit la taille des données originales, la taille du schéma reste petite, ce qui rend l'analyse des données volumineuses beaucoup plus gérable et efficace.
Le diagramme ci-dessous illustre la manière dont Commerce, les Informations sur les produits et la dimension web ExperienceEvents sont traités en schémas, qui sont ensuite utilisés pour approximer des nombres uniques.
Fusionner des schémas pour faciliter et accélérer l’analyse des données
Pour éviter de recalculer et d’améliorer la vitesse de traitement, vous pouvez fusionner des esquisses de différentes catégories ou groupes. Query Service simplifie également la conception en organisant vos données dans un hypercube, où chaque ligne devient un résumé de sa partition (un ensemble de dimensions) à côté de la colonne de schéma. Chaque ligne de l'hyper-cube contient la combinaison de dimensions, mais ne contient aucune donnée brute. Lors de l’exécution d’une requête, spécifiez les colonnes dimensionnelles que vous souhaitez utiliser pour créer des mesures additifs et fusionner les schémas de ces lignes.
Rentabilité
Les données client sont souvent à grande échelle, mais vous pouvez éliminer la nécessité de retraiter les données historiques à l’aide d’un traitement incrémentiel. Les esquisses sont beaucoup plus petites et permettent des résultats plus rapides en temps réel tout en économisant sur les ressources et les coûts de calcul. Cette transformation des données rend les requêtes interactives plus réalisables et efficaces.
Présentation des fonctions
Cette section décrit comment chaque fonction optimise le traitement des données et améliore les capacités d’analyse grâce à l’utilisation efficace de croquis et d’hypercubes. Il détaille leur objectif, la syntaxe des exemples, les paramètres et la sortie attendue.