Analisi dei big data efficiente con ipercubi
DISPONIBILITÀScopri come utilizzare gli ipercubi nel servizio Experience Query di Adobe Experience Platform per eseguire analisi avanzate dei dati con una maggiore efficienza. Questo documento illustra come utilizzare le funzioni avanzate della Apache Datasketches libreria per gestire conteggi distinti e calcoli complessi in modo incrementale, senza dover rielaborare ogni volta i dati storici.
Nell’analisi dei big data, la generazione di metriche quali conteggi distinti, quantili, elementi più frequenti, join e analisi dei grafici spesso comporta un conteggio non additivo (dove i risultati non possono essere semplicemente riassunti dai sottogruppi). I metodi tradizionali richiedono la rielaborazione di tutti i dati storici, il che può richiedere molte risorse e tempo. È possibile utilizzare gli schizzi, ovvero riepiloghi compatti che utilizzano le probabilità per rappresentare set di dati di grandi dimensioni, e funzioni avanzate di Query Service per semplificare questo processo riducendo la necessità di ricalcolare.
Funzioni chiave degli ipercubi
Gli ipercubi offrono diverse potenti funzioni per migliorare l’efficienza e la flessibilità dell’analisi dei dati.
- Conteggio di utenti univoci o query distinte: utilizza le funzionalità SQL per generare conteggi univoci di utenti che interagiscono con varie dimensioni di dati, ad esempio visualizzazioni di prodotti, visite al sito o attività di e-commerce, senza rianalizzare ripetutamente i dati non elaborati.
- Elaborazione incrementale: esegui aggiornamenti incrementali per piegare e unire i punti dati tra dimensioni e tempo senza ricalcolare tutto da zero.
- Analisi multidimensionale: gli ipercubi consentono il filtraggio multidimensionale e la ridisposizione dei dati per creare righe di riepilogo che rappresentano combinazioni di dimensioni. Questi riepiloghi possono quindi essere utilizzati per generare informazioni con un sovraccarico di calcolo minimo.
Casi di utilizzo per ipercubi
Gli ipercubi consentono di generare in modo efficiente conteggi distinti per le varie interazioni dell’utente, senza ricalcolare ogni volta completamente i dati. Di seguito sono riportati alcuni scenari pratici per il loro utilizzo:
- Analizza i visitatori univoci che visualizzano prodotti specifici durante un periodo di tempo definito.
- Identifica gli utenti che interagiscono con più prodotti in un determinato periodo di tempo per migliorare l’analisi cross-selling.
- Puoi distinguere gli utenti che interagiscono con un prodotto ma non con un altro nel tempo, per scoprire i pattern di preferenze.
- Combina dati di interazione online e offline per ottenere una visione completa del comportamento degli utenti in un determinato periodo di tempo.
- Monitora lo spostamento degli utenti tra diverse attività all’interno di un evento per ottimizzare layout e servizi.
Vantaggi dell'utilizzo di ipercubi
In queste situazioni è possibile precalcolare le informazioni di base per categorie specifiche. Tuttavia, quando si analizzano i dati in più dimensioni e periodi di tempo, è necessario ricalcolare tutti i dati dai dati non elaborati o utilizzare un ipercubo di Query Service. Gli ipercubi semplificano il processo organizzando i dati in modo efficiente, consentendo filtri flessibili e analisi multidimensionali senza necessità di rielaborazione. Utilizzano funzioni avanzate per stimare i risultati in modo rapido e accurato e offrire vantaggi chiave quali maggiore efficienza di elaborazione, scalabilità e adattabilità per attività di analisi complesse.
Efficienza delle dimensioni dei dati per l’elaborazione delle query
Query Service può comprimere milioni o miliardi di punti dati (ad esempio, ID utente) in un formato compatto denominato schizzo. Questo schizzo ha una dimensione dei dati significativamente ridotta per l’elaborazione delle query, che mantiene la scalabilità e rende molto più semplice e veloce l’utilizzo di. Indipendentemente dalle dimensioni dei dati originali, le dimensioni dello schizzo rimangono ridotte, il che rende l’analisi dei big data molto più gestibile ed efficiente.
Il diagramma seguente illustra come Commerce, Informazioni prodotto e Eventi ExperienceEvent delle dimensioni Web vengono elaborati in schizzi, che vengono quindi utilizzati per approssimare conteggi univoci.
Unisci gli schizzi per rendere l’analisi dei dati più rapida e semplice
Per evitare di ricalcolare e aumentare la velocità di elaborazione, potete unire gli schizzi di categorie o gruppi diversi. Query Service semplifica inoltre la progettazione organizzando i dati in un ipercubo, dove ogni riga diventa un riepilogo della relativa partizione (una raccolta di dimensioni) insieme alla colonna di sketch. Ogni riga dell'hyper-cube contiene la combinazione di dimensioni, ma non contiene dati non elaborati. Durante l’esecuzione di una query, specifica le colonne dimensionali da utilizzare per la creazione di metriche aggiuntive e unisci gli schizzi per tali righe.
Efficienza in termini di costi
I dati dei clienti sono spesso su larga scala, ma è possibile eliminare la necessità di rielaborare i dati storici utilizzando l’elaborazione incrementale. Gli schizzi sono molto più piccoli e consentono di ottenere risultati più rapidi e in tempo reale, risparmiando allo stesso tempo sulle risorse e sui costi di elaborazione. Questa trasformazione dei dati rende le query interattive più fattibili ed efficienti.
Panoramica delle funzioni
Questa sezione descrive come ogni funzione ottimizza l’elaborazione dei dati e migliora le capacità analitiche attraverso l’uso efficiente di schizzi e ipercubi. Descrive il loro scopo, la sintassi di esempio, i parametri e l’output previsto.