Gestire la conservazione dei set di dati di Experience Event nel data lake utilizzando TTL

Una gestione efficiente dei dati è fondamentale per garantire prestazioni ottimali, controllo dei costi e integrità dei dati. Utilizza il TTL (Experience Event Dataset Retention Time-To-Live) per applicare la scadenza a livello di riga, rimuovendo automaticamente i record obsoleti dai set di dati nel data lake e garantendo al contempo un’efficienza di archiviazione e una rilevanza dei dati ottimali.

Questa guida spiega come valutare, impostare e gestire il TTL utilizzando l’API Catalog Service. Scoprirai quando e perché applicare il TTL, come configurare e aggiornare i valori TTL utilizzando le chiamate API e le best practice per garantire un’implementazione efficace.

Perché utilizzare TTL per la gestione dei dati a livello di riga

Con la crescita dei dataset, la gestione efficiente dei dati diventa sempre più importante per preservare le prestazioni, controllare i costi e mantenere i dati pertinenti. La scadenza dei dati a livello di riga basata su TTL automatizza la pulizia dei dati rimuovendo i record obsoleti senza interventi manuali per ottimizzare lo storage e migliorare l'efficienza del sistema.

Il TTL è utile per gestire dati sensibili al tempo che perdono rilevanza nel tempo. Prendi in considerazione l’implementazione del TTL se devi:

Esempio di settore industry-example

Ad esempio, considera un servizio di streaming video che tiene traccia delle interazioni degli utenti, come visualizzazioni video, ricerche e consigli. Anche se i dati di coinvolgimento recenti sono fondamentali per la personalizzazione, i registri di attività più datati (ad esempio, le interazioni di più di un anno fa) perdono rilevanza. Utilizzando la scadenza a livello di riga, Experience Platform rimuove automaticamente i registri obsoleti, garantendo che solo i dati correnti e significativi vengano utilizzati per le analisi e i consigli.

Valuta idoneità TTL

Prima di applicare un criterio di conservazione, valuta se il set di dati è un buon candidato per la scadenza a livello di riga. Considera quanto segue:

Se i record storici sono essenziali per l’analisi a lungo termine o le operazioni aziendali, il TTL potrebbe non essere l’approccio corretto. L’analisi di questi fattori garantisce l’allineamento del TTL alle esigenze di conservazione dei dati senza influire negativamente sulla disponibilità dei dati.

Pianificare le query plan-queries

Prima di applicare il TTL, è importante valutare la dimensione del set di dati e la rilevanza dei dati e valutare la quantità di dati storici da conservare. L’immagine seguente illustra l’intero processo di implementazione di TTL, dalla pianificazione delle query al monitoraggio dell’efficacia della conservazione.

L’esecuzione di query mirate consente di determinare la quantità di dati da mantenere o rimuovere in diverse configurazioni TTL. Ad esempio, la query SQL seguente conta il numero di record creati negli ultimi 30 giorni:

SELECT COUNT(1) FROM [datasetName] WHERE timestamp > date_sub(now(), INTERVAL 30 DAY);

L’esecuzione di query simili per intervalli di tempo diversi consente di convalidare le impostazioni TTL e di garantire il bilanciamento tra l’efficienza dello storage e l’accessibilità dei dati.

Introduzione alla gestione TTL

Prima di poter valutare, impostare e gestire la conservazione dei set di dati di Experience Event utilizzando l’API Catalog Service, è necessario comprendere come formattare correttamente le richieste. Ciò include la conoscenza dei percorsi API, la fornitura delle intestazioni richieste e la formattazione dei payload di richiesta. Per informazioni essenziali, fare riferimento alla guida introduttiva all'API Catalog Service.

Controllare le impostazioni TTL correnti

Per iniziare la gestione TTL, controlla innanzitutto le impostazioni TTL correnti. Effettuare una richiesta GET all'endpoint /ttl/{datasetId} per recuperare le impostazioni TTL predefinite, massime e minime per un set di dati. Questo passaggio è necessario perché le regole TTL possono variare in base al tipo di set di dati.

Formato API

GET /ttl/{DATASET_ID}

Richiesta

La richiesta seguente recupera le impostazioni TTL dell’organizzazione per un particolare set di dati.

curl -X GET \
  'https://platform.adobe.io/data/foundation/catalog/ttl/5ba9452f7de80408007fc52a' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -H 'x-sandbox-name: {SANDBOX_NAME}'
  -H 'x-sandbox-id: {SANDBOX_ID}'

Risposta

In caso di esito positivo, la risposta restituisce la configurazione TTL per il set di dati, inclusi i valori TTL predefiniti, massimi e minimi per l’archiviazione adobe_lakeHouse e adobe_unifiedProfile.

{
    "67976f0b4878252ab887ccd9": {
        "name": "Acme Sales Data",
        "description": "This dataset contains sales transaction records for Acme Corporation.",
        "imsOrg": "{ORG_ID}",
        "sandboxId": "{SANDBOX_ID}",
        "tags": {
            "adobe/pqs/table": [
                "acme_sales_20250127_113331_106"
            ],
            "adobe/siphon/table/format": [
                "delta"
            ]
        },
        "extensions": {
            "adobe_lakeHouse": {
                "rowExpiration": {
                    "defaultValue": "P12M",
                    "maxValue": "P12M",
                    "minValue": "P30D"
                }
            },
            "adobe_unifiedProfile": {
                "rowExpiration": {
                    "defaultValue": "P12M",
                    "maxValue": "P12M",
                    "minValue": "P7D"
                }
            }
        },
        "version": "1.0.0",
        "created": 1737977611118,
        "updated": 1737977611118,
        "createdClient": "acme_data_pipeline",
        "createdUser": "john.snow@acmecorp.com",
        "updatedUser": "arya.stark@acmecorp.com",
        "classification": {
            "managedBy": "CUSTOMER"
        }
    }
}

Impostare il TTL per un set di dati set-ttl

Per configurare Conservazione set di dati di Experience Event per il set di dati, imposta un nuovo valore TTL effettuando una richiesta PATCH all'endpoint /v2/datasets/{ID}.

Formato API

PATCH /v2/datasets/{DATASET_ID}

Richiesta

Nell'esempio di richiesta seguente, ttlValue è impostato su P3M. In questo modo i record più vecchi di tre mesi verranno eliminati automaticamente. È possibile modificare il periodo di conservazione in base alle esigenze aziendali utilizzando valori quali P6M per sei mesi o P12M per un anno.

curl -X PATCH \
  'https://platform.adobe.io/data/foundation/catalog/v2/datasets/{DATASET_ID}' \
  -h 'Authorization: Bearer {ACCESS_TOKEN}' \
  -h 'Content-Type: application/json' \
  -h 'x-api-key: {API_KEY}' \
  -h 'x-gw-ims-org-id: {ORG_ID}' \
  -d '{
    "extensions": {
        "adobe_lakeHouse": {
            "rowExpiration": {
                "ttlValue": "P3M"  // A 3 month retention period
            }
        }
    }
}

Risposta

In caso di esito positivo, la risposta mostra la configurazione TTL per il set di dati. Include dettagli sulle impostazioni di scadenza a livello di riga per l'archiviazione adobe_lakeHouse e adobe_unifiedProfile.

{
    "67976f0b4878252ab887ccd9": {
        "name": "Acme Sales Data",
        "description": "This dataset contains sales transaction records for Acme Corporation.",
        "imsOrg": "{ORG_ID}",
        "sandboxId": "{SANDBOX_ID}",
        "tags": {
            "adobe/pqs/table": [
                "acme_sales_20250127_113331_106"
            ],
            "adobe/siphon/table/format": [
                "delta"
            ]
        },
        "extensions": {
            "adobe_lakeHouse": {
                "rowExpiration": {
                "ttlValue": "P3M",
                    "valueStatus": "custom",
                    "setBy": "user",
                    "updated": 1737977766499
                }
            },
            "adobe_unifiedProfile": {
                "rowExpiration": {
                    "ttlValue": "P3M",
                    "valueStatus": "custom",
                    "setBy": "user",
                    "updated": 1737977766499
                }
            }
        },
        "version": "1.0.0",
        "created": 1737977611118,
        "updated": 1737977611118,
        "createdClient": "acme_data_pipeline",
        "createdUser": "john.snow@acmecorp.com",
        "updatedUser": "arya.stark@acmecorp.com",
        "classification": {
            "managedBy": "CUSTOMER"
        }
    }
}

Come aggiornare il TTL update-ttl

Estendere o abbreviare il periodo di conservazione in base alle esigenze aziendali modificando il valore TTL. Ad esempio, se consideri la piattaforma di streaming video di cui sopra, la piattaforma può inizialmente impostare il TTL a tre mesi per garantire nuovi dati di coinvolgimento per la personalizzazione. Tuttavia, se la loro analisi mostra che i modelli di interazione più vecchi di tre mesi forniscono ancora informazioni utili, possono estendere il periodo TTL a sei mesi per conservare i record più vecchi per modelli di consigli migliori.

Per modificare un valore TTL esistente, utilizzare il metodo PATCH sull'endpoint /v2/datasets/{DATASET_ID}.

Formato API

PATCH /v2/datasets/{DATASET_ID}

Richiesta

Nella richiesta seguente, il TTL viene aggiornato a sei mesi (P6M) estendendo il periodo di conservazione dei record prima dell'eliminazione automatica.

curl -X PATCH \
  'https://platform.adobe.io/data/foundation/catalog/v2/datasets/{DATASET_ID}' \
  -h 'Authorization: Bearer {ACCESS_TOKEN}' \
  -h 'Content-Type: application/json' \
  -h 'x-api-key: {API_KEY}' \
  -h 'x-gw-ims-org-id: {ORG_ID}' \
  -d '{
    "extensions": {
        "adobe_lakeHouse": {
            "rowExpiration": {
                "ttlValue": "P6M"  // Extend to 6 months
            }
        }
    }
}

Risposta

{  "extensions": {
        "adobe_lakeHouse": {
            "rowExpiration": {
              "ttlValue": "P6M",
              "valueStatus": "custom",
              "setBy": "user",
              "updated": "1737977766499"
            }
        },
        "adobe_unifiedProfile": {
            "rowExpiration": {
                "ttlValue": "P3M",
                "valueStatus": "custom",
                "setBy": "user",
                "updated": "17379754766355"
            }
        }
    }
}

Best practice per l’impostazione del valore TTL best-practices

La scelta del valore TTL corretto è fondamentale per garantire che i criteri di conservazione dei set di dati di Experience Event bilancino la conservazione dei dati, l’efficienza dello storage e le esigenze di analisi. Un valore TTL troppo breve può causare la perdita di dati, mentre un valore troppo lungo può aumentare i costi di storage e l'accumulo di dati non necessari. Assicurati che il TTL sia allineato allo scopo del set di dati tenendo in considerazione la frequenza con cui viene effettuato l’accesso ai dati e il tempo in cui rimangono rilevanti.

La tabella seguente fornisce consigli comuni su TTL in base al tipo di set di dati e ai pattern di utilizzo:

Rivedere periodicamente le impostazioni TTL per assicurarsi che continuino ad essere allineate alle regole di storage, alle esigenze analitiche e ai requisiti aziendali.

Considerazioni chiave durante l’impostazione del valore TTL

Segui queste best practice per garantire che le impostazioni TTL siano allineate alla strategia di conservazione dei dati:

Limitazioni del TTL limitations

Tieni presente le seguenti limitazioni quando utilizzi TTL:

Domande frequenti sui criteri di conservazione dei set di dati faqs

Questa sezione fornisce le risposte alle domande più frequenti sui criteri di conservazione dei set di dati in Adobe Experience Platform.

A quali tipi di set di dati è possibile applicare le regole dei criteri di conservazione?

Quando il processo di conservazione del set di dati eliminerà i dati dai servizi del data lake?

Quando il processo di conservazione del set di dati eliminerà i dati dai servizi profilo?

È possibile impostare diversi criteri di conservazione per il data lake e i servizi profilo?

Come posso verificare l’utilizzo del set di dati corrente?

Come posso verificare se il processo di conservazione dei dati ha avuto esito positivo?

Posso recuperare i dati eliminati?

Qual è il TTL minimo che posso configurare su un set di dati Experience Event di un data lake?

Cosa succede se devo conservare alcuni campi del data lake più a lungo di quanto consenta il mio criterio TTL?

Passaggi successivi next-steps

Dopo aver appreso come gestire le impostazioni TTL per la scadenza a livello di riga, consulta la seguente documentazione per comprendere meglio la gestione TTL: