Hantera lagring av Experience Event-datauppsättningar i datavjön med hjälp av TTL

Effektiv datahantering är avgörande för optimala prestanda, kostnadskontroll och dataintegritet. Använd Experience Event Data Retention Time-To-Live (TTL) för att framtvinga utgångsdatum på radnivå och automatiskt ta bort föråldrade poster från datauppsättningar i datasjön samtidigt som optimal lagringseffektivitet och datarelevans garanteras.

I den här handboken beskrivs hur du utvärderar, ställer in och hanterar TTL med hjälp av katalogtjänstens API. Du får lära dig när och varför du ska använda TTL, hur du konfigurerar och uppdaterar TTL-värden med API-anrop och bästa praxis för att säkerställa en effektiv implementering.

Varför använda TTL för datahantering på radnivå

I takt med att datauppsättningarna växer blir effektiv datahantering allt viktigare för att bevara prestanda, hålla kostnaderna i schack och för att hålla data relevanta. TTL-baserade data på radnivå som förfaller automatiserar datarensningen genom att ta bort inaktuella poster utan manuell åtgärd för att optimera lagringen och förbättra systemets effektivitet.

TTL är användbart vid hantering av tidskänsliga data som blir mindre relevanta över tid. Överväg att implementera TTL om du behöver:

Använd TTL-konfigurationer för att optimera lagring baserat på berättiganden. Data från Profile Store (används i Real-Time CDP) kan anses vara inaktuella och tas bort efter 30 dagar, men samma händelsedata i datasjön kan vara tillgängliga i 12-13 månader (eller längre baserat på tillstånd) för analyser och dataanvändning i Distiller.

Branschexempel industry-example

Som ett exempel kan vi titta på en direktuppspelningstjänst för video som spårar användarinteraktioner, till exempel videovyer, sökningar och rekommendationer. Även om aktuella engagemangsdata är avgörande för personalisering förlorar äldre aktivitetsloggar (till exempel interaktioner från över ett år sedan) relevansen. Genom att använda radnivåförfallodatum tar Experience Platform automatiskt bort inaktuella loggar och ser till att endast aktuella och meningsfulla data används för analyser och rekommendationer.

Utvärdera TTL-lämplighet evaluate-ttl-suitability

Innan du tillämpar en kvarhållningsprincip måste du bedöma om datauppsättningen är en bra kandidat för radförfallodatum. Tänk på följande:

Om historiska uppgifter är väsentliga för långtidsanalys eller affärstransaktioner är TTL kanske inte rätt metod. Genom att granska dessa faktorer ser du till att TTL-värdet anpassas efter dina datalagringsbehov utan att datatillgängligheten påverkas negativt.

Bästa tillvägagångssätt för att ange TTL best-practices

Välj rätt TTL-värde för att säkerställa att din Experience Event Data Retention-princip balanserar datalagring, lagringseffektivitet och analysbehov. En TTL som är för kort kan orsaka dataförlust, medan en som är för lång kan öka lagringskostnaderna och onödig datainsamling. Se till att TTL-värdet är anpassat efter datauppsättningens syfte genom att fundera på hur ofta data ska användas och hur länge de ska vara relevanta.

Tabellen nedan innehåller vanliga TTL-rekommendationer baserade på datamängdstyp och användningsmönster:

Granska TTL-inställningarna regelbundet för att säkerställa att de fortsätter att vara i linje med dina lagringspolicyer, analytiska behov och affärskrav.

Viktiga överväganden vid inställning av TTL key-considerations

Följ dessa metodtips för att se till att TTL-inställningarna är anpassade efter din datalagringsstrategi:

Begränsningar för TTL limitations

Tänk på följande begränsningar när du använder TTL:

Analysera datauppsättningens storlek och relevans innan du använder TTL analyze-dataset-size

Innan du använder TTL bör du använda frågor för att analysera datauppsättningens storlek och relevans. Kör riktade frågor (till exempel inventeringsposter inom specifika datumintervall) för att förhandsgranska effekten av olika TTL-värden. Använd sedan den här informationen för att välja en optimal lagringsperiod som balanserar datamöjligheter och kostnadseffektivitet.

Genom att köra riktade frågor kan du avgöra hur mycket data som ska behållas eller tas bort under olika TTL-konfigurationer. I följande SQL-fråga räknas till exempel antalet poster som har skapats under de senaste 30 dagarna:

SELECT COUNT(1) FROM [datasetName] WHERE timestamp > date_sub(now(), INTERVAL 30 DAY);

Genom att köra liknande frågor för olika tidsintervall kan du validera TTL-inställningarna och se till att de balanserar lagringseffektivitet och datatillgänglighet.

Kom igång med TTL-hantering

Innan du kan utvärdera, ange och hantera lagring av Experience Event-datauppsättningar med hjälp av API:t för katalogtjänsten måste du förstå hur du formaterar dina begäranden på rätt sätt. Detta innefattar att känna till API-sökvägarna, tillhandahålla nödvändiga huvuden och formatera nyttolaster för begäranden. Information om detta finns i API:t för att komma igång för katalogtjänsten.

Kontrollera dina TTL-begränsningar check-ttl-constraints

Använd Data Hygiene API:t /ttl/{DATASET_ID} för att planera TTL-konfigurationer. Den här slutpunkten returnerar de lägsta och högsta TTL-värden som stöds för din organisation, tillsammans med det rekommenderade värdet (defaultValue) för datamängdstypen.

Mer information finns i dokumentationen för Adobe Developer Data Hygiene API .

Om du vill kontrollera TTL-värdet som används för en datamängd gör du en GET-begäran till katalogtjänstens API /dataSets/{DATASET_ID} -slutpunkt i stället.

API-format

GET /ttl/{DATASET_ID}

Begäran

Följande begäran hämtar organisationens TTL-begränsningar för en viss datauppsättning.

curl -X GET \
  'https://platform.adobe.io/data/foundation/catalog/ttl/{DATASET_ID}' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -H 'x-sandbox-name: {SANDBOX_NAME}'
  -H 'x-sandbox-id: {SANDBOX_ID}'

Svar

Ett lyckat svar returnerar de rekommenderade, högsta och lägsta TTL-värdena baserat på organisationens berättiganden, tillsammans med en föreslagen TTL (defaultValue) för datauppsättningen. defaultValue är en rekommenderad TTL-varaktighet, endast som vägledning. Den tillämpas inte om den inte uttryckligen har konfigurerats av dig. Svaret innehåller inga anpassade TTL-värden som redan har angetts. Använd GET /catalog/dataSets/{DATASET_ID}-slutpunkten om du vill visa aktuell TTL för en datauppsättning.

{
  "extensions": {
    "adobe_lakeHouse": {
      "rowExpiration": {
        "defaultValue": "P12M",
        "maxValue": "P12M",
        "minValue": "P7D"
      }
    }
  }
}

Kontrollera använda TTL-värden check-applied-ttl-values

Om du vill kontrollera det aktuella TTL-värdet som har tillämpats på en datauppsättning använder du följande API-anrop:

GET /dataSets/{DATASET_ID}

Det här anropet returnerar aktuell ttlValue (om den angetts) i avsnittet extensions.adobe_lakeHouse.rowExpiration.

Begäran

Följande begäran hämtar organisationens TTL-värde för en viss datauppsättning.

curl -X GET \
https://platform.adobe.io/data/foundation/catalog/dataSets/{DATASET_ID} \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -H 'x-sandbox-name: {SANDBOX_NAME}'

Svar

Ett lyckat svar inkluderar objektet extensions, som innehåller den aktuella TTL-konfigurationen som används för datauppsättningen. Svarsexemplet nedan är förkortat för att vara kortfattat.

{
    "{DATASET_ID}": {
        "name": "Acme Sales Data",
        "description": "This dataset contains sales transaction records for Acme Corporation.",
        "imsOrg": "{ORG_ID}",
        "sandboxId": "{SANDBOX_ID}",
        "extensions": {
            "adobe_lakeHouse": {
            "rowExpiration": {
                "ttlValue": "P3M",
            }
            }
        }
        ...
    }
}

Ange eller uppdatera TTL för en datauppsättning set-update-ttl

Du kan konfigurera lagring av Experience Event-datauppsättningar genom att ange en ny TTL eller uppdatera en befintlig TTL med samma API-metod. Använd en PATCH-begäran för slutpunkten /v2/datasets/{DATASET_ID} om du vill använda eller justera TTL.

API-format

PATCH /v2/datasets/{DATASET_ID}

Begäran

I exemplet nedan är ttlValue inställt på P3M. Detta innebär att poster som är äldre än tre månader tas bort automatiskt. Justera kvarhållningsperioden så att den passar ditt företags behov (till exempel P6M för sex månader eller P12M för ett år).

curl -X PATCH \
  'https://platform.adobe.io/data/foundation/catalog/v2/datasets/{DATASET_ID}' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'Content-Type: application/json' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -d '{
    "extensions": {
        "adobe_lakeHouse": {
            "rowExpiration": {
                "ttlValue": "P3M"  // A 3 month retention period
            }
        }
    }
}

Svar

Ett lyckat svar returnerar en referens till den uppdaterade datauppsättningen, men inkluderar inte TTL-inställningarna explicit. Om du vill bekräfta TTL-konfigurationen gör du en uppföljningsförfrågan GET /dataSets/{DATASET_ID}.

[
  "@/dataSets/{DATASET_ID}"
]

Exempel på scenario example-scenario

Överväg en videoströmningsplattform som inledningsvis ställer in TTL på tre månader för att säkerställa nya engagemangsdata för personalisering. Om ytterligare analyser visar att äldre interaktioner fortfarande ger värdefulla insikter kan TTL-värdet förlängas till sex månader med följande begäran:

curl -X PATCH \
  'https://platform.adobe.io/data/foundation/catalog/v2/datasets/{DATASET_ID}' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'Content-Type: application/json' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -d '{
    "extensions": {
        "adobe_lakeHouse": {
            "rowExpiration": {
                "ttlValue": "P6M"  // Extend to 6 months
            }
        }
    }
}

Vanliga frågor om lagringsprinciper för datauppsättning faqs

Vanliga frågor och svar behandlar praktiska frågor om kvarhållningsjobb för datauppsättningar, omedelbara effekter av TTL-ändringar, återställningsalternativ och hur kvarhållningsperioder skiljer sig mellan olika plattformstjänster.

Vilka typer av datauppsättningar kan jag tillämpa regler för lagringspolicy på?

Hur snart raderas data från sjödatatjänsterna?

Kan jag ange olika bevarandepolicyer för datavinje- och profiltjänster?

Hur kan jag kontrollera min aktuella datauppsättningsanvändning?

Hur verifierar jag om datalagringsjobbet lyckades?

Kan jag återställa borttagna data?

Vilken är den minsta TTL-gräns jag kan konfigurera för en Data Lake Experience Event-datauppsättning?

Hur gör jag om jag behöver behålla vissa datavinefält längre än vad min TTL-policy tillåter?

Nästa steg next-steps

Nu när du har lärt dig hur du hanterar TTL-inställningar för förfallodatum på radnivå kan du läsa följande dokumentation för att få en bättre förståelse för hur du hanterar TTL: