Behoud van de Dataset van de Gebeurtenis van de Ervaring beheren in het gegevenspeer gebruikend TTL

Efficiënt gegevensbeheer is van essentieel belang voor optimale prestaties, kostenbeheersing en gegevensintegriteit. De Behoud Tijd-aan-Levende van de Dataset van de Gebeurtenis van de Ervaring (TTL) om rij-vlakke verval af te dwingen, automatisch verwijderend verslagen uit datasets in het gegevenspeer terwijl het verzekeren van optimale opslagefficiency en gegevensrelevantie.

Deze gids verklaart hoe te om TTL te evalueren, te plaatsen en te beheren gebruikend de Dienst API van de Catalogus. U zult leren wanneer en waarom om TTL toe te passen, hoe te om de waarden van TTL te vormen en bij te werken gebruikend API vraag, en beste praktijken om efficiënte implementatie te verzekeren.

Waarom TTL voor rij-vlakke gegevensbeheer gebruiken

Naarmate datasets groeien, wordt een efficiënt gegevensbeheer steeds belangrijker om de prestaties te behouden, de kosten te beheersen en de gegevens relevant te houden. Op TTL-Gebaseerde rij-vlakke gegevensvervalsing automatiseert gegevensschoonmaak door verouderde verslagen zonder handinterventie te verwijderen om opslag te helpen optimaliseren en systeemefficiency te verbeteren.

TTL is nuttig wanneer het beheren van tijd-gevoelige gegevens die relevantie in tijd verliezen. Overweeg het uitvoeren van TTL als u moet:

Gebruik TTL-configuraties om opslag te optimaliseren op basis van rechten. Hoewel gegevens uit de profielopslag (gebruikt in Real-Time CDP) na 30 dagen als 'stale' en 'verwijder' kunnen worden beschouwd, kunnen dezelfde gebeurtenisgegevens in het datumpomeer gedurende 12-13 maanden (of langer op basis van 'machtiging') beschikbaar blijven voor gebruik door Analytics en Data Distiller.

Voorbeeld van industrie industry-example

Neem bijvoorbeeld een service voor videostreaming die gebruikersinteracties bijhoudt, zoals videoweergaven, zoekopdrachten en aanbevelingen. Terwijl recente betrokkenheidsgegevens van cruciaal belang zijn voor personalisatie, verliezen oudere activiteitenlogboeken (bijvoorbeeld interacties van meer dan een jaar geleden) de relevantie. Door rijverloop te gebruiken, verwijdert Experience Platform automatisch verouderde logboeken, die ervoor zorgen slechts huidige en zinvolle gegevens voor analyses en aanbevelingen worden gebruikt.

Evalueer de geschiktheid van TTL evaluate-ttl-suitability

Alvorens een behoudbeleid toe te passen, bepaal of uw dataset een goede kandidaat voor rij-vlakke afloop is. Overweeg het volgende:

Indien historische gegevens van essentieel belang zijn voor langetermijnanalyse of bedrijfsactiviteiten, is TTL wellicht niet de juiste aanpak. Als u deze factoren controleert, zorgt u ervoor dat TTL wordt afgestemd op de behoeften voor gegevensopslag zonder dat dit negatieve gevolgen heeft voor de beschikbaarheid van gegevens.

Aanbevolen procedures voor het instellen van TTL best-practices

Selecteer de juiste TTL-waarde om ervoor te zorgen dat het beleid voor het bewaren van gegevens van de Dataset van de Gebeurtenis een evenwicht biedt tussen gegevensbewaring, opslagefficiëntie en analytische behoeften. Een TTL die te kort is kan gegevensverlies veroorzaken, terwijl één die te lang is kan opslagkosten en onnodige gegevensaccumulatie verhogen. Zorg ervoor dat TTL zich aan het doel van uw dataset door te overwegen richt hoe vaak de gegevens worden betreden en hoe lang het relevant blijft.

De lijst hieronder verstrekt gemeenschappelijke aanbevelingen van TTL die op datasettype en gebruikspatronen worden gebaseerd:

Controleer periodiek de montages van TTL om ervoor te zorgen zij zich aan uw opslagbeleid, analytische behoeften, en bedrijfsvereisten blijven richten.

Belangrijke overwegingen bij het instellen van TTL key-considerations

Volg deze beste praktijken om ervoor te zorgen dat de montages van TTL zich aan uw strategie van het gegevensbehoud richten:

Beperkingen van TTL limitations

Houd rekening met de volgende beperkingen bij het gebruik van TTL:

De grootte en relevantie van gegevenssets analyseren voordat u TTL toepast analyze-dataset-size

Alvorens TTL toe te passen, gebruik vragen om datasetgrootte en relevantie te analyseren. Voer gerichte query's uit (zoals het tellen van records binnen specifieke datumbereiken) om een voorvertoning te bekijken van de impact van verschillende TTL-waarden. Gebruik deze informatie vervolgens om een optimale retentieperiode te kiezen waarin het nut en de kosteneffectiviteit van de gegevens op elkaar worden afgestemd.

Het runnen van gerichte vragen helpt bepalen hoeveel gegevens onder verschillende configuraties van TTL worden behouden of worden verwijderd. De volgende SQL-query telt bijvoorbeeld het aantal records dat in de laatste 30 dagen is gemaakt:

SELECT COUNT(1) FROM [datasetName] WHERE timestamp > date_sub(now(), INTERVAL 30 DAY);

Het runnen van gelijkaardige vragen voor verschillende tijdintervallen helpt de montages van TTL bevestigen en verzekeren zij opslagefficiency en gegevenstoegankelijkheid in evenwicht brengen.

Aan de slag met TTL-beheer

Voordat u de bewaring van de Dataset van de Gebeurtenis van de Ervaring kunt evalueren, instellen en beheren met de API van de Catalogusservice, moet u begrijpen hoe u uw verzoeken correct opmaakt. Dit omvat het kennen van de API wegen, het verstrekken van vereiste kopballen, en het formatteren verzoeklading. Verwijs naar de ​ Begonnen gids van de Dienst API van de Catalogus ​ voor deze essentiële informatie.

Controleer uw beperkingen van TTL check-ttl-constraints

Gebruik het eindpunt van de API van de Hygiëne van Gegevens /ttl/{DATASET_ID} helpen configuraties plannen TTL. Dit eindpunt keert de minimum en maximumwaarden van TTL terug die voor uw organisatie, samen met een geadviseerde waarde (defaultValue) voor het datasettype worden gesteund.

Zie de Adobe Developer ​ documentatie van de Hygiëne API van Gegevens ​ voor meer informatie.

Om ​ te controleren TTL momenteel toegepast op een dataset ​, doe een verzoek van GET aan het ​ de dienstAPI van de Catalogus ​ /dataSets/{DATASET_ID} eindpunt in plaats daarvan.

API formaat

GET /ttl/{DATASET_ID}

Verzoek

Het volgende verzoek wint de beperkingen van TTL van uw organisatie voor een bepaalde dataset terug.

curl -X GET \
  'https://platform.adobe.io/data/foundation/catalog/ttl/{DATASET_ID}' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -H 'x-sandbox-name: {SANDBOX_NAME}'
  -H 'x-sandbox-id: {SANDBOX_ID}'

Reactie

Een succesvolle reactie keert de geadviseerde, maximum, en minimumwaarden van TTL terug die op de aanspraken van uw organisatie, samen met voorgestelde TTL (defaultValue) voor de dataset worden gebaseerd. Deze defaultValue is een aanbevolen TTL-duur, alleen ter begeleiding. Het wordt niet toegepast tenzij uitdrukkelijk gevormd door u. De reactie bevat geen aangepaste TTL-waarden die mogelijk al zijn ingesteld. Om huidige TTL voor een dataset te bekijken, gebruik het GET /catalog/dataSets/{DATASET_ID} eindpunt.

{
  "extensions": {
    "adobe_lakeHouse": {
      "rowExpiration": {
        "defaultValue": "P12M",
        "maxValue": "P12M",
        "minValue": "P7D"
      }
    }
  }
}

Hoe te om toegepaste waarden van TTL te controleren check-applied-ttl-values

Om de huidige waarde van TTL te controleren die op een dataset is toegepast, gebruik de volgende API vraag:

GET /dataSets/{DATASET_ID}

Deze aanroep retourneert de huidige ttlValue (indien ingesteld) sectie extensions.adobe_lakeHouse.rowExpiration .

Verzoek

Het volgende verzoek wint de waarde van TTL van uw organisatie voor een bepaalde dataset terug.

curl -X GET \
https://platform.adobe.io/data/foundation/catalog/dataSets/{DATASET_ID} \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -H 'x-sandbox-name: {SANDBOX_NAME}'

Reactie

Een succesvolle reactie omvat het extensions voorwerp, dat de huidige configuratie van TTL bevat die op de dataset wordt toegepast. Het onderstaande voorbeeld is afgekapt voor bondigheid.

{
    "{DATASET_ID}": {
        "name": "Acme Sales Data",
        "description": "This dataset contains sales transaction records for Acme Corporation.",
        "imsOrg": "{ORG_ID}",
        "sandboxId": "{SANDBOX_ID}",
        "extensions": {
            "adobe_lakeHouse": {
            "rowExpiration": {
                "ttlValue": "P3M",
            }
            }
        }
        ...
    }
}

TTL voor een dataset instellen of bijwerken set-update-ttl

U kunt het Behouden van de Dataset van de Gebeurtenis van de Ervaring vormen door een nieuwe TTL te plaatsen of een bestaande TTL bij te werken gebruikend de zelfde API methode. Gebruik een PATCH-aanvraag voor het /v2/datasets/{DATASET_ID} -eindpunt om TTL toe te passen of aan te passen.

API formaat

PATCH /v2/datasets/{DATASET_ID}

Verzoek

In het onderstaande voorbeeld wordt ttlValue ingesteld op P3M . Dit betekent dat records ouder dan drie maanden automatisch worden verwijderd. Pas de bewaarperiode aan uw bedrijfsbehoeften aan (bijvoorbeeld P6M gedurende zes maanden of P12M gedurende één jaar).

curl -X PATCH \
  'https://platform.adobe.io/data/foundation/catalog/v2/datasets/{DATASET_ID}' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'Content-Type: application/json' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -d '{
    "extensions": {
        "adobe_lakeHouse": {
            "rowExpiration": {
                "ttlValue": "P3M"  // A 3 month retention period
            }
        }
    }
}

Reactie

Een succesvolle reactie keert een verwijzing naar de bijgewerkte dataset terug maar omvat niet uitdrukkelijk de montages van TTL. Om de configuratie van TTL te bevestigen, doe een follow-up GET /dataSets/{DATASET_ID} verzoek.

[
  "@/dataSets/{DATASET_ID}"
]

Voorbeeldscenario example-scenario

Overweeg een videostreamingplatform dat de TTL aanvankelijk op drie maanden zet om nieuwe betrokkenheidsgegevens voor personalisatie te verzekeren. Als uit een latere analyse echter blijkt dat oudere interacties nog steeds waardevolle inzichten opleveren, kan de GVTO tot zes maanden worden verlengd met het volgende verzoek:

curl -X PATCH \
  'https://platform.adobe.io/data/foundation/catalog/v2/datasets/{DATASET_ID}' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'Content-Type: application/json' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -d '{
    "extensions": {
        "adobe_lakeHouse": {
            "rowExpiration": {
                "ttlValue": "P6M"  // Extend to 6 months
            }
        }
    }
}

Veelgestelde vragen over beleid voor gegevensbewaring faqs

In deze veelgestelde vragen wordt ingegaan op praktische vragen over banen voor gegevenssetbehoud, de onmiddellijke gevolgen van veranderingen van TTL, terugwinningsopties, en hoe de bewaartermijnen tussen de diensten van het Platform verschillen.

Op welke soorten datasets kan ik de regels van het behoudbeleid toepassen?

Hoe snel zal de baan van het Behoud Dataset gegevens van de diensten van het gegevenspeer schrappen?

Kan ik verschillende bewaarbeleid voor de diensten van het gegevensmeer en van het Profiel plaatsen?

Hoe kan ik mijn huidige gegevenssetgebruik controleren?

Hoe kan ik controleren of de functie voor het bewaren van gegevens is gelukt?

Kan ik verwijderde gegevens herstellen?

Wat is minimum TTL I kan vormen op een dataset van de Gebeurtenis van de Ervaring van het gegevensmeer?

Wat als ik sommige gebieden van het gegevensmeer langer dan mijn beleid van TTL moet behouden?

Volgende stappen next-steps

Nu u hebt geleerd hoe te om de montages van TTL voor rij-vlakke afloop te beheren, herzie de volgende documentatie om uw inzicht in het beheer van TTL te bevorderen: