Gerenciar a retenção do conjunto de dados do evento de experiência no data lake usando TTL

O gerenciamento eficiente de dados é essencial para o desempenho ideal, o controle de custos e a integridade dos dados. Use o TTL (Time-To-Live) de retenção de conjunto de dados de eventos de experiência para aplicar a expiração no nível de linha, removendo automaticamente registros desatualizados de conjuntos de dados no data lake e, ao mesmo tempo, garantindo a eficiência ideal do armazenamento e a relevância dos dados.

Este guia explica como avaliar, definir e gerenciar o TTL usando a API do Serviço de catálogo. Você aprenderá quando e por que aplicar o TTL, como configurar e atualizar valores TTL usando chamadas de API e práticas recomendadas para garantir uma implementação eficaz.

Por que usar TTL para gerenciamento de dados em nível de linha

À medida que os conjuntos de dados crescem, o gerenciamento eficiente de dados torna-se cada vez mais importante para preservar o desempenho, controlar os custos e manter os dados relevantes. A expiração de dados em nível de linha com base em TTL automatiza a limpeza de dados removendo registros desatualizados sem intervenção manual para ajudar a otimizar o armazenamento e melhorar a eficiência do sistema.

O TTL é útil ao gerenciar dados sensíveis ao tempo que perdem relevância ao longo do tempo. Considere implementar o TTL se precisar:

Use as configurações de TTL para otimizar o armazenamento com base nos direitos. Embora os dados do Armazenamento de perfil (usados no Real-Time CDP) possam ser considerados obsoletos e removidos após 30 dias, os mesmos dados de evento no data lake podem permanecer disponíveis por 12 a 13 meses (ou mais, com base no direito) para casos de uso do Analytics e do Data Distiller.

Exemplo do setor industry-example

Como exemplo, considere um serviço de streaming de vídeo que rastreia as interações do usuário, como exibições, pesquisas e recomendações de vídeo. Embora os dados recentes de engajamento sejam cruciais para a personalização, os logs de atividades mais antigos (por exemplo, interações de mais de um ano atrás) perdem relevância. Ao usar a expiração em nível de linha, o Experience Platform remove automaticamente os logs desatualizados, garantindo que somente os dados atuais e significativos sejam usados para análises e recomendações.

Avaliar adequação do TTL evaluate-ttl-suitability

Antes de aplicar uma política de retenção, avalie se o conjunto de dados é um bom candidato para a expiração em nível de linha. Considere o seguinte:

Se os registros históricos forem essenciais para análises de longo prazo ou operações de negócios, o TTL pode não ser a abordagem correta. A análise desses fatores garante que o TTL se alinhe às suas necessidades de retenção de dados sem afetar negativamente a disponibilidade dos dados.

Práticas recomendadas para definir o TTL best-practices

Selecione o valor TTL correto para garantir que sua política de retenção do conjunto de dados do evento de experiência equilibre a retenção de dados, a eficiência do armazenamento e as necessidades analíticas. Um TTL muito curto pode causar perda de dados, enquanto um TTL muito longo pode aumentar os custos de armazenamento e o acúmulo desnecessário de dados. Verifique se o TTL está alinhado à finalidade do seu conjunto de dados, considerando a frequência com que os dados são acessados e por quanto tempo permanecem relevantes.

A tabela abaixo fornece recomendações comuns de TTL com base no tipo de conjunto de dados e nos padrões de uso:

Revise as configurações de TTL periodicamente para garantir que elas continuem alinhadas às suas políticas de armazenamento, necessidades analíticas e requisitos de negócios.

Considerações principais ao definir o TTL key-considerations

Siga estas práticas recomendadas para garantir que as configurações de TTL se alinhem à sua estratégia de retenção de dados:

Limitações do TTL limitations

Esteja ciente das seguintes limitações ao usar TTL:

Analisar o tamanho e a relevância do conjunto de dados antes de aplicar o TTL analyze-dataset-size

Antes de aplicar o TTL, use consultas para analisar o tamanho e a relevância do conjunto de dados. Execute consultas direcionadas (como contar registros em intervalos de datas específicos) para visualizar o impacto de vários valores TTL. Em seguida, use essas informações para escolher um período de retenção ideal que equilibre a utilidade dos dados e a economia.

A execução de consultas direcionadas ajuda a determinar quantos dados seriam retidos ou removidos em diferentes configurações de TTL. Por exemplo, a consulta SQL a seguir conta o número de registros criados nos últimos 30 dias:

SELECT COUNT(1) FROM [datasetName] WHERE timestamp > date_sub(now(), INTERVAL 30 DAY);

A execução de consultas semelhantes em intervalos de tempo diferentes ajuda a validar as configurações de TTL e a garantir que elas equilibrem a eficiência do armazenamento e a acessibilidade dos dados.

Introdução ao gerenciamento TTL

Antes de avaliar, definir e gerenciar a Retenção do conjunto de dados do evento de experiência usando a API do serviço de catálogo, você deve entender como formatar suas solicitações corretamente. Isso inclui conhecer os caminhos da API, fornecer cabeçalhos necessários e formatar cargas de solicitação. Consulte o Guia de introdução à API do Serviço de Catálogo para obter essas informações essenciais.

Verifique suas restrições de TTL check-ttl-constraints

Use o ponto de extremidade /ttl/{DATASET_ID} da API de Higiene de Dados para ajudar a planejar as configurações de TTL. Esse ponto de extremidade retorna os valores TTL mínimo e máximo com suporte para sua organização, juntamente com um valor recomendado (defaultValue) para o tipo de conjunto de dados.

Consulte a documentação da API de higiene de dados do Adobe Developer para obter mais informações.

Para verificar o TTL aplicado atualmente a um conjunto de dados, faça uma solicitação GET para o ponto de extremidade ​ da ​API do Serviço de Catálogo/dataSets/{DATASET_ID}.

Formato da API

GET /ttl/{DATASET_ID}

Solicitação

A solicitação a seguir recupera as restrições de TTL da organização para um conjunto de dados específico.

curl -X GET \
  'https://platform.adobe.io/data/foundation/catalog/ttl/{DATASET_ID}' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -H 'x-sandbox-name: {SANDBOX_NAME}'
  -H 'x-sandbox-id: {SANDBOX_ID}'

Resposta

Uma resposta bem-sucedida retorna os valores de TTL recomendados, máximos e mínimos com base nos direitos da organização, juntamente com um TTL sugerido (defaultValue) para o conjunto de dados. Esta defaultValue é uma duração de TTL recomendada, fornecida somente para orientação. Ela não é aplicada a menos que seja configurada explicitamente por você. A resposta não inclui valores TTL personalizados que já possam ter sido definidos. Para exibir o TTL atual de um conjunto de dados, use o ponto de extremidade /catalog/dataSets/{DATASET_ID} do GET.

{
  "extensions": {
    "adobe_lakeHouse": {
      "rowExpiration": {
        "defaultValue": "P12M",
        "maxValue": "P12M",
        "minValue": "P7D"
      }
    }
  }
}

Como verificar valores TTL aplicados check-applied-ttl-values

Para verificar o valor TTL atual que foi aplicado a um conjunto de dados, use a seguinte chamada de API:

GET /dataSets/{DATASET_ID}

Esta chamada retorna o ttlValue atual (se definido) na seção extensions.adobe_lakeHouse.rowExpiration.

Solicitação

A solicitação a seguir recupera o valor TTL da organização para um conjunto de dados específico.

curl -X GET \
https://platform.adobe.io/data/foundation/catalog/dataSets/{DATASET_ID} \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -H 'x-sandbox-name: {SANDBOX_NAME}'

Resposta

Uma resposta bem-sucedida inclui o objeto extensions, que contém a configuração TTL atual aplicada ao conjunto de dados. O exemplo de resposta abaixo está truncado por questões de brevidade.

{
    "{DATASET_ID}": {
        "name": "Acme Sales Data",
        "description": "This dataset contains sales transaction records for Acme Corporation.",
        "imsOrg": "{ORG_ID}",
        "sandboxId": "{SANDBOX_ID}",
        "extensions": {
            "adobe_lakeHouse": {
            "rowExpiration": {
                "ttlValue": "P3M",
            }
            }
        }
        ...
    }
}

Definir ou atualizar o TTL para um conjunto de dados set-update-ttl

Você pode configurar a Retenção do conjunto de dados de evento de experiência definindo um novo TTL ou atualizando um TTL existente usando o mesmo método de API. Use uma solicitação PATCH para o ponto de extremidade /v2/datasets/{DATASET_ID} para aplicar ou ajustar o TTL.

Formato da API

PATCH /v2/datasets/{DATASET_ID}

Solicitação

No exemplo abaixo, o ttlValue está definido como P3M. Isso significa que os registros com mais de três meses são excluídos automaticamente. Ajuste o período de retenção para atender às suas necessidades comerciais (por exemplo, P6M para seis meses ou P12M para um ano).

curl -X PATCH \
  'https://platform.adobe.io/data/foundation/catalog/v2/datasets/{DATASET_ID}' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'Content-Type: application/json' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -d '{
    "extensions": {
        "adobe_lakeHouse": {
            "rowExpiration": {
                "ttlValue": "P3M"  // A 3 month retention period
            }
        }
    }
}

Resposta

Uma resposta bem-sucedida retorna uma referência ao conjunto de dados atualizado, mas não inclui explicitamente as configurações de TTL. Para confirmar a configuração TTL, faça uma solicitação de acompanhamento GET /dataSets/{DATASET_ID}.

[
  "@/dataSets/{DATASET_ID}"
]

Exemplo de cenário example-scenario

Considere uma plataforma de transmissão de vídeo que define inicialmente o TTL como três meses para garantir novos dados de envolvimento para personalização. No entanto, se a análise subsequente revelar que interações mais antigas ainda fornecem insights valiosos, o TTL pode ser estendido para seis meses com a seguinte solicitação:

curl -X PATCH \
  'https://platform.adobe.io/data/foundation/catalog/v2/datasets/{DATASET_ID}' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'Content-Type: application/json' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -d '{
    "extensions": {
        "adobe_lakeHouse": {
            "rowExpiration": {
                "ttlValue": "P6M"  // Extend to 6 months
            }
        }
    }
}

Perguntas frequentes sobre a política de retenção do conjunto de dados faqs

Estas perguntas frequentes abordam questões práticas sobre tarefas de retenção de conjuntos de dados, efeitos imediatos de alterações de TTL, opções de recuperação e como os períodos de retenção diferem entre os serviços da plataforma.

A quais tipos de conjuntos de dados posso aplicar regras de política de retenção?

Quando o trabalho de Retenção de conjunto de dados excluirá os dados dos serviços do data lake?

Posso definir políticas de retenção diferentes para data lake e serviços de perfil?

Como posso verificar o uso do meu conjunto de dados atual?

Como posso verificar se o trabalho de retenção de dados foi bem-sucedido?

Posso recuperar dados excluídos?

Qual é o TTL mínimo que posso configurar em um conjunto de dados de Evento de experiência do data lake?

E se for necessário reter alguns campos do data lake por mais tempo do que minha política de TTL permite?

Próximas etapas next-steps

Agora que você aprendeu a gerenciar configurações de TTL para expiração em nível de linha, revise a seguinte documentação para aprimorar sua compreensão do gerenciamento de TTL: