Escolha o recurso correto de gerenciamento do ciclo de vida dos dados

Saiba como gerenciar por quanto tempo os dados permanecem no Adobe Experience Platform com base em seus requisitos operacionais, de retenção e de armazenamento. Este guia explica as opções de retenção e exclusão disponíveis e ajuda a determinar qual delas se adapta à sua meta e quando usá-las, com base nas suas necessidades. Para obter instruções passo a passo, siga os links de implementação em cada seção.

Este guia é para administradores e desenvolvedores que gerenciam volumes de dados, retenção e direitos no Experience Platform. Ele presume que você esteja familiarizado com os principais conceitos do Experience Platform, incluindo conjuntos de dados, identidades, perfis e sandboxes. A disponibilidade e as permissões necessárias para cada ação são descritas nas páginas da interface do usuário e da API vinculadas.

Por que gerenciar o ciclo de vida dos dados why-manage

A Adobe Experience Platform assimila dados continuamente e a quantidade de dados que você armazena cresce com o tempo. O gerenciamento do ciclo de vida dos dados mantém esses dados alinhados aos casos de uso ativos, para que você mantenha o que continua a fornecer valor e remova o que não faz mais. Uma estratégia de retenção bem definida também ajuda a atender aos requisitos de retenção de dados de sua organização e a manter os volumes de dados dentro de seus direitos de licença.

Quando os dados se acumulam além do que os casos de uso exigem, você enfrenta vários riscos:

  • Relevância reduzida: manter os sinais além do período em que permanecem úteis pode reduzir a relevância e a capacidade de ação da segmentação, ativação e personalização.
  • Pressão de custo: volumes de dados cada vez maiores podem empurrá-lo em direção ou além de seus direitos de licenciamento, o que pode resultar em excedentes.
  • Desempenho degradado: O excesso de dados aumenta a carga do sistema e pode retardar o processamento.
  • Exposição à privacidade: a retenção de dados por mais tempo do que o necessário aumenta o risco à privacidade e a exposição regulamentar.

Para evitar esses resultados, a Adobe recomenda reter os dados somente enquanto houver suporte para um caso de uso ativo. Aplique o mesmo princípio na assimilação usando filtros de assimilação para trazer apenas os dados exigidos pelos seus casos de uso. Os dados comportamentais, como dados de eventos, geralmente consomem muito mais armazenamento do que os dados de registros, de modo que os dados comportamentais não gerenciados geralmente têm o maior impacto no crescimento do armazenamento. Os perfis pseudônimos também podem se acumular ao longo do tempo e aumentar as contagens de perfis. Portanto, considere usar a expiração de dados do perfil pseudônimo para remover perfis pseudônimos inativos quando eles não forem mais necessários.

Todos os dados assimilados são retidos no Experience Platform, e uma parte essencial do gerenciamento do ciclo de vida dos dados é fazer a correspondência desses dados com o fluxo de trabalho fornecido. O Experience Platform armazena dados em dois repositórios que atendem a diferentes objetivos:

Fluxo de trabalho
Mais adequado para
Casos de uso típicos
Analítico
Retenção de longo prazo com acesso mais lento, mantida no data lake
Análise histórica, relatórios, ciência de dados
Engajamento
Acesso em tempo real ou quase real, mantido na loja de perfis
Segmentação, ativação, personalização

Um conjunto de dados pode oferecer suporte a fluxos de trabalho analíticos, fluxos de trabalho de engajamento ou ambos. Quando os dados do evento de experiência estiverem disponíveis no armazenamento de perfis e no data lake, cada repositório terá sua própria política de retenção. A expiração dos dados de um repositório não remove automaticamente os mesmos dados do outro. Retém dados somente enquanto forem exigidos pelos workflows que os utilizam e garante que as políticas de retenção apropriadas estejam configuradas para ambos os repositórios.

NOTE
O armazenamento de perfil e data lake estão sujeitos a direitos de licenciamento, que variam de acordo com os produtos que sua organização adquiriu. Confirme os direitos disponíveis para sua organização quando planejar onde os dados são armazenados e por quanto tempo ficam retidos.

Diagrama que mostra a divisão do Adobe Experience Platform em dois fluxos de trabalho: Fluxos de trabalho analíticos que geram insights orientados por dados e Fluxos de trabalho de envolvimento viabilizados pelo Perfil do Cliente em Tempo Real. {width="600" modal="regular"}

Para obter orientação sobre como rastrear e gerenciar seus direitos de licença, consulte Práticas recomendadas de direito de licença de gerenciamento de dados.

Escolha o recurso certo choose-a-capability

Sua meta de gerenciamento de dados determina qual opção de retenção ou exclusão usar. A tabela a seguir mapeia objetivos comuns, incluindo solicitações de privacidade ou de exclusão regulamentar, para a opção mais adequada. As seções a seguir descrevem cada opção de retenção e exclusão.

IMPORTANT
Para solicitações de titulares de dados ou de direitos do consumidor sob regulamentos de privacidade como o Regulamento Geral sobre a Proteção de Dados (GDPR), use o Adobe Experience Platform Privacy Service. Não use os recursos avançados de gerenciamento do ciclo de vida dos dados para atender a essas solicitações. Use-os para fins de gestão de dados operacionais, como limpeza e minimização de dados.
Sua meta
Opção
Atender a uma solicitação de privacidade ou de titulares de dados normativos
Serviço de privacidade
Remover operacionalmente registros correspondentes à identidade principal
Exclusão de registro
Excluir um conjunto de dados inteiro em uma data programada
Expiração do conjunto de dados
Remover automaticamente eventos de experiência obsoletos do armazenamento de perfis ao longo do tempo
Expiração do evento de experiência
Remover automaticamente perfis pseudônimos (desconhecidos) inativos
Expiração de dados do perfil pseudônimo
Remover automaticamente registros antigos de eventos de experiência do data lake ao manter o conjunto de dados
Política de retenção de data lake

Entre as opções avançadas de gerenciamento do ciclo de vida dos dados, a exclusão de registros e a expiração dos conjuntos de dados são ações direcionadas e únicas, que você envia quando precisa delas. A expiração do evento de experiência remove automaticamente eventos de experiência antigos do armazenamento de perfis, enquanto a expiração de dados do perfil pseudônimo remove perfis desconhecidos inativos de forma contínua. Uma política de retenção de data lake aplica a expiração no nível da linha a conjuntos de dados ExperienceEvent no data lake. Se sua meta exigir mais de uma opção, por exemplo, remover registros específicos e, ao mesmo tempo, cortar o crescimento de eventos em andamento, combine-os conforme descrito em Planejar sua estratégia de retenção.

Exclusão de registro record-delete

Quando precisar remover registros associados a uma identidade principal para fins operacionais, como limpeza ou minimização de dados, use a exclusão de registro. Ele remove registros individuais do Experience Platform com base em sua identidade principal. Por padrão, a exclusão de registros afeta o data lake, o Serviço de identidade e o Perfil do cliente em tempo real. A exclusão de registros não é uma ferramenta de conformidade. Para solicitações de direitos do consumidor ou do titular dos dados, use o Adobe Experience Platform Privacy Service.

IMPORTANT
Os registros excluídos não podem ser recuperados.

A exclusão de registro age na identidade principal usada pelo serviço de destino. Antes de usá-lo, observe as seguintes limitações:

  • Somente a identidade principal é correspondida, e todos os registros correspondentes à identidade principal são excluídos. Os registros não podem ser direcionados por identidades secundárias.
  • Os registros sem uma identidade principal preenchida são ignorados.
  • Os dados assimilados antes da identidade primária serem configurados no esquema do conjunto de dados não podem ser excluídos dessa maneira.
  • Um conjunto de dados com uma expiração de conjunto de dados agendada ou em andamento não pode receber uma solicitação de exclusão de registro. Cancele a expiração programada ou aguarde até que ela seja concluída antes de submeter a solicitação de exclusão de registro.
  • Para conjuntos de dados de esquema relacional sincronizados com um sistema de origem externo por meio do Data Mirror, os registros excluídos podem ser assimilados novamente se ainda existirem no sistema de origem. Atualize a origem como parte do fluxo de trabalho de exclusão. Consulte Data Mirror e considerações sobre esquemas relacionais.

Dependendo da configuração de sua organização, é possível excluir registros de um único conjunto de dados ou de todos os conjuntos de dados.

Depois de enviar uma solicitação, o Experience Platform a coloca em lote antes do processamento. O processamento é concluído na service level agreement (SLA) para o seu direito. Para os estágios de processamento e quanto tempo leva cada um, consulte linhas do tempo de processamento do ciclo de vida dos dados. As solicitações de exclusão de registros também estão sujeitas a limites diários e mensais de envio de identificadores. Para os limites atuais, consulte cotas de envio de identificador.

Você pode criar solicitações de exclusão de registro no espaço de trabalho Ciclo de Vida dos Dados ou com a API. Consulte Criar uma solicitação de exclusão de registro para o fluxo de trabalho da interface e o manual de ponto de extremidade de ordem de trabalho para a API.

Expiração do conjunto de dados dataset-expiration

Quando for necessário desativar um conjunto de dados inteiro que não seja mais necessário para seus casos de uso, use a expiração do conjunto de dados. Ele programa o conjunto de dados para exclusão em uma data escolhida, e você pode modificar ou cancelar a expiração programada a qualquer momento antes do início do processo de expiração. Quando o conjunto de dados atinge sua data de expiração, o data lake, o serviço de identidade e o perfil do cliente em tempo real começam a remover o conteúdo do conjunto de dados, e a expiração é concluída quando todos os três serviços são concluídos.

IMPORTANT
Antes que um conjunto de dados expire, atualize todos os fluxos de dados que assimilam dados nele para evitar falhas de assimilação que possam afetar os fluxos de trabalho downstream. O conjunto de dados é removido do data lake antes que o restante do processo de expiração seja concluído, de modo que qualquer fluxo de dados que ainda seja assimilado nele comece a falhar assim que o conjunto de dados for removido.

Você pode ter somente um número limitado de expirações agendadas de conjunto de dados pendentes de uma vez. O limite depende do seu produto e de qualquer direito do Shield. Para o limite atual, consulte limites de expiração pendentes. O Gerenciamento avançado do ciclo de vida dos dados não oferece suporte à exclusão do conjunto de dados em lote.

Você pode agendar expirações do conjunto de dados no espaço de trabalho Ciclo de vida dos dados ou com a API. Consulte Agendar uma expiração do conjunto de dados para o fluxo de trabalho da interface e o guia de ponto de extremidade de expiração do conjunto de dados para a API.

Retenção e expiração automáticas automatic-expiration

Quando quiser cortar dados obsoletos do Armazenamento de perfis ou do data lake automaticamente ao longo do tempo, use a Expiração de evento de experiência, a Expiração de dados de perfil pseudônimo ou uma política de retenção de data lake para expiração em nível de linha. Após definidas, essas configurações removem automaticamente os dados qualificados de acordo com o período de retenção ou inatividade definido, sem exigir o envio de solicitações individuais. As configurações continuam a ser aplicadas até que você as altere ou remova.

A expiração do evento de experiência e a expiração de dados do perfil pseudônimo são recursos complementares, mas são configurados de forma diferente. A expiração do evento de experiência é configurada por conjunto de dados no espaço de trabalho Conjuntos de dados, enquanto a expiração de dados do perfil pseudônimo é configurada separadamente no nível da sandbox nas configurações do perfil.

Expiração do evento de experiência experience-event-ttl

A expiração do evento de experiência remove os eventos de experiência do armazenamento de perfis após o período de retenção configurado. Para um conjunto de dados ExperienceEvent, você configura seu período de retenção no espaço de trabalho Conjuntos de dados. Essa configuração se aplica no nível do conjunto de dados e remove apenas eventos, não atributos de perfil. Se um perfil não tiver atributos próprios, ele parará de existir depois que todos os eventos forem removidos. O período mínimo de retenção é de um dia. Consulte o documento Definir política de retenção de dados para obter diretrizes de configuração.

NOTE
Um volume de eventos inesperadamente alto também pode resultar do tráfego de bot em vez da atividade de usuário genuína. Para obter orientação sobre como identificar e filtrar o tráfego de bot, consulte Filtragem de bot no Serviço de Consulta.

Expiração de dados do perfil pseudônimo pseudonymous-profile-ttl

A expiração de dados do Perfil de pseudônimo se aplica no nível da sandbox e remove os perfis de pseudônimo (desconhecidos) após ficarem inativos pelo período definido. Ele remove eventos e registros de perfil. Você mesmo pode definir essa configuração. O período de expiração padrão é de 14 dias para sandboxes de produção e 3 dias para sandboxes de desenvolvimento. Como o processo de remoção é executado em um ciclo recorrente, os perfis elegíveis não são removidos imediatamente. Para obter orientação sobre configuração, consulte Expiração de dados de perfil pseudônimo.

Os dois mecanismos de expiração diferem no escopo e no que são removidos:

Característica
Expiração do evento de experiência
Expiração de dados do perfil pseudônimo
Aplica-se a
Nível do conjunto de dados
Nível de sandbox
Remove
Somente eventos
Eventos e registros de perfil
Metas
Eventos mais antigos que a idade definida
Perfis pseudônimos inativos no período definido

As duas configurações se complementam. Defina um período de expiração de Evento de experiência em seus conjuntos de dados para controlar por quanto tempo os dados do evento permanecem no armazenamento de Perfil e use a expiração de dados do Perfil pseudônimo para remover perfis desconhecidos inativos com base em quanto tempo eles permanecem úteis. Para obter orientação sobre como escolher as durações, consulte Planejar sua estratégia de retenção.

IMPORTANT
Os dados removidos por qualquer um dos mecanismos são excluídos permanentemente e não podem ser restaurados.

Política de retenção de data lake data-lake-retention

Para um conjunto de dados ExperienceEvent, o período de retenção configurado determina quando os Eventos de experiência expiram do armazenamento de Perfis. Um conjunto de dados ExperienceEvent também pode ter uma política de retenção de data lake separada. Ambos estão configurados no mesmo fluxo de trabalho Definir política de retenção de dados no espaço de trabalho Conjuntos de Dados.

Use a orientação a seguir para distinguir as opções de retenção disponíveis:

Se você quiser…
Usar
Remover eventos de experiência antigos do repositório de perfis ao manter o conjunto de dados
Expiração do evento de experiência
Remover registros antigos de Evento de experiência do data lake ao manter o conjunto de dados
Política de retenção de data lake
Remover todo o conjunto de dados
Expiração do conjunto de dados

Como esses períodos de retenção são independentes, você pode reter eventos no data lake para análise de longo prazo depois que eles expiram do armazenamento de perfis. Para obter orientação sobre retenção de data lake, incluindo a configuração de API, consulte Gerenciar TTL (retenção do conjunto de dados).

Planejar sua estratégia de retenção plan-retention

O gerenciamento do ciclo de vida dos dados é uma prática contínua, não uma tarefa única. Reter dados somente enquanto for compatível com um caso de uso ativo e configurar períodos de retenção e datas de expiração para corresponder ao tempo em que os dados permanecem úteis.

Principais considerações para guiar sua estratégia de dados

Responda às seguintes perguntas para cada conjunto de dados antes de definir as configurações de retenção ou expiração:

  • Esses dados ainda são necessários para um caso de uso ativo? A retenção de dados além do que é exigido pelos casos de uso aumenta os custos de armazenamento e processamento sem agregar valor.
  • Estes dados dão suporte a fluxos de trabalho analíticos, fluxos de trabalho de envolvimento ou ambos? Alinhe cada conjunto de dados ao fluxo de trabalho ao qual ele serve e gerencie a retenção de acordo.
  • Por quanto tempo esses dados precisam ser retidos para permanecerem úteis? Defina períodos de retenção e datas de expiração de acordo com a quantidade de tempo que os dados suportam seu caso de uso, em vez de depender de um período padrão ou indefinido.
  • Com que frequência você analisa o uso de dados? Revise o uso regularmente para que você possa detectar ineficiências e ajustar as configurações de retenção antes que elas afetem o custo ou o desempenho.

Use a orientação a seguir ao definir as durações de retenção:

  • Expiração do evento de experiência: defina o período de retenção para cobrir a pesquisa mais longa que seus públicos-alvo precisam e mantenha suas janelas de pesquisa de público-alvo dentro desse período para que a segmentação permaneça precisa.
  • Expiração de dados do perfil pseudônimo: se os perfis desconhecidos inativos perderem valor antes dos eventos de experiência que você retém, defina um período de expiração mais curto para remover esses perfis antes.
  • Política de retenção de data lake: Defina um período mais longo para os dados de evento que você ainda precisa para análise, independentemente de quando os mesmos dados expiram do repositório de perfis. Faça a correspondência entre a duração e a forma como os dados são usados: menor para dados acessados com frequência, maior para as necessidades de arquivamento. Consulte Gerenciar a retenção do conjunto de dados de eventos de experiência (TTL) para obter as durações e os mínimos recomendados.
TIP
Aplique a mesma disciplina de retenção às sandboxes de não produção que você aplica à produção. Evite copiar conjuntos de dados de produção completa em uma sandbox de não produção sem um caso de uso definido, já que dados de não produção gerenciados ainda contam para o uso da licença.

Aplique esses recursos com base nos requisitos de retenção de dados. Por exemplo, para dados de sequência de cliques de alto volume, defina um período de expiração do Evento de experiência e, se os perfis desconhecidos inativos perderem o valor antes, um período de expiração de dados do Perfil de pseudônimo mais curto para controlar o espaço de armazenamento do seu perfil. Defina um período de retenção de data lake mais longo separadamente para preservar os mesmos eventos para análise de longo prazo.

Use a expiração do conjunto de dados para desativar conjuntos de dados inteiros que não são mais necessários e a exclusão de registros para remover registros específicos mediante solicitação.

Para obter orientação sobre como rastrear e gerenciar seus direitos de licença, consulte Práticas recomendadas de direito de licença de gerenciamento de dados.

Próximas etapas next-steps

Depois de escolher a opção correta de retenção ou exclusão, use a orientação de implementação vinculada para executá-la. Se você estiver usando a API para exclusão de registro ou expiração do conjunto de dados, consulte também práticas recomendadas para solicitações de exclusão de registro e expiração do conjunto de dados para obter orientação sobre agrupamento, limitação e monitoramento.

recommendation-more-help
experience-platform-help-hygiene