Escolha o recurso correto de gerenciamento do ciclo de vida dos dados
Saiba como gerenciar por quanto tempo os dados permanecem no Adobe Experience Platform com base em seus requisitos operacionais, de retenção e de armazenamento. Este guia explica as opções de retenção e exclusão disponíveis e ajuda a determinar qual delas se adapta à sua meta e quando usá-las, com base nas suas necessidades. Para obter instruções passo a passo, siga os links de implementação em cada seção.
Este guia é para administradores e desenvolvedores que gerenciam volumes de dados, retenção e direitos no Experience Platform. Ele presume que você esteja familiarizado com os principais conceitos do Experience Platform, incluindo conjuntos de dados, identidades, perfis e sandboxes. A disponibilidade e as permissões necessárias para cada ação são descritas nas páginas da interface do usuário e da API vinculadas.
Por que gerenciar o ciclo de vida dos dados why-manage
A Adobe Experience Platform assimila dados continuamente e a quantidade de dados que você armazena cresce com o tempo. O gerenciamento do ciclo de vida dos dados mantém esses dados alinhados aos casos de uso ativos, para que você mantenha o que continua a fornecer valor e remova o que não faz mais. Uma estratégia de retenção bem definida também ajuda a atender aos requisitos de retenção de dados de sua organização e a manter os volumes de dados dentro de seus direitos de licença.
Quando os dados se acumulam além do que os casos de uso exigem, você enfrenta vários riscos:
- Relevância reduzida: manter os sinais além do período em que permanecem úteis pode reduzir a relevância e a capacidade de ação da segmentação, ativação e personalização.
- Pressão de custo: volumes de dados cada vez maiores podem empurrá-lo em direção ou além de seus direitos de licenciamento, o que pode resultar em excedentes.
- Desempenho degradado: O excesso de dados aumenta a carga do sistema e pode retardar o processamento.
- Exposição à privacidade: a retenção de dados por mais tempo do que o necessário aumenta o risco à privacidade e a exposição regulamentar.
Para evitar esses resultados, a Adobe recomenda reter os dados somente enquanto houver suporte para um caso de uso ativo. Aplique o mesmo princípio na assimilação usando filtros de assimilação para trazer apenas os dados exigidos pelos seus casos de uso. Os dados comportamentais, como dados de eventos, geralmente consomem muito mais armazenamento do que os dados de registros, de modo que os dados comportamentais não gerenciados geralmente têm o maior impacto no crescimento do armazenamento. Os perfis pseudônimos também podem se acumular ao longo do tempo e aumentar as contagens de perfis. Portanto, considere usar a expiração de dados do perfil pseudônimo para remover perfis pseudônimos inativos quando eles não forem mais necessários.
Todos os dados assimilados são retidos no Experience Platform, e uma parte essencial do gerenciamento do ciclo de vida dos dados é fazer a correspondência desses dados com o fluxo de trabalho fornecido. O Experience Platform armazena dados em dois repositórios que atendem a diferentes objetivos:
Um conjunto de dados pode oferecer suporte a fluxos de trabalho analíticos, fluxos de trabalho de engajamento ou ambos. Quando os dados do evento de experiência estiverem disponíveis no armazenamento de perfis e no data lake, cada repositório terá sua própria política de retenção. A expiração dos dados de um repositório não remove automaticamente os mesmos dados do outro. Retém dados somente enquanto forem exigidos pelos workflows que os utilizam e garante que as políticas de retenção apropriadas estejam configuradas para ambos os repositórios.
Para obter orientação sobre como rastrear e gerenciar seus direitos de licença, consulte Práticas recomendadas de direito de licença de gerenciamento de dados.
Escolha o recurso certo choose-a-capability
Sua meta de gerenciamento de dados determina qual opção de retenção ou exclusão usar. A tabela a seguir mapeia objetivos comuns, incluindo solicitações de privacidade ou de exclusão regulamentar, para a opção mais adequada. As seções a seguir descrevem cada opção de retenção e exclusão.
Entre as opções avançadas de gerenciamento do ciclo de vida dos dados, a exclusão de registros e a expiração dos conjuntos de dados são ações direcionadas e únicas, que você envia quando precisa delas. A expiração do evento de experiência remove automaticamente eventos de experiência antigos do armazenamento de perfis, enquanto a expiração de dados do perfil pseudônimo remove perfis desconhecidos inativos de forma contínua. Uma política de retenção de data lake aplica a expiração no nível da linha a conjuntos de dados ExperienceEvent no data lake. Se sua meta exigir mais de uma opção, por exemplo, remover registros específicos e, ao mesmo tempo, cortar o crescimento de eventos em andamento, combine-os conforme descrito em Planejar sua estratégia de retenção.
Exclusão de registro record-delete
Quando precisar remover registros associados a uma identidade principal para fins operacionais, como limpeza ou minimização de dados, use a exclusão de registro. Ele remove registros individuais do Experience Platform com base em sua identidade principal. Por padrão, a exclusão de registros afeta o data lake, o Serviço de identidade e o Perfil do cliente em tempo real. A exclusão de registros não é uma ferramenta de conformidade. Para solicitações de direitos do consumidor ou do titular dos dados, use o Adobe Experience Platform Privacy Service.
A exclusão de registro age na identidade principal usada pelo serviço de destino. Antes de usá-lo, observe as seguintes limitações:
- Somente a identidade principal é correspondida, e todos os registros correspondentes à identidade principal são excluídos. Os registros não podem ser direcionados por identidades secundárias.
- Os registros sem uma identidade principal preenchida são ignorados.
- Os dados assimilados antes da identidade primária serem configurados no esquema do conjunto de dados não podem ser excluídos dessa maneira.
- Um conjunto de dados com uma expiração de conjunto de dados agendada ou em andamento não pode receber uma solicitação de exclusão de registro. Cancele a expiração programada ou aguarde até que ela seja concluída antes de submeter a solicitação de exclusão de registro.
- Para conjuntos de dados de esquema relacional sincronizados com um sistema de origem externo por meio do Data Mirror, os registros excluídos podem ser assimilados novamente se ainda existirem no sistema de origem. Atualize a origem como parte do fluxo de trabalho de exclusão. Consulte Data Mirror e considerações sobre esquemas relacionais.
Dependendo da configuração de sua organização, é possível excluir registros de um único conjunto de dados ou de todos os conjuntos de dados.
Depois de enviar uma solicitação, o Experience Platform a coloca em lote antes do processamento. O processamento é concluído na service level agreement (SLA) para o seu direito. Para os estágios de processamento e quanto tempo leva cada um, consulte linhas do tempo de processamento do ciclo de vida dos dados. As solicitações de exclusão de registros também estão sujeitas a limites diários e mensais de envio de identificadores. Para os limites atuais, consulte cotas de envio de identificador.
Você pode criar solicitações de exclusão de registro no espaço de trabalho Ciclo de Vida dos Dados ou com a API. Consulte Criar uma solicitação de exclusão de registro para o fluxo de trabalho da interface e o manual de ponto de extremidade de ordem de trabalho para a API.
Expiração do conjunto de dados dataset-expiration
Quando for necessário desativar um conjunto de dados inteiro que não seja mais necessário para seus casos de uso, use a expiração do conjunto de dados. Ele programa o conjunto de dados para exclusão em uma data escolhida, e você pode modificar ou cancelar a expiração programada a qualquer momento antes do início do processo de expiração. Quando o conjunto de dados atinge sua data de expiração, o data lake, o serviço de identidade e o perfil do cliente em tempo real começam a remover o conteúdo do conjunto de dados, e a expiração é concluída quando todos os três serviços são concluídos.
Você pode ter somente um número limitado de expirações agendadas de conjunto de dados pendentes de uma vez. O limite depende do seu produto e de qualquer direito do Shield. Para o limite atual, consulte limites de expiração pendentes. O Gerenciamento avançado do ciclo de vida dos dados não oferece suporte à exclusão do conjunto de dados em lote.
Você pode agendar expirações do conjunto de dados no espaço de trabalho Ciclo de vida dos dados ou com a API. Consulte Agendar uma expiração do conjunto de dados para o fluxo de trabalho da interface e o guia de ponto de extremidade de expiração do conjunto de dados para a API.
Retenção e expiração automáticas automatic-expiration
Quando quiser cortar dados obsoletos do Armazenamento de perfis ou do data lake automaticamente ao longo do tempo, use a Expiração de evento de experiência, a Expiração de dados de perfil pseudônimo ou uma política de retenção de data lake para expiração em nível de linha. Após definidas, essas configurações removem automaticamente os dados qualificados de acordo com o período de retenção ou inatividade definido, sem exigir o envio de solicitações individuais. As configurações continuam a ser aplicadas até que você as altere ou remova.
A expiração do evento de experiência e a expiração de dados do perfil pseudônimo são recursos complementares, mas são configurados de forma diferente. A expiração do evento de experiência é configurada por conjunto de dados no espaço de trabalho Conjuntos de dados, enquanto a expiração de dados do perfil pseudônimo é configurada separadamente no nível da sandbox nas configurações do perfil.
Expiração do evento de experiência experience-event-ttl
A expiração do evento de experiência remove os eventos de experiência do armazenamento de perfis após o período de retenção configurado. Para um conjunto de dados ExperienceEvent, você configura seu período de retenção no espaço de trabalho Conjuntos de dados. Essa configuração se aplica no nível do conjunto de dados e remove apenas eventos, não atributos de perfil. Se um perfil não tiver atributos próprios, ele parará de existir depois que todos os eventos forem removidos. O período mínimo de retenção é de um dia. Consulte o documento Definir política de retenção de dados para obter diretrizes de configuração.
Expiração de dados do perfil pseudônimo pseudonymous-profile-ttl
A expiração de dados do Perfil de pseudônimo se aplica no nível da sandbox e remove os perfis de pseudônimo (desconhecidos) após ficarem inativos pelo período definido. Ele remove eventos e registros de perfil. Você mesmo pode definir essa configuração. O período de expiração padrão é de 14 dias para sandboxes de produção e 3 dias para sandboxes de desenvolvimento. Como o processo de remoção é executado em um ciclo recorrente, os perfis elegíveis não são removidos imediatamente. Para obter orientação sobre configuração, consulte Expiração de dados de perfil pseudônimo.
Os dois mecanismos de expiração diferem no escopo e no que são removidos:
As duas configurações se complementam. Defina um período de expiração de Evento de experiência em seus conjuntos de dados para controlar por quanto tempo os dados do evento permanecem no armazenamento de Perfil e use a expiração de dados do Perfil pseudônimo para remover perfis desconhecidos inativos com base em quanto tempo eles permanecem úteis. Para obter orientação sobre como escolher as durações, consulte Planejar sua estratégia de retenção.
Política de retenção de data lake data-lake-retention
Para um conjunto de dados ExperienceEvent, o período de retenção configurado determina quando os Eventos de experiência expiram do armazenamento de Perfis. Um conjunto de dados ExperienceEvent também pode ter uma política de retenção de data lake separada. Ambos estão configurados no mesmo fluxo de trabalho Definir política de retenção de dados no espaço de trabalho Conjuntos de Dados.
Use a orientação a seguir para distinguir as opções de retenção disponíveis:
Como esses períodos de retenção são independentes, você pode reter eventos no data lake para análise de longo prazo depois que eles expiram do armazenamento de perfis. Para obter orientação sobre retenção de data lake, incluindo a configuração de API, consulte Gerenciar TTL (retenção do conjunto de dados).
Planejar sua estratégia de retenção plan-retention
O gerenciamento do ciclo de vida dos dados é uma prática contínua, não uma tarefa única. Reter dados somente enquanto for compatível com um caso de uso ativo e configurar períodos de retenção e datas de expiração para corresponder ao tempo em que os dados permanecem úteis.
Principais considerações para guiar sua estratégia de dados
Responda às seguintes perguntas para cada conjunto de dados antes de definir as configurações de retenção ou expiração:
- Esses dados ainda são necessários para um caso de uso ativo? A retenção de dados além do que é exigido pelos casos de uso aumenta os custos de armazenamento e processamento sem agregar valor.
- Estes dados dão suporte a fluxos de trabalho analíticos, fluxos de trabalho de envolvimento ou ambos? Alinhe cada conjunto de dados ao fluxo de trabalho ao qual ele serve e gerencie a retenção de acordo.
- Por quanto tempo esses dados precisam ser retidos para permanecerem úteis? Defina períodos de retenção e datas de expiração de acordo com a quantidade de tempo que os dados suportam seu caso de uso, em vez de depender de um período padrão ou indefinido.
- Com que frequência você analisa o uso de dados? Revise o uso regularmente para que você possa detectar ineficiências e ajustar as configurações de retenção antes que elas afetem o custo ou o desempenho.
Use a orientação a seguir ao definir as durações de retenção:
- Expiração do evento de experiência: defina o período de retenção para cobrir a pesquisa mais longa que seus públicos-alvo precisam e mantenha suas janelas de pesquisa de público-alvo dentro desse período para que a segmentação permaneça precisa.
- Expiração de dados do perfil pseudônimo: se os perfis desconhecidos inativos perderem valor antes dos eventos de experiência que você retém, defina um período de expiração mais curto para remover esses perfis antes.
- Política de retenção de data lake: Defina um período mais longo para os dados de evento que você ainda precisa para análise, independentemente de quando os mesmos dados expiram do repositório de perfis. Faça a correspondência entre a duração e a forma como os dados são usados: menor para dados acessados com frequência, maior para as necessidades de arquivamento. Consulte Gerenciar a retenção do conjunto de dados de eventos de experiência (TTL) para obter as durações e os mínimos recomendados.
Aplique esses recursos com base nos requisitos de retenção de dados. Por exemplo, para dados de sequência de cliques de alto volume, defina um período de expiração do Evento de experiência e, se os perfis desconhecidos inativos perderem o valor antes, um período de expiração de dados do Perfil de pseudônimo mais curto para controlar o espaço de armazenamento do seu perfil. Defina um período de retenção de data lake mais longo separadamente para preservar os mesmos eventos para análise de longo prazo.
Use a expiração do conjunto de dados para desativar conjuntos de dados inteiros que não são mais necessários e a exclusão de registros para remover registros específicos mediante solicitação.
Para obter orientação sobre como rastrear e gerenciar seus direitos de licença, consulte Práticas recomendadas de direito de licença de gerenciamento de dados.
Próximas etapas next-steps
Depois de escolher a opção correta de retenção ou exclusão, use a orientação de implementação vinculada para executá-la. Se você estiver usando a API para exclusão de registro ou expiração do conjunto de dados, consulte também práticas recomendadas para solicitações de exclusão de registro e expiração do conjunto de dados para obter orientação sobre agrupamento, limitação e monitoramento.