[Disponibilidade limitada]{class="badge informative"}
Visão geral do Data Mirror
O Data Mirror é um recurso do Adobe Experience Platform que permite a assimilação de alterações no nível da linha de bancos de dados externos no data lake usando esquemas baseados em modelo. Ele preserva os relacionamentos de dados, impõe exclusividade e oferece suporte ao controle de versão sem exigir processos de extração, transformação e carregamento (ETL) de upstream.
Use o Data Mirror para sincronizar inserções, atualizações e exclusões (dados mutáveis) de sistemas externos como Snowflake, Databricks ou BigQuery diretamente no Experience Platform. Isso ajuda a preservar a estrutura do modelo de banco de dados existente e a integridade dos dados conforme você traz os dados para a Platform.
Recursos e benefícios
O Data Mirror fornece os seguintes recursos essenciais para a sincronização do banco de dados:
- Imposição de chave primária: garante a exclusividade nos conjuntos de dados e impede registros duplicados durante a assimilação.
- Assimilação de alteração no nível da linha: suporta alterações granulares de dados, incluindo substituições e exclusões com controle de precisão.
- Relacionamentos de esquema: permite relacionamentos de chave estrangeira e primária entre conjuntos de dados por meio de descritores.
- Manipulação de eventos fora de ordem: processa eventos de alteração usando descritores de versão e carimbo de data/hora, mesmo quando eles chegam fora de sequência.
- Integração direta de warehouse: conecta-se a data warehouses de nuvem com suporte para sincronização de alterações quase em tempo real.
Use o Data Mirror para assimilar alterações diretamente de seus sistemas de origem, impor a integridade do esquema e disponibilizar os dados para análises, orquestração de jornadas e workflows de conformidade. O Data Mirror elimina processos complexos de ETL upstream e acelera a implementação, permitindo o espelhamento direto dos modelos de banco de dados existentes.
Planeje a exclusão e os requisitos de higiene de dados ao implementar esquemas baseados em modelo com o Data Mirror. Todos os aplicativos devem considerar como as exclusões afetam os conjuntos de dados relacionados, os fluxos de trabalho de conformidade e os processos downstream antes da implantação.
Pré-requisitos prerequisites
Antes de começar, você deve entender os seguintes componentes do Experience Platform e confirmar se o ambiente atende aos requisitos técnicos e estruturais:
Requisitos de implementação
A instância da Platform e os dados de origem devem atender a requisitos específicos para que o Data Mirror funcione corretamente. O Data Mirror requer esquemas baseados em modelo, que são estruturas de dados flexíveis com restrições impostas. Atualmente, o Data Mirror funciona principalmente com esquemas baseados em modelo, embora a integração com esquemas XDM padrão seja compatível com os recursos futuros de Objetos personalizados B2B (planejados para outubro de 2025).
Inclua uma chave primária e um descritor de versão em todos os esquemas. Se você estiver trabalhando com um esquema de série temporal, também é necessário um descritor de carimbo de data/hora.
Seu banco de dados externo deve oferecer suporte à captura de dados de alteração ou fornecer metadados que identificam inserções, atualizações e exclusões. Os dados do Source devem incluir identificadores exclusivos, um único campo ou uma chave primária composta e informações de versão para que o sistema possa aplicar as atualizações na ordem correta.
Para detectar exclusões, adicione uma coluna _change_request_type que especifique se cada registro é uma substituição ou uma exclusão.
Implementar o Data Mirror implementation-workflow
Diferentemente das abordagens de assimilação padrão, o Data Mirror preserva sua estrutura de modelo de banco de dados no data lake da Experience Platform. Essa consistência da estrutura de dados elimina a necessidade de pré-processamento externo. Veja a seguir um fluxo de trabalho de implementação de alto nível do Data Mirror. Escolha o método de implementação com base no fluxo de trabalho da equipe e no sistema de origem.
Definir a estrutura do esquema
Crie esquemas baseados em modelo com os descritores necessários (metadados que definem o comportamento e as restrições do esquema). Escolha um método que se ajuste ao fluxo de trabalho da sua equipe, por meio da interface do usuário ou diretamente pela API.
- Abordagem da interface: Criar esquemas baseados em modelo no Editor de Esquemas
- Abordagem da API: Criar esquemas por meio da API do Registro de Esquemas
Mapear relacionamentos e definir o gerenciamento de dados
Defina conexões entre conjuntos de dados usando descritores de relacionamento. Gerencie relacionamentos e mantenha a qualidade dos dados em conjuntos de dados. Essas tarefas garantem associações consistentes e oferecem suporte à conformidade com os requisitos de higiene de dados.
- Relacionamentos de esquema: Defina relações entre conjuntos de dados usando descritores
- Higiene de registros: Gerenciar exclusões de registros de precisão
Configurar a conexão de origem
Selecione um método de assimilação com base no sistema de origem e caso de uso. Cada opção aceita diferentes níveis de automação, transformação e escalabilidade.
- Configurar conexões de origem na nuvem
- Assimilação de SQL: usar o Data Distiller para gravar em conjuntos de dados relacionais
- Carregamento de arquivo: carregar arquivos manualmente para assimilação em lote ou única
Habilitar assimilação de captura de dados de alteração
Configure conexões de captura de dados de alteração com data warehouses de nuvem compatíveis. Assimilar alterações no nível da linha, mantendo a exclusividade e aplicando atualizações na ordem correta.
- Alterar captura de dados: Habilitar captura de dados de alteração em conexões de origem
Casos de uso comuns use-cases
Revise os casos de uso comuns listados abaixo, nos quais o Data Mirror oferece suporte à sincronização de dados precisa e à preservação de relacionamentos. Cada cenário mostra como a Data Mirror oferece suporte a necessidades comerciais comuns em análises, orquestração e conformidade.
Modelagem de dados relacionais
Use esquemas baseados em modelo (também chamados de esquemas relacionais) no Data Mirror para representar entidades, processar inserções, atualizações e exclusões no nível de linha e manter as relações de chave primária e estrangeira existentes nas fontes de dados. Essa abordagem traz princípios de modelagem de dados relacionais para a Experience Platform e garante a consistência estrutural entre conjuntos de dados.
Sincronização de warehouse para lake
Espelhe dados de eventos, logs de interação com o cliente, eventos de campanha e dados auxiliares de data warehouses da nuvem compatíveis com a Experience Platform. Isso oferece suporte à qualificação de campanha, precisão de direcionamento e sequenciamento de mensagens. O Journey Optimizer e o Real-Time CDP B2B dependem disso para a lógica de orquestração quase em tempo real.
Integração do Customer Journey Analytics
Sincronizar eventos de série temporal, como cliques na Web, visualizações de produtos, compras e interações de suporte de sistemas como centrais de atendimento ou logs de bate-papo. Um histórico completo de alterações permite uma análise de tendências e uma segmentação comportamental precisas. O Experience Platform Data Mirror for Customer Journey Analytics usa isso para refletir substituições e exclusões dos sistemas de origem.
Modelagem de relacionamento B2B
Preservar relações como hierarquias de conta para contato, de assinatura para conta ou de contato para região. Eles oferecem suporte à segmentação, pontuação de leads, rastreamento de oportunidades e coordenação multicanal. Diferentemente da assimilação padrão que nivela os relacionamentos, o Data Mirror os mantém nativamente usando descritores para uma modelagem mais precisa.
Gerenciamento de assinaturas
Rastreie eventos como renovações, cancelamentos, atualizações, downgrades e alterações de plano com o histórico completo de versões. Isso oferece suporte a campanhas de retenção, previsão de churn e segmentação baseada no ciclo de vida. O histórico completo permite insights comportamentais e direcionamento preciso.
Operações de higiene de dados
Use a captura de dados de alteração para permitir exclusões precisas no nível de registro para workflows de conformidade (por exemplo, setores regulamentados) e limpeza. A Data Mirror aplica exclusões com precisão, preservando os dados relacionados nos conjuntos de dados conectados.
Considerações importantes considerations
Revise essas considerações principais para garantir que sua implementação esteja alinhada aos comportamentos de esquema, métodos de assimilação e padrões de relacionamento compatíveis. O planejamento adequado ajuda a evitar problemas de integração e garante uma modelagem de dados precisa.
Exclusão de dados e requisitos de higiene
Todos os aplicativos que usam esquemas baseados em modelo e o Data Mirror devem entender as implicações da exclusão de dados. Os esquemas baseados em modelo permitem exclusões precisas no nível do registro que podem afetar os dados relacionados nos conjuntos de dados conectados. Esses recursos de exclusão afetam a integridade dos dados, a conformidade e o comportamento downstream do aplicativo, independentemente do caso de uso específico. Revise os requisitos de higiene de dados e planeje cenários de exclusão antes da implementação.
Seleção do comportamento do esquema
Os esquemas baseados em modelo assumem o padrão de comportamento de registro, que captura o estado da entidade (clientes, contas, etc.). Se você precisar de comportamento de série temporal para o rastreamento de eventos, configure-o explicitamente.
Comparação do método de assimilação
Use essa tabela de comparação para escolher o melhor método de assimilação para suas necessidades de dados, se você precisar de sincronização em tempo real, transformação baseada em SQL ou uploads manuais de arquivos.
Limitações de relacionamento
O Data Mirror oferece suporte a relações um para um e muitos para um usando descritores. As relações De muitos para muitos exigem modelagem adicional e não têm suporte direto.
Próximas etapas
Depois de revisar esta visão geral, você poderá determinar se o Data Mirror se adapta ao seu caso de uso e entender os requisitos de implementação. Para começar:
- Os arquitetos de dados devem avaliar seu modelo de dados para garantir que ele aceite chaves primárias, controle de versão e recursos de controle de alterações.
- As partes interessadas do negócio devem confirmar se sua licença inclui suporte a esquema baseado em modelo e as edições necessárias do Experience Platform.
- Os designers de esquema devem planejar sua estrutura de esquema para identificar os descritores, as relações de campo e as necessidades de governança de dados necessários.
- As equipes de implementação devem escolher um método de assimilação com base nos seus sistemas de origem, requisitos em tempo real e fluxos de trabalho operacionais.
Para obter detalhes sobre a implementação, consulte a documentação sobre esquemas baseados em modelo.