Práticas recomendadas do modelo de dados

Este documento descreve as principais recomendações ao projetar o modelo de dados do Adobe Campaign.

Para obter uma melhor compreensão das tabelas integradas do Campaign e sua interação, consulte esta seção seção.

Leia esta documentação para começar a usar os esquemas do Campaign. Saiba como configurar schemas de extensão para estender o modelo de dados conceituais do banco de dados do Adobe Campaign em this document.

Visão geral

O sistema Adobe Campaign é extremamente flexível e pode ser estendido além da implementação inicial. No entanto, embora as possibilidades sejam infinitas, é fundamental tomar decisões sábias e criar bases fortes para começar a projetar seu modelo de dados.

Este documento fornece casos de uso comuns e práticas recomendadas para aprender como arquitetar apropriadamente sua ferramenta Adobe Campaign.

Arquitetura do modelo de dados

O Adobe Campaign é um poderoso sistema de gerenciamento de campanhas em vários canais que pode ajudar você a alinhar suas estratégias online e offline para criar experiências personalizadas de clientes.

Abordagem centrada no cliente

Embora a maioria dos provedores de serviços de email esteja se comunicando com os clientes por meio de uma abordagem centrada em listas, o Adobe Campaign depende de um banco de dados relacional para aproveitar uma visão mais ampla dos clientes e seus atributos.

Essa abordagem centrada no cliente é mostrada no gráfico abaixo. A tabela Recipient em cinza representa a principal tabela de clientes em torno da qual tudo está sendo criado:

Para acessar a descrição de cada tabela, vá para Admin > Configuration > Data schemas, selecione um recurso da lista e clique na guia Documentation.

O modelo de dados padrão do Adobe Campaign é apresentado em this document.

Dados para Adobe Campaign

Quais dados devem ser enviados para o Adobe Campaign? É importante determinar os dados necessários para suas atividades de marketing.

Para decidir se um atributo seria necessário ou não no Adobe Campaign, pergunte a si mesmo se ele se enquadra em uma dessas categorias:

• Atributo usado para segmentação
• Atributo usado para processos de gestão de dados (cálculo agregado, por exemplo)
• Atributo usado para personalização

Se não estiver caindo em nenhum desses, você provavelmente não precisará desse atributo no Adobe Campaign.

Escolha dos tipos de dados

Para garantir uma boa arquitetura e o desempenho do sistema, siga as práticas recomendadas abaixo para configurar os dados no Adobe Campaign.

• Uma tabela grande deve ter principalmente campos numéricos e conter links para tabelas de referência (ao trabalhar com a lista de valores).
• O atributo expr permite definir um atributo de esquema como um campo calculado em vez de um valor de conjunto físico em uma tabela. Isso pode permitir o acesso a informações em um formato diferente (como idade e data de nascimento, por exemplo) sem a necessidade de armazenar ambos os valores. Essa é uma boa maneira de evitar a duplicação de campos. Por exemplo, a tabela Recipient usa uma expressão para o domínio, que já está presente no campo de email.
• No entanto, quando o cálculo da expressão é complexo, não é recomendável usar o atributo expr, pois o cálculo instantâneo pode afetar o desempenho das consultas.
• O tipo XML é uma boa maneira de evitar a criação de muitos campos. Mas também ocupa espaço em disco, pois usa uma coluna CLOB no banco de dados. Também pode levar a queries SQL complexos e afetar o desempenho.
• O comprimento de um campo string deve sempre ser definido com a coluna . Por padrão, o comprimento máximo no Adobe Campaign é 255, mas o Adobe recomenda manter o campo mais curto se você já souber que o tamanho não excederá um comprimento menor.
• É aceitável ter um campo menor no Adobe Campaign do que no sistema de origem se você tiver certeza de que o tamanho no sistema de origem foi superestimado e não seria atingido. Isso pode significar uma string menor ou um número inteiro menor no Adobe Campaign.

Escolha dos campos

Um campo precisa ser armazenado em uma tabela se tiver uma finalidade de direcionamento ou personalização. Em outras palavras, se um campo não for usado para enviar um email personalizado ou como um critério em uma query, ele ocupará espaço em disco, enquanto será inútil.

Para instâncias híbridas e no local, o FDA (Federated Data Access, um recurso opcional que permite acessar dados externos) cobre a necessidade de adicionar um campo "instantaneamente" durante um processo de campanha. Você não precisa importar tudo se tiver FDA. Para obter mais informações, consulte Sobre o Federated Data Access.

Escolha das chaves

Além do autopk definido por padrão na maioria das tabelas, você deve considerar adicionar algumas chaves lógicas ou comerciais (número de conta, número de cliente e assim por diante). Ele pode ser usado posteriormente para importações/reconciliação ou pacotes de dados. Para obter mais informações, consulte Identificadores.

Chaves eficientes são essenciais para o desempenho. Os tipos de dados numéricos devem sempre ser preferidos como chaves para tabelas.

Para o banco de dados do SQLServer, você pode considerar o uso de "índice clusterizado" se o desempenho for necessário. Como o Adobe não lida com isso, é necessário criá-lo no SQL.

Espaços de tabela dedicados

O atributo tablespace no schema permite especificar um tablespace dedicado para uma tabela.

O assistente de instalação permite armazenar objetos por tipo (dados, temporários e índice).

Os tablespaces dedicados são melhores para particionamento, regras de segurança e permitem administração fluida e flexível, melhor otimização e desempenho.

Identificadores

Os recursos do Adobe Campaign têm três identificadores e é possível adicionar um identificador adicional.

A tabela a seguir descreve esses identificadores e sua finalidade.

Chaves internas personalizadas

As chaves primárias são necessárias para cada tabela criada no Adobe Campaign.

A maioria das organizações está importando registros de sistemas externos. Embora a chave física da tabela Recipient seja o atributo "id", é possível determinar uma chave personalizada além disso.

Essa chave personalizada é a chave primária de registro real no sistema externo que alimenta o Adobe Campaign.

Quando uma tabela pronta para uso tiver um autopk e uma chave interna, a chave interna será definida como um índice exclusivo na tabela do banco de dados físico.

Ao criar uma tabela personalizada, você tem duas opções:

• Uma combinação de chave gerada automaticamente (id) e chave interna (personalizada). Essa opção é interessante se a chave do sistema for uma chave composta ou não um inteiro. Os inteiros fornecerão desempenho mais alto em grandes tabelas e unirão a outras tabelas.
• Usar a chave primária como a chave primária do sistema externo. Essa solução geralmente é preferida, pois simplifica a abordagem para importar e exportar dados, com uma chave consistente entre diferentes sistemas. A opção Autopk deve ser desativada se a chave for chamada de "id" e se espera que seja preenchida com valores externos (não gerado automaticamente).

Sequências

A chave primária do Adobe Campaign é uma id gerada automaticamente para todas as tabelas prontas para uso e pode ser a mesma para tabelas personalizadas. Para obter mais informações, consulte esta seção.

Esse valor é obtido do que é chamado de sequence, que é um objeto de banco de dados usado para gerar uma sequência numérica.

Há dois tipos de sequências:

• Compartilhado: mais de uma tabela escolheria a id da mesma sequência. Isso significa que se um ID 'X' for usado por uma tabela, nenhuma outra tabela que compartilhe a mesma sequência teria um registro com esse ID 'X'. ​​XtkNewIdis é a sequência compartilhada padrão disponível no Adobe Campaign.
• Dedicado: somente uma tabela está escolhendo suas ids da sequência. O nome da sequência normalmente contém o nome da tabela.

Portanto, um cliente enviando 6 bilhões de emails anualmente com um período de retenção de 180 dias para seus logs acabaria com as ids em 4 meses. Para evitar esse desafio, certifique-se de ter configurações de limpeza de acordo com seus volumes. Para obter mais informações, consulte esta seção.

Quando uma tabela personalizada está sendo criada no Adobe Campaign com uma chave primária como um autoPK, uma sequência dedicada personalizada deve ser sistematicamente associada a essa tabela.

Por padrão, uma sequência personalizada terá valores que variam de +1.000 a +2,1BB. Tecnicamente, é possível obter um intervalo completo de 4BB habilitando ids negativas. Isso deve ser usado com cuidado e uma id será perdida quando o número passar de negativo para positivo: o registro 0 normalmente é ignorado pela Adobe Campaign em consultas SQL geradas.

Tópicos relacionados:

• Para obter mais informações sobre o recurso Sequence autogeneration, consulte este documento.
• Para saber mais sobre a exaustão das sequências, assista a este vídeo.

Índices

Os índices são essenciais para o desempenho. Ao declarar uma chave no schema, o Adobe criará automaticamente um índice nos campos da chave. Você também pode declarar mais índices para consultas que não usam a chave.

O Adobe recomenda definir índices adicionais, pois pode melhorar o desempenho.

No entanto, lembre-se do seguinte:

• O uso do índice está vinculado ao seu padrão de acesso. A otimização da indexação é, muitas vezes, uma parte fundamental no design do banco de dados e precisa ser gerenciada por especialistas. A adição de índices geralmente é um workflow iterativo anexado à manutenção do banco de dados. É feito com o tempo, passo a passo, para solucionar problemas de desempenho ao acontecer.
• Os índices aumentam o tamanho geral da tabela (para armazenar o próprio índice).
• A adição de índice em colunas pode melhorar o desempenho do acesso de leitura de dados (SELECT), mas pode diminuir o desempenho do acesso de gravação de dados (UPDATE).
• Como isso afeta o desempenho durante a inserção de dados, os índices devem ser limitados em tamanho e número.
• Não adicione índices quando não for necessário. Certifique-se de que seja necessário e aumente o desempenho geral de suas consultas (teste e aprendizado).
• Geralmente, um índice é eficiente se você souber que as consultas não trarão mais de 10% dos registros.
• Selecione cuidadosamente os índices que precisam ser definidos.
• Não remova índices nativos de tabelas predefinidas.

Exemplo

O gerenciamento de índices pode se tornar muito complexo, portanto é importante entender como eles funcionam. Para ilustrar essa complexidade, vamos tomar um exemplo básico como pesquisar recipients filtrando no nome e sobrenome. Para fazer isso:

1. Vá para a pasta que lista todos os recipients no banco de dados. Para obter mais informações, consulte Gerenciamento de perfis.

2. Clique com o botão direito do mouse no campo First name.

3. Selecione Filter on this field.

   

4. Repita essa operação para o campo Last name.

Os dois filtros correspondentes são adicionados na parte superior da tela.

Agora é possível executar a filtragem de pesquisa nos campos First name e Last name de acordo com as várias condições do filtro.

Agora, para acelerar a pesquisa nesses filtros, você pode adicionar índices. Mas que índices devem ser utilizados?

A tabela a seguir mostra em quais casos os três índices descritos abaixo são usados ou não de acordo com o padrão de acesso exibido na primeira coluna.

Links e cardinalidade

Links

Cuidado com a "própria" integridade em tabelas grandes. Excluir registros que tenham tabelas largas na integridade "própria" pode interromper a instância. A tabela está bloqueada e as exclusões são feitas uma por uma. Portanto, é melhor usar integridade "neutra" em tabelas secundárias que têm grandes volumes.

Declarar um link como uma associação externa não é bom para o desempenho. O registro de id zero emula a funcionalidade de associação externa. Não é necessário declarar associações externas se o link usar o autopk.

Embora seja possível unir qualquer tabela em um workflow, o Adobe recomenda definir links comuns entre recursos diretamente na definição da estrutura de dados.

O link deve ser definido de acordo com os dados reais nas tabelas. Uma definição incorreta pode afetar dados recuperados por meio de links, por exemplo, registros duplicados inesperadamente.

Nomeie seu link de forma consistente com o nome da tabela: o nome do link deve ajudar a entender o que é a tabela distante.

Não nomeie um link com "id" como sufixo. Por exemplo, nomeie-a como "transaction" em vez de "transactionId".

Por padrão, o Adobe Campaign criará um link usando a chave primária da tabela externa. Para mais clareza, é preferível definir explicitamente a associação na definição do link.

Um índice será adicionado aos atributos usados em um link.

O links criados por e últimos modificados por estão presentes em muitas tabelas. É possível desativar o índice usando o atributo noDbIndex no link, se essas informações não estiverem sendo usadas pela empresa.

Cardinalidade

Ao projetar um link, verifique se o registro de destino é exclusivo quando uma relação 1-1 foi declarada. Caso contrário, a associação poderá retornar vários registros quando apenas um for esperado. Isso resulta em erros durante a preparação do delivery quando "a query retorna mais linhas do que o esperado". Defina o nome do link com o mesmo nome do schema de destino.

Defina um link com uma cardinalidade (1-N) no schema no lado (1). Por exemplo, a relação Recipient (1) - (N) Transaction deve ser definida no schema de transações.

Observe que uma cardinalidade reversa de um link é (N) por padrão. É possível definir um link (1-1) adicionando o atributo revCardinality='single' à definição do link.

Se o link reverso não deve estar visível para o usuário, você pode ocultá-lo com a definição de link revLink='NONE'. Um bom caso de uso para isso é definir um link do recipient para a última transação concluída, por exemplo. Você só precisa ver o link do recipient para a última transação e nenhum link reverso é necessário para ficar visível da tabela de transações.

Os links que executam uma associação externa (1-0.1) devem ser usados com cuidado, pois afetarão o desempenho do sistema.

Retenção de dados - limpeza e limpeza

O Adobe Campaign não é um data warehouse nem uma ferramenta de relatórios. Portanto, para garantir um bom desempenho da solução Adobe Campaign, o crescimento do banco de dados deve permanecer sob controle. Para isso, siga as práticas recomendadas abaixo.

Por padrão, o delivery e os logs de rastreamento do Adobe Campaign têm uma duração de retenção de 180 dias. Um processo de limpeza é executado para remover qualquer log anterior.

• Se quiser manter os logs por mais tempo, essa decisão deve ser tomada cuidadosamente dependendo do tamanho do banco de dados e do volume de mensagens enviadas. Como lembrete, a sequência do Adobe Campaign é um inteiro de 32 bits.
• Recomenda-se não ter mais de 1 bilhão de registros por vez nessas tabelas (cerca de 50% dos 2,14 bilhões de ids disponíveis) para limitar os riscos de consumo de todas as ids disponíveis. Isso exigirá que alguns clientes reduzam a duração da retenção para menos de 180 dias.

Saiba mais sobre a retenção de dados em Diretrizes de privacidade e segurança da campanha.

Saiba mais sobre o workflow de limpeza do Campaign Data base nesta seção.

Existem algumas soluções para minimizar a necessidade de registros no Adobe Campaign:

• Exporte os dados em um data warehouse fora do Adobe Campaign.
• Gere valores agregados que usarão menos espaço enquanto forem suficientes para suas práticas de marketing. Por exemplo, não é necessário ter o histórico completo de transações do cliente no Adobe Campaign para rastrear as últimas compras.

Você pode declarar o atributo "deleteStatus" em um schema. É mais eficiente marcar o registro como excluído e, em seguida, adiar a exclusão na tarefa de limpeza.

Desempenho

Para garantir melhor desempenho a qualquer momento, siga as práticas recomendadas abaixo.

Recomendações gerais

• Evite usar operações como "CONTAINS" em consultas. Se você sabe o que é esperado e deseja filtrar, aplique a mesma condição com um "EQUAL TO" ou outros operadores de filtro específicos.
• Evite unir com campos não indexados ao criar dados em workflows.
• Tente e verifique se os processos como importação e exportação acontecem fora do horário comercial.
• Certifique-se de que haja um agendamento para todas as atividades diárias e siga o agendamento.
• Se um ou alguns dos processos diários falharem e se for obrigatório executá-lo no mesmo dia, verifique se não há processos conflitantes em execução quando o processo manual é iniciado, pois isso pode afetar o desempenho do sistema.
• Certifique-se de que nenhuma campanha diária seja executada durante o processo de importação ou quando qualquer processo manual for executado.
• Use uma ou várias tabelas de referência em vez de duplicar um campo em cada linha. Ao usar pares de chave/valor, é preferível escolher uma chave numérica.
• Uma string curta permanece aceitável. Caso as tabelas de referências já estejam em vigor em um sistema externo, reutilizar a mesma facilitará a integração de dados com o Adobe Campaign.

Relações de um para muitos

• O design de dados afeta a usabilidade e a funcionalidade. Se você projetar seu modelo de dados com muitas relações um para muitos, torna mais difícil para os usuários construir uma lógica significativa no aplicativo. A lógica de filtro one-to-many pode ser difícil para profissionais de marketing não técnicos construírem e compreenderem corretamente.
• É bom ter todos os campos essenciais em uma tabela, pois facilita a criação de consultas por parte dos usuários. Às vezes, também é bom que o desempenho duplique alguns campos nas tabelas se puder evitar uma junção.
• Determinadas funcionalidades integradas não poderão fazer referência a relações um para muitos, por exemplo, fórmula de Ponderação de ofertas e Deliveries.

Tabelas grandes

O Adobe Campaign depende de mecanismos de banco de dados de terceiros. Dependendo do provedor, a otimização do desempenho para tabelas maiores pode exigir um design específico.

Abaixo estão algumas práticas recomendadas comuns que devem ser seguidas ao projetar seu modelo de dados usando tabelas grandes e associações complexas.

• Ao usar tabelas de recipients personalizadas adicionais, verifique se você tem uma tabela de log dedicada para cada mapeamento de delivery.
• Reduza o número de colunas, principalmente identificando aquelas que não estão utilizadas.
• Otimize as relações do modelo de dados evitando associações complexas, como associações em várias condições e/ou várias colunas.
• Para chaves de junção, sempre use dados numéricos em vez de cadeias de caracteres.
• Reduza o máximo possível de profundidade da retenção de log. Se precisar de um histórico mais profundo, você pode agregar computação e/ou manipular tabelas de log personalizadas para armazenar um histórico maior.

Tamanho das tabelas

O tamanho da tabela é uma combinação do número de registros e do número de colunas por registro. Ambos podem afetar o desempenho das consultas.

• Uma tabela small-size é semelhante à tabela Delivery.
• Uma tabela medium size é igual ao tamanho da tabela Recipient. Ele tem um registro por cliente.
• Uma tabela large-size é semelhante à tabela Broad log . Ele tem muitos registros por cliente.
  Por exemplo, se seu banco de dados contém 10 milhões de recipients, a tabela Broad log contém cerca de 100 a 200 milhões de mensagens e a tabela Delivery contém alguns milhares de registros.

No PostgreSQL, uma linha não deve exceder 8 KB para evitar o mecanismo TOAST. Portanto, tente reduzir ao máximo o número de colunas e o tamanho de cada linha para preservar o desempenho ideal do sistema (memória e CPU).

O número de linhas também afeta o desempenho. O banco de dados do Adobe Campaign não foi projetado para armazenar dados históricos que não são usados ativamente para fins de direcionamento ou personalização - esse é um banco de dados operacional.

Para evitar qualquer problema de desempenho relacionado ao alto número de linhas, mantenha os registros necessários no banco de dados. Qualquer outro registro deve ser exportado para um data warehouse de terceiros e removido do banco de dados operacional do Adobe Campaign.

Estas são algumas práticas recomendadas relacionadas ao tamanho das tabelas:

• Crie tabelas grandes com menos campos e mais dados numéricos.
• Não use um grande tipo de número de coluna (por exemplo: Int64) para armazenar pequenos números como valores booleanos.
• Remova colunas não usadas da definição da tabela.
• Não mantenha os dados históricos ou inativos no banco de dados do Adobe Campaign (exportação e limpeza).

Aqui está um exemplo:

Neste exemplo:

• As tabelas Transaction e Transaction Item são grandes: mais de 10 milhões.
• As tabelas Product e Store são menores: menos de 10.000.
• O rótulo e a referência do produto foram colocados na tabela Product.
• A tabela Item de Transação tem apenas um link para a tabela Produto, que é numérica.