Configuração de relatórios A4T no Analysis Workspace para atividades Auto-Target

A integração do Analytics for Target (A4T) para as atividades Auto-Target usa os algoritmos de aprendizado de máquina (ML) do conjunto do Adobe Target para escolher a melhor experiência para cada visitante com base em seu perfil, comportamento e contexto, tudo isso usando uma métrica de meta do Adobe Analytics.

Embora os recursos de análise avançada estejam disponíveis no Adobe Analytics Analysis Workspace, algumas modificações no painel Analytics for Target padrão são necessárias para interpretar corretamente as atividades Auto-Target, devido às diferenças entre as atividades de experimentação (A/B manual e Alocação automática) e as atividades de personalização (Auto-Target).

Este tutorial aborda as modificações recomendadas para analisar Auto-Target atividades no Workspace, que são baseadas nos seguintes conceitos principais:

• A dimensão Controle vs Targeted pode ser usada para distinguir entre as experiências de Controle versus aquelas servidas pelo algoritmo ML do conjunto Auto-Target.
• As Visitas devem ser usadas como a métrica de normalização ao visualizar detalhamentos de desempenho no nível da experiência. Além disso, a metodologia de contagem padrão do Adobe Analytics pode incluir visitas nas quais o usuário não vê realmente o conteúdo da atividade, mas esse comportamento padrão pode ser modificado usando um segmento com escopo apropriado (detalhes abaixo).
• A atribuição com escopo de retrospectiva de visita - também conhecida como "janela de retrospectiva de visita" no modelo de atribuição prescrito - é usada por modelos ML da Adobe Target durante suas fases de treinamento, e o mesmo modelo de atribuição (não padrão) deve ser usado ao detalhar a métrica de meta.

Criar o A4T para o painel Auto-Target no Workspace

Para criar um relatório A4T para Auto-Target, comece com o painel Analytics for Target no Workspace, conforme mostrado abaixo, ou comece com uma tabela de forma livre. Em seguida, faça as seguintes seleções:

1. Experiência de controle: Você pode escolher qualquer experiência; no entanto, você substituirá essa opção posteriormente. Observe que para atividades Auto-Target, a experiência de controle é realmente uma estratégia de controle, que é: a) Servir aleatoriamente entre todas as experiências ou b) Servir uma única experiência (essa escolha é feita no momento da criação da atividade no Adobe Target). Mesmo que você tenha optado pela escolha (b) - sua atividade Auto-Target designada uma experiência específica como Controle - você ainda deve seguir a abordagem descrita neste tutorial para analisar o A4T para atividades Auto-Target .
2. Métrica de normalização: Selecione Visitas.
3. Métricas de sucesso: Embora seja possível selecionar qualquer métrica para gerar relatórios, geralmente é necessário exibir relatórios sobre a mesma métrica escolhida para otimização durante a criação da atividade no Adobe Target.

pngFigura 1: Configuração do painel do Analytics for Target para Auto-Target atividades.

Use a dimensão Controle versus Direcionado para comparar o modelo ML do conjunto da Adobe Target ao seu controle

O painel A4T padrão foi projetado para testes A/B clássicos (manuais) ou atividades de Alocação automática, onde o objetivo é comparar o desempenho de experiências individuais com a experiência de Controle. In Auto-Target activities, however, the first order comparison should be between the Control strategy and the Targeted strategy (in other words, determining the lift of the overall performance of the Auto-Target ensemble ML model over the Control strategy).

Para executar essa comparação, use a dimensão Controle vs Destino (Analytics for Target) . Drag and drop to replace the Target Experiences dimension in the default A4T report.

Observe que essa substituição invalida os cálculos padrão de Aumento e Confiança no painel A4T. To avoid confusion, you can remove these metrics from the default panel, leaving the following report:

pngFigura 2: O relatório de linha de base recomendado para Auto-Target atividades. Este relatório foi configurado para comparar o tráfego Direcionado (servido pelo modelo ML do conjunto) com seu tráfego de Controle.

Add Experience-level breakdowns of metrics

Para obter mais informações sobre o desempenho do modelo ML do conjunto, você pode examinar os detalhamentos no nível da experiência da dimensão Controle vs Target. No Workspace, arraste a dimensão Experiências do Target para o relatório e depois detalhe cada uma das dimensões de Controle e Direcionado separadamente.

pngFigura 3: Detalhamento da dimensão Direcionada por experiências do Target

Um exemplo do relatório resultante é mostrado aqui.

pngFigura 4: Um Auto-Target relatório padrão com detalhamentos de nível de experiência. Observe que sua métrica de meta pode ser diferente, e sua estratégia de Controle pode ter uma única experiência.

Por que "Visitas" é a métrica de normalização correta para atividades Auto-Target

Ao analisar uma atividade Auto-Target, sempre escolha Visitas como a métrica de normalização padrão. Auto-Target a personalização seleciona uma experiência para um visitante uma vez por visita (formalmente, uma vez por sessão do Adobe Target), o que significa que a experiência exibida para um usuário pode mudar em cada visita única. Assim, se você usar Visitantes únicos como a métrica de normalização, o fato de que um único usuário pode acabar visualizando várias experiências (em diferentes visitas) levaria a taxas de conversão confusas.

Um exemplo simples demonstra esse ponto: considere um cenário em que dois visitantes entram em uma campanha que tem apenas duas experiências. The first visitor visits twice. Eles são atribuídos à Experiência A na primeira visita, mas à Experiência B na segunda visita (devido ao estado do perfil ter mudado na segunda visita). Após a segunda visita, o visitante é convertido ao fazer um pedido. A conversão é atribuída à experiência exibida mais recentemente (Experiência B). O segundo visitante também visita duas vezes e a Experiência B é exibida duas vezes, mas nunca converte.

Vamos comparar os relatórios a nível de visitante e a nível de visita:

Conforme mostrado na tabela, há uma clara incongruência de números no nível do visitante. Apesar do fato de haver dois visitantes únicos totais, essa não é uma soma de visitantes únicos individuais para cada experiência. Embora a taxa de conversão no nível do visitante não esteja necessariamente errada, quando você compara experiências individuais, as taxas de conversão no nível da visita provavelmente fazem muito mais sentido. Formalmente, a unidade de análise ("visitas") é a mesma que a unidade de decisão, o que significa que os detalhamentos das métricas no nível da experiência podem ser adicionados e comparados.

Filtrar as visitas reais à atividade

A metodologia de contagem padrão do Adobe Analytics para visitas a uma atividade do Target pode incluir visitas em que o usuário não interagiu com a atividade do Target. Isso se deve à forma como as atribuições de atividade do Target são mantidas no contexto de visitante do Analytics. Como resultado, o número de visitas à atividade do Target pode, às vezes, ser inflado, resultando em uma depressão das taxas de conversão.

Se preferir relatar sobre visitas em que o usuário interagiu com a atividade de Direcionamento automático (por meio de uma entrada na atividade, um evento de exibição/visita ou uma conversão), é possível:

1. Crie um segmento específico que inclua ocorrências da atividade do Target em questão e
2. Filtre a métrica Visitas usando esse segmento.

Para criar o segmento:

1. Selecione a opção Componentes > Criar segmento na barra de ferramentas do Workspace.
2. Enter a Title for your segment. No exemplo mostrado abaixo, o segmento é nomeado “Hit with specific Auto-Target activity”.
3. Drag the Target Activities dimension to the segment Definition section.
4. Use o operador equals.
5. Search for your specific Target activity.
6. Selecione o ícone de engrenagem e selecione Attribution model > Instance conforme mostrado na figura abaixo.
7. Clique em Salvar.

pngFigura 5: Use um segmento como o mostrado aqui para filtrar a métrica Visitas no seu A4T para Auto-Target relatório

Once the segment has been created, use it to filter the Visits metric, so the Visits metric only includes visits where the user interacted with the Target activity.

To filter Visits using this segment:

1. Drag the newly created segment from the components toolbar, and hover over the base of the Visits metric label until a blue Filter by prompt appears.
2. Solte o segmento. O filtro será aplicado a essa métrica.

O painel final será exibido da seguinte maneira.

pngFigura 6: Painel de relatórios com o segmento "Ocorrência com atividade de Direcionamento automático específica" aplicado à métrica Visitas. Isso garante que somente as visitas em que um usuário interagiu com a atividade do Target em questão sejam incluídas no relatório.

Alinhe a atribuição entre o treinamento do modelo ML e a geração de métrica de meta

A integração A4T permite que o modelo ML de Auto-Target seja treinado usando os mesmos dados de evento de conversão que o Adobe Analytics usa para gerar relatórios de desempenho. No entanto, há certos pressupostos que devem ser utilizados na interpretação destes dados na formação dos modelos ML, que diferem dos pressupostos predefinidos durante a fase de comunicação na Adobe Analytics.

Specifically, Adobe Target’s ML models use a visit-scoped attribution model. Ou seja, eles presumem que uma conversão deve ocorrer na mesma visita que uma exibição de conteúdo para a atividade, para que a conversão seja "atribuída" à decisão tomada pelo modelo ML. Tal é necessário para que o Target garanta a formação atempada dos seus modelos; O Target não pode esperar até 30 dias por uma conversão (a janela de atribuição padrão para relatórios no Adobe Analytics), antes de incluí-la nos dados de treinamento de seus modelos.

Assim, a diferença entre a atribuição usada pelos modelos do Target (durante o treinamento) e a atribuição padrão usada na consulta de dados (durante a geração do relatório) pode levar a discrepâncias. It may even appear that the ML models are performing poorly, when in fact the issue lies with attribution.

Para visualizar métricas de meta que tenham a mesma metodologia de atribuição usada por modelos ML Adobe Target, siga estas etapas:

1. Hover over the goal metric’s gear icon:
   
2. No menu resultante, role até Data settings.
3. Select Use non-default attribution model (if not already selected):
   
4. Clique em Editar.
5. Selecione Modelo: Participação e Janela de pesquisa: Visita.
   
6. Clique em Aplicar.

Essas etapas garantem que seu relatório atribua a métrica de meta à exibição da experiência, se o evento da métrica de meta tiver ocorrido a qualquer momento ("participação") na mesma visita que uma experiência foi exibida.

Etapa final: Crie uma taxa de conversão que capture a mágica acima

Com as modificações nas métricas de Visita e meta nas seções anteriores, a modificação final que você deve fazer no seu painel de relatórios padrão A4T para Auto-Target é criar taxas de conversão que sejam a proporção correta - a de uma métrica de meta com a atribuição correta, a uma métrica de "Visitas" filtrada apropriadamente.

Faça isso criando uma Métrica calculada usando as seguintes etapas:

1. Selecione a opção Componentes > Criar métrica na barra de ferramentas do Workspace.
2. Insira um Título para sua métrica. Por exemplo, "Taxa de conversão corrigida de visitas para a atividade XXX".
3. Selecione Format = Percent e Decimal Places = 2.
4. Arraste a métrica de meta relevante para sua atividade (por exemplo, Conversões de atividade) para a definição e use o ícone de engrenagem nessa métrica de meta para ajustar o modelo de atribuição para (Participação|Visita), conforme descrito anteriormente.
5. Selecione Add > Container no canto superior direito da seção Definition.
6. Selecione o operador de divisão ( pai) entre os dois contêineres.
7. Arraste o segmento criado anteriormente, chamado "Ocorrência com atividade Auto-Target específica" neste tutorial, para esta atividade Auto-Target específica.
8. Arraste a métrica Visitas para o contêiner do segmento.
9. Clique em Salvar.

A definição completa da métrica calculada é mostrada aqui.

pngFigura 7: A definição de métrica de taxa de conversão do modelo corrigido de visitas e atribuições. (Observe que essa métrica depende da métrica de meta e da atividade. Em outras palavras, essa definição de métrica não é reutilizável em atividades.)

Resumo: Painel Espaço de trabalho de amostra final para relatórios Auto-Target

Combinando todas as etapas acima em um único painel, a figura abaixo mostra uma visualização completa do relatório recomendado para Auto-Target atividades do A4T. Este relatório é o mesmo usado pelos modelos de aprendizado de máquina do Target para otimizar sua métrica de meta, e incorpora todas as nuances e recomendações discutidas neste tutorial. Este relatório também é o mais próximo das metodologias de contagem usadas nas atividades tradicionais Auto-Target orientadas por relatórios do Target.

pngFigura 8: O Auto-Target relatório final do A4T no Adobe Analytics Workspace, que combina todos os ajustes às definições de métricas descritas nas seções anteriores deste documento.