Visão geral da Alocação automática

Um Alocação automática atividade no Adobe Target O identifica um vencedor entre duas ou mais experiências e realoca automaticamente mais tráfego para o vencedor a fim de aumentar as conversões enquanto o teste continua a ser executado e aprendido.

Ao criar uma atividade A/B usando o fluxo de trabalho guiado de três etapas, é possível escolher o Alocar automaticamente para a melhor experiência opção.

O desafio

Os testes A/B padrão têm um custo inerente. Você deve gastar o tráfego para medir o desempenho de cada experiência e, por meio de análise, descobrir a experiência vencedora. A distribuição do tráfego permanece fixa mesmo depois de você reconhecer que algumas experiências estão superando outras. Além disso, é complicado descobrir o tamanho da amostra, e a atividade deve ser executada em sua totalidade para que você possa agir em um vencedor. E ainda há uma chance do vencedor identificado não ser um verdadeiro vencedor.

A solução: Alocação automática

A alocação automática reduz esse custo e a sobrecarga de determinar uma experiência vencedora. ​ A alocação automática monitora o desempenho da métrica de meta de todas as experiências e envia mais novos participantes para as experiências de alto desempenho proporcionalmente. ​ Há tráfego suficiente reservado para explorar as outras experiências. Você pode ver os benefícios do teste nos resultados, mesmo enquanto a atividade está em execução: a otimização e o aprendizado ocorrem paralelamente.

A alocação automática move os visitantes para experiências vencedoras gradativamente, em vez de exigir que você aguarde o fim de uma atividade para determinar um vencedor. ​ Você se beneficia do incentivo mais rapidamente porque os participantes da atividade que teriam sido enviados para experiências de menor sucesso recebem experiências vencedoras potenciais.

Um teste A/B normal em Target mostra somente comparações emparelhadas de desafiantes com controle. Por exemplo, se uma atividade tiver experiências: A, B, C e D, onde A é o controle, uma atividade normal Target O teste A/B compararia A versus B, A versus C e A versus D.

Nesses testes, a maioria dos produtos, incluindo Target, use um Teste t de Welch para produzir confiança baseada em valores p. Este valor de confiança é então usado para determinar se o desafiante é suficientemente diferente do controle. No entanto, Target O não executa automaticamente as comparações implícitas (B versus C, B versus D e C versus D) necessárias para encontrar a “melhor” experiência. Como resultado, o profissional de marketing deve analisar manualmente os resultados para determinar a “melhor” experiência.

A alocação automática executa todas as comparações implícitas entre as experiências e produz um vencedor "verdadeiro". ​ Não há noção de experiência de "controle" no teste.

Alocação automática aloca de forma inteligente novos visitantes para experiências até que o intervalo de confiança da melhor experiência não se sobreponha ao intervalo de confiança de qualquer outra experiência. Normalmente, esse processo pode produzir falsos positivos, mas Alocação automática usa intervalos de confiança com base no Desigualdade de Bernstein que compensa avaliações repetidas. Neste ponto, há um verdadeiro vencedor. Quando Alocação automática para, desde que não haja uma dependência de tempo substancial para os visitantes que chegam à página, há pelo menos 95% de chance Alocação automática retorna uma experiência cuja resposta verdadeira não é pior que 1% (relativa) menos que a resposta verdadeira da experiência vencedora.

Quando usar Alocação automática versus A/B ou Automated Personalization

• Use Alocação automática quando quiser otimizar sua atividade a partir do início e identificar as experiências vencedoras o mais rapidamente possível. Quando experiências de alto desempenho são proporcionadas com mais frequência, o desempenho geral da atividade aumenta.
• Use um padrão Use o teste A/B quando quiser caracterizar o desempenho de todas as experiências antes de otimizar o site. Um teste A/B ajuda a classificar todas as suas experiências, enquanto Alocação automática O encontra os melhores desempenhos, mas não garante a diferenciação entre os de menor desempenho.
• Uso Automated Personalization quando quiser algoritmos de otimização da mais alta complexidade, como modelos de aprendizado automatizado que fazem previsões com base em atributos de perfil individuais. Alocação automática A analisa o comportamento agregado das experiências (assim como testes A/B padrão) e não diferencia os visitantes.

Principais benefícios

• Mantém o rigor de um teste A/B
• Encontra um vencedor estatisticamente significativo mais rapidamente do que um teste A/B manual
• Fornece um lift médio de campanha maior que de um teste A/B manual

Terminologia

Os termos a seguir são úteis ao discutir Alocação automática:

Multi-armed bandit: Uma abordagem multi-armed bandit à otimização equilibra o aprendizado exploratório e o aproveitamento desse aprendizado.

Como o algoritmo funciona

A lógica geral por trás Alocação automática incorpora o desempenho medido (como a taxa de conversão) e os intervalos de confiança dos dados cumulativos. Ao contrário de um teste A/B padrão, em que o tráfego é dividido uniformemente entre as experiências, Alocação automática altera a alocação de tráfego entre as experiências.

• 80% dos visitantes são alocados usando a lógica inteligente descrita abaixo.
• 20% dos visitantes são distribuídos aleatoriamente em todas as experiências para se adaptarem à mudança de comportamento do visitante.

A abordagem multi-armed bandit mantém algumas experiências livre para exploração ao mesmo tempo em que aproveita as experiências que têm um bom desempenho. Mais novos visitantes são colocados em experiências de melhor desempenho enquanto preservam a capacidade de reagir a mudanças nas condições. Esses modelos são atualizados pelo menos uma vez por hora para garantir a reação do modelo aos dados mais recentes.

À medida que mais visitantes entram na atividade, algumas experiências começam a ter mais êxito, e mais tráfego é enviado para as experiências bem-sucedidas. 20% do tráfego continua sendo distribuído aleatoriamente para explorar todas as experiências. Se uma das experiências de baixo desempenho começar a funcionar melhor, mais tráfego será alocado para essa experiência. Ou, se o sucesso de uma atividade de desempenho mais alto diminui, menos tráfego será alocado para essa experiência. Por exemplo, se um evento faz com que os visitantes procurem informações diferentes no site de sua mídia, ou se as vendas no fim de semana em seu site de vendas oferecem resultados diferentes.

A ilustração a seguir representa como pode ser o desempenho do algoritmo durante um teste com quatro experiências:

A ilustração mostra como o tráfego alocado para cada experiência progride ao longo de várias rodadas do tempo de atividade até que um vencedor claro seja determinado.

Arredondar	Descrição
	Rodada de aquecimento (0): durante a rodada de aquecimento, cada experiência recebe a mesma distribuição de tráfego até que cada experiência na atividade tenha um mínimo de 1.000 visitantes e 50 conversões. Experiência A=25% Experiência B=25% Experiência C=25% Experiência D=25% Após cada experiência receber 1.000 visitantes e 50 conversões, o Target inicia a alocação automática de tráfego. Todas as alocações acontecem em rodadas e duas experiências são escolhidas para cada rodada. Somente duas experiências avançam para a próxima rodada: D e C. Seguir em frente significa que as duas experiências recebem 80% do tráfego igualmente. As outras duas experiências continuam a participar, mas são servidas apenas como parte da alocação de tráfego aleatório de 20% à medida que novos visitantes entram na atividade. Todas as alocações são atualizadas a cada hora (mostradas por arredondamentos ao longo do eixo x acima). Após cada rodada, os dados acumulados são comparados.
	Rodada 1: nesta rodada, 80% do tráfego é alocado às experiências C e D (40% cada). 20% do tráfego é alocado aleatoriamente para experiências A, B, C e D (5% cada). Durante esta rodada, a experiência A tem um excelente desempenho. O algoritmo escolhe a experiência D para avançar para a próxima rodada porque tem a taxa de conversão mais alta (conforme indicado por na escala vertical de cada atividade). O algoritmo escolhe a experiência A para avançar também porque tem o limite superior mais alto do intervalo de confiança de 95% de Bernstein das experiências restantes. As experiências D e A seguem em frente.
	Rodada 2: nesta rodada, 80% do tráfego é alocado às experiências A e D (40% cada). 20% do tráfego é alocado aleatoriamente, portanto, isso significa que A, B, C e D recebem 5% cada um. Durante esta rodada, a experiência B tem um excelente desempenho. O algoritmo escolhe a experiência D para avançar para a próxima rodada porque tem a taxa de conversão mais alta (conforme indicado por na escala vertical de cada atividade). O algoritmo escolhe a experiência B para avançar também porque tem o limite superior mais alto do intervalo de confiança de 95% de Bernstein das experiências restantes. As experiências D e B seguem em frente.
	Rodada 3: nesta rodada, 80% do tráfego é alocado às experiências B e D (40% cada). 20% do tráfego é alocado aleatoriamente, portanto, isso significa que A, B, C e D recebem 5% cada um. Durante esta ronda, a experiência D continua a ter um bom desempenho e a experiência C tem um excelente desempenho. O algoritmo escolhe a experiência D para avançar para a próxima rodada porque tem a taxa de conversão mais alta (conforme indicado por na escala vertical de cada atividade). O algoritmo escolhe a experiência C para avançar também porque tem o limite superior mais alto do intervalo de confiança de 95% de Bernstein das experiências restantes. As experiências D e C seguem em frente.
	Rodada 4: nesta rodada, 80% do tráfego é alocado às experiências C e D (40% cada). 20% do tráfego é alocado aleatoriamente, portanto, isso significa que A, B, C e D recebem 5% cada um. Durante esta rodada, a experiência C tem um excelente desempenho. O algoritmo escolhe a experiência C para avançar para a próxima rodada porque tem a taxa de conversão mais alta (conforme indicado por na escala vertical de cada atividade). O algoritmo escolhe a experiência D para avançar também porque tem o limite superior mais alto do intervalo de confiança de 95% de Bernstein das experiências restantes. As experiências C e D seguem em frente.
	Rodada n: Conforme a atividade avança, uma experiência de alto desempenho começa a surgir e o processo continua até que haja uma experiência vencedora. Quando o intervalo de confiança da experiência com a taxa de conversão mais alta não coincide com o intervalo de confiança de qualquer outra experiência, ele é rotulado como vencedor. A o selo é exibido na página da atividade vencedora e no Atividade lista. O algoritmo escolhe a experiência C como o vencedor claro Nesse ponto, o algoritmo serve 80% do tráfego para a experiência C, enquanto 20% do tráfego continua a ser servido aleatoriamente para todas as experiências (A, B, C e D). No total, C recebe 85% do tráfego. No caso improvável de que o intervalo de confiança do vencedor comece a se sobrepor novamente, o algoritmo reverte para o comportamento da rodada 4 acima. Importante: se você escolhesse manualmente um vencedor no início do processo, teria sido fácil escolher a experiência errada. Por esse motivo, é uma prática recomendada esperar até que o algoritmo determine a experiência vencedora.

Depois de um Alocação automática estiver ativada, as seguintes operações da interface do usuário não serão permitidas:

• Alternar o modo "Alocação de tráfego" para "Manual"
• Alterar o tipo de métrica de meta
• Alterar as opções no painel "Configurações avançadas"

Veja como a Alocação automática funciona

Para obter mais informações, consulte A Alocação automática pode fornecer resultados de teste mais rápidos e receita maior do que um teste manual

Avisos

A variável Alocação automática O recurso funciona somente com uma configuração de métrica avançada: Incrementar contagem e manter usuário em atividade

As seguintes configurações avançadas de métrica não são compatíveis: Incrementar contagem, Liberar usuário, Permitir reentrada e incrementar contagem, e Liberar Usuário e Impedir Reentrada.

Visitantes que retornam com frequência podem aumentar as taxas de conversão da experiência.

Se um visitante que vê a experiência A retorna com frequência e faz conversão várias vezes, a Índice de conversão (CR) da experiência A aumenta artificialmente. Compare esse resultado com a experiência B, em que os visitantes convertem, mas não retornam com frequência. Como resultado, o CR da experiência A fica melhor que o CR da experiência B, portanto, novos visitantes têm mais probabilidade de ser alocados para A do que para B. Se você optar por contar uma vez por participante, o CR de A e o CR de B podem ser idênticos.

Se visitantes recorrentes são distribuídos aleatoriamente, seu efeito nas taxas de conversão tem mais probabilidade de ser uniformizado. Para amenizar esse efeito, considere alterar o método de contagem da métrica de meta para contar somente uma vez por participante.

Diferencia entre os profissionais de alto desempenho, não entre os de baixo desempenho.

A alocação automática é boa em diferenciar entre experiências de alto desempenho (e encontrar uma vencedora). ​ Pode ser que algumas vezes não haja diferenciação suficiente entre as experiências de desempenho inferior.

Se você quiser produzir uma diferenciação estatisticamente significativa entre todas as experiências, considere usar o modo de alocação de tráfego manual.

As taxas de conversão associadas ao tempo (ou que variam de acordo com o contexto) podem distorcer as quantidades de alocação.

Alguns fatores que podem ser ignorados durante um teste A/B padrão porque afetam todas as experiências igualmente não podem ser ignorados em uma Alocação automática teste. O algoritmo está sujeito às taxas de conversão observadas. Estes são exemplos de fatores que podem afetar o desempenho das experiências de maneira uniforme:

• Experiências com relevância contextual variável (tempo, local, gênero etc.).

  Por exemplo:

  • "Graças a Deus é sexta-feira" resulta em maiores conversões na sexta-feira
  • "Impulsione sua segunda-feira" tem conversão mais alta na segunda-feira
  • "Prepare-se para um inverno na costa leste" fornece uma conversão mais alta em locais da costa leste ou afetados pelo inverno

Usar experiências com relevância contextual variável pode distorcer os resultados em uma Alocação automática teste mais do que em um teste A/B, pois o teste A/B analisa os resultados por um período mais longo.

• Experiências com atrasos de conversão variáveis, possivelmente devido à urgência da mensagem.

  Por exemplo, "O desconto de 30% termina hoje" avisa o visitante para converter hoje, mas "50% de desconto na primeira compra" não cria o mesmo senso de urgência.

Perguntas frequentes

Consulte as seguintes perguntas frequentes e respostas ao trabalhar com o Alocação automática atividades:

Faz Analytics for Target Suporte ao (A4T) Alocação automática atividades?

Sim. Para obter mais informações, consulte Suporte ao A4T para atividades de Alocação automática e Direcionamento automático.

Os visitantes recorrentes são realocados automaticamente a experiências de alto desempenho?

Não. Somente novos visitantes são alocados automaticamente. Os visitantes recorrentes continuam a ver sua experiência original para proteger a validade do teste A/B.

Como o algoritmo lida com falsos positivos?

O algoritmo garante uma confiança de 95% ou taxa de 5% de falso-positivo, se você esperar até que o emblema vencedor apareça.

Quando o faz Alocação automática começar a alocar tráfego?

O algoritmo começa a funcionar depois que todas as experiências na atividade têm um mínimo de 1.000 visitantes e 50 conversões.

Qual é o nível de dinamismo do aproveitamento pelo algoritmo?

80% do tráfego é distribuído usando Alocação automática e 20% do tráfego é distribuído aleatoriamente. Quando um vencedor é identificado, todos os 80% do tráfego vão para ele, enquanto todas as experiências continuam recebendo tráfego como parte dos 20%, incluindo a experiência vencedora.

As experiências perdedoras são exibidas?

Sim. A abordagem multi-armed bandit garante que pelo menos 20% do tráfego seja reservado para explorar a mudança nos padrões ou nas taxas de conversão em todas as experiências.

O que acontece com atividades com longos atrasos de conversão?

Desde que todas as experiências que estão sendo otimizadas passem por atrasos semelhantes, o comportamento é o mesmo de uma atividade com um ciclo de conversão mais rápido. No entanto, demora mais para atingir o limite de 50 conversões antes do início do processo de alocação de tráfego.

Como o Alocação automática diferente de Automated Personalization?

A personalização automatizada usa os atributos de perfil de cada visitante para determinar a melhor experiência. ​ Ao fazer isso, ela não apenas otimiza, mas também personaliza a atividade para esse usuário.

Alocação automáticaO, por outro lado, é um teste A/B que produz um vencedor agregado (a experiência mais popular, mas não necessariamente a experiência mais eficaz para cada visitante).

Os visitantes recorrentes aumentam a taxa de conversão em minha métrica de sucesso?

Atualmente, a lógica favorece visitantes que convertem rapidamente ou visitam com mais frequência, pois esses visitantes inflam temporariamente o índice de conversão geral da experiência à qual pertencem. O algoritmo se ajusta frequentemente, então o aumento na taxa de conversão é amplificado a cada instantâneo. Se o site receber vários visitantes recorrentes, suas conversões poderão aumentar o índice de conversão geral da experiência à qual pertencem. Há uma boa chance de os visitantes recorrentes serem distribuídos aleatoriamente; nesse caso, o efeito agregado (maior incentivo) é uniformizado. Para amenizar esse efeito, considere alterar o método de contagem da métrica de sucesso para contar somente uma vez por participante.

Posso usar a calculadora de tamanho de amostra ao usar Alocação automática para estimar quanto tempo a atividade leva para identificar o vencedor?

É possível usar o existente Adobe Target Calculadora de tamanho da amostra para obter uma estimativa da duração da execução do teste. (Assim como no teste A/B tradicional, aplique a correção de Bonferroni se estiver testando mais de duas ofertas ou mais de uma métrica/hipótese de conversão.) Essa calculadora foi projetada para testes A/B tradicionais de horizonte fixo e fornece apenas uma estimativa. Usar a calculadora para um Alocação automática A atividade é opcional porque Alocação automática declara um vencedor para você. Você não precisa escolher um ponto fixo no tempo para ver os resultados do teste. Os valores fornecidos são sempre estatisticamente válidos.

Em nossos experimentos, encontramos o seguinte:

• Ao testar exatamente duas experiências, Alocação automática O encontra um vencedor mais rapidamente do que o teste de horizonte fixo (ou seja, o período sugerido pela calculadora de tamanho da amostra) quando a diferença de desempenho entre as experiências é grande. No entanto, Alocação automática O pode exigir tempo extra para identificar um vencedor quando a diferença de desempenho entre experiências for pequena. Nesses casos, os testes de horizonte fixo normalmente terminariam sem um resultado estatisticamente significativo.
• Ao testar mais de duas experiências, Alocação automática O encontra um vencedor mais rapidamente do que o teste de horizonte fixo (ou seja, o intervalo de tempo sugerido pela calculadora de tamanho de amostra) quando uma única experiência supera em muito o desempenho de todas as outras experiências. Quando duas ou mais experiências estão "vencendo" em relação a outras experiências, mas estão intimamente relacionadas umas com as outras, Alocação automática pode exigir tempo extra para determinar qual é superior. Nesses casos, os testes de horizonte fixo normalmente terminariam concluindo que as experiências "vencedoras" eram melhores do que as experiências de baixo desempenho, mas não tinham identificado qual era superior.

Devo remover uma experiência com baixo desempenho de um Alocação automática atividade para acelerar o processo de decisão de um vencedor?

Não há motivo para remover uma experiência com baixo desempenho. Alocação automática O fornece automaticamente experiências de alto desempenho com mais frequência e as com baixo desempenho com menos frequência. Deixar uma experiência com baixo desempenho na atividade não afeta significativamente a velocidade para determinar um vencedor.

20% dos visitantes são atribuídos aleatoriamente em todas as experiências. A quantidade de tráfego veiculada para uma experiência com baixo desempenho é mínima (20% dividido pelo número de experiências).

Posso alterar a métrica de meta durante uma Alocação automática atividade?

Adobe O não recomenda alterar a métrica de meta durante uma atividade. Embora seja possível alterar a métrica de meta durante uma atividade utilizando a interface do usuário Target, você sempre deve iniciar uma nova atividade. Adobe O não garante o que acontece se você alterar a métrica de meta em uma atividade após sua execução.

Esta recomendação se aplica às atividades de Alocação automática, Direcionamento automático e Automated Personalization que usam Target ou Analytics (A4T) como fonte de relatórios.

Posso alterar a fonte de relatórios no meio de uma atividade de Alocação automática?

Adobe O não recomenda que você altere a fonte de relatórios no meio de uma atividade. Embora seja possível alterar a fonte de relatórios (de Target para A4T ou vice-versa) durante uma atividade usando o Target Interface do usuário do, você sempre deve iniciar uma nova atividade do. Adobe O não garante o que acontece se você alterar a fonte de relatórios em uma atividade após sua execução.

Esta recomendação se aplica às atividades de Alocação automática, Direcionamento automático e Automated Personalization que usam Target ou Analytics (A4T) como fonte de relatórios.

Posso usar o Redefinir dados de relatório durante a execução de um Alocação automática atividade?

Usar o Redefinir dados de relatório opção para Alocação automática não é sugerido. Embora ela remova os dados do relatório visíveis, essa opção não remove todos os registros de treinamento do Alocação automática modelo. Em vez de usar o Redefinir dados de relatório opção para Alocação automática crie uma nova atividade e desative a atividade original. (As presentes orientações aplicam-se igualmente aos Direcionamento automático e Automated Personalization atividades.)

Como o Alocação automática criar modelos em relação aos ambientes?

Alocação automática O cria modelos com base no comportamento de tráfego e conversão registrado somente no ambiente padrão. Por padrão, Produção é o ambiente padrão, mas ele pode ser alterado em Target Administração > Ambientes.

Se uma ocorrência ocorrer em outro ambiente (não padrão), o tráfego será distribuído de acordo com o comportamento de conversão observado no ambiente padrão. O resultado dessa ocorrência (conversão ou não conversão) é registrado para fins de relatório, mas não considerado na variável Alocação automática modelo.

Ao selecionar outro ambiente, o relatório mostra o tráfego e as conversões desse ambiente. O ambiente selecionado padrão para um relatório é o padrão em toda a conta selecionado. O ambiente padrão não pode ser definido com base na atividade.

Uma atividade de Alocação automática pode ajustar a janela de pesquisa ao longo de um teste para considerar a mudança de tendências com o passar do tempo?

Por exemplo, a atividade pode considerar o mês de dezembro para decidir como alocar o tráfego, em vez de analisar os dados do visitante de setembro (quando o teste começou)?

Não, Alocação automática O considera o desempenho de toda a atividade.

A Alocação automática mostra uma experiência vencedora a um visitante recorrente se a experiência vencedora for diferente do que o visitante viu ao se qualificar para a atividade?

Alocação automática O usa a decisão adesiva pelos mesmos motivos que Teste A/B as atividades são aderentes. A alocação de tráfego funciona somente para novos visitantes.

Vídeos de treinamento

Os vídeos a seguir contêm mais informações sobre os conceitos discutidos neste artigo.

Fluxo de trabalho da atividade - Direcionamento (2:14)

Este vídeo inclui informações sobre a configuração da alocação de tráfego.

• Designar um público-alvo para sua atividade
• Controle do tráfego
• Selecione seu método de alocação de tráfego
• Aloque o tráfego entre diferentes experiências

Criação de testes A/B (8:36)

Este vídeo monstra como criar um teste A/B usando o fluxo de trabalho orientado de três etapas do Target. Alocação automática O é discutido a partir de 4:45.

• Criar uma atividade A/B no Adobe Target
• Aloque o tráfego usando uma divisão manual ou automática

Recursos do Business.Adobe.com

Multi Armed Bandit Testing Ab Multivariate Testing Enterprise Governance Product Recommendations Mobile Optimization Website Optimization