Visão geral da Alocação automática

Um Alocação automática atividade em Adobe Target identifica um vencedor entre duas ou mais experiências e realoca automaticamente mais tráfego para o vencedor a fim de aumentar as conversões enquanto o teste continua a ser executado e aprendido.

Ao criar uma atividade A/B usando o fluxo de trabalho guiado de três etapas, é possível escolher a variável Alocação automática para a melhor experiência opção.

O desafio

Os testes A/B padrão têm um custo inerente. Você deve gastar o tráfego para medir o desempenho de cada experiência e, por meio de análise, descobrir a experiência vencedora. A distribuição do tráfego permanece fixa mesmo depois de você reconhecer que algumas experiências estão superando outras. Além disso, é complicado descobrir o tamanho da amostra, e a atividade deve ser executada em sua totalidade para que você possa agir em um vencedor. E ainda há uma chance de o vencedor identificado não ser um verdadeiro vencedor.

A solução: Alocação automática

A alocação automática reduz esse custo e a sobrecarga de determinar uma experiência vencedora. ​ A alocação automática monitora o desempenho da métrica de meta de todas as experiências e envia mais novos participantes para as experiências de alto desempenho proporcionalmente. ​ Há tráfego suficiente reservado para explorar as outras experiências. Você pode ver os benefícios do teste nos resultados, mesmo enquanto a atividade está em execução: a otimização e o aprendizado ocorrem paralelamente.

A alocação automática move os visitantes para experiências vencedoras gradativamente, em vez de exigir que você aguarde o fim de uma atividade para determinar um vencedor. ​ Você se beneficia do incentivo mais rapidamente porque os participantes da atividade que teriam sido enviados para experiências de menor sucesso recebem experiências vencedoras potenciais.

Um teste A/B normal em Target mostra apenas comparações emparelhadas de desafiantes com controle. Por exemplo, se uma atividade tiver experiências: A, B, C e D, onde A é o controle, um Target O teste A/B compararia A versus B, A versus C e A versus D.

Nesses testes, a maioria dos produtos, incluindo Target, use o teste t de um aluno para produzir confiança baseada em valor p. Este valor de confiança é então usado para determinar se o desafiante é suficientemente diferente do controle. No entanto, Target O não executa automaticamente as comparações implícitas (B versus C, B versus D e C versus D) necessárias para encontrar a "melhor" experiência. Como resultado, o profissional de marketing deve analisar manualmente os resultados para determinar a "melhor" experiência.

A alocação automática executa todas as comparações implícitas entre as experiências e produz um vencedor "verdadeiro". ​ Não há noção de experiência de "controle" no teste.

Alocação automática aloca novos visitantes de forma inteligente para experiências até que o intervalo de confiança da melhor experiência não se sobreponha ao intervalo de confiança de qualquer outra experiência. Normalmente, esse processo pode produzir falsos positivos, mas Alocação automática O usa intervalos de confiança com base em Desigualdade de Bernstein que compensa avaliações repetidas. Neste ponto, há um verdadeiro vencedor. When Alocação automática para, desde que não haja uma dependência de tempo substancial para os visitantes que chegam à página, há pelo menos 95% de chance de que Alocação automática retorna uma experiência cuja resposta verdadeira não seja pior do que 1% (relativa) menos do que a verdadeira resposta da experiência vencedora.

Quando usar Alocação automática versus A/B ou Automated Personalization

  • Use Alocação automática quando quiser otimizar sua atividade a partir do início e identificar as experiências vencedoras o mais rapidamente possível. Quando experiências de alto desempenho são proporcionadas com mais frequência, o desempenho geral da atividade aumenta.
  • Use um padrão Use o teste A/B quando quiser caracterizar o desempenho de todas as experiências antes de otimizar o site. Um teste A/B ajuda a classificar todas as experiências, enquanto que Alocação automática O encontra os melhores desempenhos, mas não garante a diferenciação entre os de desempenho mais baixo.
  • Use Automated Personalization quando quiser algoritmos de otimização da mais alta complexidade, como modelos de aprendizado automatizado que fazem previsões com base em atributos de perfil individuais. Alocação automática observa o comportamento agregado das experiências (assim como testes A/B padrão) e não diferencia os visitantes.

Principais benefícios

  • Mantém o rigor de um teste A/B
  • Encontra um vencedor estatisticamente significativo mais rapidamente do que um teste A/B manual
  • Fornece um lift médio de campanha maior que de um teste A/B manual

Terminologia

Os termos a seguir são úteis quando falamos Alocação automática:

Multi-armed bandit: Uma abordagem multi-armed bandit à otimização equilibra o aprendizado exploratório e o aproveitamento desse aprendizado.

Como o algoritmo funciona

A lógica geral subjacente Alocação automática incorpora o desempenho medido (como a taxa de conversão) e os intervalos de confiança dos dados cumulativos. Ao contrário de um teste A/B padrão em que o tráfego é dividido igualmente entre experiências, Alocação automática altera a alocação de tráfego entre experiências.

  • 80% dos visitantes são alocados usando a lógica inteligente descrita abaixo.
  • 20% dos visitantes são distribuídos aleatoriamente em todas as experiências para se adaptarem à mudança de comportamento do visitante.

A abordagem multi-armed bandit mantém algumas experiências livre para exploração ao mesmo tempo em que aproveita as experiências que têm um bom desempenho. Mais novos visitantes são colocados em experiências de melhor desempenho enquanto preservam a capacidade de reagir a mudanças nas condições. Esses modelos são atualizados pelo menos uma vez por hora para garantir a reação do modelo aos dados mais recentes.

À medida que mais visitantes entram na atividade, algumas experiências começam a ter mais êxito, e mais tráfego é enviado para as experiências bem-sucedidas. 20% do tráfego continua sendo distribuído aleatoriamente para explorar todas as experiências. Se uma das experiências de baixo desempenho começar a funcionar melhor, mais tráfego será alocado para essa experiência. Ou, se o sucesso de uma atividade de desempenho mais alto diminui, menos tráfego será alocado para essa experiência. Por exemplo, se um evento faz com que os visitantes procurem informações diferentes no site de sua mídia, ou se as vendas no fim de semana em seu site de vendas oferecem resultados diferentes.

A ilustração a seguir representa como pode ser o desempenho do algoritmo durante um teste com quatro experiências:

A ilustração mostra como o tráfego alocado para cada experiência progride ao longo de várias rodadas do tempo de atividade até que um vencedor claro seja determinado.

Arredondar Descrição
Aquecimento Rodada de aquecimento (0): durante a rodada de aquecimento, cada experiência recebe a mesma distribuição de tráfego até que cada experiência na atividade tenha um mínimo de 1.000 visitantes e 50 conversões.
  • Experiência A=25%
  • Experiência B=25%
  • Experiência C=25%
  • Experiência D=25%
Após cada experiência receber 1.000 visitantes e 50 conversões, o Target inicia a alocação automática de tráfego. Todas as alocações acontecem em rodadas e duas experiências são escolhidas para cada rodada.
Apenas duas experiências avançam para a próxima rodada: D e C.
Seguir em frente significa que as duas experiências recebem 80% do tráfego igualmente. As outras duas experiências continuam a participar, mas são servidas apenas como parte da alocação de tráfego aleatório de 20% à medida que novos visitantes entram na atividade.
Todas as alocações são atualizadas a cada hora (mostradas por arredondamentos ao longo do eixo x acima). Após cada rodada, os dados acumulados são comparados.
Rodada 1 Rodada 1: nesta rodada, 80% do tráfego é alocado às experiências C e D (40% cada). 20% do tráfego é alocado aleatoriamente para experiências A, B, C e D (5% cada). Durante esta rodada, a experiência A tem um excelente desempenho.
  • O algoritmo escolhe a experiência D para avançar para a próxima rodada porque tem a taxa de conversão mais alta (conforme indicado por na escala vertical de cada atividade).
  • O algoritmo escolhe a experiência A para avançar também porque tem o limite superior mais alto do intervalo de confiança de 95% de Bernstein das experiências restantes.
As experiências D e A seguem em frente.
Rodada 2 Rodada 2: nesta rodada, 80% do tráfego é alocado às experiências A e D (40% cada). 20% do tráfego é alocado aleatoriamente, portanto, isso significa que A, B, C e D recebem 5% cada um. Durante esta rodada, a experiência B tem um excelente desempenho.
  • O algoritmo escolhe a experiência D para avançar para a próxima rodada porque tem a taxa de conversão mais alta (conforme indicado por na escala vertical de cada atividade).
  • O algoritmo escolhe a experiência B para avançar também porque tem o limite superior mais alto do intervalo de confiança de 95% de Bernstein das experiências restantes.
As experiências D e B seguem em frente.
Rodada 3 Rodada 3: nesta rodada, 80% do tráfego é alocado às experiências B e D (40% cada). 20% do tráfego é alocado aleatoriamente, portanto, isso significa que A, B, C e D recebem 5% cada um. Durante esta ronda, a experiência D continua a ter um bom desempenho e a experiência C tem um excelente desempenho.
  • O algoritmo escolhe a experiência D para avançar para a próxima rodada porque tem a taxa de conversão mais alta (conforme indicado por na escala vertical de cada atividade).
  • O algoritmo escolhe a experiência C para avançar também porque tem o limite superior mais alto do intervalo de confiança de 95% de Bernstein das experiências restantes.
As experiências D e C seguem em frente.
Rodada 4 Rodada 4: nesta rodada, 80% do tráfego é alocado às experiências C e D (40% cada). 20% do tráfego é alocado aleatoriamente, portanto, isso significa que A, B, C e D recebem 5% cada um. Durante esta rodada, a experiência C tem um excelente desempenho.
  • O algoritmo escolhe a experiência C para avançar para a próxima rodada porque tem a taxa de conversão mais alta (conforme indicado por na escala vertical de cada atividade).
  • O algoritmo escolhe a experiência D para avançar também porque tem o limite superior mais alto do intervalo de confiança de 95% de Bernstein das experiências restantes.
As experiências C e D seguem em frente.
Rodada n Rodada n: Conforme a atividade avança, uma experiência de alto desempenho começa a surgir e o processo continua até que haja uma experiência vencedora. Quando o intervalo de confiança da experiência com a taxa de conversão mais alta não coincide com o intervalo de confiança de qualquer outra experiência, ele é rotulado como vencedor. A símbolo é exibido na página da atividade vencedora e na Atividade lista.
  • O algoritmo escolhe a experiência C como o vencedor claro
Nesse ponto, o algoritmo serve 80% do tráfego para a experiência C, enquanto 20% do tráfego continua a ser servido aleatoriamente para todas as experiências (A, B, C e D). No total, C recebe 85% do tráfego. No caso improvável de que o intervalo de confiança do vencedor comece a se sobrepor novamente, o algoritmo reverte para o comportamento da rodada 4 acima.
Importante: se você escolhesse manualmente um vencedor no início do processo, teria sido fácil escolher a experiência errada. Por esse motivo, é uma prática recomendada esperar até que o algoritmo determine a experiência vencedora.
OBSERVAÇÃO

Se uma atividade tiver apenas duas experiências, ambas as experiências receberão tráfego igual até Target encontra uma experiência vencedora com 75% de confiança. Nesse momento, dois terços do tráfego são alocados para o vencedor e um terço para o perdedor. Depois disso, quando uma experiência atinge 95% de confiança, 90% do tráfego é alocado ao vencedor e 10% é alocado ao perdedor. Target O sempre mantém algum tráfego sendo enviado para a experiência "perdedora" para evitar falsos positivos no final (ou seja, manter alguma exploração).

Depois de um Alocação automática estiver ativada, as seguintes operações da interface do usuário não serão permitidas:

  • Alternar o modo "Alocação de tráfego" para "Manual"
  • Alterar o tipo de métrica de meta
  • Alterar as opções no painel "Configurações avançadas"

Veja como a alocação automática funciona

Para obter mais informações, consulte A alocação automática pode fornecer resultados de teste mais rápidos e receita maior do que um teste manual

Avisos

O Alocação automática O recurso funciona com apenas uma configuração de métrica avançada: Aumentar a contagem e manter o usuário na atividade

As seguintes configurações avançadas de métrica não são suportadas: Contagem de incrementos, Liberar usuário, Permitir Reentrada e Aumentar Contageme Liberar usuário e impedir reentrada.

Visitantes que retornam com frequência podem aumentar as taxas de conversão da experiência.

Se um visitante que vê a experiência A retorna com frequência e faz conversão várias vezes, a Índice de conversão (CR) da experiência A aumenta artificialmente. Compare esse resultado com a experiência B, onde os visitantes são convertidos, mas não retornam com frequência. Como resultado, o CR da experiência A parece melhor do que o CR da experiência B, de modo que os novos visitantes têm mais probabilidade de ser alocados a A do que a B. Se você optar por contar uma vez por participante, o CR de A e o CR de B podem ser idênticos.

Se visitantes recorrentes são distribuídos aleatoriamente, seu efeito nas taxas de conversão tem mais probabilidade de ser uniformizado. Para amenizar esse efeito, considere alterar o método de contagem da métrica de meta para contar somente uma vez por participante.

Diferencia entre os profissionais de alto desempenho, não entre os de baixo desempenho.

A alocação automática é boa em diferenciar entre experiências de alto desempenho (e encontrar uma vencedora). ​ Pode ser que algumas vezes não haja diferenciação suficiente entre as experiências de desempenho inferior.

Se quiser produzir uma diferenciação estatisticamente significativa entre todas as experiências, considere usar o modo de alocação de tráfego manual.

As taxas de conversão associadas ao tempo (ou que variam de acordo com o contexto) podem distorcer as quantidades de alocação.

Alguns fatores que podem ser ignorados durante um teste A/B padrão, pois afetam todas as experiências igualmente, não podem ser ignorados em um Alocação automática teste. O algoritmo está sujeito às taxas de conversão observadas. Estes são exemplos de fatores que podem afetar o desempenho das experiências de maneira uniforme:

  • Experiências com relevância contextual variável (tempo, local, gênero e assim por diante).

    Por exemplo:

    • "Graças a Deus é sexta-feira" resulta em maiores conversões na sexta-feira
    • "Impulsione sua segunda-feira" tem conversão mais alta na segunda-feira
    • "Prepare-se para um inverno da costa leste" oferece conversão mais alta na costa leste ou em locais afetados pelo inverno

O uso de experiências com relevância contextual variável pode distorcer os resultados em uma Alocação automática teste mais do que em um teste A/B porque o teste A/B analisa os resultados durante um período mais longo.

  • Experiências com atrasos de conversão variáveis, possivelmente devido à urgência da mensagem.

    Por exemplo, "O desconto de 30% termina hoje" avisa o visitante para converter hoje, mas "50% de desconto na primeira compra" não cria o mesmo senso de urgência.

Perguntas frequentes

Consulte as seguintes perguntas frequentes e respostas ao trabalhar com a Alocação automática atividades:

Does Analytics para Target Suporte (A4T) Alocação automática atividades?

Sim. Para obter mais informações, consulte Suporte ao A4T para atividades de Alocação automática e Direcionamento automático.

Os visitantes recorrentes são realocados automaticamente a experiências de alto desempenho?

Não. Somente novos visitantes são alocados automaticamente. Os visitantes recorrentes continuam vendo sua experiência original para proteger a validade do teste A/B.

Como o algoritmo lida com falsos positivos?

O algoritmo garante uma confiança de 95% ou taxa de 5% de falso-positivo, se você esperar até que o emblema vencedor apareça.

Quando Alocação automática começar a alocar tráfego?

O algoritmo começa a funcionar depois que todas as experiências na atividade têm um mínimo de 1.000 visitantes e 50 conversões.

Qual é o nível de dinamismo do aproveitamento pelo algoritmo?

80% do tráfego é veiculado usando Alocação automática e 20% do tráfego é distribuído aleatoriamente. Quando um vencedor é identificado, todos os 80% do tráfego vão para ele, enquanto todas as experiências continuam recebendo tráfego como parte dos 20%, incluindo a experiência vencedora.

As experiências perdedoras são exibidas?

Sim. A abordagem multi-armed bandit garante que pelo menos 20% do tráfego seja reservado para explorar a mudança nos padrões ou nas taxas de conversão em todas as experiências.

O que acontece com atividades com longos atrasos de conversão?

Desde que todas as experiências que estão sendo otimizadas passem por atrasos semelhantes, o comportamento é o mesmo de uma atividade com um ciclo de conversão mais rápido. No entanto, é necessário mais tempo para atingir o limite de conversão 50 antes do início do processo de alocação de tráfego.

Como Alocação automática diferente de Automated Personalization?

A personalização automatizada usa os atributos de perfil de cada visitante para determinar a melhor experiência. ​ Ao fazer isso, ela não apenas otimiza, mas também personaliza a atividade para esse usuário.

Alocação automática, por outro lado, é um teste A/B que produz um vencedor agregado (a experiência mais popular, mas não necessariamente a experiência mais eficaz para cada visitante).

Os visitantes recorrentes aumentam a taxa de conversão em minha métrica de sucesso?

Atualmente, a lógica favorece visitantes que convertem rapidamente ou visitam com mais frequência, pois esses visitantes aumentam temporariamente a taxa de conversão geral da experiência à qual pertencem. O algoritmo se ajusta frequentemente, então o aumento na taxa de conversão é amplificado a cada instantâneo. Se o site recebe vários visitantes recorrentes, suas conversões podem aumentar potencialmente a taxa de conversão geral da experiência à qual eles pertencem. Há uma boa chance de os visitantes recorrentes serem distribuídos aleatoriamente; nesse caso, o efeito agregado (maior incentivo) é uniformizado. Para amenizar esse efeito, considere alterar o método de contagem da métrica de sucesso para contar somente uma vez por participante.

Posso usar a calculadora de tamanho de amostra ao usar Alocação automática para estimar quanto tempo a atividade leva para identificar o vencedor?

Você pode usar o calculadora de tamanho da amostra para obter uma estimativa de quanto tempo o teste será executado. (Assim como em testes A/B tradicionais, aplique a correção de Bonferroni se estiver testando mais de duas ofertas ou mais de uma métrica/hipótese de conversão.) Essa calculadora foi projetada para o tradicional teste A/B de horizonte fixo e fornece apenas uma estimativa. Uso da calculadora para um Alocação automática atividade é opcional porque Alocação automática declara um vencedor para você. Você não precisa escolher um ponto fixo no tempo para ver os resultados do teste. Os valores fornecidos são sempre estatisticamente válidos. Em nossos experimentos, encontramos o seguinte:

  • Ao testar exatamente duas experiências, Alocação automática encontra um vencedor mais rapidamente do que o teste de horizonte fixo (ou seja, o período sugerido pela calculadora de tamanho de amostra) quando a diferença de desempenho entre experiências é grande. No entanto, Alocação automática pode exigir mais tempo para identificar um vencedor quando a diferença de desempenho entre as experiências é pequena. Nesses casos, os testes com horizonte fixo teriam normalmente terminado sem um resultado estatisticamente significativo.
  • Ao testar mais de duas experiências, Alocação automática encontra um vencedor mais rapidamente do que um teste de horizonte fixo (ou seja, o período sugerido pela calculadora de tamanho de amostra) quando uma única experiência executa fortemente todas as outras experiências. Quando duas ou mais experiências estão "vencendo" em relação a outras experiências, mas estão estreitamente relacionadas entre si, Alocação automática pode exigir mais tempo para determinar qual é superior. Nesses casos, os testes de horizonte fixo tipicamente teriam terminado ao concluir que as experiências "vencedoras" eram melhores do que as experiências de desempenho mais baixo, mas não identificaram qual era superior.

Devo remover uma experiência com baixo desempenho de uma Alocação automática atividade para acelerar o processo de decisão de um vencedor?

Não há motivo para remover uma experiência com baixo desempenho. Alocação automática O fornece automaticamente experiências de alto desempenho com mais frequência e retorna experiências de baixo desempenho com menos frequência. Deixar uma experiência com baixo desempenho na atividade não afeta significativamente a velocidade para determinar um vencedor.

20% dos visitantes são atribuídos aleatoriamente em todas as experiências. A quantidade de tráfego veiculada para uma experiência com baixo desempenho é mínima (20% dividido pelo número de experiências).

Posso mudar a métrica de meta para o meio de uma Alocação automática atividade ?

Adobe não recomenda alterar a métrica de meta até o meio de uma atividade. Embora seja possível alterar a métrica de meta durante uma atividade utilizando a interface do usuário Target, você sempre deve iniciar uma nova atividade. Adobe O não garante o que acontece se você alterar a métrica de meta em uma atividade após a execução.

Esta recomendação se aplica às atividades de Alocação automática, Direcionamento automático e Automated Personalization que usam Target ou Analytics (A4T) como fonte de relatórios.

Posso alterar a fonte de relatórios no meio de uma atividade de Alocação automática?

Adobe não recomenda alterar a fonte de relatórios até o meio de uma atividade . Embora seja possível alterar a fonte de relatórios (de Target para A4T ou vice-versa) durante uma atividade usando o Target Na interface do usuário, você sempre deve iniciar uma nova atividade. Adobe O não garante o que acontece se você alterar a fonte de relatórios em uma atividade após sua execução.

Esta recomendação se aplica às atividades de Alocação automática, Direcionamento automático e Automated Personalization que usam Target ou Analytics (A4T) como fonte de relatórios.

Posso usar o Redefinir dados de relatório durante a execução de uma Alocação automática atividade ?

Usar o Redefinir dados de relatório opção para Alocação automática não é sugerida. Embora remova os dados de relatório visíveis, essa opção não remove todos os registros de treinamento do Alocação automática modelo. Em vez de usar o Redefinir dados de relatório opção para Alocação automática , crie uma nova atividade e desative a atividade original. (Esta orientação também se aplica a Direcionamento automático e Automated Personalization atividades.)

Como Alocação automática criar modelos em relação a ambientes?

Alocação automática O cria modelos com base no tráfego e no comportamento de conversão registrados somente no ambiente padrão. Por padrão, Produção é o ambiente padrão, mas o ambiente padrão pode ser alterado em Target Administração > Ambientes.

Se uma ocorrência ocorrer em outro ambiente (não padrão), o tráfego será distribuído de acordo com o comportamento de conversão observado no ambiente padrão. O resultado dessa ocorrência (conversão ou não conversão) é registrado para fins de relatório, mas não é considerado na variável Alocação automática modelo.

Ao selecionar outro ambiente, o relatório mostra o tráfego e as conversões desse ambiente. O ambiente padrão selecionado para um relatório é o padrão em toda a conta selecionado. O ambiente padrão não pode ser definido com base em atividades.

Pode uma Alocação automática atividade de ajuste da janela de lookback ao longo de um teste para considerar a mudança de tendências ao longo do tempo?

Por exemplo, a atividade pode considerar o mês de dezembro para decidir como alocar o tráfego, em vez de consultar os dados de visitante de setembro (quando o teste começou)?

Não, Alocação automática O considera o desempenho de toda a atividade.

Does Alocação automática mostrar uma experiência vencedora a um visitante recorrente se a experiência vencedora for diferente do que o visitante viu ao se qualificar para a atividade?

Alocação automática O usa a decisão aderente pelos mesmos motivos que Teste A/B As atividades do são aderentes. A alocação de tráfego funciona somente para novos visitantes.

Vídeos de treinamento

Os vídeos a seguir contêm mais informações sobre os conceitos discutidos neste artigo.

Fluxo de trabalho da atividade - Direcionamento (2:14) Selo do tutorial

Este vídeo inclui informações sobre a configuração da alocação de tráfego.

  • Designar um público-alvo para sua atividade
  • Controle do tráfego
  • Selecione seu método de alocação de tráfego
  • Aloque o tráfego entre diferentes experiências

Criação de testes A/B (8:36) Selo do tutorial

Este vídeo monstra como criar um teste A/B usando o fluxo de trabalho orientado de três etapas do Target. Alocação automática O é discutido a partir de 4:45.

  • Crie uma atividade A/B em Adobe Target
  • Aloque o tráfego usando uma divisão manual ou automática

Nesta página