Uma atividade Auto-Allocate em Adobe Target identifica um vencedor entre duas ou mais experiências e realoca automaticamente mais tráfego para o vencedor a fim de aumentar as conversões enquanto o teste continua a ser executado e aprendido.
Ao criar uma atividade A/B usando o fluxo de trabalho guiado de três etapas, escolha a opção Auto-Allocate to best experience na página Targeting (etapa 2).
O desafio section_85D5A03637204BACA75E19646162ACFF
Os testes A/B padrão têm um custo inerente. Você deve gastar o tráfego para medir o desempenho de cada experiência e, por meio de análise, descobrir a experiência vencedora. A distribuição do tráfego permanece fixa mesmo depois de você reconhecer que algumas experiências estão superando outras. Além disso, é complicado descobrir o tamanho da amostra, e a atividade deve ser executada em sua totalidade para que você possa agir em um vencedor. E ainda há uma chance do vencedor identificado não ser um verdadeiro vencedor.
A solução: Auto-Allocate section_98388996F0584E15BF3A99C57EEB7629
Uma atividade Auto-Allocate reduz esse custo e a sobrecarga de determinar uma experiência vencedora. Auto-Allocate monitora o desempenho da métrica de meta de todas as experiências e envia mais novos participantes para as experiências de alto desempenho proporcionalmente. Há tráfego suficiente reservado para explorar as outras experiências. Você pode ver os benefícios do teste nos resultados, mesmo enquanto a atividade está em execução: a otimização e o aprendizado ocorrem paralelamente.
Auto-Allocate move os visitantes em direção a experiências vencedoras gradualmente, em vez de exigir que você aguarde até que uma atividade termine para determinar um vencedor. Você se beneficia do incentivo mais rapidamente porque os participantes da atividade que teriam sido enviados para experiências de menor sucesso recebem experiências vencedoras potenciais.
Um teste A/B normal em Target mostra apenas comparações emparelhadas de desafiantes com o controle. Por exemplo, se uma atividade tiver experiências: A, B, C e D, onde A é o controle, um teste A/B normal de Target compararia A versus B, A versus C e A versus D.
Nesses testes, a maioria dos produtos, incluindo o Target, usa um teste t de Welch para produzir confiança baseada em valores p. Este valor de confiança é então usado para determinar se o desafiante é suficientemente diferente do controle. No entanto, Target não executa automaticamente as comparações implícitas (B versus C, B versus D e C versus D) necessárias para encontrar a "melhor" experiência. Como resultado, o profissional de marketing deve analisar manualmente os resultados para determinar a "melhor" experiência.
Auto-Allocate executa todas as comparações implícitas entre experiências e produz um vencedor "verdadeiro". Não há noção de experiência de "controle" no teste.
Auto-Allocate aloca de forma inteligente novos visitantes para experiências até que o intervalo de confiança da melhor experiência não se sobreponha ao intervalo de confiança de outra experiência. Normalmente, este processo pode produzir falsos positivos, mas Auto-Allocate usa intervalos de confiança baseados na Desigualdade de Bernstein que compensa avaliações repetidas. Neste ponto, há um verdadeiro vencedor. Quando Auto-Allocate para, desde que não haja uma dependência de tempo substancial para os visitantes que chegam à página, há pelo menos 95% de chance de Auto-Allocate retornar uma experiência cuja resposta verdadeira não seja pior do que 1% (relativa) menos do que a verdadeira resposta da experiência vencedora.
Quando usar Auto-Allocate versus A/B Test ou Automated Personalization atividades section_3F73B0818A634E4AAAA60A37B502BFF9
Use o Auto-Allocate quando quiser otimizar sua atividade desde o início e identificar as experiências vencedoras o mais rápido possível. Ao veicular experiências de alto desempenho com mais frequência, o desempenho geral da atividade é aumentado.
Use um Teste A/B padrão quando quiser caracterizar o desempenho de todas as experiências antes de otimizar o site. Um teste A/B ajuda a classificar todas as suas experiências, enquanto o Auto-Allocate encontra os melhores desempenhos, mas não garante a diferenciação entre os de menor desempenho.
Use o Automated Personalization quando quiser algoritmos de otimização da mais alta complexidade, como modelos de aprendizado automatizado que fazem previsões com base em atributos de perfil individuais. Auto-Allocate observa o comportamento agregado das experiências (exatamente como testes A/B padrão) e não diferencia os visitantes.
Principais benefícios do Auto-Allocate section_0913BF06F73C4794862561388BBDDFF0
Mantém o rigor de um teste A/B
Encontra um vencedor estatisticamente significativo mais rapidamente do que um teste A/B manual
Fornece um lift médio de campanha maior que de um teste A/B manual
Os termos a seguir são úteis quando falamos de Auto-Allocate:
Bandit multi-armed: uma abordagem bandit multi-armed à otimização equilibra o aprendizado exploratório e o aproveitamento desse aprendizado.
Como o algoritmo funciona section_ADB69A1C7352462D98849F2918D4FF7B
A lógica geral por trás de Auto-Allocate incorpora o desempenho medido (como a taxa de conversão) e os intervalos de confiança dos dados cumulativos. Ao contrário de um teste A/B padrão, em que o tráfego é dividido igualmente entre as experiências, o Auto-Allocate altera a alocação de tráfego entre as experiências.
80% dos visitantes são alocados usando a lógica inteligente descrita abaixo.
20% dos visitantes são atribuídos aleatoriamente em todas as experiências para se adaptar à mudança de comportamento do visitante.
A abordagem multi-armed bandit mantém algumas experiências livre para exploração ao mesmo tempo em que aproveita as experiências que têm um bom desempenho. Mais novos visitantes são colocados em experiências de melhor desempenho enquanto preservam a capacidade de reagir a mudanças nas condições. Esses modelos são atualizados pelo menos uma vez por hora para garantir a reação do modelo aos dados mais recentes.
À medida que mais visitantes entram na atividade, algumas experiências começam a ter mais êxito, e mais tráfego é enviado para as experiências bem-sucedidas. 20% do tráfego continua sendo distribuído aleatoriamente para explorar todas as experiências. Se uma das experiências de baixo desempenho começar a funcionar melhor, mais tráfego será alocado para essa experiência. Ou, se o sucesso de uma atividade de desempenho mais alto diminui, menos tráfego será alocado para essa experiência. Por exemplo, se um evento faz com que os visitantes procurem informações diferentes no site de sua mídia, ou se as vendas no fim de semana em seu site de vendas oferecem resultados diferentes.
A ilustração a seguir representa como o algoritmo pode ser executado durante um teste com quatro experiências (clique para expandir a ilustração):
A ilustração mostra como o tráfego alocado para cada experiência progride ao longo de várias rodadas do tempo de atividade até que um vencedor claro seja determinado.
Arredondar
Descrição
{width="200" modal="regular"}
Rodada de aquecimento (0): durante a rodada de aquecimento, cada experiência recebe a mesma distribuição de tráfego até que cada experiência na atividade tenha um mínimo de 1.000 visitantes e 50 conversões.
Experiência A=25%
Experiência B=25%
Experiência C=25%
Experiência D=25%
Depois que cada experiência recebe 1.000 visitantes e 50 conversões, o Target inicia a alocação automática de tráfego. Todas as alocações acontecem em rodadas e duas experiências são escolhidas para cada rodada. Somente duas experiências avançam para a próxima rodada: D e C. Seguir em frente significa que as duas experiências recebem 80% do tráfego igualmente. As outras duas experiências continuam a participar, mas são servidas apenas como parte da alocação de tráfego aleatório de 20% à medida que novos visitantes entram na atividade. Todas as alocações são atualizadas a cada hora (mostradas por arredondamentos ao longo do eixo x acima). Após cada rodada, os dados acumulados são comparados.
{width="200" modal="regular"}
Rodada 1: nesta rodada, 80% do tráfego é alocado às experiências C e D (40% cada). 20% do tráfego é alocado aleatoriamente para experiências A, B, C e D (5% cada). Durante esta rodada, a experiência A tem um excelente desempenho.
O algoritmo escolhe a experiência D para avançar para a próxima rodada porque tem a taxa de conversão mais alta (conforme indicado pela escala vertical de cada atividade).
O algoritmo escolhe a experiência A para avançar também porque tem o limite superior mais alto do intervalo de confiança de 95% de Bernstein das experiências restantes.
As experiências D e A seguem em frente.
{width="200" modal="regular"}
Rodada 2: nesta rodada, 80% do tráfego é alocado às experiências A e D (40% cada). 20% do tráfego é alocado aleatoriamente, portanto, isso significa que A, B, C e D recebem 5% cada um. Durante esta rodada, a experiência B tem um excelente desempenho.
O algoritmo escolhe a experiência D para avançar para a próxima rodada porque tem a taxa de conversão mais alta (conforme indicado pela escala vertical de cada atividade).
O algoritmo escolhe a experiência B para avançar também porque tem o limite superior mais alto do intervalo de confiança de 95% de Bernstein das experiências restantes.
As experiências D e B seguem em frente.
{width="200" modal="regular"}
Rodada 3: nesta rodada, 80% do tráfego é alocado às experiências B e D (40% cada). 20% do tráfego é alocado aleatoriamente, portanto, isso significa que A, B, C e D recebem 5% cada um. Durante esta ronda, a experiência D continua a ter um bom desempenho e a experiência C tem um excelente desempenho.
O algoritmo escolhe a experiência D para avançar para a próxima rodada porque tem a taxa de conversão mais alta (conforme indicado pela escala vertical de cada atividade).
O algoritmo escolhe a experiência C para avançar também porque tem o limite superior mais alto do intervalo de confiança de 95% de Bernstein das experiências restantes.
As experiências D e C seguem em frente.
{width="200" modal="regular"}
Rodada 4: nesta rodada, 80% do tráfego é alocado às experiências C e D (40% cada). 20% do tráfego é alocado aleatoriamente, portanto, isso significa que A, B, C e D recebem 5% cada um. Durante esta rodada, a experiência C tem um excelente desempenho.
O algoritmo escolhe a experiência C para avançar para a próxima rodada porque tem a taxa de conversão mais alta (conforme indicado pela escala vertical de cada atividade).
O algoritmo escolhe a experiência D para avançar também porque tem o limite superior mais alto do intervalo de confiança de 95% de Bernstein das experiências restantes.
As experiências C e D seguem em frente.
{width="200" modal="regular"}
Rodada n: conforme a atividade avança, uma experiência de alto desempenho começa a surgir e o processo continua até que haja uma experiência vencedora. Quando o intervalo de confiança da experiência com a taxa de conversão mais alta não coincide com o intervalo de confiança de qualquer outra experiência, ele é rotulado como vencedor. Um selo é exibido na página da atividade vencedora e na lista Activity.
O algoritmo escolhe a experiência C como o vencedor claro.
Nesse ponto, o algoritmo serve 80% do tráfego para a experiência C, enquanto 20% do tráfego continua a ser servido aleatoriamente para todas as experiências (A, B, C e D). No total, C recebe 85% do tráfego. No caso improvável de que o intervalo de confiança do vencedor comece a se sobrepor novamente, o algoritmo reverte para o comportamento da rodada 4 acima.
Importante: se você escolhesse manualmente um vencedor no início do processo, teria sido fácil escolher a experiência errada. Por esse motivo, é uma prática recomendada esperar até que o algoritmo determine a experiência vencedora.
NOTE
Se uma atividade tiver apenas duas experiências, ambas as experiências obterão tráfego igual até que Target encontre uma experiência vencedora com 75% de confiança. Nesse ponto, dois terços do tráfego é alocado para o vencedor e um terço para o perdedor. Depois disso, quando uma experiência atingir a confiança de 95%, 90% do tráfego será alocado ao vencedor e 10% será alocado ao perdedor. Target sempre envia algum tráfego para a experiência "perdida" para evitar falsos positivos no final (ou seja, manter alguma exploração).
Após a ativação de uma atividade Auto-Allocate, as seguintes operações da interface Target não são permitidas:
Alternar o modo "Alocação de tráfego" para "Manual"
Considere as seguintes informações ao trabalhar com o Auto-Allocate:
O recurso Auto-Allocate funciona somente com uma configuração de métrica avançada: Increment Count and Keep User in Activity
Não há suporte para as seguintes configurações avançadas de métrica: Increment Count, Release User, Allow Reentry and Increment Count e Release User and Bar from Reentry.
Visitantes que retornam com frequência podem aumentar as taxas de conversão da experiência.
Se um visitante que vê a experiência A retorna com frequência e faz conversão várias vezes, a Índice de conversão (CR) da experiência A aumenta artificialmente. Compare esse resultado com a experiência B, em que os visitantes convertem, mas não retornam com frequência. Como resultado, o CR da experiência A fica melhor que o CR da experiência B, portanto, novos visitantes têm mais probabilidade de ser alocados para A do que para B. Se você optar por contar uma vez por participante, o CR de A e o CR de B podem ser idênticos.
Se visitantes recorrentes são distribuídos aleatoriamente, seu efeito nas taxas de conversão tem mais probabilidade de ser uniformizado. Para amenizar esse efeito, considere alterar o método de contagem da métrica de meta para contar somente uma vez por participante.
Diferencia entre alto desempenho, não entre baixo desempenho.
Auto-Allocate é bom para diferenciar entre experiências de alto desempenho (e encontrar um vencedor). Pode ser que algumas vezes não haja diferenciação suficiente entre as experiências de desempenho inferior.
Se você quiser produzir uma diferenciação estatisticamente significativa entre todas as experiências, considere usar o modo de alocação de tráfego manual.
As taxas de conversão relacionadas ao tempo (ou que variam de acordo com o contexto) podem distorcer as quantidades de alocação.
Alguns fatores que podem ser ignorados durante um teste A/B padrão porque afetam todas as experiências igualmente não podem ser ignorados em uma atividade Auto-Allocate. O algoritmo é sensível às taxas de conversão observadas.
Estes são exemplos de fatores que podem afetar o desempenho das experiências de maneira uniforme:
Experiências com relevância contextual variável (tempo, local, gênero etc.).
Por exemplo:
"Graças a Deus é sexta-feira" resulta em maiores conversões na sexta-feira.
"Jump-start sua segunda-feira" tem maior conversão na segunda-feira.
"Prepare-se para um inverno na costa leste" fornece uma conversão mais alta em locais da costa leste ou afetados pelo inverno.
O uso de experiências com relevância contextual variável pode distorcer os resultados em um teste Auto-Allocate mais do que em um teste A/B porque o teste A/B analisa os resultados em um período maior.
Experiências com atrasos de conversão variáveis, possivelmente devido à urgência da mensagem.
Por exemplo, "O desconto de 30% termina hoje" avisa o visitante para converter hoje, mas "50% de desconto na primeira compra" não cria o mesmo senso de urgência.
Os visitantes recorrentes são realocados automaticamente a experiências de alto desempenho?
Não. Somente novos visitantes são alocados automaticamente. Os visitantes recorrentes continuam a ver sua experiência original para proteger a validade do teste A/B.
Como o algoritmo lida com falsos positivos?
O algoritmo garante uma confiança de 95% ou taxa de 5% de falso-positivo, se você esperar até que o emblema vencedor apareça.
Quando o Auto-Allocate começa a alocar tráfego?
O algoritmo começa a funcionar depois que todas as experiências na atividade têm um mínimo de 1.000 visitantes e 50 conversões.
Qual é o nível de dinamismo do aproveitamento pelo algoritmo?
80% do tráfego é distribuído usando Auto-Allocate e 20% do tráfego é distribuído aleatoriamente. Quando um vencedor é identificado, 80% do tráfego é direcionado a ele, enquanto todas as experiências continuam a receber algum tráfego como parte dos 20%, incluindo a experiência vencedora.
As experiências perdedoras são exibidas?
Sim. A abordagem multi-armed bandit garante que pelo menos 20% do tráfego seja reservado para explorar a mudança nos padrões ou nas taxas de conversão em todas as experiências.
O que acontece com atividades com longos atrasos de conversão?
Desde que todas as experiências que estão sendo otimizadas enfrentem atrasos semelhantes, o comportamento é o mesmo de uma atividade com um ciclo de conversão mais rápido. No entanto, demora mais para atingir o limite de 50 conversões antes do início do processo de alocação de tráfego.
Qual a diferença entre o Auto-Allocate e o Automated Personalization?
Automated Personalization usa os atributos de perfil de cada visitante para determinar a melhor experiência. Ao fazer isso, ela não apenas otimiza, mas também personaliza a atividade para esse usuário.
Auto-Allocate, por outro lado, é um teste A/B que produz um vencedor agregado (a experiência mais popular, mas não necessariamente a experiência mais eficaz para cada visitante).
Os visitantes recorrentes aumentam a taxa de conversão em minha métrica de sucesso?
Atualmente, a lógica favorece visitantes que convertem rapidamente ou visitam com mais frequência, pois esses visitantes inflam temporariamente o índice de conversão geral da experiência à qual pertencem. O algoritmo se ajusta frequentemente, então o aumento na taxa de conversão é amplificado a cada instantâneo. Se o site receber vários visitantes recorrentes, suas conversões poderão aumentar o índice de conversão geral da experiência à qual pertencem. Há uma boa chance de os visitantes recorrentes serem distribuídos aleatoriamente; nesse caso, o efeito agregado (maior incentivo) é uniformizado. Para amenizar esse efeito, considere alterar o método de contagem da métrica de sucesso para contar somente uma vez por participante.
Posso usar a calculadora de tamanho de amostra ao usar Auto-Allocate para estimar quanto tempo a atividade leva para identificar o vencedor?
Você pode usar a Adobe Target Calculadora de Tamanho da Amostra existente para obter uma estimativa de quanto tempo o teste dura. (Assim como no teste A/B tradicional, aplique a correção de Bonferroni se estiver testando mais de duas ofertas ou mais de uma métrica/hipótese de conversão.) Essa calculadora foi projetada para testes A/B tradicionais de horizonte fixo e fornece apenas uma estimativa. O uso da calculadora para uma atividade Auto-Allocate é opcional porque Auto-Allocate declara um vencedor para você. Você não precisa escolher um ponto fixo no tempo para ver os resultados do teste. Os valores fornecidos são sempre estatisticamente válidos.
Experimentos internos Adobe encontraram o seguinte:
Ao testar exatamente duas experiências, Auto-Allocate encontra um vencedor mais rapidamente do que o teste de horizonte fixo (ou seja, o intervalo de tempo sugerido pela calculadora de tamanho de amostra) quando a diferença de desempenho entre as experiências é grande. No entanto, Auto-Allocate pode exigir tempo extra para identificar um vencedor quando a diferença de desempenho entre experiências for pequena. Nesses casos, os testes de horizonte fixo normalmente terminariam sem um resultado estatisticamente significativo.
Ao testar mais de duas experiências, Auto-Allocate encontra um vencedor mais rapidamente do que o teste de horizonte fixo (ou seja, o intervalo de tempo sugerido pela calculadora de tamanho de amostra) quando uma única experiência tem um desempenho muito melhor do que todas as outras experiências. Quando duas ou mais experiências estão "vencendo" em relação a outras experiências, mas são intimamente relacionadas umas com as outras, Auto-Allocate pode precisar de tempo extra para determinar qual é superior. Nesses casos, os testes de horizonte fixo normalmente terminariam concluindo que as experiências "vencedoras" eram melhores do que as experiências de baixo desempenho, mas não tinham identificado qual era superior.
Devo remover uma experiência com baixo desempenho de uma atividade Auto-Allocate para acelerar o processo de decisão de um vencedor?
Não há motivo para remover uma experiência com baixo desempenho. O Auto-Allocate veicula automaticamente experiências de alto desempenho com mais frequência e experiências com baixo desempenho com menos frequência. Deixar uma experiência com baixo desempenho na atividade não afeta significativamente a velocidade para determinar um vencedor.
20% dos visitantes são atribuídos aleatoriamente em todas as experiências. A quantidade de tráfego veiculada para uma experiência com baixo desempenho é mínima (20% dividido pelo número de experiências).
Posso alterar a métrica de meta durante uma atividade de Auto-Allocate? change-metric
Adobe não recomenda que você altere a métrica de meta durante uma atividade. Embora seja possível alterar a métrica de meta durante uma atividade utilizando a interface do usuário Target, você sempre deve iniciar uma nova atividade. Adobe não garante o que acontece se você alterar a métrica de meta em uma atividade após sua execução.
Esta recomendação se aplica às atividades de Auto-Allocate, Auto-Target e Automated Personalization que usam Target ou Analytics (A4T) como fonte de relatórios.
Posso alterar a fonte de relatórios no meio de uma atividade Auto-Allocate? change-reporting
Adobe não recomenda que você altere a fonte de relatórios no meio de uma atividade. Embora seja possível alterar a fonte de relatórios (de Target para A4T ou o oposto) durante uma atividade usando a interface do usuário Target, você sempre deve iniciar uma nova atividade. Adobe não garante o que acontece se você alterar a fonte de relatórios em uma atividade após sua execução.
Esta recomendação se aplica às atividades de Auto-Allocate, Auto-Target e Automated Personalization que usam Target ou Analytics (A4T) como fonte de relatórios.
Posso usar a opção Reset Report Data ao executar uma atividade Auto-Allocate?
Não é sugerido usar a opção Reset Report Data para atividades de Auto-Allocate. Embora ela remova os dados do relatório visíveis, essa opção não remove todos os registros de treinamento do modelo Auto-Allocate. Em vez de usar a opção Reset Report Data para atividades Auto-Allocate, crie uma nova atividade e desative a original. (Esta orientação também se aplica às atividades Auto-Target e Automated Personalization.)
Como o Auto-Allocate cria modelos em relação a ambientes?
Auto-Allocate cria modelos com base no comportamento de tráfego e conversão registrado somente no ambiente padrão. Por padrão, Production é o ambiente padrão, mas ele pode ser alterado em Target (Administração > Ambientes).
Se uma ocorrência ocorrer em outro ambiente (não padrão), o tráfego será distribuído de acordo com o comportamento de conversão observado no ambiente padrão. O resultado dessa ocorrência (conversão ou não conversão) é registrado para fins de relatório, mas não é considerado no modelo Auto-Allocate.
Ao selecionar outro ambiente, o relatório mostra o tráfego e as conversões desse ambiente. O ambiente selecionado padrão para um relatório é o padrão em toda a conta selecionado. O ambiente padrão não pode ser definido com base na atividade.
Uma atividade Auto-Allocate pode ajustar a janela de retrospectiva ao longo de um teste para considerar a mudança de tendências com o passar do tempo?
Por exemplo, a atividade pode considerar o mês de dezembro para decidir como alocar o tráfego, em vez de analisar os dados do visitante de setembro (quando o teste começou)?
Não, Auto-Allocate considera o desempenho de toda a atividade.
Auto-Allocate mostra uma experiência vencedora a um visitante recorrente se a experiência vencedora for diferente do que o visitante viu ao se qualificar para a atividade?
Auto-Allocate usa decisão adesiva pelos mesmos motivos que A/B Test atividades são adesivas. A alocação de tráfego funciona somente para novos visitantes.
Vídeos de treinamento section_893E5B36DC4A415C9B1D287F51FCCB83
Os vídeos a seguir contêm mais informações sobre os conceitos discutidos neste artigo.
Fluxo de trabalho da atividade - Direcionamento (2:14)
Este vídeo inclui informações sobre a configuração da alocação de tráfego.
Este vídeo monstra como criar um teste A/B usando o fluxo de trabalho orientado de três etapas do Target. O Auto-Allocate é discutido a partir de 4:45.
Criar uma atividade A/B em Adobe Target
Aloque o tráfego usando uma divisão manual ou automática
