Planilha de design de experimento

IMPORTANTE

Leia mais sobre Datas Workbench Anúncio do fim da vida útil.

Esse arquivo funciona não apenas como uma planilha, mas também como um registro de suas decisões sobre o experimento.

Se você precisar de ajuda para projetar seu experimento, poderá usar a planilha de design de experimento (chamada VS Controlled Experiment Design.xls por padrão) fornecida pelo Adobe.

A planilha de design experimental pode fornecer inferências estatísticas úteis somente quando a métrica em questão for definida como uma porcentagem de visitantes que atendem a alguns critérios. Ou seja, é útil somente ao testar uma hipótese de métrica baseada em visitante.

Para projetar seu experimento usando o arquivo de design de experimento

  1. Se você tiver acesso de administrador à Web ou aos servidores de aplicativos, navegue até o Sensor pasta de instalação em qualquer Sensor no seu cluster da Web. Se você não tiver acesso de administrador, entre em contato com o gerente de conta do Adobe para solicitar o arquivo.

  2. Abra o arquivo VS Controlled Experiment Design.xls. (Se desejar, é possível renomear esse arquivo.)

    A planilha na página a seguir é um exemplo de como você preencheria a planilha ao se preparar para testar a hipótese de exemplo usada em todo este guia.

  3. Insira o texto ou os valores para todos os campos em azul neste arquivo, que estão descritos na tabela a seguir. Os campos calculados são definidos na segunda tabela.

Neste campo... Especificar
Título do experimento Um nome descritivo para o seu experimento.
Descrição do experimento Uma descrição textual do experimento.
Métrica sendo estudada

O nome da métrica em que o experimento se baseia.

Exemplo: Conversão do visitante

Definição de métrica

A definição da métrica em que o experimento se baseia.

Formato: Visitantes[X]/Visitantes

Exemplo: Visitantes[URI='conversionpage.asp']/Visitantes
Hora de início prevista A data e a hora em que você deseja que o experimento comece.
Hora de Término Pretendida A data e a hora em que você deseja que o experimento termine.
Seleções aplicáveis (Opcional) O nome da dimensão e o conjunto de elementos ou o intervalo pelo qual você deseja segmentar ainda mais o conjunto de dados.
URIs de experiência Os URIs envolvidos na hipótese. Você define os URIs atuais para o grupo de controle e os URIs alternativos que você criou ou criará para os grupos de teste.
Métricas esperadas para seleções de aplicativo Cabeçalho para os valores de métrica que você espera de seu site.
Média de visitantes por dia O número médio de visitantes ao seu site por dia.
Conversão do visitante A taxa média de conversão do visitante para seu site.
O experimento determinará se o nome da métrica dos grupos de teste é ... Cabeçalho para como os valores da métrica devem ser comparados.
Maior que o valor do grupo de controle? Defina esse campo como True se desejar concluir que a métrica do grupo de teste aumentou durante o experimento. Defina esse campo como Falso para reduzir o número de visitantes necessários para tirar conclusões. O Adobe recomenda que você o defina como Verdadeiro.
Menor que o valor do grupo de controle? Defina esse campo como True se desejar concluir que a métrica do grupo de teste diminuiu durante o experimento. O Adobe recomenda que você o defina como Verdadeiro.
Pelo menos (Nível de detecção) A porcentagem pela qual você deseja que a métrica do grupo de teste seja maior ou menor do que a do grupo de controle.
Com um nível de confiança de pelo menos O nível de confiança desejado para os valores do grupo de teste. O nível de confiança determina o número de falsos positivos para medir a probabilidade de a expectativa declarada ser verdadeira.
e um Nível de potência de O nível de energia desejado para os valores do grupo de teste. O nível de energia determina o número de falsos negativos.
% de visitantes Cabeçalho para a porcentagem dos valores de visitantes.
Grupo de teste Porcentagem de visitantes que você deseja incluir no grupo de teste. Você pode reproduzir com esse número até que o valor no campo Total (Geralmente 100%) da seção Visitantes seja igual ou maior que o valor no campo Mínimo de visitantes necessários (Grupos de teste e controle) , ambos descritos na tabela a seguir.
Grupo de controle Porcentagem de visitantes que você deseja incluir no grupo de controle.
Outras notas de design Quaisquer observações que você deseja salvar para referência futura.

Os campos restantes são calculados com base nos valores inseridos e descritos na tabela a seguir.

Campo Descrição
Métricas esperadas para seleções de aplicativo Cabeçalho para os valores de métrica que você espera de seu site.
Visitantes esperados por período Normalmente, esse campo é calculado automaticamente pela planilha. Ele depende da suposição de que, na maioria dos dias, o site recebe muito mais visitantes novos do que visitantes recorrentes. Se esse não for o caso, o cálculo dessa célula deve ser substituído pelo número real de visitantes esperados durante o experimento.
Pontuação Z calculada para erro de tipo I A pontuação Z para um resultado falso positivo. Trata - se de um cálculo estatístico intermédio.
Pontuação Z calculada para erro de tipo II A pontuação Z para um resultado falso negativo. Trata - se de um cálculo estatístico intermédio.
Visitantes mínimos necessários (Grupos de teste e controle) O número mínimo de visitantes necessário em seu experimento para atender ao nível de confiança, nível de energia e pontuação Z especificados, expresso como uma porcentagem do valor no campo Visitantes esperados por período .
Visitantes mínimos necessários (Grupos de teste e controle) Número mínimo de visitantes necessários em seu experimento para atender ao seu nível de confiança, nível de energia e pontuação Z especificados. Esse valor deve ser menor ou igual ao valor no campo Total (geralmente 100%) da seção Visitors .
Tempo Mínimo de Experiência (Dias) Número mínimo de dias que você precisa executar seu experimento para atender ao nível de confiança, nível de energia e pontuação Z especificados. Esse número calculado está sujeito aos mesmos problemas discutidos no campo Visitantes esperados por período . No caso de um site com muitos visitantes recorrentes, o campo Tempo mínimo de experiência (Dias) é o número esperado de dias para ver um número de visitantes únicos igual ao valor no campo Visitantes mínimos obrigatórios .
Visitantes Cabeçalho para os valores de visitantes.
Grupo de teste Número de visitantes necessários no grupo de teste.
Grupo de controle Número de visitantes necessários no grupo de controle.
Total (Normalmente 100%) Número total de visitantes necessários para a experiência. Esse valor deve ser igual ou superior ao valor no campo Mínimo de visitantes necessários (Grupos de teste e controle).
Precisão do grupo de teste (no nível de confiança do Target) Porcentagem indicando que há uma chance igual ao nível de confiança especificado de que o valor medido da métrica calculada para o grupo de teste estará dentro dessa porcentagem de seu valor real.
Precisão do grupo de controle (no nível de confiança do Target) Porcentagem indicando que há uma chance igual ao nível de confiança especificado de que o valor medido da métrica calculada para o grupo de controle estará dentro dessa porcentagem de seu valor real.
Pontuação Z (na Precisão do Target) Número de desvios-padrão que um determinado valor representa a média de teste.
Nível de confiança real (no intervalo de destino) O nível de confiança alcançado para o experimento. O nível de confiança mede a probabilidade da expectativa declarada ser verdadeira.
Intervalo Real (no Nível de Confiança do Target) O intervalo de confiança obtido para o experimento, que fornece um intervalo estimado de valores que provavelmente incluirá um parâmetro de população desconhecido. Esse intervalo é calculado a partir de um determinado conjunto de dados de amostra.

Você precisa ver o valor no campo Mínimo de visitantes necessários (Grupos de teste e controle) . . .

e compare-o com o valor no campo Total na variável Visitors coluna.

Para que seu experimento seja estatisticamente válido, o valor no campo Total (normalmente 100%) deve ser igual ou maior que o valor no campo Mínimo de visitantes necessários (Grupos de teste e controle) .

Considerando as informações fornecidas, o que a planilha de exemplo mostra é que 10.475 visitantes precisam participar deste experimento para atingir a taxa de confiança de 95% inserida (que é a confiança mínima sugerida para qualquer experimento controlado, embora você possa aumentar esse número). O experimento, como projetado atualmente, inclui 30.000 visitantes, o que é bem maior do que o número mínimo de visitantes necessário.

Se você mantiver o mesmo número de dias, poderá aumentar o nível de confiança, desde que o número total de visitantes continue a atender ou exceda o mínimo necessário.

  1. Salve o arquivo para seus registros e use as informações do arquivo para configurar o experimento usando a planilha de configuração de experimento. Para obter mais informações sobre esta planilha, consulte Configurar e implantar o experimento.

Nesta página