Hoja de cálculo del diseño del experimento

Este archivo funciona no sólo como una hoja de cálculo sino también como un registro de sus decisiones sobre el experimento.

Si necesita ayuda para diseñar el experimento, puede utilizar la hoja de cálculo de diseño del experimento (denominada VS Controlled Experiment Design.xls de forma predeterminada) proporcionada por Adobe.

La hoja de cálculo del diseño del experimento puede proporcionar inferencias estadísticas útiles solo cuando la métrica en cuestión se define como un porcentaje de visitantes que cumplen algunos criterios. Es decir, solo es útil cuando se prueba una hipótesis de métrica basada en visitantes.

Para diseñar el experimento con el archivo de diseño del experimento

  1. Si tiene acceso de administrador a los servidores Web o de aplicaciones, navegue a la carpeta de instalación de cualquier equipo Sensor Sensor del clúster Web. Si no tiene acceso de administrador, póngase en contacto con el administrador de cuentas de Adobe para solicitar el archivo.

  2. Abra el archivo VS Controlled Experiment Design.xls. (Si lo desea, puede cambiar el nombre de este archivo).

    La hoja de cálculo de la página siguiente es un ejemplo de cómo se completaría la hoja de cálculo al prepararse para probar la hipótesis de ejemplo utilizada en esta guía.

  3. Escriba el texto o los valores de todos los campos en azul en este archivo, que se describen en la siguiente tabla. Los campos calculados se definen en la segunda tabla.

En este campo... Especifique
Título del experimento Un nombre descriptivo para el experimento.
Descripción del experimento Descripción textual del experimento.
Métrica que se está estudiando

Nombre de la métrica en la que se basa el experimento.

Ejemplo: Conversión de visitante

Definición de las métricas

Definición de la métrica en la que se basa el experimento.

Formato: Visitantes[X]/Visitantes

Ejemplo: Visitantes[URI='conversionpage.asp']/Visitantes

Tiempo de Inicio previsto La fecha y la hora a las que desea que comience el experimento.
Hora de finalización prevista La fecha y la hora a las que desea que finalice el experimento.
Selecciones aplicables (Opcional) El nombre de la dimensión y el conjunto o rango de elementos por los que desea segmentar el conjunto de datos.
URI de experimento Los URI involucrados en la hipótesis. Puede definir los URI actuales para el grupo de control y los URI alternativos que ha creado o creará para los grupos de prueba.
Métricas previstas para selecciones de aplicación Encabezado para los valores de métrica que espera para el sitio web.
Visitantes promedio por día El número promedio de visitantes al sitio web por día.
Conversión de visitante Tasa de conversión de visitantes promedio para el sitio web.
El experimento determinará si el nombre de la métrica para los grupos de prueba es ... Encabezamiento para comparar los valores de las métricas.
¿bueno que el valor del Grupo de control? Establezca este campo en True si desea poder concluir que la métrica del grupo de prueba aumentó durante el experimento. Establezca este campo en False para reducir el número de visitantes necesarios para extraer conclusiones. Adobe recomienda establecerlo en True.
¿Menor Que El Valor Del Grupo de control? Establezca este campo en True si desea poder concluir que la métrica del grupo de prueba disminuyó durante el experimento. Adobe recomienda establecerlo en True.
Por lo menos (nivel de detección) El porcentaje por el que desea que la métrica para el grupo de prueba sea mayor o menor que la del grupo de control.
Con un nivel de confianza de al menos Nivel de confianza deseado para los valores del grupo de prueba. El nivel de confianza determina el número de falsos positivos para medir la probabilidad de que la expectativa declarada sea verdadera.
y un nivel de alimentación de Nivel de potencia deseado para los valores del grupo de prueba. El nivel de potencia determina el número de falsos negativos.
% de Visitantes Encabezado para el porcentaje de valores de visitantes.
Grupo de prueba Porcentaje de visitantes que desea incluir en el grupo de prueba. Puede jugar con este número hasta que el valor del campo Total (Generalmente 100%) de la sección Visitantes sea igual o bueno al valor del campo Visitantes mínimos requeridos (Pruebas+Grupos de control), que se describen en la siguiente tabla.
grupo de control Porcentaje de visitantes que desea incluir en el grupo de control.
Otras notas de diseño Cualquier nota que desee guardar para referencia futura.

Los campos restantes se calculan en función de los valores introducidos y se describen en la siguiente tabla.

Campo Descripción
Métricas previstas para selecciones de aplicación Encabezado para los valores de métrica que espera para el sitio web.
Visitantes esperados por período Normalmente, este campo se calcula automáticamente mediante la hoja de cálculo. Se basa en la suposición de que la mayoría de los días el sitio web recibe muchos más visitantes nuevos que visitantes de devolución. Si este no es el caso, el cálculo de esta celda debe sobrescribirse con el número real de visitantes esperados durante el experimento.
Puntuación Z calculada para error de tipo I Puntuación Z para un resultado falso positivo. Se trata de un cálculo estadístico intermedio.
Puntuación Z calculada para error de tipo II Puntuación Z para un resultado falso negativo. Se trata de un cálculo estadístico intermedio.
Visitantes mínimos requeridos (Pruebas+Grupos de control) Número mínimo de visitantes necesarios en el experimento para cumplir el nivel de confianza, el nivel de potencia y la puntuación Z especificados, expresados como porcentaje del valor en el campo Visitantes esperados por período.
Visitantes mínimos requeridos (Pruebas+Grupos de control) Número mínimo de visitantes necesarios en el experimento para cumplir el nivel de confianza, el nivel de potencia y la puntuación Z especificados. Este valor debe ser menor o igual que el valor del campo Total (Generalmente 100%) en la sección Visitantes.
Tiempo mínimo del experimento (días) Cantidad mínima de días que necesita para ejecutar el experimento y cumplir con el nivel de confianza, el nivel de energía y la puntuación Z especificados. Este número calculado está sujeto a los mismos problemas que se analizan en el campo Visitantes esperados por período. En el caso de un sitio web con muchos visitantes recurrentes, el campo Tiempo mínimo de experimento (días) es el número esperado de días que se tarda en ver un número de visitantes únicos igual al valor en el campo Visitantes mínimos requeridos.
Visitantes Encabezado para los valores de visitantes.
Grupo de prueba Número de visitantes necesarios en el grupo de prueba.
grupo de control Número de visitantes necesarios en el grupo de control.
Total (Generalmente 100%) Número total de visitantes necesarios para el experimento. Este valor debe ser igual o bueno al valor del campo Visitantes mínimos requeridos (Pruebas+Grupos de control).
Precisión del grupo de prueba (a nivel de confianza del Destinatario) Porcentaje que indica que existe una posibilidad igual al nivel de confianza especificado de que el valor medido de la métrica calculado para el grupo de prueba estará dentro de este porcentaje de su valor real.
Precisión del grupo de control (a nivel de confianza del Destinatario) Porcentaje que indica que existe una posibilidad igual al nivel de confianza especificado de que el valor medido de la métrica calculado para el grupo de control estará dentro de este porcentaje de su valor real.
Puntuación Z (con precisión de Destinatario) Número de desviaciones estándar que un valor dado es de la media de la prueba.
Nivel de confianza real (en el intervalo de Destinatario) Nivel de confianza alcanzado para el experimento. El nivel de confianza mide la probabilidad de que la expectativa declarada sea cierta.
Intervalo real (a nivel de confianza de Destinatarios) Intervalo de confianza alcanzado para el experimento, que proporciona un intervalo estimado de valores que probablemente incluya un parámetro de población desconocido. Este intervalo se calcula a partir de un conjunto determinado de datos de muestra.

Debe consultar el valor en el campo Visitantes mínimos requeridos (Pruebas+Grupos de control). . .

y compárela con el valor del campo Total de la Visitors columna.

Para que el experimento sea estadísticamente válido, el valor del campo Total (Generalmente 100%) debe ser igual o bueno al valor del campo Visitantes mínimos requeridos (Pruebas+Grupos de control).

Dadas las entradas proporcionadas, lo que muestra la hoja de cálculo de ejemplo es que 10.475 visitantes deben participar en este experimento para lograr la tasa de confianza del 95 % introducida (que es la confianza mínima sugerida para cualquier experimento controlado, aunque puede aumentar este número). El experimento, tal como está diseñado actualmente, incluye 30.000 visitantes, que superan con creces el número mínimo de visitantes necesarios.

Si mantiene el número de días igual, puede aumentar el nivel de confianza siempre y cuando el número total de visitantes continúe con la reunión o supere el mínimo requerido.

  1. Guarde el archivo para sus registros y, a continuación, utilice la información del archivo para configurar el experimento con la hoja de cálculo de configuración del experimento. Para obtener más información sobre esta hoja de cálculo, consulte Configuración e implementación del experimento.

En esta página