Tabelle für den Experimentaufbau

WICHTIG

Mehr über die Data Workbench Mitteilung zum Ende der Nutzungsdauer.

Diese Datei dient nicht nur als Arbeitsblatt, sondern auch als Datensatz Ihrer Experimententscheidungen.

Wenn Sie Hilfe beim Entwerfen Ihres Experiments benötigen, können Sie die von Adobe bereitgestellte Tabelle zum Experimententwurf verwenden (standardmäßig "VS Controlled Experiment Design.xls"genannt).

Die Tabelle mit dem Experimententwurf kann nur nützliche statistische Rückschlüsse liefern, wenn die betreffende Metrik als Prozentsatz der Besucher definiert ist, die bestimmte Kriterien erfüllen. Dies ist also nur beim Testen einer besucherbasierten Metrikhypothese nützlich.

So entwerfen Sie Ihr Experiment mit der Experimententwurfsdatei

  1. Wenn Sie über Administratorzugriff auf Ihre Web- oder Anwendungsserver verfügen, navigieren Sie zum Sensor Installationsordner auf einem beliebigen Sensor Computer in Ihrem Webcluster. Wenn Sie keinen Administratorzugriff haben, wenden Sie sich an Ihren Adobe Account Manager, um die Datei anzufordern.

  2. Öffnen Sie die Datei VS Controlled Experiment Design.xls . (Sie können diese Datei bei Bedarf umbenennen.)

    Die Tabelle auf der folgenden Seite ist ein Beispiel dafür, wie Sie das Arbeitsblatt bei der Vorbereitung auf den Test der in diesem Handbuch verwendeten Beispielhypothese abschließen.

  3. Geben Sie Text oder Werte für alle blauen Felder in dieser Datei ein, die in der folgenden Tabelle beschrieben werden. Die berechneten Felder werden in der zweiten Tabelle definiert.

In diesem Feld.. Legen Sie
Experimenttitel Ein beschreibender Name für Ihr Experiment.
Experimentbeschreibung Eine Textbeschreibung des Experiments.
Zu untersuchende Metrik

Der Name der Metrik, auf der das Experiment basiert.

Beispiel: Besucherkonversion

Metrikdefinition

Die Definition der Metrik, auf der das Experiment basiert.

Format: Besucher[X]/Besucher

Beispiel: Visitors[URI='conversionpage.asp']/Visitors
Vorgesehene Startzeit Datum und Uhrzeit des Beginns des Experiments.
Vorgesehene Endzeit Datum und Uhrzeit des Endes des Experiments.
Anwendbare Auswahlmöglichkeiten (Optional) Der Dimensionsname und der Elementsatz bzw. der Bereich, mit dem Sie den Datensatz weiter segmentieren möchten.
Experiment-URIs Die an Ihrer Hypothese beteiligten URIs. Sie definieren die aktuellen URIs für die Kontrollgruppe und die alternativen URIs, die Sie für die Testgruppe(n) erstellt haben oder erstellen werden.
Erwartete Metriken für Anwendungsauswahl Überschrift für die Metrikwerte, die Sie für Ihre Website erwarten.
Durchschnittliche Besucher pro Tag Durchschnittliche Anzahl der Besucher Ihrer Website pro Tag.
Besucherkonversion Die durchschnittliche Besucherkonversionsrate für Ihre Website.
Experiment bestimmt, ob der Metrikname für die Testgruppen ... Überschrift für den Vergleich der Metrikwerte.
Größer als der Wert für die Kontrollgruppe? Setzen Sie dieses Feld auf True , wenn Sie feststellen möchten, dass die Metrik der Testgruppe während des Experiments erhöht wurde. Setzen Sie dieses Feld auf False , um die Anzahl der Besucher zu reduzieren, die zum Zeichnen von Schlussfolgerungen benötigt werden. Adobe empfiehlt, dass Sie True festlegen.
Kleiner als der Wert für die Kontrollgruppe? Setzen Sie dieses Feld auf True , wenn Sie feststellen möchten, dass die Metrik der Testgruppe während des Experiments reduziert wurde. Adobe empfiehlt, dass Sie True festlegen.
Mindestens nach (Erkennungsniveau) Der Prozentsatz, um den die Metrik für die Testgruppe höher oder kleiner als der für die Kontrollgruppe sein soll.
mit einem Konfidenzniveau von mindestens Das gewünschte Konfidenzniveau für die Testgruppenwerte. Das Konfidenzniveau bestimmt die Anzahl der Falsch-Positiv-Werte, um die Wahrscheinlichkeit zu messen, dass die angegebene Erwartung wahr ist.
und ein Leistungsniveau von Der gewünschte Leistungsgrad für die Testgruppenwerte. Das Leistungsniveau bestimmt die Anzahl der falschen Negativen.
% der Besucher Überschrift für die Prozentwerte der Besucher.
Testgruppe Prozentsatz der Besucher, die Sie in die Testgruppe aufnehmen möchten. Sie können mit dieser Zahl wiedergeben, bis der Wert im Feld "Gesamt (normalerweise 100 %)"im Abschnitt "Besucher"dem Wert im Feld "Mindestbesucher erforderlich"(Test+Kontrollgruppen) entspricht oder darüber liegt. Die beiden Werte sind in der folgenden Tabelle beschrieben.
Kontrollgruppe Prozentsatz der Besucher, die Sie in die Kontrollgruppe aufnehmen möchten.
Andere Designs Alle Notizen, die Sie für künftige Referenzzwecke speichern möchten.

Die Berechnung der übrigen Felder erfolgt auf der Basis der eingegebenen Werte. Sie werden in der folgenden Tabelle beschrieben.

Feld Beschreibung
Erwartete Metriken für Anwendungsauswahl Überschrift für die Metrikwerte, die Sie für Ihre Website erwarten.
Erwartete Besucher pro Zeitraum Dieses Feld wird normalerweise automatisch von der Tabelle berechnet. Es wird davon ausgegangen, dass die Website an den meisten Tagen viel mehr neue Besucher erhält als wiederkehrende Besucher. Ist dies nicht der Fall, sollte die Berechnung dieser Zelle mit der tatsächlichen Anzahl der Besucher überschrieben werden, die während des Experiments erwartet werden.
Berechnete z-Punktzahl für Fehler Typ I Der z-Wert für ein falsch-positives Ergebnis. Dies ist eine statistische Zwischenberechnung.
Berechnete z-Punktzahl für Fehler Typ II Der z-Wert für ein falsch negatives Ergebnis. Dies ist eine statistische Zwischenberechnung.
Erforderliche Mindestbesucher (Test- und Kontrollgruppen) Mindestanzahl der Besucher, die in Ihrem Experiment benötigt werden, um Ihr spezifiziertes Konfidenzniveau, Leistungsniveau und Z-Wert zu erreichen, ausgedrückt als Prozentsatz des Werts im Feld Erwartete Besucher pro Zeitraum .
Erforderliche Mindestbesucher (Test- und Kontrollgruppen) Minimale Anzahl der Besucher, die für Ihr Experiment erforderlich sind, um Ihr spezifiziertes Konfidenzniveau, Leistungsniveau und z-Wert zu erreichen. Dieser Wert muss kleiner oder gleich dem Wert im Feld Gesamtsumme (normalerweise 100 %) im Abschnitt Besucher sein.
Minimale Experimentdauer (Tage) Die Mindestanzahl von Tagen, die Sie benötigen, um Ihr Experiment ausführen zu können, um Ihr bestimmtes Konfidenzniveau, Leistungsniveau und z-Wert zu erreichen. Diese berechnete Zahl unterliegt denselben Problemen wie im Feld Erwartete Besucher pro Zeitraum beschrieben. Bei einer Website mit vielen wiederkehrenden Besuchern entspricht das Feld Mindestexperimentdauer (Tage) der erwarteten Anzahl von Tagen, bis eine Anzahl Unique Visitors dem Wert im Feld Erforderliche Mindestbesucher entspricht.
Besucher Überschrift für die Besucherwerte.
Testgruppe Anzahl der in der Testgruppe benötigten Besucher.
Kontrollgruppe Anzahl der in der Kontrollgruppe benötigten Besucher.
Gesamt (in der Regel 100%) Gesamtzahl der für das Experiment benötigten Besucher. Dieser Wert muss gleich oder größer als der Wert im Feld Erforderliche Mindestbesucher (Test+Kontrollgruppen) sein.
Genauigkeit der Testgruppe (auf Target-Konfidenzebene) Prozentsatz, der angibt, dass eine Chance besteht, die dem angegebenen Konfidenzniveau entspricht, dass der für die Testgruppe berechnete gemessene Wert der Metrik innerhalb dieses Prozentsatzes vom tatsächlichen Wert liegt.
Genauigkeit der Kontrollgruppe (auf Target-Konfidenzebene) Prozentsatz, der angibt, dass eine Chance besteht, die dem angegebenen Konfidenzniveau entspricht, dass der für die Kontrollgruppe berechnete gemessene Wert der Metrik in diesem Prozentsatz des tatsächlichen Werts liegt.
z-Bewertung (bei Zielgenauigkeit) Anzahl der Standardabweichungen, die ein angegebener Wert vom Prüfmittelwert abweicht.
Tatsächliches Konfidenzniveau (in Zielintervall) Das für das Experiment erzielte Konfidenzniveau. Das Konfidenzniveau misst die Wahrscheinlichkeit, dass die angegebene Erwartung wahr ist.
Tatsächliches Intervall (auf Target-Konfidenzebene) Das für den Versuch erzielte Konfidenzintervall, das einen geschätzten Wertebereich liefert, der wahrscheinlich einen unbekannten Populationsparameter enthält. Dieser Bereich wird aus einem bestimmten Satz von Beispieldaten berechnet.

Sie müssen sich den Wert im Feld Erforderliche Mindestbesucher (Test+Kontrollgruppen) ansehen. . .

und vergleichen sie mit dem Wert im Feld Gesamtsumme im Visitors Spalte.

Damit Ihr Experiment statistisch gültig ist, muss der Wert im Feld Gesamt (normalerweise 100 %) gleich oder größer als der Wert im Feld Mindestbesucher erforderlich (Test+Kontrollgruppen) sein.

In Anbetracht der bereitgestellten Eingaben zeigt das Beispielarbeitsblatt, dass 10.475 Besucher an diesem Experiment teilnehmen müssen, um die eingegebene Konfidenzrate von 95 % zu erreichen (dies ist die empfohlene Mindestsicherheit für ein gesteuertes Experiment, auch wenn Sie diese Zahl erhöhen können). Das derzeit entworfene Experiment umfasst 30.000 Besucher, was deutlich über der erforderlichen Mindestanzahl an Besuchern liegt.

Wenn Sie die Anzahl der Tage beibehalten, können Sie das Konfidenzniveau steigern, solange die Gesamtanzahl der Besucher das erforderliche Minimum nicht erreicht oder überschritten hat.

  1. Speichern Sie die Datei für Ihre Datensätze und konfigurieren Sie dann mithilfe der Informationen aus der Datei das Experiment mithilfe der Tabelle für die Experimentkonfiguration. Weitere Informationen zu dieser Tabelle finden Sie unter Konfigurieren und Bereitstellen des Experiments.

Auf dieser Seite