Tabelle für den Experimentaufbau

Diese Datei funktioniert nicht nur als Arbeitsblatt, sondern auch als Aufzeichnung Ihrer Experimententscheidungen.

Wenn Sie Hilfe beim Entwerfen Ihres Experiments benötigen, können Sie die von der Adobe bereitgestellte Tabelle zum Testentwurf verwenden (standardmäßig "VS Controlled Experiment Design.xls"genannt).

Die Tabelle zum Testentwurf kann nur dann nützliche statistische Schlussfolgerungen liefern, wenn die betreffende Metrik als Prozentsatz der Besucher definiert wird, die bestimmte Kriterien erfüllen. Das heißt, sie ist nur beim Testen einer Besucher-basierten Metrik-Hypothese nützlich.

So entwerfen Sie Ihr Experiment mit der Experimententwurfdatei

  1. Wenn Sie über Administratorzugriff auf Ihre Web- oder Anwendungsserver verfügen, navigieren Sie zum Sensor Installationsordner auf einem beliebigen Sensor Computer im Webcluster. Wenn Sie keinen Administratorzugriff haben, wenden Sie sich an Ihren Kundenbetreuer, um die Adobe anzufordern.

  2. Öffnen Sie die Datei "VS Controlled Experiment Design.xls". (Sie können diese Datei bei Bedarf umbenennen.)

    Die Tabelle auf der folgenden Seite zeigt Ihnen, wie Sie die Tabelle bei der Vorbereitung zum Testen der in diesem Handbuch verwendeten Hypothese ausfüllen würden.

  3. Geben Sie Text oder Werte für alle blauen Felder in dieser Datei ein, die in der folgenden Tabelle beschrieben werden. Die berechneten Felder werden in der zweiten Tabelle definiert.

In diesem Bereich... Legen Sie
Experimenttitel Ein beschreibender Name für Ihr Experiment.
Experimentbeschreibung Eine Textbeschreibung des Experiments.
Zu untersuchende Metrik

Der Name der Metrik, auf der das Experiment basiert.

Beispiel: Besucher-Konversion

Metrikdefinition

Die Definition der Metrik, auf der das Experiment basiert.

Format: Besucher[X]/Besucher

Beispiel: Besucher[URI='conversionpage.asp']/Besucher

Vorgesehene Beginn-Zeit Datum und Uhrzeit des Experiments.
Vorgesehene Endzeit Datum und Uhrzeit des Endes des Experiments.
Gültige Auswahl (Optional) Der Dimensionsname und der Elementsatz bzw. der Bereich, mit dem Sie den Datensatz weiter segmentieren möchten.
Experiment-URIs Die an Ihrer Hypothese beteiligten URIs. Sie definieren die aktuellen URIs für die Kontrollgruppe und die alternativen URIs, die Sie für die Testgruppe/n erstellt haben oder erstellen werden.
Erwartete Metriken für Anwendungsauswahl Überschrift für die Metrikwerte, die Sie für Ihre Website erwarten.
Durchschnittliche Besucher pro Tag Die durchschnittliche Anzahl der Besucher auf Ihrer Website pro Tag.
Besucher-Konversion Der durchschnittliche Besucher, der für Ihre Website Konversionsrat ist.
Experiment ermittelt, ob der Metrikname für die Testgruppen ... Überschrift zum Vergleich der Metrikwerte.
Größer als der Wert für die Kontrollgruppe? Setzen Sie dieses Feld auf "True", wenn Sie feststellen möchten, dass die Metrik der Testgruppe während des Experiments erhöht wurde. Setzen Sie dieses Feld auf "False", um die Anzahl der Besucher zu verringern, die zum Zeichnen von Schlussfolgerungen benötigt werden. Adobe empfiehlt, dass Sie True festlegen.
Kleiner als der Wert für die Kontrollgruppe? Setzen Sie dieses Feld auf True, wenn Sie feststellen möchten, dass die Metrik der Testgruppe während des Experiments verringert wurde. Adobe empfiehlt, dass Sie True festlegen.
Mindestens um (Erkennungsstufe) Der Prozentsatz, um den die Metrik für die Testgruppe höher oder niedriger als der für die Kontrollgruppe sein soll.
mit einem Vertrauensniveau von mindestens Das gewünschte Konfidenzniveau für die Testgruppenwerte. Das Vertrauensniveau bestimmt die Anzahl der Falsch-Positiv-Werte, um die Wahrscheinlichkeit zu messen, dass die angegebene Erwartung wahr ist.
und ein Leistungsniveau von Der gewünschte Leistungsgrad für die Testgruppenwerte. Der Leistungsgrad bestimmt die Anzahl der Falsch-Negative.
% der Besucher Überschrift für den Prozentwert der Besucher.
Testgruppe Prozent der Besucher, die Sie in die Testgruppe aufnehmen möchten. Sie können mit dieser Zahl abspielen, bis der Wert im Feld "Gesamt (normalerweise 100 %)"im Bereich "Besucher"mindestens dem Wert im Feld "Erforderliche Besucher (Test+Kontrollgruppen)"entspricht. Beide Werte werden in der folgenden Tabelle beschrieben.
Kontrollgruppe Prozent der Besucher, die Sie in die Kontrollgruppe aufnehmen möchten.
Andere Design-Hinweise Alle Notizen, die Sie zur späteren Verwendung speichern möchten.

Die übrigen Felder werden auf der Grundlage der eingegebenen Werte berechnet und in der folgenden Tabelle beschrieben.

Feld Beschreibung
Erwartete Metriken für Anwendungsauswahl Überschrift für die Metrikwerte, die Sie für Ihre Website erwarten.
Erwartete Besucher pro Zeitraum Dieses Feld wird normalerweise automatisch anhand der Tabelle berechnet. Es beruht auf der Annahme, dass die Website an den meisten Tagen viel mehr neue Besucher erhält als zurückkehrende Besucher. Ist dies nicht der Fall, sollte die Berechnung dieser Zelle mit der tatsächlichen Anzahl der während des Experiments erwarteten Besucher überschrieben werden.
Berechnete Z-Bewertung für Fehler Typ I Der Z-Wert für ein falsch positives Ergebnis. Dies ist eine statistische Zwischenberechnung.
Berechnete Z-Bewertung für Fehler Typ II Der Z-Wert für ein falsches negatives Ergebnis. Dies ist eine statistische Zwischenberechnung.
Erforderliche Mindestanzahl Besucher (Test+Kontrollgruppen) Mindestanzahl von Besuchern, die zum Erfüllen des angegebenen Konfidenzniveaus, des Leistungsniveaus und des Z-Werts erforderlich sind, ausgedrückt als Prozentsatz des Werts im Feld Erwartete Besucher pro Zeitraum.
Erforderliche Mindestanzahl Besucher (Test+Kontrollgruppen) Mindestanzahl von Besuchern, die in Ihrem Experiment benötigt werden, um das angegebene Konfidenzniveau, den Leistungsgrad und den Z-Wert zu erreichen. Dieser Wert muss kleiner oder gleich dem Wert im Feld "Gesamt"(normalerweise 100 %) im Abschnitt "Besucher"sein.
Mindestversuchszeit (Tage) Mindestanzahl von Tagen, die Sie zum Ausführen des Experiments benötigen, um das angegebene Konfidenzniveau, den Leistungsgrad und den Z-Wert zu erreichen. Diese berechnete Anzahl unterliegt den gleichen Problemen wie im Feld Erwartete Besucher pro Zeitraum beschrieben. Bei einer Website mit vielen wiederkehrenden Besuchern ist das Feld "Mindestversuchszeit (Tage)"die erwartete Anzahl von Tagen, die benötigt wird, um eine Reihe individueller Besucher anzuzeigen, die dem Wert im Feld "Erforderliche Besucher mindestens"entsprechen.
Besucher Überschrift für die Besucher.
Testgruppe Anzahl der in der Testgruppe benötigten Besucher.
Kontrollgruppe Anzahl der erforderlichen Besucher in der Kontrollgruppe.
Gesamt (in der Regel 100%) Gesamtzahl der für den Versuch erforderlichen Besucher. Dieser Wert muss gleich oder größer als der Wert im Feld "Erforderliche Besucher (Test+Kontrollgruppen)"sein.
Genauigkeit der Testgruppe (auf Zielgruppe Confidence Level) Prozentsatz, der angibt, dass eine Chance besteht, die dem angegebenen Konfidenzniveau entspricht, dass der für die Testgruppe berechnete gemessene Wert der Metrik innerhalb dieses Prozentsatzes vom tatsächlichen Wert liegt.
Genauigkeit der Kontrollgruppe (auf der Ebene der Zielgruppe Konfidenz) Prozentsatz, der angibt, dass eine Chance besteht, die dem angegebenen Konfidenzniveau entspricht, dass der für die Kontrollgruppe berechnete Messwert innerhalb dieses Prozentsatzes vom tatsächlichen Wert liegt.
z-Ergebnis (bei Zielgruppe-Genauigkeit) Anzahl der Standardabweichungen, bei denen ein bestimmter Wert vom Prüfmittelwert abweicht.
Tatsächliches Konfidenzniveau (im Zeitintervall der Zielgruppe) Das für den Versuch erzielte Vertrauensniveau. Das Konfidenzniveau misst die Wahrscheinlichkeit, dass die angegebene Erwartung wahr ist.
Tatsächliches Intervall (auf der Ebene der Zielgruppe der Konfidenz) Das für den Versuch erreichte Konfidenzintervall, das einen geschätzten Wertebereich bereitstellt, der wahrscheinlich einen unbekannten Populationsparameter enthält. Dieser Bereich wird aus einem bestimmten Satz von Musterdaten berechnet.

Sie müssen sich den Wert im Feld Erforderliche Besucher (Test+Kontrollgruppen) ansehen. . .

und mit dem Wert im Feld "Gesamt"in der Visitors Spalte vergleichen.

Damit Ihr Experiment statistisch gültig ist, muss der Wert im Feld "Gesamt"(normalerweise 100 %) gleich oder größer als der Wert im Feld "Erforderliche Besucher (Test+Kontrollgruppen)"sein.

Angesichts der bereitgestellten Eingaben zeigt das Beispielblatt, dass 10.475 Besucher an diesem Experiment teilnehmen müssen, um die eingegebene Konfidenzrate von 95 % zu erreichen (was die empfohlene Mindestsicherheit für jeden kontrollierten Versuch ist, auch wenn Sie diese Zahl erhöhen können). Das derzeit entworfene Experiment umfasst 30.000 Besucher, was deutlich über der Mindestanzahl der erforderlichen Besucher liegt.

Wenn Sie die Anzahl der Tage beibehalten, können Sie das Konfidenzniveau erhöhen, solange die Gesamtanzahl der Besucher die erforderliche Mindestanzahl erreicht oder überschreitet.

  1. Speichern Sie die Datei für Ihre Datensätze und konfigurieren Sie dann mithilfe der Informationen aus der Datei das Experiment mithilfe der Tabelle für die Experimentkonfiguration. Weitere Informationen zu dieser Tabelle finden Sie unter Konfigurieren und Bereitstellen des Experiments.

Auf dieser Seite

Adobe Summit Banner

A virtual event April 27-28.

Expand your skills and get inspired.

Register for free
Adobe Summit Banner

A virtual event April 27-28.

Expand your skills and get inspired.

Register for free
Adobe Maker Awards Banner

Time to shine!

Apply now for the 2021 Adobe Experience Maker Awards.

Apply now
Adobe Maker Awards Banner

Time to shine!

Apply now for the 2021 Adobe Experience Maker Awards.

Apply now