Erste Schritte mit Inhaltsexperimenten

Interpretieren der Ergebnisse Ihrer Experimente

In diesem Abschnitt werden die Experimentberichte beschrieben, und Sie erfahren, wie die verschiedenen statistischen Mengen, die angezeigt werden, zu verstehen sind.

Im Folgenden finden Sie einige Richtlinien für die Interpretation der Ergebnisse Ihres Inhaltsexperiments.

Beachten Sie, dass bei einer vollständigen Beschreibung der Ergebnisse alle verfügbaren Fakten (d. h. Stichprobengrößen, Konversionsraten, Konfidenzintervalle usw.) berücksichtigt werden sollten und nicht nur, ob eine Erklärung als endgültig erfolgt ist oder nicht. Selbst wenn ein Ergebnis noch nicht endgültig ist, kann es dennoch zwingende Beweise dafür geben, dass eine Abwandlung anders ist als eine andere.

Statistische Berechnungen werden auf dieser Seite erläutert.

1. Vergleichen normalisierter Metriken

Wenn Sie die Performance von zwei Abwandlungen vergleichen, sollten Sie immer die normalisierten Metriken vergleichen, um Unterschiede in der Anzahl der Profile zu berücksichtigen, die jeder Abwandlung ausgesetzt sind.

Wenn das Experimentziel beispielsweise Einzelöffnungen sind und eine bestimmte Abwandlung 10.000 Profilen gezeigt wurde und zu 200 erfassten Einzelöffnungen führte, entspricht dies einer Konversionsrate von 2 %. Bei nicht eindeutigen Metriken, z. B. der Öffnungs-Metrik, wird die normalisierte Metrik als Anzahl pro Profil angezeigt, während bei kontinuierlichen Metriken wie „Preis gesamt“ die normalisierte Metrik als Gesamt pro Profil angezeigt wird.

2. Konzentration auf Konfidenzintervalle

Wenn Sie Experimente mit Stichproben Ihrer Profile durchführen, stellt die für eine bestimmte Abwandlung beobachtete Konversionsrate eine Schätzung der tatsächlichen zugrunde liegenden Konversionsrate dar.

Wenn beispielsweise Abwandlung A eine Konversionsrate von 3 % aufweist, während Abwandlung B eine beobachtete Konversionsrate von 2 % hat, ist Abwandlung A dann besser als Abwandlung B? Um diese Frage zu beantworten, müssen wir zunächst die Unsicherheit in diesen beobachteten Konversionsraten quantifizieren.

Konfidenzintervalle helfen dabei, den Grad der Unsicherheit in den geschätzten Konversionsraten zu quantifizieren, aber breitere Konfidenzintervalle bedeuten mehr Unsicherheit. Je mehr Profile dem Experiment hinzugefügt werden, desto kleiner werden die Intervalle, die eine genauere Schätzung darstellen. Das Konfidenzintervall stellt einen Bereich von Konversionsraten dar, die mit den beobachteten Daten kompatibel sind.

Wenn sich die Konfidenzintervalle für zwei Abwandlungen kaum überschneiden, bedeutet dies, dass die beiden Abwandlungen unterschiedliche Konversionsraten aufweisen. Wenn es jedoch eine große Überschneidung zwischen den Konfidenzintervallen für zwei Abwandlungen gibt, ist es wahrscheinlicher, dass die beiden Abwandlungen dieselbe Konversionsrate aufweisen.

Adobe verwendet 95 % jederzeit gültige Konfidenzintervalle oder Konfidenzsequenzen, was bedeutet, dass die Ergebnisse zu jedem Zeitpunkt des Experiments sicher angezeigt werden können.

3. Verstehen von Steigerungen

In der Zusammenfassung des Experiments wird die Steigerung gegenüber der Baseline angezeigt, die ein Maß für die prozentuale Verbesserung der Konversionsrate einer bestimmten Abwandlung gegenüber der Baseline darstellt. Genauer gesagt handelt es sich um den Unterschied in der Performance zwischen einer bestimmten Abwandlung und der Baseline, geteilt durch die Performance der Baseline, ausgedrückt in Prozent.

3. Verstehen von Konfidenz

Während Sie sich in erster Linie auf das Konfidenzintervall für die Performance der einzelnen Abwandlungen konzentrieren sollten, zeigt Adobe auch die Konfidenz an, die ein probabilistisches Maß dafür ist, wie viel Evidenz es dafür gibt, dass eine bestimmte Abwandlung mit der Baseline-Abwandlung identisch ist. Ein höherer Konfidenzwert zeigt an, dass die Annahme, wonach die Baseline- und die Nicht-Baseline-Abwandlung die gleiche Performance aufweisen, weniger gut belegt ist. Genauer gesagt ist die angezeigte Konfidenz die Wahrscheinlichkeit (ausgedrückt als Prozentsatz), dass wir einen geringeren Unterschied bei den Konversionsraten zwischen einer bestimmten Abwandlung und der Baseline beobachtet hätten, wenn es in Wirklichkeit keinen Unterschied bei den tatsächlichen zugrunde liegenden Konversionsraten gibt. Um es mit den p-Werten auszudrücken, ist die angezeigte Konfidenz 1 - p-Wert.

Adobe verwendet „jederzeit gültige“ Konfidenz und „jederzeit gültige“ p-Werte, die mit den oben beschriebenen Konfidenzsequenzen übereinstimmen.