Interpretieren der automatischen Zuordnungsberichte
Interpretieren Sie die Ergebnisse einer Auto-Allocate A/B-Aktivität in Adobe Target, indem Sie wichtige Indikatoren untersuchen, einschließlich Steigerung und Konfidenz.
Viele Marketingexperten machen den Fehler, ein Erlebnis vorzeitig zum Gewinner zu erklären, bevor endgültige Ergebnisse vorliegen. Target erleichtert es Ihnen, den Gewinner zu bestimmen.
Allgemeine Informationen zum Deklarieren eines Gewinners finden Sie unter Zehn häufige Fehler bei A/B-Tests und wie diese vermieden werden.
Erlebnis mit dem Gewinner identifizieren section_24007470CF5B4D30A06610CE8DD23CE3
Bei Verwendung der Funktion Auto-Allocate zeigt Target oben auf der Seite der Aktivität ein Abzeichen mit "Noch kein Gewinner"an, bis die Aktivität die Mindestanzahl an Konversionen mit ausreichender Konfidenz erreicht hat.
Wenn ein eindeutiger Gewinner feststeht, zeigt Target "Gewinner: Erlebnis X"an.
Statistische Garantien für die automatische Zuordnung section_7AF3B93E90BA4B80BC9FC4783B6A389C
Am Ende einer A/B-Aktivität garantiert Auto-Allocate, dass der ermittelte Gewinner eine effektive Falsch-Positiv-Rate von 5 % aufweist. Das bedeutet, dass der festgestellte Gewinner nur 5 % der Zeit nicht das beste Erlebnis aller in der Aktivität vorhandenen Erlebnisse ist. Für einen A/A-Test (mit identischen Erlebnissen) schließt Target einen Test ab, der weniger als 5 % der Zeit beträgt. Zu erwarten ist, dass der A/A-Test (mit identischen Erlebnissen) unbegrenzt lange läuft, ohne dass ein Siegerabzeichen angezeigt wird.
Target verwendet keine p-Wert-basierte Konfidenz für Auto-Allocate.
Die Spalte Confidence in einer Auto-Allocate -Aktivität (siehe Abbildung unten) zeigt die Wahrscheinlichkeit an, mit der ein Erlebnis der Gewinner ist, mit einer Fehlergrenze von 1 %. Der Algorithmus verwendet einen minimalen erkennbaren Effekt von 1 % zwischen den besten und den zweitbesten Konversionsraten. Der Algorithmus verwendet Bernstein-Ungleichung, um diese Wahrscheinlichkeit zu berechnen.
Bei normalen A/B-Tests wird die Konfidenz basierend auf P-Werten berechnet. Auto-Allocate verwendet keine p-Werte. Mit P-Werten wird „grob“ die Wahrscheinlichkeit berechnet, mit der ein bestimmtes Erlebnis vom Kontrollelement abweicht. Diese P-Werte können dazu genutzt werden, um zu bestimmen, ob sich ein Erlebnis vom Kontrollelement unterscheidet. Die Werte können nicht genutzt werden, um festzustellen, ob ein Erlebnis sich von einem anderen Erlebnis unterscheidet, das nicht das Kontrollerlebnis ist.
Informationen zur Steigerung und Konfidenz in Auto-Allocate -Aktivitäten lift-confidence
In Auto-Allocate -Aktivitäten wird das erste Erlebnis (standardmäßig Erlebnis A genannt) immer als Kontrollerlebnis auf der Registerkarte Reports definiert. Dieses Erlebnis wird bei der Modellierung, die zur Ermittlung der Erlebnisleistung verwendet wird, nicht als echte statistische Kontrolle behandelt, sondern als Referenz oder Grundlage für einige Zahlen im Bericht behandelt.
Der numerische Wert "Steigerung"und die 95-%-Grenzen für jedes Erlebnis werden immer mit Bezug auf das definierte Kontrollerlebnis berechnet. Das definierte Kontrollerlebnis kann keine Steigerung im Verhältnis zu sich selbst aufweisen. Daher wird für dieses Erlebnis ein leerer "—"-Wert gemeldet. Im Gegensatz zu A/B-Tests wird bei Auto-Allocate-Tests kein negativer Steigerungswert gemeldet, wenn ein Erlebnis schlechter abschneidet als die definierte Kontrolle. Stattdessen wird "—"angezeigt.
Die angezeigten Confidence Interval -Balken stellen das Konfidenzintervall von 95 % um die mittlere Schätzung der Konversionsrate eines Erlebnisses dar. Diese Balken sind auch in Bezug auf das definierte Kontrollerlebnis farbcodiert. Die Leiste des Kontrollerlebnisses ist immer grau gefärbt. Die Abschnitte der Konfidenzintervalle unterhalb des Konfidenzintervalls des Kontrollerlebnisses sind rot und die Abschnitte der Konfidenzintervalle über dem Kontrollerlebnis sind grün.
Ein Gewinner wird gefunden, wenn sich die 95 % Confidence Interval des führenden Erlebnisses nicht mit anderen Erlebnissen überschneiden. Das erfolgreichste Erlebnis wird mit einem grünen Sternzeichen links neben dem Erlebnisnamen und im Banner "Gewinner"gekennzeichnet. Wenn kein Stern sichtbar ist, lautet das Banner "Noch kein Gewinner"und ein Gewinner wurde noch nicht gefunden.
Neben dem derzeit führenden oder erfolgreichsten Erlebnis wird auch eine "Konfidenz"gemeldet. Diese Zahl wird nur gemeldet, bis die Confidence des führenden Erlebnisses mindestens 60 % erreicht hat. Wenn in der Auto-Allocate -Aktivität zwei Erlebnisse vorhanden sind, stellt diese Zahl das Konfidenzniveau dar, dass das Erlebnis eine bessere Leistung erzielt als das andere Erlebnis. Wenn mehr als zwei Erlebnisse in der Auto-Allocate -Aktivität vorhanden sind, stellt diese Zahl das Konfidenzniveau dar, dass das Erlebnis eine bessere Leistung erzielt als das definierte "Kontrollerlebnis". Wenn das Kontrollerlebnis gewinnt, wird keine "Konfidenz"-Zahl gemeldet.
Häufig gestellte Fragen section_C8E068512A93458D8C006760B1C0B6A2
Beachten Sie die folgenden Antworten auf häufig gestellte Fragen:
Die Aktivität ist seit einigen Tagen aktiv. Warum werden bei allen Konfidenzwerten immer noch 0 % angezeigt?
Die folgenden Gründe beschreiben, warum 0 % für alle Aktivitäten in der Spalte Confidence des Berichts angezeigt wird:
-
Manuelle A/B-Tests und Auto-Allocate verwenden unterschiedliche Statistiken, um Confidence -Werte anzuzeigen.
Manuelle A/B-Tests verwenden P-Werte, die auf dem t-Test von Welch basieren. Ein P-Wert gibt die Wahrscheinlichkeit an, den beobachteten (oder einen extremeren) Unterschied zwischen einem Erlebnis und dem Kontrollelement zu erhalten, wobei in Wirklichkeit kein solcher Unterschied vorliegt. Diese P-Werte können nur verwendet werden, um festzustellen, ob die beobachteten Daten mit einem bestimmten Erlebnis im Einklang stehen und das Kontrollelement identisch ist. Die Werte können nicht genutzt werden, um festzustellen, ob ein Erlebnis sich von einem anderen Erlebnis unterscheidet, das nicht das Kontrollerlebnis ist.
Auto-Allocate zeigt die Wahrscheinlichkeit, mit der ein bestimmtes Erlebnis für alle Erlebnisse in der Aktivität als wahr Sieger gilt. Nur ein erfolgreichstes Erlebnis (das höchstwahrscheinlich der Gewinner ist) hat einen Konfidenzwert ungleich null. Bei allen anderen handelt es sich höchstwahrscheinlich um Verlierer und um 0 %.
-
Auto-Allocate beginnt, die Konfidenz erst anzuzeigen, nachdem das erfolgreichste Erlebnis 60 % Konfidenz gesammelt hat. Diese Konfidenzwerte treten in der Regel in etwa der Hälfte der Zeit auf, die ein normaler A/B-Test dauern würde (obwohl dieser Zeitraum nicht garantiert ist). Um zu bestimmen, wie lange ein normaler A/B-Test dauern würde, verwenden Sie den Adobe Target Stichprobengrößenrechner: Plug-in-Konversionsrate der Kontrolle in "Baseline-Konversionsrate", "5%"für "Steigerung"und 95% für "Konfidenz". Typischerweise wird die Konfidenz angezeigt, nachdem jedes Erlebnis mindestens 50 % der erforderlichen Stichproben pro Erlebnis sammeln konnte. So erhalten Sie eine Vorstellung davon, wann die Konfidenz erscheint.
-
Wird im Bericht überall der Wert 0 % angezeigt, ist die Aktivität höchstwahrscheinlich noch nicht lange genug online.
Sind die Abzeichen "Kein Gewinner", "Gewinner"und "Stern"für Auto-Allocate Aktivitäten verfügbar, die Analytics as the reporting source (A4T) verwenden?
Die Abzeichen "Noch kein Gewinner"und "Gewinner"sind derzeit nicht im Bedienfeld A4T in Analysis Workspace verfügbar. Diese Abzeichen sind auch nicht verfügbar, wenn derselbe Bericht in Target angezeigt wird. Ein Zeichen für den Gewinner "star", das in einem Target -Bericht für eine Auto-Allocate -Aktivität mit A4T angezeigt wird, sollte ignoriert werden.
Weitere Informationen zu diesen und anderen Einschränkungen und Notizen finden Sie unter Automatische Zuordnung in A4T-Unterstützung für Auto-Allocate - und Auto-Target -Aktivitäten.