Interpretieren automatischen ZuordnungsBerichten
Interpretieren Sie die Ergebnisse einer A/BAktivität vom Typ „Automatische Zuordnung in Adobe Target anhand wichtiger Indikatoren, einschließlich Steigerung und Konfidenz.
Viele Marketingexperten machen den Fehler, ein Erlebnis vorzeitig zum Gewinner zu erklären, bevor endgültige Ergebnisse vorliegen. Target erleichtert Ihnen die Ermittlung des Gewinners.
Allgemeine Informationen zur Gewinnererklärung finden Sie unter 10 häufige Fehler bei A/B-Tests und wie diese vermieden werden.
Ermitteln des erfolgreichsten Erlebnisses section_24007470CF5B4D30A06610CE8DD23CE3
Bei Verwendung der Funktion Automatische Zuordnung zeigt Target oben auf der Seite der Aktivität ein Badge mit der Bezeichnung „Noch kein Gewinner“ an, bis die Aktivität die Mindestanzahl an Konversionen mit ausreichender Konfidenz erreicht.
Wenn ein eindeutiger Gewinner bekannt gegeben wird, zeigt Target das Abzeichen „Gewinner: Erlebnis X" an.
Statistische Garantien für Automatische Zuordnung section_7AF3B93E90BA4B80BC9FC4783B6A389C
Am Ende einer A/B-Aktivität garantiert Automatische Zuordnung, dass der ermittelte Gewinner eine effektive falsch-positive Rate von 5 % hat. Das bedeutet, dass der festgestellte Gewinner nur 5 % der Zeit nicht das beste Erlebnis aller in der Aktivität vorhandenen Erlebnisse ist. Bei einem A/A-Test (mit identischen Erfahrungen) schließt Target einen Test in weniger als 5 % der Fälle ab. Zu erwarten ist, dass der A/A-Test (mit identischen Erlebnissen) unbegrenzt lange läuft, ohne dass ein Siegerabzeichen angezeigt wird.
Target verwendet keine auf dem p-Wert basierende Konfidenz für Automatische Zuordnung.
Die Spalte Konfidenz in einer Aktivität Automatische Zuordnung zeigt die Wahrscheinlichkeit, dass ein Erlebnis der Gewinner ist, innerhalb einer Fehlerspanne von 1 % an. Der Algorithmus verwendet einen minimalen detektierbaren Effekt von 1 % zwischen der besten und der zweitbesten Konversionsrate. Der Algorithmus verwendet Bernstein Inequality um diese Wahrscheinlichkeit zu berechnen.
Bei normalen A/B-Tests wird die Konfidenz basierend auf P-Werten berechnet. Automatische Zuordnung verwendet keine p-Werte. Mit P-Werten wird „grob“ die Wahrscheinlichkeit berechnet, mit der ein bestimmtes Erlebnis vom Kontrollelement abweicht. Diese P-Werte können dazu genutzt werden, um zu bestimmen, ob sich ein Erlebnis vom Kontrollelement unterscheidet. Die Werte können nicht genutzt werden, um festzustellen, ob ein Erlebnis sich von einem anderen Erlebnis unterscheidet, das nicht das Kontrollerlebnis ist.
Verstehen der Berichterstellung zu Steigerung und Konfidenz in automatischen Zuordnungs-Aktivitäten lift-confidence
In automatischen Zuordnungs-Aktivitäten wird das erste Erlebnis (standardmäßig Erlebnis A genannt) immer als Kontrollerlebnis auf der Registerkarte Berichte definiert. Dieses Erlebnis wird in der Modellierung, die zur Bestimmung der Leistung von Erlebnissen verwendet wird, nicht als echte statistische Kontrolle behandelt, sondern als Referenz oder Grundlinie für einige Zahlen im Bericht.
Der numerische Wert „Anstieg“ und die 95-%-Grenzen für jedes Erlebnis werden immer unter Bezugnahme auf das definierte Kontrollerlebnis berechnet. Das definierte Erlebnis „Kontrolle“ kann keinen Anstieg relativ zu sich selbst haben, sodass für dieses Erlebnis ein leerer Wert “—” gemeldet wird. Im Gegensatz zu A/B-Tests wird bei automatischen Zuordnungstests wenn ein Erlebnis eine schlechtere Leistung als die definierte Kontrolle aufweist, kein negativer Steigerungswert gemeldet. Stattdessen wird “—” angezeigt.
Die angezeigten Konfidenzintervall-Balken stellen das 95-%-Konfidenzintervall um die mittlere Schätzung der Konversionsrate eines Erlebnisses dar. Diese Balken sind auch im Hinblick auf das definierte „Kontrollerlebnis“ farbcodiert. Die Leiste des Erlebnisses „Kontrolle“ ist immer grau gefärbt. Die Teile der Konfidenzintervalle unterhalb des Konfidenzintervalls des Kontrollerlebnisses sind rot und die Teile der Konfidenzintervalle oberhalb des Kontrollerlebnisses grün gefärbt.
Ein Gewinner wird gefunden, wenn das 95%ige Konfidenzintervall“ des führenden Erlebnisses andere Erlebnisse überschneidet. Das erfolgreichste Erlebnis wird mit einem grünen Sternabzeichen links neben dem Erlebnisnamen und im Banner „Gewinner“ gekennzeichnet. Wenn kein Stern sichtbar ist, lautet das Banner „Noch kein Gewinner“ und es wurde noch kein Gewinner gefunden.
Neben dem derzeit führenden oder erfolgreichsten Erlebnis wird auch eine Zahl für „Konfidenz“ angezeigt. Diese Zahl wird nur gemeldet, bis die „Konfidenz des führenden Erlebnisses mindestens 60 % erreicht. Wenn in der Aktivität Automatische Zuordnung zwei Erlebnisse vorhanden sind, stellt diese Zahl das Konfidenzniveau dar, bei dem die Leistung des Erlebnisses besser ist als bei dem anderen Erlebnis. Wenn in der Aktivität Automatische Zuordnung mehr als zwei Erlebnisse vorhanden sind, stellt diese Zahl das Konfidenzniveau dar, bei dem die Leistung des Erlebnisses besser ist als bei dem definierten Kontrollerlebnis. Wenn das Kontrollerlebnis gewinnt, wird keine „Konfidenzzahl“ gemeldet.
Häufig gestellte Fragen section_C8E068512A93458D8C006760B1C0B6A2
Beachten Sie die folgenden Antworten auf häufig gestellte Fragen:
Es waren ein paar Tage bis zur Aktivität. Warum zeigen alle Konfidenzwerte weiterhin 0 % an?
Die folgenden Gründe erläutern, warum für sämtliche Aktivitäten in der Spalte Konfidenz des Berichts der Wert 0 % angezeigt wird:
-
Manuelle A/B-Tests und Automatische Zuordnung verwenden verschiedene Statistiken zur Anzeige Konfidenz-Werte.
Manuelle A/B-Tests verwenden p-Werte, die auf dem Welch-t-Test basieren. Ein P-Wert gibt die Wahrscheinlichkeit an, den beobachteten (oder einen extremeren) Unterschied zwischen einem Erlebnis und dem Kontrollelement zu erhalten, wobei in Wirklichkeit kein solcher Unterschied vorliegt. Diese P-Werte können nur verwendet werden, um festzustellen, ob die beobachteten Daten mit einem bestimmten Erlebnis im Einklang stehen und das Kontrollelement identisch ist. Die Werte können nicht genutzt werden, um festzustellen, ob ein Erlebnis sich von einem anderen Erlebnis unterscheidet, das nicht das Kontrollerlebnis ist.
Automatische Zuordnung zeigt die Wahrscheinlichkeit an, dass ein bestimmtes Erlebnis über alle Erlebnisse in der Aktivität hinweg ein echter Gewinner ist. Nur ein erfolgreichstes Erlebnis (bei dem es sich höchstwahrscheinlich um den Gewinner handelt) hat einen Vertrauenswert ungleich null. Bei allen anderen handelt es sich höchstwahrscheinlich um Verlierer, die 0 % anzeigen.
-
Automatische Zuordnung zeigt erst dann Konfidenz an, wenn das erfolgreichste Erlebnis 60 % Konfidenz erlangt hat. Diese Konfidenzniveaus treten in der Regel in etwa der Hälfte der Zeit auf, die ein normaler A/B-Test benötigen würde (obwohl dieser Zeitrahmen nicht garantiert ist). Um zu bestimmen, wie lange ein normaler A/B-Test ausgeführt werden würde, verwenden Sie den Adobe Target Stichprobengrößenrechner: Stecken Sie die Konversionsrate des Steuerelements in „Baseline-Konversionsrate“, „5 %" für „Steigerung“ und 95 % für „Konfidenz“. Typischerweise wird die Konfidenz angezeigt, nachdem jedes Erlebnis mindestens 50 % der erforderlichen Stichproben pro Erlebnis sammeln konnte. Dies gibt Ihnen eine Vorstellung davon, wann Konfidenz anfängt zu erscheinen.
-
Wird im Bericht überall der Wert 0 % angezeigt, ist die Aktivität höchstwahrscheinlich noch nicht lange genug online.
Sind die Abzeichen „Kein Gewinner“, „Gewinner“ und „Stern“ verfügbar für Aktivitäten Automatische Zuordnung, die Analytics als Berichtsquelle (A4T) verwenden?
Die Abzeichen „Noch kein Gewinner“ und „Gewinner“ sind derzeit nicht im Bedienfeld A4T in Analysis Workspace verfügbar. Diese Abzeichen sind auch dann nicht verfügbar, wenn derselbe Bericht in Target angezeigt wird. Ein Gewinner-Abzeichen „Stern“, das in einem Target Bericht für eine Aktivität Automatische Zuordnung mit A4T angezeigt wird, sollte ignoriert werden.
Weitere Informationen zu dieser und anderen Einschränkungen finden Sie unter Automatische Zuordnung in A4T-Unterstützung für Automatische Zuordnung und Automatisches Targeting-Aktivitäten.