Manuelle Berechnung der Konfidenz für automatische Zuordnungsaktivitäten

Beschreibung description

Umgebung

Adobe Target

Probleme/Symptome

Die Konfidenz der Aktivität Automatische Zuordnung unterscheidet sich in der Benutzeroberfläche von Target und bei der Berechnung über den Konfidenzrechner Excel. Warum ist das so?

Auflösung resolution

Die automatische Zuordnung verwendet einen anderen Konfidenzrechner (basierend auf Bernstein-Grenzen) als die regulären A/B-Tests (für die der von Ihnen verwendete Rechner gilt; dieser verwendet einen t-Test, d. h. p-Werte, die von der t-Verteilung abgeleitet sind).

Die von der automatischen Zuordnung verwendeten Konfidenzberechnungen sind viel konservativer als die von regulären t-Tests verwendeten. Sie wird gemacht, um falsch-positive Ergebnisse zu kontrollieren, also um zu verhindern, dass wir frühzeitig erkennen, dass ein Arm besser ist als ein anderer, wenn der Effekt, den wir sehen, zufällig ist.

Deshalb beträgt die klassische auf T-Tests basierende Konfidenz > 93 %, aber die Konfidenz der automatischen Zuordnung ist viel geringer. Sie wird auch in den Dokumenten Automatische Zuordnung - Übersicht freigegeben.

Für automatische Zuordnungsaktivitäten ist ein Konfidenzniveau von 60 % erforderlich, wie hier) ​.