Experimentier-Bedienfeld experimentation-panel
Mit dem Bedienfeld Experimentierung können Analysten verschiedene Varianten von Benutzererlebnissen, Marketing- oder Messaging vergleichen, um zu bestimmen, welches am besten zu einem bestimmten Ergebnis führt. Sie können die Steigerung und Konfidenz jedes A/B-Experiments von jeder beliebigen Experimentierplattform aus bewerten: online, offline, von Adobe-Lösungen wie Target oder Journey Optimizer und sogar von BYO-Daten (eigene Daten).
Erfahren Sie mehr über die Integration zwischen Adobe Customer Journey Analytics und Adobe Target.
Zugangssteuerung access
Das Experimentierungsfenster steht allen Customer Journey Analytics-Benutzern zur Verfügung. Es sind keine Administratorrechte oder anderen Berechtigungen erforderlich. Für die Voraussetzungen sind jedoch Aktionen erforderlich, die nur Administratoren durchführen können.
Funktionen in berechneten Metriken
Zwei erweiterte Funktionen sind verfügbar: Steigerung und Konfidenz. Weitere Informationen finden Sie unter Referenz – Erweiterte Funktionen.
Voraussetzungen
Um das Experimentierfeld zu verwenden, müssen Sie die folgenden Voraussetzungen erfüllen:
Verbindung zu Experimentdatensätzen erstellen
Das empfohlene Datenschema besteht darin, dass sich die Experimentdaten in einem Objekt-Array befinden, das die Experiment- und Variantendaten in zwei separaten Dimensionen enthält. Beide Dimensionen müssen sich in einem einzelnen -Objektarray befinden. Wenn sich Ihre Experimentdaten in einer einzigen Dimension befinden (mit Experiment- und Variantendaten in einer getrennten Zeichenfolge), können Sie die Einstellung substring in Datenansichten verwenden, um die Dimension zur Verwendung im Bedienfeld in zwei aufzuteilen.
Nachdem Ihre Experimentdaten 🔗 in Adobe Experience Platform aufgenommen wurden, erstellen eine Verbindung in Customer Journey Analytics mit einem oder mehreren Experimentdatensätzen.
Hinzufügen von Kontextbezeichnungen in Datenansichten
In den Einstellungen für Customer Journey Analytics-Datenansichten können Administratoren einer Dimension oder Metrik Kontextbezeichnungen hinzufügen und Customer Journey Analytics-Dienste wie das Bedienfeld Experimentation können diese Bezeichnungen für ihre Zwecke verwenden. Für das Bedienfeld „Experimentieren“ werden zwei vordefinierte Beschriftungen verwendet:
- Experimentierexperiment
- Experimentiervariante
Wählen Sie in Ihrer Datenansicht, die Experimentdaten enthält, zwei Dimensionen aus: eine mit den Experimentierungsdaten und eine mit den Variantendaten. Benennen Sie diese Dimensionen dann mit den Beschriftungen Experimentierexperiment und Experimentvariante .
Ohne diese Beschriftungen funktioniert das Bedienfeld „Experiment“ nicht, da keine Experimente vorhanden sind, mit denen gearbeitet werden kann.
Verwenden Sie stattdessen
So verwenden Sie ein Bedienfeld Experimentation :
-
Erstellen Sie ein Bedienfeld "Experimentation". Informationen zum Erstellen eines Bedienfelds finden Sie unter Erstellen eines Bedienfelds.
-
Geben Sie die Eingabe für das Bedienfeld an.
-
Beobachten Sie die Ausgabe für das Bedienfeld.
note important IMPORTANT Wenn die erforderliche Einrichtung in Customer Journey Analytics-Datenansichten nicht abgeschlossen wurde, erhalten Sie diese Nachricht, bevor Sie fortfahren können: Konfigurieren Sie die Dimensionen für Experiment und Variante in Datenansichten.
Bedienfeldeingabe
So verwenden Sie das Experimentierfeld:
-
Konfigurieren Sie die Bedienfeldeingabeeinstellungen:
table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2 6-row-2 Einstellung Definition Datumsbereich Der Datumsbereich für das Experimentierungsfenster wird automatisch festgelegt, basierend auf dem ersten Ereignis, das beim Customer Journey Analytics für das ausgewählte Experiment empfangen wurde. Sie können den Datumsbereich bei Bedarf auf einen spezifischeren Zeitraum beschränken oder erweitern. Experiment Eine Reihe von Varianten eines Erlebnisses, die Endbenutzern bereitgestellt wurden, um zu ermitteln, welche Erlebnisse am besten dauerhaft beibehalten werden sollten. Ein Experiment besteht aus zwei oder mehr Varianten, von denen eine als Kontrollvariante gilt. Diese Einstellung wird vorab mit den Dimensionen gefüllt, die in Datenansichten mit der Beschriftung Experiment und den Experimentierungsdaten der letzten drei Monate gekennzeichnet wurden. Kontrollvariante Eine von zwei oder mehr Änderungen im Erlebnis eines Endbenutzers, die verglichen werden, um die bessere Alternative zu ermitteln. Eine Variante muss als Kontrolle ausgewählt werden und nur eine Variante kann als Kontrollvariante betrachtet werden. Diese Einstellung enthält vorab die Dimensionen, die in Datenansichten mit der Bezeichnung Variante gekennzeichnet wurden. Mit dieser Einstellung werden die Variantendaten abgerufen, die mit diesem Experiment verknüpft sind. Erfolgsmetriken Die Metrik(en), die ein Anwender verwendet, um Varianten zu vergleichen. Die Variante mit dem wünschenswertesten Ergebnis für die Konversionsmetrik (egal ob am höchsten oder am niedrigsten) wird als beste Variante eines Experiments deklariert. Sie können bis zu 5 Metriken hinzufügen. Normalisierungsmetrik Die Grundlage (Personen, Sitzungen oder Ereignisse), auf der ein Test ausgeführt wird. Beispielsweise kann ein Test die Konversionsraten verschiedener Varianten vergleichen, bei denen Konversionsrate als Seitenansicht berechnet wird Obere/untere Konfidenzgrenzen einschließen Aktivieren Sie diese Option, um Obergrenzen und Untergrenzen für Konfidenzniveaus anzuzeigen. -
Wählen Sie Erstellen aus.
Bedienfeldausgabe
Das Bedienfeld „Experimentieren“ liefert umfangreiche Daten und Visualisierungen, die Ihnen helfen, die Performance Ihrer Experimente besser zu verstehen. Oben im Bedienfeld werden Visualisierungen für die Zusammenfassungsänderung bereitgestellt, um Sie an die von Ihnen ausgewählten Bereichseinstellungen zu erinnern. Sie können das Bedienfeld jederzeit bearbeiten, indem Sie oben rechts den Stift zum Bearbeiten auswählen.
Sie erhalten auch eine Textzusammenfassung, die anzeigt, ob das Experiment schlüssig ist oder nicht, und die das Ergebnis zusammenfasst. Die Zusammenfassung basiert auf der statistischen Bedeutung (siehe Statistische Methode). Sie können Zusammenfassungszahlen für die Variante mit der besten Performance mit dem höchsten Anstieg und der höchsten Konfidenz anzeigen.
Für jede ausgewählte Erfolgsmetrik werden eine Visualisierung der Freiformtabelle und der Konversionsrate Zeile angezeigt.
Interpretieren der Ergebnisse
-
Experiment ist abgeschlossen: Jedes Mal, wenn Sie den Experimentbericht anzeigen, werden die bis zu diesem Zeitpunkt im Experiment angesammelten Daten analysiert. Die Analyse erklärt ein Experiment als abgeschlossen, wenn die gültige Konfidenz anytime für mindestens eine der Varianten einen Schwellenwert von 95 % überschreitet. Mit mehr als zwei Armen wird eine Benjamini-Hochberg Korrektur vorgenommen, um die Mehrfachhypothesentests zu korrigieren.
-
Variante mit der besten Leistung: Wenn ein Experiment für schlüssig erklärt wird, wird die Variante mit der höchsten Konversionsrate als die Variante mit der besten Performance gekennzeichnet. Beachten Sie, dass es sich bei dieser Variante entweder um die Kontroll- oder Grundvariante oder um eine der Varianten handeln muss, die den 95% anytime gültigen Konfidenzschwellenwert überschreiten (wobei Benjamini-Hochberg-Korrekturen vorgenommen werden).
-
Konversionsrate: Die angezeigte Erfolgsmetrik ist das Verhältnis zwischen Konversionswert und Normalisierung des Metrikwerts. Beachten Sie, dass dieser Wert größer als 1 sein kann, wenn die Metrik nicht binär ist (1 oder 0 für jede Einheit im Experiment)
-
Steigerung: Die Zusammenfassung des Experimentberichts zeigt die Steigerung gegenüber der Grundlinie, die eine Messung der prozentualen Verbesserung der Konversionsrate einer bestimmten Variante gegenüber der Grundlinie darstellt. Genau bestimmt ist dies der Performance-Unterschied zwischen einer bestimmten Variante und der Baseline, geteilt durch die Performance der Baseline und ausgedrückt in Prozent.
-
Konfidenz: Die jederzeit gültige Konfidenz, die angezeigt wird, ist ein probabilistischer Messwert dafür, wie viele Beweise dafür vorliegen, dass eine bestimmte Variante mit der Kontrollvariante identisch ist. Eine höhere Konfidenz deutet auf weniger Nachweise hin, die die Annahme stützen, dass die Kontroll- und Nicht-Kontrollvariante die gleiche Performance aufweisen. Die Konfidenz ist eine Wahrscheinlichkeit (ausgedrückt als Prozentsatz), die Sie in Bezug auf die Konversionsraten zwischen einer bestimmten Variante und der Kontrollgruppe gesehen hätten. Während in Wirklichkeit gibt es keinen Unterschied in den zugrunde liegenden tatsächlichen Konversionsraten. Im Hinblick auf p-Werte ist die angezeigte Konfidenz 1 - p-Wert.
Statistische Methodik von Adobe statistics
Um leicht verständliche und sichere statistische Rückschlüsse zu ermöglichen, hat Adobe eine statistische Methodik eingeführt, die auf Immer gültige Konfidenzsequenzen basiert.
Eine Konfidenzsequenz ist ein sequenzielles Analogon eines Konfidenzintervalls. Um zu verstehen, was eine Konfidenzsequenz ist, stellen Sie sich vor, Sie wiederholen Ihre Experimente hundertmal. Und berechnen Sie eine Schätzung der durchschnittlichen Geschäftsmetrik (z. B. die Öffnungsrate einer E-Mail) und der zugehörigen 95-%-Konfidenzsequenz für jeden neuen Benutzer, der in das Experiment eintritt.
Eine Konfidenzsequenz von 95 % umfasst den "true"-Wert der Geschäftsmetrik in 95 der 100 Experimente, die Sie ausgeführt haben. (Ein Konfidenzintervall von 95 % kann nur einmal pro Experiment berechnet werden, um die gleiche 95-%-Garantie zu erhalten, nicht bei jedem neuen Benutzer.) Konfidenzsequenzen ermöglichen es Ihnen daher, Experimente kontinuierlich zu überwachen, ohne die Falsch-Positiv-Fehlerrate zu erhöhen, d. h. sie ermöglichen einen "Peeking" bei den Ergebnissen.
Nicht randomisierte Dimensionen interpretieren non-randomized
Mit Customer Journey Analytics können Analysten eine beliebige Dimension als Experiment auswählen. Aber wie interpretieren Sie eine Analyse, bei der die als Experiment gewählte Dimension nicht diejenige ist, für die Personen randomisiert werden?
Betrachten Sie beispielsweise eine Anzeige, die eine Person sieht. Sie können an der Messung der Änderung in einer Metrik interessiert sein (z. B. Durchschnittsumsatz), wenn Sie Personen und B anstelle von und A anzeigen. Der kausale Effekt der Anzeige von Anzeige B anstelle von Anzeige A ist für die Marketing-Entscheidung von zentraler Bedeutung. Dieser kausale Effekt kann als durchschnittlicher Umsatz über die gesamte Population gemessen werden, wenn Sie den Status quo der Anzeige von Anzeige A durch die alternative Strategie der Anzeige B ersetzen.
A/B-Tests sind der Goldstandard innerhalb der Branche zur objektiven Messung der Auswirkungen solcher Interventionen. Der entscheidende Grund, warum ein A/B-Test zu einer kausalen Schätzung führt, liegt in der Randomisierung der Personen, eine der möglichen Varianten zu erhalten.
Betrachten wir nun eine Dimension, die nicht durch Randomisierung erreicht wird, z. B. den US-Bundesstaat der Person. Personen kommen hauptsächlich aus zwei Staaten, New York und Kalifornien. Der durchschnittliche Umsatz der Verkäufe einer Winterbekleidungsmarke kann in den beiden Bundesstaaten aufgrund der unterschiedlichen regionalen Wetterbedingungen unterschiedlich sein. In einer solchen Situation kann das Wetter der wahre ursächliche Faktor für den Verkauf von Winterkleidung sein, und nicht die Tatsache, dass die geografischen Status der Personen unterschiedlich sind.
Im Experimentierbereich in Customer Journey Analytics können Sie Daten als durchschnittliche Umsatzdifferenz nach Personenstand analysieren. In einem solchen Fall hat die Ausgabe keine kausale Interpretation. Eine solche Analyse kann jedoch dennoch von Interesse sein. Er enthält eine Schätzung (zusammen mit Unsicherheitsmessungen) der Differenz der durchschnittlichen Einnahmen nach Staaten der Personen. Dieser Wert wird auch als Testen statistischer Hypothesen bezeichnet. Das Ergebnis dieser Analyse mag interessant sein, aber nicht unbedingt umsetzbar. Einfach, weil Sie keine zufällige Auswahl getroffen haben und Personen manchmal nicht nach einem der möglichen Werte der Dimension zuordnen können.
Die folgende Abbildung widerspricht diesen Situationen:
Wenn Sie die Wirkung von Intervention X auf das Ergebnis Y messen möchten, ist es möglich, dass die wahre Ursache für beide der verwirrende Faktor C ist. Wenn die Daten nicht durch eine zufällige Personalisierung auf X erreicht werden, ist die Auswirkung schwieriger zu messen, und die Analyse berücksichtigt explizit C. Randomisierung unterbricht die Abhängigkeit von X auf C, sodass wir die Wirkung von X auf Y messen können, ohne sich um andere Variablen kümmern zu müssen.
Verwenden von berechneten Metriken in Experimenten use-in-experimentation
Nicht alle berechneten Metriken sind mit dem Experimentierungsbereich kompatibel.
Berechnete Metriken, die eine der folgenden Metriken oder Konstanten enthalten, sind nicht mit dem Experimentierungsbereich kompatibel:
- Basismetriken aus einem Zusammenfassungsdatensatz
- Basismetriken, die untereinander aufgeteilt oder miteinander multipliziert werden (z. B.
Revenue/Orders) - Konstanten, die zu einer Basismetrik hinzugefügt oder von dieser abgezogen werden (z. B.
Revenue+50) - Eine der folgenden Basismetriken:
- Personen
Berechnete Metriken, die nicht mit dem Experimentierungsbereich kompatibel sind, haben beim Erstellen der berechneten Metrik den Wert Überall auf Customer Journey Analytics (außer Experimentierung) im Feld Produktkompatibilität . Informationen zum Erstellen einer berechneten Metrik finden Sie unter Metriken erstellen.
Berechnete Metriken im Experimentierungsbereich verwenden
In diesem Blogpost finden Sie Informationen zu Verwendung berechneter Metriken im Experimentierungsbereich.