In diesem Artikel wird das Experimentier-Bedienfeld in {}
Siehe Bedienfeld „Analytics for Target für Informationen zur Analyse von Adobe Target-Aktivitäten und -Erlebnissen
Im Bedienfeld Experimentieren können Analysten verschiedene Benutzererlebnisse, Marketing- oder Messaging-Variationen vergleichen, um zu ermitteln, welche am besten geeignet ist, um ein bestimmtes Ergebnis zu erzielen. Sie können den Anstieg und die Konfidenz von A/B-Experimenten von jeder beliebigen Experimentierplattform aus bewerten: online, offline, aus Adobe-Lösungen wie Target oder Journey Optimizer und sogar aus BYO-Daten (bring-your-own).
Lesen Sie mehr über die Integration zwischen Adobe Customer Journey Analytics und Adobe Target.
Zugangssteuerung access
Das Bedienfeld „Experimentieren“ kann von allen Customer Journey Analytics-Benutzern verwendet werden. Es sind keine Administratorrechte oder anderen Berechtigungen erforderlich. Die Voraussetzungen erfordern jedoch Aktionen, die nur Admins ausführen können.
Funktionen in berechneten Metriken
Zwei erweiterte Funktionen sind verfügbar: Anstieg und Konfidenz. Weitere Informationen finden Sie unter Referenz – Erweiterte Funktionen.
Voraussetzungen
Um das Experimentier-Bedienfeld zu verwenden, müssen Sie die folgenden Voraussetzungen erfüllen:
Erstellen einer Verbindung zu Experiment-Datensätzen
Laut dem empfohlenen Datenschema sollten die Experimentdaten in einem -ObjektArray gespeichert sein,die Experiment- und Variantendaten in zwei separaten Dimensionen enthält. Beide Dimensionen müssen sich in einem einzelnen Objekt-Array befinden. Wenn sich Ihre Experimentierdaten in einer einzigen Dimension befinden (mit Experiment- und Variantendaten in einer begrenzten Zeichenfolge), können Sie die Einstellung Teilzeichenfolge in Datenansichten verwenden, um die Dimension zur Verwendung im Bereich in zwei zu teilen.
Nachdem Ihre Experimentierdaten in Adobe Experience Platform aufgenommen erstellt eine Verbindung in Customer Journey Analytics zu einem oder mehreren Experimentierdatensätzen.
Hinzufügen von Kontextbeschriftungen in Datenansichten
In den Einstellungen für Datenansichten in Customer Journey Analytics können Administratoren Kontextbeschriftungen zu einer Dimension oder Metrik hinzufügen, und Customer Journey Analytics-Services wie das Bedienfeld Experimentieren können diese Beschriftungen für ihre Zwecke verwenden. Für das Bedienfeld „Experimentieren“ werden zwei vordefinierte Beschriftungen verwendet:
- Experimentierexperiment
- Experimentiervariante
Wählen Sie in Ihrer Datenansicht, die Experimentierdaten enthält, zwei Dimensionen aus: eine mit den Experimentierdaten und eine mit den Variantendaten. Geben Sie diesen Dimensionen dann die Beschriftungen Experimentierexperiment und Experimentiervariante.
Ohne diese Beschriftungen funktioniert das Bedienfeld „Experiment“ nicht, da keine Experimente vorhanden sind, mit denen gearbeitet werden kann.
Verwenden
So verwenden Sie ein Experimentier Bedienfeld:
-
Erstellen Sie ein Experimentier Bedienfeld. Informationen zum Erstellen eines Bedienfelds finden Sie unter Erstellen eines Bedienfelds.
-
Legen Sie die Eingabe für das Bedienfeld fest.
-
Sehen Sie sich die Ausgabe für das Bedienfeld an.
note important IMPORTANT Wenn die erforderliche Einrichtung in Customer Journey Analytics-Datenansichten nicht abgeschlossen wurde, erhalten Sie diese Nachricht, bevor Sie fortfahren können: Konfigurieren Sie die Experiment- und Variantendimensionen in Datenansichten.
Bedienfeldeingabe
So verwenden Sie das Bedienfeld „Experimentieren“:
-
Konfigurieren Sie die Einstellungen für die Bedienfeldeingabe:
table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2 6-row-2 Einstellung Definition Datumsbereich Der Datumsbereich für das Bedienfeld Experimentieren wird automatisch auf der Grundlage des ersten Ereignisses festgelegt, das für das ausgewählte Experiment in Customer Journey Analytics empfangen wurde. Sie können den Datumsbereich bei Bedarf auf einen spezifischeren Zeitraum beschränken oder erweitern. Experiment Eine Reihe von Varianten eines Erlebnisses, die Endbenutzern präsentiert wurden, um zu bestimmen, welche am besten dauerhaft beibehalten werden sollte. Ein Experiment besteht aus zwei oder mehr Varianten, von denen eine als Kontrollvariante gilt. Diese Einstellung wird vorab mit den Dimensionen gefüllt, die in den Datenansichten mit der Beschriftung Experiment gekennzeichnet wurden, sowie mit den Experimentdaten der letzten drei Monate. Kontrollvariante Eine von zwei oder mehr Änderungen im Erlebnis eines Endbenutzers, die verglichen werden, um die bessere Alternative zu ermitteln. Eine Variante muss als Kontrolle ausgewählt werden und nur eine Variante kann als Kontrollvariante betrachtet werden. Diese Einstellung wird vorab mit den Dimensionen gefüllt, die in den Datenansichten mit der Beschriftung Variante gekennzeichnet wurden. Mit dieser Einstellung werden die Variantendaten abgerufen, die mit diesem Experiment verknüpft sind. Erfolgsmetriken Die Metrik(en), die ein Anwender verwendet, um Varianten zu vergleichen. Die Variante mit dem wünschenswertesten Ergebnis für die Konversionsmetrik (egal ob am höchsten oder am niedrigsten) wird zur Variante mit der besten Performance eines Experiments erklärt. Sie können bis zu 5 Metriken hinzufügen. Normalisierungsmetrik Die Grundlage (Personen, Sitzungen oder Ereignisse) für die Ausführung eines Tests. Beispielsweise kann ein Test die Konversionsraten verschiedener Varianten vergleichen, bei denen Konversionsrate als Seitenansicht berechnet wird Obere/Untere Konfidenzgrenzen einschließen Aktivieren Sie diese Option, um Ober- und Untergrenzen für Konfidenzstufen anzuzeigen. -
Wählen Sie Erstellen aus.
Bedienfeldausgabe
Das Bedienfeld „Experimentieren“ liefert umfangreiche Daten und Visualisierungen, die Ihnen helfen, die Performance Ihrer Experimente besser zu verstehen. Oben im Bedienfeld werden Visualisierungen Zusammenfassungsänderung bereitgestellt, um Sie an die von Ihnen ausgewählten Bedienfeldeinstellungen zu erinnern. Sie können das Bedienfeld jederzeit bearbeiten, indem Sie oben rechts auf den Stift zum Bearbeiten klicken.
Sie erhalten auch eine Textzusammenfassung, die anzeigt, ob das Experiment schlüssig ist oder nicht, und die das Ergebnis zusammenfasst. Das Fazit basiert auf der statistischen Signifikanz (siehe Statistische Methodik.) Sie können Zusammenfassungszahlen für die Variante mit der besten Performance mit dem höchsten Anstieg und der höchsten Konfidenz anzeigen.
Für jede ausgewählte Erfolgsmetrik werden eine Freiformtabellen-Visualisierung und eine -Visualisierung.
Interpretieren der Ergebnisse
-
Experiment ist schlüssig: Jedes Mal, wenn Sie den Experimentbericht anzeigen, werden die Daten analysiert, die bis zu diesem Zeitpunkt im Experiment gesammelt wurden. Die Analyse erklärt ein Experiment als schlüssig, wenn die jederzeit gültige Konfidenz einen Schwellenwert von 95 % für mindestens eine der Varianten überschreitet. Bei mehr als zwei Armen wird eine Benjamini-Hochberg-Korrektur angewendet, um Mehrfach-Hypothesentests zu korrigieren.
-
Variante mit der Performance: Wenn ein Experiment als endgültig deklariert wird, wird die Variante mit der höchsten Konversionsrate als Variante mit der besten Performance gekennzeichnet. Beachten Sie, dass diese Variante entweder die Kontroll- oder Baseline-Variante sein muss oder eine der Varianten, die die 95 %-(jederzeit gültige Konfidenzschwelle überschreiten (mit Benjamini-Hochberg-Korrekturen).
-
Konversionsrate: Die angezeigte Konversionsrate ist ein Verhältnis zwischen dem Wert der Erfolgsmetrik und dem Wert der Normalisierungsmetrik "". Dieser Wert kann größer als 1 sein, wenn die Metrik nicht binär ist (1 oder 0 für jede Einheit im Experiment)
-
Anstieg: Die Zusammenfassung des Experimentberichts zeigt den Anstieg im Vergleich zur Baseline und ist somit ein Messwert für die prozentuale Verbesserung der Konversionsrate einer bestimmten Variante gegenüber der Baseline. Genau bestimmt ist dies der Performance-Unterschied zwischen einer bestimmten Variante und der Baseline, geteilt durch die Performance der Baseline und ausgedrückt in Prozent.
-
Konfidenz: Die angezeigte „immer gültige Konfidenz“ ist ein wahrscheinlicher Messwert dafür, wie viele Nachweise dafür vorliegen, dass eine bestimmte Variante der Kontrollvariante entspricht. Eine höhere Konfidenz deutet auf weniger Nachweise hin, die die Annahme stützen, dass die Kontroll- und Nicht-Kontrollvariante die gleiche Performance aufweisen. Die Konfidenz ist eine Wahrscheinlichkeit (ausgedrückt als Prozentsatz), mit der Sie einen kleineren Unterschied bei den Konversionsraten zwischen einer bestimmten Variante und dem Kontrollerlebnis beobachtet hätten. Während es in Wirklichkeit keinen Unterschied bei den tatsächlichen zugrunde liegenden Konversionsraten gibt. Im Hinblick auf p-Werte ist die angezeigte Konfidenz 1 - p-Wert.
Statistische Methodik von Adobe statistics
Um leicht verständliche und sichere statistische Rückschlüsse zu ermöglichen, hat Adobe eine statistische Methodik eingeführt, die auf Immer gültige Konfidenzsequenzen basiert.
Eine Konfidenzsequenz ist ein sequenzielles Analogon eines Konfidenzintervalls. Um zu verstehen, was eine Konfidenzsequenz ist, stellen Sie sich vor, Sie wiederholen Ihre Experimente hundertmal. Und berechnen Sie eine Schätzung der durchschnittlichen Geschäftsmetrik (z. B. die Öffnungsrate einer E-Mail) und der zugehörigen 95-%-Konfidenzsequenz für jeden neuen Benutzer der zum Experiment hinzukommt.
Eine Konfidenzsequenz von 95 % enthält in 95 der 100 Experimente, die Sie durchgeführt haben, den Wert „true“ der Geschäftsmetrik. (Ein 95-%-Konfidenzintervall kann nur einmal pro Experiment berechnet werden, um dieselbe 95-%-Garantie zu erhalten; nicht für jeden einzelnen neuen Benutzer). Konfidenzsequenzen ermöglichen es Ihnen daher, Experimente kontinuierlich zu überwachen, ohne die Falsch-Positiv-Fehlerrate zu erhöhen, d. h. sie ermöglichen einen Einblick in die Ergebnisse.
Interpretieren nicht-randomisierter Dimensionen non-randomized
Mit Customer Journey Analytics können Analysten eine beliebige Dimension als Experiment auswählen. Aber wie interpretiert man eine Analyse, bei der die als Experiment gewählte Dimension nicht diejenige ist, für die die Personen randomisiert werden?
Betrachten Sie beispielsweise eine Anzeige, die eine Person sieht. Es könnte für Sie interessant sein, die Änderung an einer Metrik zu messen (z. B. durchschnittlicher Umsatz), wenn Sie Personen Anzeige B anstelle von Anzeige A anzeigen. Die Kausalwirkung der Anzeige von AD B anstelle von AD A ist für die Entscheidung über das Inverkehrbringen von zentraler Bedeutung. Dieser kausale Effekt kann als durchschnittlicher Umsatz über die gesamte Population gemessen werden, wenn Sie den Status quo der Anzeige von Anzeige A durch die alternative Strategie der Anzeige von Anzeige B ersetzt haben.
A/B-Tests sind in der Branche der Goldstandard für die objektive Messung der Auswirkungen solcher Interventionen. Der entscheidende Grund, warum ein A/B-Test zu einer kausalen Schätzung führt, liegt in der Randomisierung der Personen, die eine der möglichen Varianten erhalten sollen.
Betrachten wir nun eine Dimension, die durch Randomisierung nicht erreicht wird, zum Beispiel den US-Bundesstaat der Person. Die Menschen kommen hauptsächlich aus zwei Bundesstaaten, New York und Kalifornien. Der durchschnittliche Umsatz mit dem Verkauf einer Winterkleidungsmarke kann in den beiden Bundesstaaten aufgrund der Unterschiede im regionalen Wetter unterschiedlich sein. In einer solchen Situation kann das Wetter der wahre Kausalfaktor für den Verkauf von Winterkleidung sein und nicht die Tatsache, dass die geografischen Zustände von Personen unterschiedlich sind.
Im Experimentier-Bedienfeld in Customer Journey Analytics können Sie Daten als durchschnittliche Umsatzdifferenz nach Status der Personen analysieren. In einer solchen Situation hat die Ausgabe keine kausale Interpretation. Eine solche Analyse kann jedoch weiterhin von Interesse sein. Er enthält eine Schätzung (zusammen mit Messgrößen für die Unsicherheit) der Differenz der durchschnittlichen Einnahmen der einzelnen Staaten. Dieser Wert wird auch als "Hypothesentest“. Die Ergebnisse dieser Analyse können interessant sein, müssen aber nicht unbedingt umsetzbar sein. Einfach deshalb, weil Sie Personen nicht randomisiert haben und manchmal auch nicht auf einen der möglichen Werte der Dimension randomisieren können.
Die folgende Abbildung stellt diese Situationen gegenüber:
Wenn Sie die Auswirkung von Intervention X auf Ergebnis Y messen möchten, ist es möglich, dass die wahre Ursache für beide der Störfaktor C ist. Wenn die Daten nicht durch die Randomisierung von Personen auf X erreicht werden, ist die Auswirkung schwieriger zu messen, und die Analyse berücksichtigt explizit C. Die Randomisierung beseitigt die Abhängigkeit von X auf C, sodass wir die Wirkung von X auf Y messen können, ohne uns über andere Variablen Gedanken machen zu müssen.
Verwenden von berechneten Metriken in Experimenten use-in-experimentation
Nicht alle berechneten Metriken sind mit dem Bedienfeld Experimentieren kompatibel.
Berechnete Metriken, die eine der folgenden Metriken oder Konstanten enthalten, sind nicht mit dem Bedienfeld Experimentieren kompatibel:
- Basismetriken aus einem Zusammenfassungsdatensatz
- Basismetriken, die untereinander aufgeteilt oder miteinander multipliziert werden (z. B.
Revenue/Orders) - Konstanten, die zu einer Basismetrik hinzugefügt oder von ihr subtrahiert werden (z. B.
Revenue+50) - Eine der folgenden Basismetriken:
- Personen
Customer Journey Analytics Berechnete Metriken, die nicht mit dem Bedienfeld „Experimentieren“ kompatibel sind, haben bei Erstellung der berechneten Metrik den Wert Überall in (ohne Experimentieren im Feld Produktkompatibilität . Informationen zum Erstellen einer berechneten Metrik finden Sie unter Metriken erstellen.
Verwenden von berechneten Metriken im Bedienfeld „Experimentieren“
In diesem Blogpost erhalten Sie Informationen zur Verwendung berechneter Metriken im Bedienfeld „Experimentieren.