Experimentier-Bedienfeld

Im Panel Experimentieren können Analystinnen und Analysten verschiedene Varianten von Anwendererlebnissen, Marketing oder Messaging miteinander vergleichen, um zu ermitteln, welches die beste Lösung für ein bestimmtes Ergebnis ist. Sie können den Anstieg und die Konfidenz eines jeden A/B-Experiments von jeder beliebigen Experimentierplattform aus bewerten – online, offline, aus Adobe-Lösungen wie Target oder Journey Optimizer und sogar aus eigenen, selbst eingebrachten Daten.

Lesen Sie mehr über die Integration zwischen Adobe Customer Journey Analytics und Adobe Target.

Zugangssteuerung

Das Panel „Experimentieren“ kann von allen Anwendern von Customer Journey Analytics genutzt werden. Es sind keine Administratorrechte oder anderen Berechtigungen erforderlich. Die Voraussetzungen erfordern jedoch Aktionen, die nur Admins ausführen können.

Funktionen in berechneten Metriken

Zwei erweiterte Funktionen sind verfügbar: Anstieg und Konfidenz. Weitere Informationen finden Sie unter Referenz – Erweiterte Funktionen.

Voraussetzungen

Um das Panel „Experimentieren“ zu verwenden, müssen Sie die folgenden Voraussetzungen erfüllen:

Einrichten der Verbindung zu Experimentier-Datensätzen

Laut dem empfohlenen Datenschema sollten die Experimentdaten in einem Objekt-Array gespeichert sein, in dem die Experiment- und Variantendaten in zwei separaten Dimensionen enthalten sind. Beide Dimensionen müssen sich in einem einzelnen Objekt-Array befinden. Wenn sich Ihre Experimentdaten in einer einzigen Dimension (und die Experiment- und Variantendaten in einer begrenzten Zeichenfolge) befinden, können Sie die Einstellung der Unterzeichenfolge in Datenansichten verwenden, um die Dimension zur Verwendung im Panel aufzuteilen.

Wenn Ihre Experimentierdaten in Adobe Experience Platform erfasst sind, können Sie zu einem oder mehreren Testdatensätzen in Customer Journey Analytics eine Verbindung einrichten.

Statistische Methodik von Adobe

Um leicht verständliche und sichere statistische Rückschlüsse zu ermöglichen, hat Adobe eine statistische Methodik eingeführt, die auf Immer gültige Konfidenzsequenzen basiert.

Eine Konfidenzsequenz ist ein sequenzielles Analogon eines Konfidenzintervalls. Um zu verstehen, was eine Konfidenzsequenz ist, stellen Sie sich vor, Ihre Experimente hundertmal zu wiederholen, für jeden neue Anwender, der zum Experiment hinzukommt, eine Schätzung der durchschnittlichen Geschäftsmetrik (z. B. Öffnungsrate einer E-Mail) und der zugehörigen 95-%-Konfidenzsequenz durchzuführen.

Eine Konfidenzsequenz von 95 % enthält in 95 der 100 Experimente, die Sie ausgeführt haben, den Wert „true“ der Geschäftsmetrik. (Ein Konfidenzintervall von 95 % kann nur einmal pro Experiment und nicht für jeden einzelnen neuen Anwender berechnet werden, um die gleiche 95-%-Garantie zu erhalten). Konfidenzsequenzen ermöglichen es Ihnen daher, Experimente kontinuierlich zu überwachen, ohne die Falsch-Positiv-Fehlerrate zu erhöhen, d. h. sie ermöglichen einen Einblick in die Ergebnisse.

Interpretieren nicht-randomisierter Dimensionen

Mit Customer Journey Analytics können Analystinnen und Analysten eine beliebige Dimension als Experiment auswählen. Aber wie wird eine Analyse interpretiert, bei der die als Experiment gewählte Dimension nicht diejenige ist, für die die Personen randomisiert werden?

Betrachten Sie beispielsweise eine Anzeige, die eine Person sieht. Es könnte für Sie interessant sein, die Änderung an einer Metrik zu messen (z. B. durchschnittlicher Umsatz), wenn Sie Personen Anzeige B anstelle von Anzeige A anzeigen. Die Kausalwirkung durch Anzeige B anstelle von Anzeige A ist für die Marketing-Entscheidung von zentraler Bedeutung. Dieser kausale Effekt kann als durchschnittlicher Umsatz über die gesamte Population gemessen werden, wenn Sie den Status quo von Anzeige A durch die alternative Strategie von Anzeige B ersetzt haben.

A/B-Tests sind in der Branche der Goldstandard für die objektive Messung der Auswirkungen solcher Interventionen. Der entscheidende Grund, aus dem ein A/B-Test zu einer kausalen Schätzung führt, liegt in der Randomisierung der Personen, die eine der möglichen Varianten erhalten sollen.

Betrachten wir nun eine Dimension, die nicht durch Randomisierung erreicht wird, zum Beispiel den US-Bundesstaat der Person. Die Personen kommen hauptsächlich aus zwei Bundesstaaten, New York und Kalifornien. Der durchschnittliche Umsatz mit dem Verkauf einer Winterbekleidungsmarke kann in den beiden Bundesstaaten aufgrund der Unterschiede im regionalen Wetter unterschiedlich sein. In einer solchen Situation kann das Wetter der wahre Kausalfaktor für den Verkauf von Winterkleidung sein und nicht die Tatsache, dass die geografischen Staaten von Personen unterschiedlich sind.

Im Panel „Experimentieren“ in Customer Journey Analytics können Sie Daten als durchschnittliche Umsatzdifferenz nach Staaten der Personen analysieren. In einer solchen Situation hat die Ausgabe keine kausale Interpretation. Eine solche Analyse kann jedoch weiterhin von Interesse sein. Sie bietet eine Schätzung (zusammen mit Messgrößen für die Unsicherheit) der Differenz des durchschnittlichen Umsatzes der Staaten der Personen. Dieser Wert wird auch als Statistischer Hypothesentest bezeichnet. Die Ergebnisse dieser Analyse können interessant sein, müssen aber nicht unbedingt umsetzbar sein. Einfach deshalb, weil Sie Personen nicht randomisiert haben und manchmal auch nicht für einen der möglichen Werte der Dimension randomisieren können.

Die folgende Abbildung stellt diese Situationen gegenüber:

Wenn Sie die Auswirkung von Intervention X auf Ergebnis Y messen möchten, kann die wahre Ursache für beide Faktoren der Störfaktor C sein. Wenn die Daten nicht durch die Randomisierung von Personen für X erhalten werden, ist die Auswirkung schwieriger zu messen, und die Analyse berücksichtigt explizit C. Die Randomisierung beseitigt die Abhängigkeit von X auf C, sodass wir die Wirkung von X auf Y messen können, ohne uns über andere Variablen Gedanken machen zu müssen.