Pfadexperiment verwenden experimentation
Mit Experimenten können Sie verschiedene Pfade auf der Grundlage einer zufälligen Aufteilung testen, um anhand vordefinierter Erfolgsmetriken zu ermitteln, welcher Pfad am besten funktioniert.
Gehen Sie folgendermaßen vor, um Pfadexperimente in einer Journey einzurichten:
Angenommen, Sie möchten drei Pfade vergleichen:
- einen Pfad mit einer E-Mail,
- einen zweiten Pfad mit einem Warteknoten von zwei Tagen und einer E-Mail,
- einen dritten Pfad mit einer E-Mail und dann einer SMS-Nachricht.
-
Ziehen Sie aus dem Abschnitt Orchestrierung die Aktivität Optimieren per Drag-and-Drop auf die Journey-Arbeitsfläche.
-
Fügen Sie ein optionales Label hinzu, damit sich die Aktivität in den Reporting- und Testmodusprotokollen leicht identifizieren lässt.
-
Wählen Sie Experiment aus der Dropdown-Liste Methode aus.
-
Klicken Sie auf Experiment erstellen.
-
Wählen Sie die Erfolgsmetrik, die Sie für Ihr Experiment festlegen möchten. Weitere Informationen zu den verfügbaren Metriken und zur Konfiguration der Liste finden Sie in diesem Abschnitt.
-
Wählen Sie Experimenttyp für Ihr Pfadexperiment aus:
-
A/B-Experiment - Definiert die Traffic-Aufteilung zwischen Abwandlungen zu Beginn des Tests. Die Leistung wird anhand der von Ihnen gewählten primären Metrik bewertet. Berichte zeigen die beobachtete Steigerung zwischen den Behandlungen.
-
Multi-Armed Bandit - Die Aufteilung des Traffics auf die Behandlungen erfolgt automatisch. Alle 7 Tage wird die Leistung der primären Metrik überprüft und die Gewichtungen werden entsprechend angepasst. Die Berichterstellung zeigt weiterhin die Steigerung an, wie bei A/B-Tests.
➡️ Erfahren Sie mehr über den Unterschied zwischen A/B- und Experimenten mit mehrarmigen Banditen
-
-
Bei Bedarf können Sie Ihrem Versand eine Holdout-Gruppe hinzufügen. Diese Gruppe wird keinen Pfad aus diesem Experiment beschreiten.
note note NOTE Wenn Sie den Umschalter aktivieren, werden automatisch 10 % Ihrer Population übernommen. Sie können diesen Prozentsatz bei Bedarf anpassen. -
Sie können dann jeder Abwandlung einen bestimmten Prozentsatz zuweisen oder einfach den Umschalter Gleichmäßig verteilen aktivieren.
-
Die Aktivierung des Experiments mit automatischer Skalierung ermöglicht die automatische Einführung der erfolgreichsten Variante Ihres Experiments. Weitere Informationen zur Skalierung der erfolgreichsten Variante
-
Klicken Sie auf Erstellen.
-
Definieren Sie die gewünschten Elemente für jede Verzweigung, die aus dem Experiment resultiert, z. B.:
-
Ziehen Sie eine Aktivität des Typs E-Mail auf die erste Verzweigung (Abwandlung A).
-
Ziehen Sie eine Aktivität des Typs Warten von zwei Tagen auf die erste Verzweigung, gefolgt von einer Aktivität des Typs E-Mail (Abwandlung B).
-
Ziehen Sie eine Aktivität des Typs E-Mail auf die dritte Verzweigung, gefolgt von einer Aktivität des Typs SMS (Abwandlung C).
-
-
Verwenden Sie optional den Alternativen Pfad hinzufügen, falls eine Zeitüberschreitung oder ein Fehler auftritt um eine Ausweichaktion zu definieren. Weitere Informationen
-
Veröffentlichen Sie Ihre Journey.
Sobald die Journey live ist, werden die Benutzenden nach dem Zufallsprinzip zugewiesen, um verschiedene Pfade zu durchlaufen. Journey Optimizer verfolgt, welcher Pfad am besten abschneidet, und stellt verwertbare Erkenntnisse zur Verfügung.
Verfolgen Sie den Erfolg Ihrer Journey mit dem Bericht zu Journey-Pfadexperimenten. Weitere Informationen
Anwendungsfälle für Experimente uc-experiment
Die folgenden Beispiele zeigen, wie Sie mit der Aktivität Optimieren zusammen mit der Methode Experiment ermitteln, welcher Pfad insgesamt am besten funktioniert.
Testen Sie, ob das Senden der ersten Nachricht per E-Mail oder per SMS zu höheren Konversionen führt.
➡️ Verwenden Sie die Konversionsrate als Erfolgsmetrik (z. B. Käufe, Anmeldungen).
Führen Sie ein Experiment durch, um zu überprüfen, ob der Versand einer E-Mail im Vergleich zu drei E-Mails pro Woche zu mehr Käufen führt.
➡️ Verwenden Sie Käufe oder die Abmelderate als Erfolgsmetrik.
Vergleichen Sie eine Wartezeit von 24 Stunden mit einer Wartezeit von 72 Stunden vor einem Nachfassen, um zu ermitteln, welcher Zeitraum die Interaktion maximiert.
➡️ Verwenden Sie die Klickrate oder den Umsatz als Erfolgsmetrik.
Skalieren der erfolgreichsten Variante scale-winner
Mit der Funktion zum Skalieren der erfolgreichsten Variante können Sie die erfolgreichste Variante eines Experiments automatisch oder manuell für Ihre gesamte Zielgruppe einführen. Diese Funktion stellt sicher, dass die Reichweite und Effektivität der erfolgreichsten Variante gesteigert wird, ohne das Experiment ständig überwachen zu müssen.
Zwei Modi stehen zur Auswahl:
-
Automatische Skalierung: Beim Erstellen des Experiments werden die Einstellungen für die automatische Skalierung konfiguriert, entweder durch die Auswahl des Zeitpunkts und der Bedingungen für die Skalierung der erfolgreichsten Abwandlung oder einer Fallback-Option, falls keine erfolgreichste Abwandlung ermittelt wird.
-
Manuelle Skalierung Die Experimentergebnisse werden manuell überprüft und der Rollout der erfolgreichsten Abwandlung wird mit vollständiger Kontrolle über Zeitpunkt und Entscheidungen initiiert.
Automatische Skalierung autoscaling
Bei der automatischen Skalierung legen vordefinierte Regeln fest, wann die erfolgreichste Abwandlung oder die Fallback-Option basierend auf den Ergebnissen des Experiments eingeführt wird.
Nach der automatischen Skalierung ist die manuelle Skalierung nicht mehr verfügbar.
Aktivieren der automatische Skalierung in Experimenten:
-
Richten Sie Ihren Journey ein und konfigurieren Sie Ihr Experiment nach Bedarf. Weitere Informationen
-
Aktivieren Sie bei der Einrichtung des Experiments die Option der automatischen Skalierung.
-
Wählen Sie aus, wann die erfolgreichste Abwandlung skaliert werden soll:
- Sobald die erfolgreichste Abwandlung gefunden ist.
- Nachdem das Experiment für einen bestimmten Zeitraum live ist.
Die automatische Skalierung muss vor dem Enddatum des Experiments geplant werden. Wenn der Zeitraum nach dem Enddatum liegt, wird eine Validierungswarnung angezeigt und die Journey wird nicht veröffentlicht.
-
Auswählen des Fallback-Verhaltens, wenn nach der Skalierungszeit keine erfolgreichste Abwandlung gefunden wird:
- Setzen Sie das Experiment bis zum Ende planmäßig fort.
- Skalieren Sie die alternative Abwandlung nach einer bestimmten Zeit.
Sobald alle Parameter erfüllt sind, wird die erfolgreichste oder die alternative Abwandlung an die Zielgruppe gesendet.
Manuelle Skalierung manual-scaling
Mit der manuellen Skalierung können Sie die Experimentergebnisse überprüfen und entscheiden, wann die erfolgreichste Abwandlung nach Ihrem eigenen Zeitplan eingeführt werden soll.
Beachten Sie, dass die automatische Skalierung abgebrochen wird, wenn die erfolgreichste Abwandlung vor der geplanten Zeit der automatischen Skalierung manuell skaliert wird.
Manuelles Skalieren der erfolgreichsten Abwandlung des Experiments:
-
Richten Sie Ihren Journey ein und konfigurieren Sie Ihr Experiment nach Bedarf. Weitere Informationen
-
Das Experiment muss laufen, bis eine erfolgreichste Abwandlung identifiziert oder statistische Signifikanz erreicht wird.
-
Öffnen Sie Ihre Journey und wählen Sie die Aktivität Optimieren aus, die das Pfadexperiment enthält.
Überprüfen Sie die Ergebnisse in der Ansicht Pfadexperiment, um die Abwandlung mit der besten Leistung zu ermitteln.
-
Klicken Sie auf Abwandlung skalieren, um die erfolgreichste Abwandlung an die restliche Zielgruppe zu senden.
-
Wählen Sie die zu skalierenden Abwandlung aus dem Dropdown-Menü aus und klicken Sie auf Skalieren.
Beachten Sie, dass die Skalierung der Abwandlung bis zu einer Stunde dauern kann. Nach Abschluss des manuellen Skalierungsprozess erhalten Sie eine Benachrichtigung.