パスの検証の使用 experimentation
実験を行うことで、ランダム分割に基づいて様々なパスをテストし、事前定義済みの成功指標に基づいて最もパフォーマンスが高いパスを判断できます。
ジャーニーでパス実験を設定するには、次の手順に従います。
次の 3 つのパスを比較するとします。
- メールが 1 件の 1 番目のパス。
- 2 日間の 待機 ノードと 1 件のメールの 2 番目のパス。
- メールの後に SMS メッセージを送信する 3 番目のパス。
-
「オーケストレーション」セクションから、最適化アクティビティをジャーニーキャンバスにドラッグ&ドロップします。
-
レポートモードとテストモードのログでアクティビティを識別するのに役立つ、オプションのラベルを追加します。
-
メソッドドロップダウンリストから「実験」を選択します。
{width="65%"}
-
「実験を作成」をクリックします。
-
実験に設定する 成功指標 を選択します。使用可能な指標とリストの設定方法について詳しくは、この節を参照してください。
{width="80%"}
-
パス実験の 実験タイプ を選択します。
-
A/B実験 — テスト開始時の処理間のトラフィック分割を定義します。 パフォーマンスは、選択した主要指標に基づいて評価されます。レポートでは、処理間の観察された上昇率が示されます。
-
マルチアームドバンディット – 処理間のトラフィックの分割は自動的に処理されます。 7 日ごとに、プライマリ指標のパフォーマンスが確認され、それに応じて重み付けが調整されます。A/B テストと同様に、レポートには上昇率が引き続き示されています。
{width="80%"}
-
-
配信に 除外 グループを追加することを選択できます。このグループは、この実験からパスにエントリしません。
note note NOTE 切り替えバーをオンにすると、母集団の 10%が自動的に取得されます。必要に応じて、この割合を調整できます。 -
各 処理 に正確な割合を割り当てるか、等しく分布切り替えバーをオンにすることができます。
{width="80%"}
-
自動スケール実験を有効にすると、実験の勝利バリエーションが自動的にロールアウトされます。勝者をスケールする方法の詳細情報
-
「作成」をクリックします。
-
実験の結果として得られる各分岐に必要な要素を定義します。例:
-
メールアクティビティを最初の分岐(処理 A)にドラッグ&ドロップします。
-
最初の分岐に 2 日間の待機アクティビティをドラッグ&ドロップし、その後にメールアクティビティ(処理 B)をドラッグ&ドロップします。
-
メールアクティビティを 3 番目の分岐にドラッグ&ドロップし、その後に SMS アクティビティ(処理 C)をドラッグ&ドロップします。
{width="100%"}
-
-
オプションとして、タイムアウトまたはエラーが発生した場合に代替パスを追加して、フォールバックアクションを定義します。 詳細情報
-
ジャーニーを公開します。
ジャーニーがライブになると、ユーザーには異なるパスを進むようにランダムに割り当てられます。Journey Optimizer は、最もパフォーマンスが高いパスを追跡し、実用的なインサイトを提供します。
ジャーニーパス実験レポートを使用して、ジャーニーの成功を追跡します。詳細情報
実験のユースケース uc-experiment
次の例は、最適化アクティビティを 実験 メソッドで使用して、全体的に最も効果的なパスを決定する方法を示しています。
最初のメッセージをメールで送信した場合と SMS で送信した場合のどちらがコンバージョン率が高くなるかをテストします。
➡️ コンバージョン率を成功指標として使用します(例:購入、新規登録)。
実験を実行して、1 週間に 1 通のメールを送信した場合と 3 通のメールを送信した場合のどちらで購入が増えるかを確認します。
➡️ 購入数または登録解除率を成功指標として使用します。
フォローアップ前の 24 時間待機と 72 時間待機を比較して、エンゲージメントを最大化するタイミングを判断します。
➡️ クリックスルー率または売上高を成功指標として使用します。
勝者をスケール scale-winner
「勝者をスケール」を使用すると、実験の勝利バリエーションをすべてのオーディエンスに自動または手動でロールアウトできます。この機能により、勝者が決定したら、実験を常に監視することなく、そのリーチと効果を増幅できます。
次の 2 つのモードから選択できます。
-
自動スケーリング:実験を作成する際に、勝利の処理をスケーリングするタイミングと条件、または勝者が現れない場合はフォールバックオプションを選択して、自動スケーリング設定を指定します。
-
手動スケーリング:実験結果を手動で確認し、タイミングと決定を完全に制御しながら、勝利の処理のロールアウトを開始します。
自動スケーリング autoscaling
自動スケーリングを使用すると、実験の結果に基づいて、勝利の処理またはフォールバックをロールアウトするタイミングについて、定義済みルールを設定できます。
自動スケーリングが行われると、手動スケーリングは使用できなくなります。
実験の自動スケールを有効にするには:
-
ジャーニーの設定と、必要に応じたテストの設定をおこないます。 詳細情報
-
実験を設定する際は、自動スケールオプションを有効にします。
-
勝者のスケールを設定するタイミングを以下から選択します。
- 勝者が見つかったらすぐに。
- 選択した時間に実験がライブになった後。
自動スケール時間は、実験の終了日より前にスケジュールする必要があります。終了日の後の時間に設定されている場合、検証警告が表示され、ジャーニーは公開されません。
での時間の自動選択の拡大・縮小
-
スケール時間で勝者が見つからない場合のフォールバック動作を以下から選択します。
- スケジュールどおりに終了するまで引き続き実験する。
- 指定した時間の経過後に代替処理をスケーリングする。
すべてのパラメーターが満たされると、勝利の処理または代替処理がオーディエンスに送信されます。
手動スケーリング manual-scaling
手動スケーリングでは、実験結果を確認し、勝利の処理を独自のスケジュールで展開するタイミングを決定できます。
スケジュールされた自動拡大時間の前に勝者を手動でスケーリングすると、自動スケールはキャンセルされます。
実験の勝者を手動でスケーリングするには:
-
ジャーニーの設定と、必要に応じたテストの設定をおこないます。 詳細情報
-
勝者が特定されるか、統計的優位差が達成されるまで、実験を実行します。
-
ジャーニーを開き、パス実験を含む最適化 アクティビティを選択します。
パス実験 ビューの結果を確認して、最もパフォーマンスの高い処理を特定します。
-
「処理をスケール」をクリックして、勝利の処理を残りのオーディエンスにプッシュします。
-
ドロップダウンメニューから拡大する処理を選択し、「スケール」をクリックします。
{width="80%"}
処理のスケーリングには最大 1 時間かかる場合があります。手動スケーリングプロセスが完了すると、通知が届きます。