Journey Optimizer 実験アクセラレーターのベストプラクティス content-experiment-best-practices
A/B テストとは
A/B テストは、定義された目標に対してより優れたパフォーマンスを発揮するバージョンを判断するのに、2 つ以上のバージョンを比較するプロセスです。
参加者は、バリアントと呼ばれる 1 つのバージョンにランダムに割り当てられ、その行動が追跡されます。 結果には、あるバージョンが統計的に他のバージョンより優れているかどうかが示されます。
主な用語
実験を実行するためのベストプラクティス
-
明確な仮説から開始
強力な仮説には、変更している内容、予想される結果、その理由が含まれます。
例：X を変更すると、Z により Y が増加すると考えています。 -
意味のある成功指標を定義
より広範な目標に一致する指標を選択します。 見た目は良いが実際の影響を反映しない「バニティ」指標は回避します。
-
一度に 1 つの変更をテスト（可能な場合）
変数を分離すると、結果を正確に解釈しやすくなります。 一度に複数の変更をテストすると、その効果の原因がわからないことがあります。
-
テストを十分に長く実行
時期尚早の結論は誤解を招く可能性があります。 行動を起こす前に、統計的に有意なサンプルサイズが達成されるまで待機します。
-
外部要因に注意
季節性、休日、その他の環境の変化により、結果が歪む可能性があります。 テスト中の動作に影響を与える可能性のある項目はすべて文書化します。
-
セグメント化を慎重に使用
結果をオーディエンスセグメント別に分類すると、隠れたパターンが明らかになる一方で、小さなサンプルサイズを過度に解釈することは回避できます。
-
学んだ内容の文書化と共有
テスト内容、理由、学んだ内容を明確に記録します。 これにより、組織的な知識が構築され、繰り返し発生するミスを防ぐことができます。
一般的な指標
良い実験とは
良い実験は単に勝利を生み出すだけではなく、明確で実用的な学習を生み出します。
検索対象は次のとおりです。
✓ 統計的な信頼性：バリアント間の違いが偶然によるものである可能性は低いです。
✓ 目標との整合性：プライマリ指標は、ビジネス目標に対する有意義な進捗を反映します。
✓ 二次的影響：関連する指標に重大な悪影響はありません。
✓ スケーラビリティ：結果は、今後の決定を知らせたり、他の領域に一般化したりできます。
✓ 明確さ：結果の原因は、合理的に分離され、理解されています。
実験は、単に「最良」のバージョンを見つけることではなく、テストと反復を通じて知識を構築することです。 適切に行うと、実験により、よりスマートな決定、より優れたユーザーエクスペリエンス、改善された成果につながるインサイトが得られます。
例：
-
会社名：ホテルチェーン
-
仮説：ホームページで緊急性を強く訴える言語を多用すれば、予約数の増加につながります。
- コントロール：元のバージョン
- バリアント：緊急度が追加された新しいバージョン
- プライマリ指標：予約率
- セカンダリ指標: バウンス率、サイト滞在時間
-
結果：バリアントにより、予約率が 14％上昇しましたが、他の指標ではマイナスの変化はありませんでした。
-
アクション：バリアントをロールアウトし、フォローアップ実験を実行して、他の地域で同様のアプローチをテストすることを考慮します。