自動配分の概要

Adobe Targetの自動配分アクティビティでは、2つ以上のエクスペリエンスの中から勝者を特定し、自動的にその勝者に配分するトラフィックを増やしてコンバージョンを増やします。その間もテストによる学習は続きます。

3ステップのガイドによるワークフローを使用してA/Bアクティビティを作成する際に、「最良のエクスペリエンスに自動配分」オプションを選択できます。

課題

標準的な A/B テストには、固有のコストがあります。各エクスペリエンスのパフォーマンスを測定するためにトラフィックを費やす必要があり、分析を通じて勝者エクスペリエンスを見つけ出す必要があります。トラフィックの配分は、一部のエクスペリエンスが他よりもパフォーマンスに優れているとわかった後でも、固定されたままです。また、サンプルサイズの計算が複雑で、アクティビティは、勝者に対して働きかけられるようになる前に全コースを実行する必要があります。また、特定された勝者が真の勝者でない可能性もあります。

解決策：自動配分

自動配分は、このコストおよび勝者エクスペリエンスの判別のオーバーヘッドを削減します。自動配分では、すべてのエクスペリエンスの目標指標パフォーマンスを監視し、パフォーマンスの高いエクスペリエンスに、パフォーマンスの高さに応じて多くの新規参加者を送ります。他のエクスペリエンスを調査するのに十分なトラフィックが予約されます。学習と平行してアクティビティの最適化を実行中であっても、結果に対するテストのメリットを確認できます。

自動配分は、アクティビティが終了して勝者が決まるまで待たずに、訪問者を徐々に勝者エクスペリエンスに近づけます。成功していないエクスペリエンスに送られたアクティビティ参加者は勝者エクスペリエンスの可能性を示しているので、より迅速に上昇するメリットが得られます。

Targetの通常のA/Bテストは、対抗と対照の一対比のみを示しています。 例えば、アクティビティにエクスペリエンスがある場合は、次の操作を実行します。A、B、C、D（Aは制御）を、通常のTarget A/Bテストでは、A対B、A対C、A対Dを比較します。

このようなテストでは、Targetを含むほとんどの製品で、スチューデントのt検定を使用してp値ベースの信頼性を生成します。 その後、この信頼値を使用して、対抗が対照と十分に異なるかどうかを特定します。ただし、Targetは、「最良の」エクスペリエンスを見つけるために必要な暗黙の比較（B対C、B対D、C対D）を自動的に実行しません。 その結果、マーケティング担当者は、「最良の」エクスペリエンスを判断するために結果を手動で分析する必要があります。

自動配分は、エクスペリエンス全体に対してすべての暗黙の比較を実行し、「真」の勝者を見つけます。このテストには「対照」エクスペリエンスという概念がありません。

自動配分 は、最良のエクスペリエンスの信頼区間が他のエクスペリエンスの信頼区間と重複しなくなるまで、エクスペリエンスに新しい訪問者をインテリジェントに配分します。通常、このプロセスで偽陽性が生成される可能性がありますが、自動配分では、繰り返される評価を補正するベルンシュタインの不等式に基づく信頼区間が使用されます。 この時点で、真の勝者が存在します。 自動配分が停止し、ページに到達する訪問者に大きな時間依存がない場合、自動配分が真の応答よりも1%（相対）低い真の応答を返す可能性は95%以上です。

A/BまたはAutomated Personalizationに対して自動配分を使用する場合

• アクティビティを最初から最適化して、なるべく早く勝者エクスペリエンスを特定したい場合に、自動配分​を使用します。パフォーマンスの高いエクスペリエンスをより頻繁に提供することで、アクティビティ全体のパフォーマンスを向上させます。
• サイトを最適化する前に、すべてのエクスペリエンスのパフォーマンスの特性を明らかにしたい場合に、標準的な A/B テスト​を使用します。A/Bテストを使用すると、すべてのエクスペリエンスをランク付けできます。自動配分では、上位のパフォーマンスは見つけますが、下位のパフォーマンス間の区別は保証されません。
• Automated Personalizationは、個々のプロファイル属性に基づいて予測を作成する機械学習モデルなど、複雑さが最も高い最適化アルゴリズムを必要とする場合に使用します。 自動配分 は、（標準のA/Bテストと同様に）エクスペリエンスの集計行動を調べ、訪問者を区別しません。

主なメリット

• A/B テストの正確性を保持する
• 統計的に有意な勝者を手動の A/B テストよりも早く見つける
• 手動の A/B テストよりも高い平均キャンペーン上昇率を提供する

用語

自動配分を説明する際に、次の用語が役立ちます。

マルチアームバンディット：マルチアームバンディットは、調査学習とその学習の活用のバランスを最適化するためのアプローチです。

アルゴリズムの仕組み

自動配分の背後にある全体的なロジックには、測定されたパフォーマンス（コンバージョン率など）と累積データの信頼区間が組み込まれています。 トラフィックがエクスペリエンス間で均等に分割される標準のA/Bテストとは異なり、自動配分では、エクスペリエンス間でトラフィックの配分が変更されます。

• 訪問者の 80％は、以下に説明するインテリジェントロジックを使用して配分されます.
• 訪問者の 20％は、変化する訪問者の行動に対応するために、すべてのエクスペリエンスにランダムに配分されます。

マルチアームバンディットアプローチでは、パフォーマンスの良いエクスペリエンスを活用している間も、一部のエクスペリエンスを自由に調査できるようにしておきます。変化する状況に対応する能力を維持しながら、より多くの新規訪問者がパフォーマンスのより優れたエクスペリエンスに配置されます。最新のデータを反映するために、これらのモデルは少なくとも 1 時間に 1 回更新されます。

より多くの訪問者がアクティビティに入るにしたがって、一部のエクスペリエンスの成功率が向上し始め、より多くのトラフィックが成功エクスペリエンスに送られます。すべてのエクスペリエンスを調査するために、トラフィックの 20％が、引き続きランダムに配分されます。パフォーマンスの低いエクスペリエンスの 1 つのパフォーマンスが向上し始めると、そのエクスペリエンスに配分されるトラフィックが増えます。一方、パフォーマンスの高いアクティビティの成功率が低下すると、そのエクスペリエンスに配分されるトラフィックは少なくなります。例えば、あるイベントが原因で訪問者がサイト上で異なる情報を期待している場合と小売サイトで週末セールを期待している場合で、異なる結果が提供されます。

次の図に、4 つのエクスペリエンスを扱うテストでこのアルゴリズムがどのように実行されるかを示します。

この図は、明確な勝者が決定されるまで、複数ラウンドのアクティビティの有効期間にわたって各エクスペリエンスに配分されるトラフィックがどのように変化するかを示しています。

ラウンド数	説明
	ウォームアップラウンド（0）: ウォームアップラウンドでは、アクティビティの各エクスペリエンスが最低1,000人の訪問者と50個のコンバージョンを持つまで、各エクスペリエンスのトラフィック配分が均等になります。 エクスペリエンス A=25 ％ エクスペリエンス B=25 ％ エクスペリエンス C=25 ％ エクスペリエンス D=25 ％ 各エクスペリエンスで訪問者が 1,000 人、コンバージョンが 50 回に達すると、Target はトラフィックの自動配分を開始します。数ラウンドですべての配分が発生し、各ラウンドごとに 2 つのエクスペリエンスが選出されます。 次のラウンドに進むのは、2つのエクスペリエンスのみです。DとC.次に進む とは、2つのエクスペリエンスにトラフィックの80%が等しく配分されることを意味します。他の2つのエクスペリエンスは引き続き参加しますが、新しい訪問者がアクティビティに入ると、20%のランダムトラフィック配分の一部としてのみ機能します。 すべての配分は 1 時間ごとに更新されます（上記の x 軸のラウンド数で示されています）。各ラウンドの後、累積データが比較されます。
	ラウンド1: このラウンドでは、トラフィックの80%がエクスペリエンスCおよびD（それぞれ40%のエクスペリエンス）に配分されます。トラフィックの 20％がエクスペリエンス A、B、C および D にランダムに配分されます（5％ずつ）。このラウンドでは、エクスペリエンス A のパフォーマンスが優れています。 アルゴリズムにより、（各アクティビティの垂直スケールのが示しているように）コンバージョン率が最も高いという理由で、エクスペリエンス D が選出され、次のラウンドに進みます。 アルゴリズムにより、残りのエクスペリエンスでベルンシュタインの 95％信頼区間の上限が最も高いという理由で、エクスペリエンス A も選出され、次に進みます。 エクスペリエンス D と A が次に進みます。
	ラウンド2: このラウンドでは、トラフィックの80%がエクスペリエンスAおよびD（それぞれ40%のエクスペリエンス）に配分されます。トラフィックの 20％がランダムに配分されます。つまり、エクスペリエンス A、B、C および D のそれぞれがトラフィックの 5％を獲得します。このラウンドでは、エクスペリエンス B のパフォーマンスが優れています。 アルゴリズムにより、（各アクティビティの垂直スケールのが示しているように）コンバージョン率が最も高いという理由で、エクスペリエンス D が選出され、次のラウンドに進みます。 アルゴリズムにより、残りのエクスペリエンスでベルンシュタインの 95％信頼区間の上限が最も高いという理由で、エクスペリエンス B も選出され、次に進みます。 エクスペリエンス D と B が次に進みます。
	ラウンド3: このラウンドでは、トラフィックの80%がエクスペリエンスBとD（それぞれ40%のエクスペリエンス）に配分されます。トラフィックの 20％がランダムに配分されます。つまり、エクスペリエンス A、B、C および D のそれぞれがトラフィックの 5％を獲得します。このラウンドでは、エクスペリエンス D が引き続きパフォーマンスが優れ、エクスペリエンス C もパフォーマンスが優れています。 アルゴリズムにより、（各アクティビティの垂直スケールのが示しているように）コンバージョン率が最も高いという理由で、エクスペリエンス D が選出され、次のラウンドに進みます。 アルゴリズムにより、残りのエクスペリエンスでベルンシュタインの 95％信頼区間の上限が最も高いという理由で、エクスペリエンス C も選出され、次に進みます。 エクスペリエンス D と C が次に進みます。
	ラウンド4: このラウンドでは、トラフィックの80%がエクスペリエンスCおよびD（それぞれ40%のエクスペリエンス）に配分されます。トラフィックの 20％がランダムに配分されます。つまり、エクスペリエンス A、B、C および D のそれぞれがトラフィックの 5％を獲得します。このラウンドでは、エクスペリエンス C のパフォーマンスが優れています。 アルゴリズムにより、（各アクティビティの垂直スケールの が示しているように）コンバージョン率が最も高いという理由で、エクスペリエンス C が選出され、次のラウンドに進みます。 アルゴリズムにより、残りのエクスペリエンスでベルンシュタインの 95％信頼区間の上限が最も高いという理由で、エクスペリエンス D も選出され、次に進みます。 エクスペリエンス C と D が次に進みます。
	ラウンド n：アクティビティが進むにつれて、パフォーマンスの高いエクスペリエンスが現れ始め、勝者エクスペリエンスが現れるまでプロセスが継続されます。コンバージョン率の最も高いエクスペリエンスの信頼区間が他のエクスペリエンスの信頼区間と重複しない場合、そのエクスペリエンスは勝者とラベル付けされます。 バッジは、勝者アクティビティのページとアクティビティリストに表示されます。 アルゴリズムにより、エクスペリエンス C が明確な勝者として選出されます この時点で、アルゴリズムにより、トラフィックの 80％がエクスペリエンス C に配分され、トラフィックの 20％が、引き続きすべてのエクスペリエンス（A、B、C および D）にランダムに配分されます。後継で、C はトラフィックの 85％を獲得します。万一、勝者の信頼区間が再び重複し始めた場合、アルゴリズムにより、前述のラウンド 4 の動作に戻されます。 重要: プロセスの前の推奨結果を手動で選択すると、誤ったエクスペリエンスを選択できます。このため、アルゴリズムが勝者エクスペリエンスを決定するまで待つことをお勧めします。

自動配分アクティビティがアクティブ化されると、UIからの次の操作は許可されません。

• 「トラフィック配分」モードから「手動」への切り替え
• 目標指標タイプの変更
• 「詳細設定」パネルでのオプションの変更

自動配分の仕組みを見る

詳しくは、自動配分を参照して、手動のテストよりも高速なテスト結果と高い売上高を得ることができます。

注意事項

自動配 分機能 は、次の1つの詳細指標設定でのみ機能します。 カウントを増分、アクティビティでユーザーを保持

次の詳細指標設定はサポートされていません。カウントを増分、ユーザーをリリース、再入場とカウントを増分、ユーザーをリリースし、再入場を許可しない。

頻繁な再訪問者は、エクスペリエンスのコンバージョン率を水増しさせる可能性がある。

エクスペリエンス A を表示した訪問者が頻繁に再訪し、複数回のコンバージョンをおこなうと、エクスペリエンス A のコンバージョン率（CR）は、人為的に増加します。この結果を、訪問者がコンバージョンしたが頻繁に戻ってこないエクスペリエンスBと比較します。 その結果、エクスペリエンスAのCRはエクスペリエンスBのCRよりも良く見えるので、新しい訪問者はAに割り当てられる可能性が高くなります。参加者ごとに1回カウントする場合、AのCRとBのCRは同一になる可能性があります。

再訪問者がランダムに配分されると、そのコンバージョン率への影響は、より安定する傾向があります。この効果を軽減させるには、目標指標のカウント方法を参加者あたり 1 回のみに変更することを検討します。

パフォーマンスの低いものからではなく、パフォーマンスの高いものから区別する。

自動配分は、パフォーマンスの高いエクスペリエンスの間で区別する（そして勝者を見つける）のが得意です。パフォーマンスの低いエクスペリエンスの間での十分な区別がないこともあり得ます。

すべてのエクスペリエンス間で統計的に有意な区別を生み出す場合は、手動のトラフィック配分モードの使用を検討する必要があります。

時間相関のある（または文脈が変化する）コンバージョン率は、配分量をゆがめる可能性がある。

すべてのエクスペリエンスに等しく影響するので、標準のA/Bテストで無視できる要因は、自動配分テストでは無視できません。 そのアルゴリズムは、観測されたコンバージョン率に敏感です。次に、エクスペリエンスのパフォーマンスに不平等に影響する可能性のある要因の例を示します。

• 状況（時間、場所、性別など）の関連性が変化するエクスペリエンス。

  次に例を示します。

  • 「花の金曜日」は、金曜日に高いコンバージョンをもたらす
  • 「月曜日からジャンプスタート」は、月曜日にコンバージョンが高くなる
  • 「東海岸の冬に備える」は、東海岸または冬が苦しむ場所でより高いコンバージョンを提供します

A/Bテストはより長い期間にわたって結果を分析するので、コンテキストの関連性が様々なエクスペリエンスを使用すると、自動配分テストの結果をA/Bテストよりもゆがめる可能性があります。

• おそらくメッセージの緊急性のために、コンバージョンの遅延が変化するエクスペリエンス。

  例えば、「30％セールは本日限り」は、訪問者に本日コンバージョンさせるきっかけになりますが、「初回購入は50％オフ」は、緊急性において同じ感覚を生みません。

よくある質問

自動配分アクティビティを使用する際は、次のFAQと回答を参照してください。

Analytics for Target (A4T)は自動配分アクティビティをサポートしていますか？

はい。詳しくは、自動配分と自動ターゲットアクティビティに対する A4T のサポートを参照してください。

再訪問者は、自動的にパフォーマンスの高いエクスペリエンスに再配分されますか？

いいえ。新規訪問者のみが自動的に配分されます。再訪問者は、引き続き元のエクスペリエンスを確認して、A/Bテストの有効性を保護します。

アルゴリズムでは、偽陽性をどのように扱いますか？

勝者バッジが表示されるまで待った場合、アルゴリズムは 95 ％の信頼性または 5 ％の偽陽性率を保証します。

自動配分は、トラフィックの配分をいつ開始しますか？

アクティビティのすべてのエクスペリエンスに 1,000 人以上の訪問者と 50 回以上のコンバージョンがあれば、アルゴリズムが機能し始めます。

アルゴリズムは、どれくらい積極的に活用しますか？

トラフィックの80%は自動配分を使用して提供され、トラフィックの20%はランダムに提供されます。 勝者が特定されると、トラフィックの 80％すべてが勝者に配分され、20％の一部が勝者エクスペリエンスを含むすべてのエクスペリエンスに引き続き配分されます。

そもそも失敗エクスペリエンスは表示されますか？

はい。マルチアームバンディットでは、すべてのエクスペリエンスにわたる変更のパターンまたはコンバージョン率を調査するために、トラフィックの少なくとも 20 ％が予約されます。

長時間のコンバージョンの遅延があるアクティビティはどうなりますか？

最適化されたすべてのエクスペリエンスが同じ遅延に直面する限り、動作は、より高速なコンバージョンサイクルのアクティビティと同じです。ただし、トラフィック配分処理が開始されるまでに、コンバージョンしきい値50に達するまでに時間がかかります。

自動配分とAutomated Personalizationの違いは何ですか。

自動パーソナライゼーションは、各訪問者のプロファイル属性を使用して、最良のエクスペリエンスを判定します。その際に、そのユーザーのアクティビティを最適化するだけでなく、パーソナライズします。

一方、自動配分は、勝者全体（最も人気のあるエクスペリエンスですが、必ずしも各訪問者に対して最も効果的なエクスペリエンスとは限りません）を生み出すA/Bテストです。

再訪問者は、成功指標のコンバージョン率を水増しさせますか？

現在、ロジックは、コンバージョンが迅速な訪問またはより頻繁な訪問をおこなう訪問者に有利です。これは、このような訪問者が、属するエクスペリエンスの全体的なコンバージョン率を一時的に水増しするからです。 アルゴリズム自体は頻繁に調整されるので、コンバージョン率の増加は、各スナップショットで増幅されます。サイトに多数の再訪問者が訪れた場合、そのコンバージョンは、属するエクスペリエンスの全体的なコンバージョン率を水増しする可能性があります。 再訪問者がランダムに配分される可能性は高く、この場合、集計の効果（増加した上昇率）は安定します。この効果を軽減させるには、成功指標のカウント方法を参加者あたり 1 回のみに変更することを検討します。

自動配分を使用してアクティビティでの勝者の特定に要する時間を見積もる場合に、サンプルサイズ計算ツールを使用できますか？

既存のサンプルサイズ計算ツールを使用して、テストの実行時間を見積もることができます。 （従来のA/Bテストと同様に、2つ以上のオファーや複数のコンバージョン指標/仮説をテストする場合は、ボンフェローニ補正を適用します）。 この計算ツールは、従来の固定地平線A/Bテスト用に設計され、見積もりのみを提供します。 自動配分アクティビティの計算ツールの使用はオプションです。自動配分で勝者が宣言されるからです。 テスト結果を確認するために一定の時点を選択する必要はありません。 指定された値は常に統計的に有効です。 実験では、次のことがわかりました。

• 2つのエクスペリエンスを厳密にテストする場合、自動配分は、エクスペリエンス間のパフォーマンスの違いが大きい場合、固定水平線テスト（サンプルサイズ計算ツールで提案される期間）よりも迅速に勝者を見つけます。 ただし、エクスペリエンス間のパフォーマンスの違いが小さい場合、自動配分で勝者を特定するのに、追加の時間が必要になる場合があります。 この場合、通常、統計的に有意な結果が得られずに、固定地平線テストは終了していました。
• 2つ以上のエクスペリエンスをテストする場合、自動配分は、1つのエクスペリエンスが他のすべてのエクスペリエンスのパフォーマンスを大幅に低下させた場合に、固定水平線テスト（サンプルサイズ計算ツールで提案される期間）よりも早く勝者を見つけます。 2つ以上のエクスペリエンスが他のエクスペリエンスと「勝者」であり、互いに密接に一致する場合、自動配分でどちらが優れているかを判断するのに、追加の時間が必要になる場合があります。 この場合、通常、固定地平線テストは、「勝者」のエクスペリエンスがパフォーマンスの低いエクスペリエンスよりも優れているが、どちらが優れているかは特定していないという結論に達することで終了します。

勝者を決定するプロセスを速めるために、自動配分アクティビティからパフォーマンスの低いエクスペリエンスを削除する必要がありますか？

パフォーマンスの低いエクスペリエンスを削除する理由は本当にありません。 自動配分 は、パフォーマンスの高いエクスペリエンスをより頻繁に提供し、パフォーマンスの低いエクスペリエンスをあまり提供しません。パフォーマンスの低いエクスペリエンスをアクティビティに残しても、勝者を決定する速度に大きな影響はありません。

訪問者の 20% は、すべてのエクスペリエンスにランダムに配分されます。パフォーマンスの低いエクスペリエンスに提供されるトラフィックの量は最小限です（20%をエクスペリエンス数で割る）。

自動配分アクティビティの途中で目標指標を変更できますか？

Adobe では、アクティビティの途中で目標指標を変更することはお勧めしません。Target UI を使用したアクティビティ中に目標指標を変更することは可能ですが、常に新しいアクティビティを開始する必要があります。Adobe は、アクティビティの実行後にアクティビティの目標指標を変更した場合の動作を保証しません。

このレコメンデーションは、自動配分、自動ターゲット、Automated Personalization の各アクティビティで、レポートソースとしてTargetまたはAnalytics（A4T）を使用します。

自動配分アクティビティを通じて、レポートソースを途中で変更することはできますか？

Adobe では、アクティビティの途中でレポートソースを変更することはお勧めしません。Target UIを使用したアクティビティ中にレポートソースを(TargetからA4Tに（またはその逆に）変更することは可能ですが、常に新しいアクティビティを開始する必要があります。 Adobe では、実行後にアクティビティのレポートソースを変更した場合の動作は保証されません。

このレコメンデーションは、自動配分、自動ターゲット、Automated Personalization の各アクティビティで、レポートソースとしてTargetまたはAnalytics（A4T）を使用します。

自動配分アクティビティの実行中に、「レポートデータをリセット」オプションを使用できますか？

自動配分アクティビティに対して「レポートデータをリセット」オプションを使用することは推奨されません。 表示されるレポートデータは削除されますが、このオプションでは、自動配分モデルからすべてのトレーニングレコードが削除されるわけではありません。 自動配分アクティビティに対して「レポートデータをリセット」オプションを使用する代わりに、新しいアクティビティを作成し、元のアクティビティを非アクティブ化します。 (このガイダンスは、自動ターゲットおよびAutomated Personalizationアクティビティにも当てはまります)。

自動配分は、環境に関するモデルをどのように構築しますか？

自動配分 は、デフォルト環境でのみ記録されたトラフィックとコンバージョンの行動に基づいてモデルを構築します。デフォルトでは、実稼動がデフォルトの環境ですが、デフォルトの環境はTarget 管理/環境で変更できます。

別の（デフォルト以外の）環境でヒットが発生した場合、デフォルト環境で観察されたコンバージョン行動に従ってトラフィックが配分されます。 そのヒットの結果（コンバージョンまたは非コンバージョン）は、レポートの目的で記録されますが、自動配分モデルでは考慮されません。

別の環境を選択すると、レポートにその環境のトラフィックとコンバージョンが表示されます。 レポートに対してデフォルトで選択される環境は、アカウント全体でデフォルトとして選択されます。 デフォルトの環境は、アクティビティごとに設定することはできません。

トレーニングビデオ

以下のビデオは、この記事で説明する概念についてさらに詳しく説明しています。

アクティビティワークフロー - ターゲット設定（2:14）

このビデオには、トラフィック配分の設定に関する情報が含まれています。

• オーディエンスのアクティビティへの割り当て
• トラフィックの増減調整
• トラフィック配分方法の選択
• 様々なエクスペリエンスへのトラフィック配分

A/Bテストの作成(8:36)

このビデオでは、Target で 3 ステップのガイドによるワークフローを使用して A/B テストを作成する方法を説明します。4:45か ら始まる自動配分の説明。

• Adobe TargetでのA/Bアクティビティの作成
• 手動分割または自動トラフィック配分によるトラフィックの配分