A/B Test アクティビティや Automated Personalization アクティビティに対して Auto-Allocate を使用するタイミング
- アクティビティを最初から最適化して、なるべく早く勝者エクスペリエンスを特定する場合に、Auto-Allocate を使用します。パフォーマンスの高いエクスペリエンスをより頻繁に提供することで、アクティビティ全体のパフォーマンスを向上させます。
- サイトを最適化する前にすべてのエクスペリエンスのパフォーマンスを特徴付ける場合は、標準の A/B テスト を使用します。Auto-Allocate は、パフォーマンスが最上位のエクスペリエンスを検出しますが、パフォーマンスが低いエクスペリエンスを差別化することができないのに対して、A/B テストは、すべてのエクスペリエンスをランク付けするのに役立ちます。
- 個々のプロファイル属性に基づいて予測を行う機械学習モデルのように、複雑な最適化アルゴリズムが必要な場合は、Automated Personalization を使用します。Auto-Allocate は、標準的な A/B テストと同様に、エクスペリエンスの集約的な行動を調べ、訪問者を区別しません。
Auto-Allocate の主なメリット
- A/B テストの正確性を保持する
- 統計的に有意な勝者を手動の A/B テストよりも早く見つける
- 手動の A/B テストよりも高い平均キャンペーン上昇率を提供する
用語
Auto-Allocate について説明するときに役立つ用語を次に示します。
マルチアームバンディット：マルチアームバンディットは、調査学習とその学習の活用のバランスを最適化するアプローチです。
アルゴリズムの仕組み
Auto-Allocate の背後にある全体的なロジックには、測定されたパフォーマンス（コンバージョン率など）と累積データの信頼区間とが組み込まれています。エクスペリエンス間でトラフィックが均等に分割される標準的な A/B テストとは異なり、Auto-Allocate ではエクスペリエンス間でトラフィックの配分が変化します。
- 訪問者の 80％は、以下に説明するインテリジェントロジックを使用して配分されます。
- 訪問者の 20％は、訪問者行動の変化に対応するように、すべてのエクスペリエンスにランダムに配分されます。
マルチアームバンディットアプローチでは、パフォーマンスの良いエクスペリエンスを活用している間も、一部のエクスペリエンスを自由に調査できるようにしておきます。変化する状況に対応する能力を維持しながら、より多くの新規訪問者がパフォーマンスのより優れたエクスペリエンスに配置されます。最新のデータを反映するために、これらのモデルは少なくとも 1 時間に 1 回更新されます。
より多くの訪問者がアクティビティに入るにしたがって、一部のエクスペリエンスの成功率が向上し始め、より多くのトラフィックが成功エクスペリエンスに送られます。すべてのエクスペリエンスを調査するために、トラフィックの 20％が、引き続きランダムに配分されます。パフォーマンスの低いエクスペリエンスの 1 つのパフォーマンスが向上し始めると、そのエクスペリエンスに配分されるトラフィックが増えます。一方、パフォーマンスの高いアクティビティの成功率が低下すると、そのエクスペリエンスに配分されるトラフィックは少なくなります。例えば、あるイベントが原因で訪問者がサイト上で異なる情報を期待している場合と小売サイトで週末セールを期待している場合で、異なる結果が提供されます。
次の図に、4 つのエクスペリエンスでのテスト中にアルゴリズムがどのように実行されるかを示します（クリックして図を展開します）。
この図は、明確な勝者が決定されるまで、複数ラウンドのアクティビティの有効期間にわたって各エクスペリエンスに配分されるトラフィックがどのように変化するかを示しています。
| 四捨五入 | 説明 |
|---|---|
 |
ウォームアップラウンド（0）: ウォームアップラウンドでは、アクティビティの各エクスペリエンスが最低1,000人の訪問者と50個のコンバージョンを持つまで、各エクスペリエンスのトラフィック配分が均等になります。
各エクスペリエンスで訪問者が 1,000 人、コンバージョンが 50 回に達すると、Target はトラフィックの自動配分を開始します。ラウンドですべての配分が発生し、ラウンドごとに 2 つのエクスペリエンスが選出されます。 |
 |
ラウンド1: このラウンドでは、トラフィックの80%がエクスペリエンスCおよびD（それぞれ40%のエクスペリエンス）に配分されます。トラフィックの 20％がエクスペリエンス A、B、C および D にランダムに配分されます（5％ずつ）。このラウンドでは、エクスペリエンス A のパフォーマンスが優れています。
エクスペリエンス D と A が次に進みます。 |
 |
ラウンド2: このラウンドでは、トラフィックの80%がエクスペリエンスAおよびD（それぞれ40%のエクスペリエンス）に配分されます。トラフィックの 20％がランダムに配分されます。つまり、エクスペリエンス A、B、C および D のそれぞれがトラフィックの 5％を獲得します。このラウンドでは、エクスペリエンス B のパフォーマンスが優れています。
エクスペリエンス D と B が次に進みます。 |
 |
ラウンド3: このラウンドでは、トラフィックの80%がエクスペリエンスBとD（それぞれ40%のエクスペリエンス）に配分されます。トラフィックの 20％がランダムに配分されます。つまり、エクスペリエンス A、B、C および D のそれぞれがトラフィックの 5％を獲得します。このラウンドでは、エクスペリエンス D が引き続きパフォーマンスが優れ、エクスペリエンス C もパフォーマンスが優れています。
エクスペリエンス D と C が次に進みます。 |
 |
ラウンド4: このラウンドでは、トラフィックの80%がエクスペリエンスCおよびD（それぞれ40%のエクスペリエンス）に配分されます。トラフィックの 20％がランダムに配分されます。つまり、エクスペリエンス A、B、C および D のそれぞれがトラフィックの 5％を獲得します。このラウンドでは、エクスペリエンス C のパフォーマンスが優れています。
エクスペリエンス C と D が次に進みます。 |
 |
ラウンド n：アクティビティが進むにつれて、パフォーマンスの高いエクスペリエンスが現れ始め、勝者エクスペリエンスが現れるまでプロセスが継続されます。最も高いコンバージョン率のエクスペリエンスの信頼区間が他のエクスペリエンスの信頼区間と重複しない場合、そのエクスペリエンスが勝者となります。バッジが、勝者となったアクティビティのページと Activity リストに表示されます。
この時点で、アルゴリズムにより、トラフィックの 80％がエクスペリエンス C に配分され、トラフィックの 20％が、引き続きすべてのエクスペリエンス（A、B、C および D）にランダムに配分されます。後継で、C はトラフィックの 85％を獲得します。万一、勝者の信頼区間が再び重複し始めた場合、アルゴリズムにより、前述のラウンド 4 の動作に戻されます。 重要：プロセスの早い段階で手動によって勝者を選択すると、誤ったエクスペリエンスを選択してしまいやすくなります。このため、アルゴリズムが勝者エクスペリエンスを決定するまで待つことをお勧めします。 |
NOTEAuto-Allocate アクティビティを有効にすると、次の操作が Tar[!DNL]get UI から行えなくなります。
- 「トラフィック配分」モードから「手動」への切り替え
- 目標指標タイプの変更
- 「Advanced Settings」パネルでのオプションの変更
自動割り当ての仕組み
詳しくは、自動割り当てを使用すると、手動テストよりも迅速にテスト結果を入手し、売上高を増やすことができますを参照してください。
注意事項
Auto-Allocate を使用する際は次の点を考慮してください。
Auto-Allocate 機能は、1 つの詳細指標の設定 Increment Count and Keep User in Activity を行うだけで利用できます。
Increment Count、Release User、Allow Reentry and Increment Count、Release User and Bar from Reentry の詳細指標の設定はサポートされていません。
頻繁な再訪問者は、エクスペリエンスのコンバージョン率を水増しさせる可能性があります。
エクスペリエンス A を表示した訪問者が頻繁に再訪し、複数回のコンバージョンを行うと、エクスペリエンス A のコンバージョン率（CR）は、人為的に増加します。この結果を、訪問者がコンバージョンしてもあまり再訪しないエクスペリエンス B と比較します。結果として、エクスペリエンス A の CR はエクスペリエンス B の CR よりも優れているように見えるので、新しい訪問者は B よりも A に配分されるようになります。参加者あたり 1 回のみカウントすることを選択すると、A の CR と B の CRは同じになる可能性があります。
再訪問者がランダムに配分されると、そのコンバージョン率への影響は、より安定する傾向があります。この効果を軽減させるには、目標指標のカウント方法を参加者あたり 1 回のみに変更することを検討します。
パフォーマンスの低いものからではなく、パフォーマンスの高いものから区別します。
Auto-Allocate は、パフォーマンスの高いエクスペリエンスの間を見分ける（そして勝者を見つける）のが得意です。パフォーマンスの低いエクスペリエンスの間での十分な区別がない場合もあります。
すべてのエクスペリエンス間で統計的に有意な区別をする場合は、手動のトラフィック配分モードの使用を検討してください。
時間相関のある（または文脈が変化する）コンバージョン率は、配分量をゆがめる可能性があります。
標準的な A/B テストではすべてのエクスペリエンスに等しく影響するのに無視できる要因でも、Auto-Allocate アクティビティでは無視できない場合があります。そのアルゴリズムは、観測されたコンバージョン率に敏感です。
次に、エクスペリエンスのパフォーマンスに不平等に影響する可能性のある要因の例を示します。
-
様々な状況（時間、場所、性別など）と関連性があるエクスペリエンス。
次に例を示します。
- 「花の金曜日」は、金曜日に高いコンバージョンをもたらす。
- 「月曜日からジャンプスタート」は、月曜日に高いコンバージョンをもたらす。
- 「東海岸の冬に備える」は、東海岸または冬が過酷な場所でコンバージョンが高くなる。
様々な状況と関連性があるエクスペリエンスを使用すると、より長い期間にわたって結果を分析する A/B テストに比べて、Auto-Allocate テストの結果をゆがめる可能性があります。
-
おそらくメッセージの緊急性のために、コンバージョンの遅延が変化するエクスペリエンス。
例えば、「30％セールは本日限り」は、訪問者に本日コンバージョンさせるきっかけになりますが、「初回購入は50％オフ」は、緊急性において同じ感覚を生みません。
よくある質問
Auto-Allocate アクティビティを扱う際は、次の FAQ と回答を参考にしてください。
Analytics for Target（A4T）は、Auto-Allocate アクティビティをサポートしていますか？
はい。詳しくは、A4T での自動割り当ておよび自動ターゲットアクティビティのサポートを参照してください。
再訪問者は、自動的にパフォーマンスの高いエクスペリエンスに再配分されますか？
いいえ。新規訪問者のみが自動的に配分されます。再訪問者には引き続き元のエクスペリエンスが表示され、A/B テストの有効性を保護します。
アルゴリズムでは、偽陽性をどのように扱いますか？
勝者バッジが表示されるまで待った場合、アルゴリズムは 95 ％の信頼性または 5 ％の偽陽性率を保証します。
Auto-Allocate では、トラフィックの配分をいつ開始しますか？
アクティビティのすべてのエクスペリエンスに 1,000 人以上の訪問者と 50 回以上のコンバージョンがあれば、アルゴリズムが機能し始めます。
アルゴリズムは、どれくらい積極的に活用されますか？
トラフィックの 80％は Auto-Allocate を使用して配分され、トラフィックの 20％はランダムに配分されます。勝者が特定されると、トラフィックの 80％が勝者に配分され、20％の一部が勝者エクスペリエンスを含むすべてのエクスペリエンスに引き続き配分されます。
失敗エクスペリエンスは表示されますか？
はい。マルチアームバンディットでは、すべてのエクスペリエンスにわたる変更のパターンまたはコンバージョン率を調査するために、トラフィックの少なくとも 20 ％が予約されます。
長時間のコンバージョンの遅延があるアクティビティはどうなりますか？
最適化されたすべてのエクスペリエンスで同じ遅延が発生している場合、動作は、より高速なコンバージョンサイクルのアクティビティと同じです。ただし、トラフィックの配分処理を開始する前に、50 のコンバージョンしきい値に達するまでに時間がかかります。
Auto-Allocate と Automated Personalization の違いは何ですか？
Automated Personalization は、各訪問者のプロファイル属性を使用して、最良のエクスペリエンスを判定します。その際に、そのユーザーのアクティビティを最適化するだけでなく、パーソナライズします。
一方、Auto-Allocate は、総合的な勝者を導き出す A/B テストです（総合的な勝者は最も一般的なエクスペリエンスですが、必ずしも各訪問者にとって最も効果的なエクスペリエンスとは限りません）。
再訪問者により、成功指標のコンバージョン率が水増しされますか？
現在このロジックでは、コンバージョンが迅速に行われる、または訪問の頻度がより多い訪問者を優先します。これは、そのような訪問者が属するエクスペリエンスでは、全体的なコンバージョン率が一時的に増えるためです。アルゴリズム自体は頻繁に調整されるので、コンバージョン率の増加は、各スナップショットで増幅されます。サイトに多くの再訪問者が来ると、その人たちのコンバージョンによって、属するエクスペリエンスの全体的なコンバージョン率が増える可能性があります。再訪問者がランダムに配分される可能性は高く、この場合、集計の効果（増加した上昇率）は安定します。この効果を軽減させるには、成功指標のカウント方法を参加者あたり 1 回のみに変更することを検討します。
Auto-Allocate を使用する場合、アクティビティで勝者の特定にかかる時間を見積もる際に、サンプルサイズ計算ツールを使用できますか？
既存の Adobe Target サンプルサイズ計算ツールを使用して、テストの実行時間を予測できます。（従来の A/B テストと同様に、2 つ以上のオファー、または複数のコンバージョン指標や仮説をテストする場合は、ボンフェローニ補正を適用します。）この計算ツールは、従来の固定範囲 A/B テスト用に設計されており、見積もりのみを提供します。Auto-Allocate が勝者を宣言するので、Auto-Allocate アクティビティにこの計算ツールを使用できます。テスト結果を確認するのに、特定の時点を選択する必要はありません。提示された値は、統計的に常に有効です。
Adobe の社内実験では、次のことがわかりました。
- 2 つのエクスペリエンスをテストするとき、エクスペリエンス間のパフォーマンスの差が大きい場合、Auto-Allocate では、固定範囲のテスト（サンプルサイズ計算ツールで提案される時間する時間）よりも速く勝者を見つけます。しかし、Auto-Allocate は、エクスペリエンス間のパフォーマンスの差が小さい場合、勝者を特定する余分な時間が必要になる場合があります。この場合、通常、統計的に有意な結果が得られずに、固定範囲テストは終了していました。
- 2 つ以上のエクスペリエンスをテストする場合、Auto-Allocate は、1 つのエクスペリエンスが他のすべてのエクスペリエンスのパフォーマンスをはるかに上回る場合に、固定範囲テスト（サンプルサイズ計算ツールで提案される期間）よりも迅速に勝者を見つけます。2 つ以上のエクスペリエンスの双方が、他のエクスペリエンスに対して「勝者」であり、互いに密接に一致している場合、Auto-Allocate はどちらが優れているかを判断するのに余分な時間が必要になる場合があります。この場合、固定範囲テストでは通常、「勝者」エクスペリエンスがパフォーマンスの低いエクスペリエンスよりも勝っているが、どちらが優れているかは特定されていないと結論付けることで終了していました。
勝者を決定するプロセスを速めるには、Auto-Allocate アクティビティからパフォーマンスの低いエクスペリエンスを削除する必要がありますか？
パフォーマンスの低いエクスペリエンスを削除する必要はありません。Auto-Allocate では、自動的にパフォーマンスの高いエクスペリエンスをより高い頻度で提供し、パフォーマンスの低いエクスペリエンスを提供する頻度は低くなります。パフォーマンスの低いエクスペリエンスをアクティビティに残しても、勝者を決定する速度にそれほど影響しません。
訪問者の 20% は、すべてのエクスペリエンスにランダムに配分されます。パフォーマンスの低いエクスペリエンスに提供されるトラフィックの量は最小（20％をエクスペリエンス数で割った値）です。
Auto-Allocate アクティビティの途中で目標指標を変更することはできますか？
Adobe では、アクティビティの途中で目標指標を変更することはお勧めしません。Target UI を使用したアクティビティ中に目標指標を変更することは可能ですが、常に新しいアクティビティを開始する必要があります。Adobe は、実行後にアクティビティの目標指標を変更した場合の動作を保証しません。
このレコメンデーションは、Auto-Allocate、Auto-Target、Automated Personalization の各アクティビティで、レポートソースとして Target または Analytics（A4T）を使用します。
Auto-Allocate アクティビティの途中で、レポートソースを変更できますか？
Adobe では、アクティビティの途中でレポートソースを変更することはお勧めしません。Target UI を使用してアクティビティ中にレポートソースを変更（Target から A4T へ、またはその逆）することは可能ですが、常に新しいアクティビティを開始する必要があります。Adobe は、実行後にアクティビティのレポートソースを変更した場合の動作は保証しません。
このレコメンデーションは、Auto-Allocate、Auto-Target、Automated Personalization の各アクティビティで、レポートソースとして Target または Analytics（A4T）を使用します。
Auto-Allocate アクティビティの実行中に「Reset Report Data」オプションは使用できますか？
Auto-Allocate アクティビティに「Reset Report Data」オプションを使用することは推奨されません。目に見えるレポートデータは削除されますが、このオプションでは、Auto-Allocate モデルからすべてのトレーニングレコードが削除されるわけではありません。Auto-Allocate アクティビティに「Reset Report Data」オプションを使用する代わりに、新しいアクティビティを作成し、元のアクティビティを非アクティブにします。（このガイダンスは、Auto-Target アクティビティと Automated Personalization アクティビティにも適用されます）。
Auto-Allocate は、環境に関するモデルをどのように構築しますか？
Auto-Allocate は、デフォルト環境でのみ記録されたトラフィックとコンバージョンの行動に基づいてモデルを構築します。デフォルトでは、Production はデフォルトの環境ですが、デフォルトの環境は Target（管理／環境）で変更することが可能です。
別の（デフォルト以外の）環境でヒットが発生した場合、デフォルト環境で観測されたコンバージョン動作に従ってトラフィックが分散されます。そのヒットの結果（コンバージョンまたは非コンバージョン）は、レポート目的で記録されますが、Auto-Allocate モデル内では考慮されません。
別の環境を選択すると、レポートにその環境のトラフィックとコンバージョンが表示されます。レポートに対してデフォルトで選択される環境は、アカウント全体で選択されるデフォルトの環境です。デフォルトの環境は、アクティビティごとに設定することはできません。
Auto-Allocate アクティビティでは、テストの過程でルックバックウィンドウを調整して、経時的なトレンドの変化を考慮することはできますか？
例えば、アクティビティでは、トラフィックの配分方法を決定する際に、9月の訪問者データ（テスト開始時）ではなく、12月を考慮することはできますか？
いいえ、Auto-Allocate ではアクティビティ全体のパフォーマンスが考慮されます。
Auto-Allocate では、訪問者がアクティビティの資格を得る際に閲覧したものとは異なる勝者エクスペリエンスを再訪問者に表示しますか？
Auto-Allocate では、A/B Test アクティビティがスティッキーであるのと同じ理由で、スティッキー決定が使用されます。トラフィック配分は、新規訪問者に対してのみ機能します。
トレーニングビデオ
以下のビデオは、この記事で説明した概念についてさらに詳しく説明しています。
アクティビティワークフロー - ターゲティング（2:14）
このビデオには、トラフィック配分の設定に関する情報が含まれています。
- オーディエンスのアクティビティへの割り当て
- トラフィックの増減調整
- トラフィック配分方法の選択
- 様々なエクスペリエンスへのトラフィック配分
A/B テストの作成（8:36）
このビデオでは、Target で 3 ステップのガイドによるワークフローを使用して A/B テストを作成する方法を説明します。Auto-Allocate の説明は 4:45 から始まります。
- Adobe Target での A/B アクティビティの作成
- 手動分割または自動トラフィック配分によるトラフィックの配分
