Adobe Targetの自動配分アクティビティは、2つ以上のエクスペリエンスのうちの勝者を識別し、テストの実行と学習を続ける間に、より多くのトラフィックを勝者に自動的に再割り当てして、コンバージョンを増やします。
3ステップのガイドによるワークフローを使用してA/Bアクティビティを作成する際に、「最適なエクスペリエンスに自動配分」オプションを選択できます。
標準的な A/B テストには、固有のコストがあります。各エクスペリエンスのパフォーマンスを測定するためにトラフィックを費やす必要があり、分析を通じて勝者エクスペリエンスを見つけ出す必要があります。トラフィックの配分は、一部のエクスペリエンスが他よりもパフォーマンスに優れているとわかった後でも、固定されたままです。また、サンプルサイズの計算が複雑で、アクティビティは、勝者に対して働きかけられるようになる前に全コースを実行する必要があります。これをすべておこなった後でも、特定した勝者が真の勝者ではない可能性があります。
自動配分は、このコストおよび勝者エクスペリエンスの判別のオーバーヘッドを削減します。自動配分では、すべてのエクスペリエンスの目標指標パフォーマンスを監視し、パフォーマンスの高いエクスペリエンスに、パフォーマンスの高さに応じて多くの新規参加者を送ります。他のエクスペリエンスを調査するのに十分なトラフィックが予約されます。学習と平行してアクティビティの最適化を実行中であっても、結果に対するテストのメリットを確認できます。
自動配分は、アクティビティが終了して勝者が決まるまで待たずに、訪問者を徐々に勝者エクスペリエンスに近づけます。成功していないエクスペリエンスに送られたアクティビティ参加者は勝者エクスペリエンスの可能性を示しているので、より迅速に上昇するメリットが得られます。
Target の通常の A/B テストの場合、対抗と対照の一対比較しかできません。例えば、アクティビティにエクスペリエンス A、B、C および D がある場合(ここで、A は対照)、通常の Target A/B テストは、A 対 B、A 対 C および A 対 D を比較します。
このようなテストの場合、Target を含むほとんどの製品では、スチューデントの t 検定を使用して p 値ベースの信頼値を生成します。その後、この信頼値を使用して、対抗が対照と十分に異なるかどうかを特定します。ただし、Target は、「最良の」エクスペリエンスを見つけるために必要な暗黙の比較(B 対 C、B 対 D および C 対 D)を自動的に実行することはありません。その結果、マーケティング担当者は、「最良の」エクスペリエンスを判断するために結果を手動で分析する必要があります。
自動配分は、エクスペリエンス全体に対してすべての暗黙の比較を実行し、「真」の勝者を見つけます。このテストには「対照」エクスペリエンスという概念がありません。
自動配分は、最良のエクスペリエンスの信頼区間が他のエクスペリエンスの信頼区間と重複しなくなるまで、エクスペリエンスに新しい訪問者をインテリジェントに配分します。通常、このプロセスで偽陽性が生成される可能性がありますが、自動配分では、繰り返された評価を補正するベルンシュタインの不等式に基づいた信頼区間が使用されます。この段階で、真の勝者が見つかります。自動配分が停止したとき、ページに到着した訪問者の時間に対する依存性がほとんどないという条件で、真の応答が 1%(相対)より悪くないエクスペリエンスが自動配分によって返される確率は少なくとも 95%あり、これは勝者エクスペリエンスの真の応答に満たない値です。
自動配分の重要な用語を次に示します。
マルチアームバンディット:マルチアームバンディットは、調査学習とその学習の活用のバランスを最適化するためのアプローチです。
自動配分の背後にある全体的なロジックには、測定されたパフォーマンス(コンバージョン率など)と累積データの信頼区間が組み込まれています。トラフィックがエクスペリエンス間で均等に分割される標準的な A/B テストとは異なり、自動配分ではエクスペリエンス間でトラフィックの配分が変化します。
マルチアームバンディットアプローチでは、パフォーマンスの良いエクスペリエンスを活用している間も、一部のエクスペリエンスを自由に調査できるようにしておきます。変化する状況に対応する能力を維持しながら、より多くの新規訪問者がパフォーマンスのより優れたエクスペリエンスに配置されます。最新のデータを反映するために、これらのモデルは少なくとも 1 時間に 1 回更新されます。
より多くの訪問者がアクティビティに入るにしたがって、一部のエクスペリエンスの成功率が向上し始め、より多くのトラフィックが成功エクスペリエンスに送られます。すべてのエクスペリエンスを調査するために、トラフィックの 20%が、引き続きランダムに配分されます。パフォーマンスの低いエクスペリエンスの 1 つのパフォーマンスが向上し始めると、そのエクスペリエンスに配分されるトラフィックが増えます。一方、パフォーマンスの高いアクティビティの成功率が低下すると、そのエクスペリエンスに配分されるトラフィックは少なくなります。例えば、あるイベントが原因で訪問者がサイト上で異なる情報を期待している場合と小売サイトで週末セールを期待している場合で、異なる結果が提供されます。
次の図に、4 つのエクスペリエンスを扱うテストでこのアルゴリズムがどのように実行されるかを示します。
この図は、明確な勝者が決定されるまで、複数ラウンドのアクティビティの有効期間にわたって各エクスペリエンスに配分されるトラフィックがどのように変化するかを示しています。
ラウンド数 | 説明 |
---|---|
![]() |
ウォームアップラウンド(0): ウォームアップラウンドでは、アクティビティの各エクスペリエンスが最低1,000人の訪問者と50個のコンバージョンを持つまで、各エクスペリエンスのトラフィック配分が均等になります。
次のラウンドに進むエクスペリエンスは2つのみです。DおよびCの 場合、次の2つのエクスペリエンスはトラフィックの80%を均等に配分しますが、他の2つのエクスペリエンスは引き続き参加しますが、新しい訪問者がアクティビティに入ると20%のランダムトラフィックの配分の一部としてのみ提供されます。 すべての配分は 1 時間ごとに更新されます(上記の x 軸のラウンド数で示されています)。各ラウンドの後、累積データが比較されます。 |
![]() |
ラウンド1: このラウンドでは、トラフィックの80%がエクスペリエンスCおよびD(それぞれ40%のエクスペリエンス)に配分されます。トラフィックの 20%がエクスペリエンス A、B、C および D にランダムに配分されます(5%ずつ)。このラウンドでは、エクスペリエンス A のパフォーマンスが優れています。
|
![]() |
ラウンド2: このラウンドでは、トラフィックの80%がエクスペリエンスAおよびD(それぞれ40%のエクスペリエンス)に配分されます。トラフィックの 20%がランダムに配分されます。つまり、エクスペリエンス A、B、C および D のそれぞれがトラフィックの 5%を獲得します。このラウンドでは、エクスペリエンス B のパフォーマンスが優れています。
|
![]() |
ラウンド3: このラウンドでは、トラフィックの80%がエクスペリエンスBとD(それぞれ40%のエクスペリエンス)に配分されます。トラフィックの 20%がランダムに配分されます。つまり、エクスペリエンス A、B、C および D のそれぞれがトラフィックの 5%を獲得します。このラウンドでは、エクスペリエンス D が引き続きパフォーマンスが優れ、エクスペリエンス C もパフォーマンスが優れています。
|
![]() |
ラウンド4: このラウンドでは、トラフィックの80%がエクスペリエンスCおよびD(それぞれ40%のエクスペリエンス)に配分されます。トラフィックの 20%がランダムに配分されます。つまり、エクスペリエンス A、B、C および D のそれぞれがトラフィックの 5%を獲得します。このラウンドでは、エクスペリエンス C のパフォーマンスが優れています。
|
![]() |
ラウンド n:アクティビティが進むにつれて、パフォーマンスの高いエクスペリエンスが現れ始め、勝者エクスペリエンスが現れるまでプロセスが継続されます。コンバージョン率が最高のエクスペリエンスの信頼区間が他のエクスペリエンスの信頼区間と重複しない場合、そのエクスペリエンスは勝者としてラベル付けされ、アクティビティのページとアクティビティリストにバッジが表示されます。
重要: プロセスの前の推奨結果を手動で選択すると、誤ったエクスペリエンスを選択できます。このため、アルゴリズムが勝者エクスペリエンスを決定するまで待つことをお勧めします。 |
アクティビティに2つのエクスペリエンスしかない場合、Targetが75%の信頼性の勝者エクスペリエンスを見つけるまで、両方のエクスペリエンスは均等なトラフィックを得ます。 その時点で、トラフィックの2/3が勝者に、1/3が敗者に割り当てられます。 その後、エクスペリエンスが95%の信頼性に達すると、トラフィックの90%が勝者に配分され、10%が敗者に配分されます。 長期的に偽陽性が発生するのを防ぐため(つまり、調査の維持を目的とする)、「損失」エクスペリエンスに送られるトラフィックを常に維持します。
自動配分アクティビティがアクティブ化された後は、UIから次の操作は許可されません。
詳しくは、自動配分を参照してください。手動のテストよりも速いテスト結果と高い売上高を得ることができます
自動配分機能は、詳細指標設定の 1 つ(「カウントを増分、アクティビティでユーザーを保持」)でのみ利用できる。
「カウントを増分、ユーザーをリリース、再入場を許可」および「カウントを増分、ユーザーをリリース、再入場を許可しない」の詳細指標設定はサポートされていません。
頻繁な再訪問者は、エクスペリエンスのコンバージョン率を水増しさせる可能性がある。
エクスペリエンス A を表示した訪問者が頻繁に再訪し、複数回のコンバージョンをおこなうと、エクスペリエンス A のコンバージョン率(CR)は、人為的に増加します。これを、訪問者はコンバージョンをおこないますが、頻繁には再訪しないエクスペリエンス B と比較します。結果として、A の CR は B の CR よりも優れているように見えるので、新規訪問者は、B よりも A に配分されるようになります。参加者あたり 1 回のみカウントすることを選択すると、A の CR と B の CR は同じになるかもしれません。
再訪問者がランダムに配分されると、そのコンバージョン率への影響は、より安定する傾向があります。この効果を軽減させるには、目標指標のカウント方法を参加者あたり 1 回のみに変更することを検討します。
パフォーマンスの低いものからではなく、パフォーマンスの高いものから区別する。
自動配分は、パフォーマンスの高いエクスペリエンスの間で区別する(そして勝者を見つける)のが得意です。パフォーマンスの低いエクスペリエンスの間での十分な区別がないこともあり得ます。
すべてのエクスペリエンスで統計的に有意な区別をつけたい場合は、手動のトラフィック配分モードの使用を検討してください。
時間相関のある(または文脈が変化する)コンバージョン率は、配分量をゆがめる可能性がある。
すべてのエクスペリエンスに等しく影響するので、標準的な A/B テストの間無視できる要因は、自動配分テストでは無視できません。そのアルゴリズムは、観測されたコンバージョン率に敏感です。次に、エクスペリエンスのパフォーマンスに不平等に影響する可能性のある要因の例を示します。
文脈(時間、場所、性別など)の関連性が変化するエクスペリエンス。
次に例を示します。
A/B テストはより長い期間にわたって結果を分析するので、これらは、A/B テストに比べて自動配分テストの結果をゆがめる可能性があります。
おそらくメッセージの緊急性のために、コンバージョンの遅延が変化するエクスペリエンス。
例えば、「30%セールは本日限り」は、訪問者に本日コンバージョンさせるきっかけになりますが、「初回購入は 50%オフ」は、緊急性において同じ感覚を生みません。
自動配分アクティビティを使用する際は、次のFAQと回答を参照してください。
はい。詳しくは、アクティビティ作成の自動配分アクティビティのターゲット用のAnalytics(A4T)のサポートを参照してください。
いいえ。新規訪問者のみが自動的に配分されます。再訪問者には、引き続き元のエクスペリエンスが表示されます。これにより、A/B テストの正当性を保護します。
勝者バッジが表示されるまで待った場合、アルゴリズムは 95 %の信頼性または 5 %の偽陽性率を保証します。
アクティビティのすべてのエクスペリエンスに 1,000 人以上の訪問者と 50 回以上のコンバージョンがあれば、アルゴリズムが機能し始めます。
トラフィックの 80%は自動配分を使用して配分され、トラフィックの 20%はランダムに配分されます。勝者が特定されると、トラフィックの 80%すべてが勝者に配分され、20%の一部が勝者エクスペリエンスを含むすべてのエクスペリエンスに引き続き配分されます。
はい。マルチアームバンディットでは、すべてのエクスペリエンスにわたる変更のパターンまたはコンバージョン率を調査するために、トラフィックの少なくとも 20 %が予約されます。
最適化されたすべてのエクスペリエンスが同じ遅延に直面する限り、動作は、より高速なコンバージョンサイクルのアクティビティと同じです(ただし、50 回のコンバージョンのしきい値に到達してトラフィック配分プロセスが開始するまでにより多くの時間がかかります)。
自動パーソナライゼーションは、各訪問者のプロファイル属性を使用して、最良のエクスペリエンスを判定します。その際に、そのユーザーのアクティビティを最適化するだけでなく、パーソナライズします。
一方、自動配分は、集計の勝者を提示する A/B テストです(最も一般的なエクスペリエンスですが、必ずしも各訪問者にとって最も効果的なエクスペリエンスとは限りません)。
現時点では、ロジックは、すぐにコンバージョンをおこなう訪問者やより頻繁な訪問に有利に働きます。これは、そうした訪問者が、その属するエクスペリエンスの全体的なコンバージョン率を一時的に水増しさせるためです。アルゴリズム自体は頻繁に調整されるので、コンバージョン率の増加は、各スナップショットで増幅されます。サイトに多くの再訪問者が来ると、そのコンバージョンは、潜在的にその属するエクスペリエンスの全体的なコンバージョン率を水増しさせる可能性があります。再訪問者がランダムに配分される可能性は高く、この場合、集計の効果(増加した上昇率)は安定します。この効果を軽減させるには、成功指標のカウント方法を参加者あたり 1 回のみに変更することを検討します。
既存のサンプルサイズ計算ツールを使用して、テストの実行期間の見積もりを取得できます。 (従来のA/Bテストと同様に、2オファー以上または複数のコンバージョン指標/仮説をテストする場合は、Bonferroni修正を適用します)。 この計算ツールは、従来の固定水平線A/Bテスト用に設計されており、見積もりのみを提供します。 自動配分は勝者を宣言するので、自動配分アクティビティの計算ツールの使用はオプションです。テスト結果を見るために一定の時点を選択する必要はありません。指定された値は常に統計的に有効です。 実験では、次の点が分かりました。
パフォーマンスの低いエクスペリエンスを削除する理由は、実際にはありません。 自動配分は、パフォーマンスの高いエクスペリエンスをより頻繁に提供し、パフォーマンスの低いエクスペリエンスの提供頻度を低くします。 パフォーマンスの低いエクスペリエンスをアクティビティに残しておいても、勝者を決定する速度に大きな影響はありません。
訪問者の 20% は、すべてのエクスペリエンスにランダムに配分されます。パフォーマンスの低いエクスペリエンスに供給されるトラフィックの量は最小限です(20%をエクスペリエンスの数で割った値)。
アクティビティの途中で目標指標を変更しないことをお勧めします。 Target UIを使用したアクティビティ中に目標指標を変更することは可能ですが、常に新しいアクティビティを開始する必要があります。 実行後にアクティビティの目標指標を変更した場合の動作は保証されません。
この推奨は、自動配分、自動ターゲット、Automated Personalizationの各アクティビティで、レポートソースとしてTargetまたはAnalytics (A4T)を使用します。
[!UICONTROL 自動配分]アクティビティに対して「レポートデータをリセット」オプションを使用することは推奨されません。 表示されるレポートデータは削除されますが、このオプションでは、自動配分モデルからすべてのトレーニングレコードが削除されるわけではありません。 自動配分アクティビティに「レポートデータをリセット」オプションを使用する代わりに、新しいアクティビティを作成し、元のアクティビティを非アクティブにします。 (注意:このガイダンスは、自動ターゲットとAutomated Personalizationアクティビティにも当てはまります)。
自動 配分は、デフォルトの環境でのみ記録されたトラフィックおよびコンバージョンの動作に基づいてモデルを作成します。デフォルトでは、実稼働環境がデフォルトの環境ですが、これはターゲット管理/環境で変更できます。
別の(デフォルト以外の)環境でヒットが発生した場合、デフォルトの環境で監視されているコンバージョンの動作に従ってトラフィックが分散されます。 そのヒットの結果(コンバージョンまたは非コンバージョン)は、レポートのために記録されますが、自動配分モデルでは考慮されません。
別の環境を選択すると、レポートにその環境のトラフィックとコンバージョンが表示されます。 レポートに対してデフォルトで選択される環境は、常にアカウント全体のデフォルトとして選択されます。 既定の環境は、アクティビティごとに設定することはできません。
以下のビデオは、この記事で説明する概念についてさらに詳しく説明しています。
このビデオには、トラフィック配分の設定に関する情報が含まれています。
このビデオでは、Target で 3 ステップのガイドによるワークフローを使用して A/B テストを作成する方法を説明します。自動トラフィック配分の説明は、4:45 から始まります。