このページ：自動最適化強化学習モデルが、クリックスルー率を最大化するためにオファーを探索およびランク付けする方法について説明します。これにより、シングルチャネル最適化に使用するタイミングを決定できます。
Adobe Journey Optimizer の自動最適化モデルは、実施要件ルールやフリークエンシーキャップを適用した後に、すべてのオファー（またはコンテンツ）を探索し、予測クリックスルー率（CTR）に基づいて各項目をランク付けして、オファー CTR を最大化する強化学習モデルです。
ユースケースとメリット use-cases-benefits
自動最適化は、すばやく簡単な設定を行う場合、全体的に効果の高いオファーを見つける場合、単一のチャネル内でオファークリック数を最大化する場合にいつでも使用できます。例：
- Web ページに挿入する最適なオファーを選択し、オファークリック数を最大化する。
- メールに挿入する最適なオファーを選択し、オファークリック数を最大化する。
- モバイルアプリの画面に挿入する最適なオファーを選択し、オファークリック数を最大化する。
自動最適化は、次のような場合に最適な選択肢です。
- オファーが時間の経過と共にまたは頻繁に変更される：自動最適化モデルは 6 時間ごとに再トレーニングされます。
要件と制限事項 requirements-limitations
自動最適化には、次の要件と制限があります。
- 自動最適化には、オファー表示イベント、オファークリックイベント、エクスペリエンスイベント - 提案インタラクションフィールドグループを含むトレーニングデータセットが必要です。
- 自動最適化モデルは、Batch Decisioning API へのリクエストでは利用できません。
- 自動最適化は、オファークリック数を常に最適化します。オファークリック数以外の目標のために最大化するには、パーソナライズされた最適化モデルを使用します。
- 自動最適化は、全体的に効果の高いオファーを検索しようとするものであり、各顧客にパーソナライズされたランキングを検索するものではありません。各顧客のパーソナライズされたランキングを検索するには、パーソナライズされた最適化モデルを使用します。
自動最適化モデルをトレーニングするには、データセットが次の最小要件を満たしている必要があります。
- データセット内の 2 個以上のオファーには、過去 14 日以内に 100 回以上の表示イベント数と 5 個のクリックイベント数が必要です。
- 過去 14 日以内の表示回数が 100 回未満のオファーや、クリックイベント数が 5 個未満のオファーは、モデルによって新規オファーとして処理され、探索バンディットによってのみ提供される実施要件が満たされます。
- 過去 14 日以内の表示回数が 100 回以上のオファーと、クリックイベント数が 5 個以上のオファーは、モデルによって既存のオファーとして処理され、探索バンディットと活用バンディットの両方によって提供される実施要件が満たされます。
自動最適化モデルが初めてトレーニングされるまで、自動最適化モデルを利用した選択戦略内のオファーはランダムに提供されます。
最適化と学習のバランス balancing-optimization-learning
自動最適化は、強化学習モデルで、実際の顧客行動に基づいてオファーのクリックスルーのパフォーマンスについて学習します。強化学習モデルは、より優れた予測結果を持つアクションを選択して、目標を最大化しようとします。ただし、常にすべての顧客に最適な予測結果を示すモデルは、時間の経過と共に導入される新しい項目のパフォーマンス（いわゆる「コールドスタート問題」）について学習することはなく、顧客行動の変化に伴う他の既存の項目のパフォーマンスの変化についても学習することはありません。したがって、強化学習モデルは、一般的に探索–探索トレードオフと呼ばれるものを管理する必要があります。つまり、最適化と学習のバランスを取る必要があります。
自動最適化では、マルチアームバンディットと呼ばれる一般的なアプローチを使用して、トレードオフを管理します。マルチアームバンディットは、次に基づいてランキング決定を行います。
- 各項目のクリックスルー率の予測
- 各項目の予測クリック率の違い
- 各項目に対する予測に関するモデルの不確実性の程度。
マルチアームバンディットは、この情報とランダムな変動を利用して、実行するアクションを選択します。 自動最適化はアンサンブルアルゴリズムで、全体的なパフォーマンスを最大化しながら、すべてのオファーが適切に探索されるように、複数のマルチアームバンディットを含みます。
ランキングリクエストに応じる際に、「監督」するマルチアームバンディットは、まず、このリクエストを探索に向けて偏らせるか、活用に向けて偏らせるかを選択します。この決定は、「イプシロングリーディ」アプローチを使用して行われます。
ランキングの 2 番目のレイヤーは、2 つのトンプソンサンプリングバンディットのうちの 1 つによって実行されます。
- トラフィックの 10％は、新しいオファーやデータが制限されているオファーを推奨する可能性が高い、探索に焦点を当てたバンディットに割り当てられます。このモデルは、これらのオファーに応答する顧客行動をより詳細に把握することでメリットを得られると仮定しています。
- トラフィックの 90％は、時間の経過と共にパフォーマンスの高いオファーを一貫して推奨する可能性が高い、活用に焦点を当てたバンディットに割り当てられます。このモデルは、新しいオファーや低データのオファーが、実証されるまでパフォーマンスが低い可能性が高いと仮定しています。
技術的な意味では、これらの仮定は事前確率分布のパラメーターであり、事前分布とも呼ばれます。 オファーがより多くのディスプレイデータやクリックデータを収集するにつれて、選択した優先度の影響は小さくなり、2 つのバンディットによる予測は時間の経過と共に収束する傾向があります。
複数のバンディットを組み合わせて、探索のために専用のトラフィックを割り当てるアドビのアプローチには、いくつかのメリットがあります。
- このモデルは、最小限のデータで最新のオファーを最もすばやく学習する
- このモデルでは、すべてのオファーを継続的に学習し、時間の経過に伴う顧客行動の変化に対応する
- このモデルは、見かけ上の CTR が高いが確認はほとんどない、または見かけ上の CTR が低いが確認はほとんどなく、積極的にオファーを好まないことによりオーバーフィットしない
- このモデルは、クリックデータが少なく、履歴データの量も非常に異なるので、何百ものオファーをまたいでトラフィック割り当ての決定を処理するのに堅牢である
トンプソンサンプリング thompson-sampling
トンプソンサンプリング（ベイジアンバンディット）は、マルチアームバンディット問題に対するベイジアンアプローチです。 このモデルは、各オファーからの平均報酬 𝛍 をランダム変数として扱い、これまでに収集したデータを使用して平均報酬に関する「信念」を更新します。この「信念」は、事後確率分布によって数学的に表されます。これは、基本的に平均報酬の値の範囲と、報酬が各オファーに対してその値を持つ妥当性（または確率）です。次に、すべての決定について、これらの事後報酬分布のそれぞれからポイントをサンプリングし、サンプリングした報酬の値が最も高いオファーを選択します。
このプロセスの例を次の図に示します。ここでは 3 つの異なるオファーがあります。 最初は、データからの証拠がなく、すべてのオファーには均一な事後報酬分布があると仮定しています。各オファーの事後報酬分布からサンプルを抽出します。 オファー 2 の分布から選択されたサンプルの値が最も高くなります。 これは探索の例です。オファー 2 を表示した後、潜在的な報酬（例えば、コンバージョン/非コンバージョン）を収集し、以下で説明するようにベイズ定理を使用してオファー 2 の事後分布を更新します。 このプロセスを継続し、オファーを表示して報酬を収集するたびに事後分布を更新します。 2 番目の図では、オファー 3 が選択されています。オファー 1 の平均報酬が最も高い（事後報酬分布が最も右側にある）にもかかわらず、各分布からサンプリングするプロセスにより、一見したところ次善のオファー 3 を選択することになりました。 そうすることで、オファー 3 の真の報酬分布に関してさらに学習する機会が得られます。
より多くのサンプルが収集されるにつれ、信頼性が高まり、得られる可能性のある報酬をより正確に推定できます（より狭い報酬分布に対応しています）。 より多くの証拠を集めながら推定を更新するこのプロセスは ベイズ推定 と呼ばれます。
最終的に、あるオファー（オファー 1 など）が明確な勝者である場合、そのオファーの事後の報酬配分は他のオファーとは別になります。 この時点で、各決定に対して、オファー 1 からサンプリングされた報酬が最も高い傾向があり、このオファーを選択する確率も高くなります。 これが活用です - 私たちはオファー 1 が最適であると強く確信し、報酬を最大化するためこのオファーを選択します。
図 1：決定ごとに、事後報酬分布からポイントをサンプリングします。 サンプル値（コンバージョン率）が最も高いオファーが選択されます。 最初のフェーズでは、データからのオファーのコンバージョン率に関する証拠を持っていないので、すべてのオファーが均等に配分されます。 収集するサンプルが増えると、事後分布はより狭く、より正確になります。 最終的には、コンバージョン率の最も高いオファーが毎回選択されます。
配分を計算／更新するには、ベイズ定理を使用します。各オファー i について、これまでに収集したデータを前提として、各オファー i などの P(𝛍i | data) を計算し、報酬値𝛍 i がどの程度発生する可能性があるかを計算します。
ベイズ定理より：
事後確率 = 尤度 * 事前確率
事前確率は、出力が生成される確率に関する最初の推測です。 何らかの証拠を収集した後の確率は、事後確率と呼ばれます。
自動最適化は、バイナリ報酬（クリックの有無）を考慮するように設計されています。 この場合、尤度は N 回の試行による成功数を表し、二項分布によってモデル化されます。 一部の尤度関数では、特定の事前確率を選択すると、事後確率が事前確率と同じ分布になります。 このような事前分布は、共役事前分布と呼ばれます。 この種の事前分布により、事後分布の計算が非常に簡単になります。 ベータ分布は、二項尤度（二項報酬）の前の共役であるため、事前確率分布と事後確率分布にとっては便利で賢明な選択です。ベータ分布は、α と β の 2 つのパラメーターを取ります。これらのパラメーターは、成功数と失敗数、および次の式で求められる平均値と考えることができます。
前述の尤度関数は、s 成功（コンバージョン）と f 失敗（コンバージョンなし）の二項分布でモデル化されます。q はベータ分布の確率変数です。
事前分布はベータ分布でモデル化され、事後分布は次の形式を取ります。
探索バイアスと活用バイアス exploration-exploitation-bias
パラメーター α、βには初期値を選択する必要があります。自動最適化には、探索バイアスのトンプソンサンプリングバンディットと、活用バイアスのトンプソンサンプリングバンディットの両方が含まれますが、これらはベータ分布で異なる初期の α、β 事前分布を使用します。
一般的なトンプソンサンプリングアプローチでは、事後値は、成功数と失敗数を既存のパラメーター α、β に単純に加算することによって計算されます。自動最適化では、探索バイアスと悪用バイアスの両方のバンディットで、新しいデータと以前のデータの影響を変更するために、新しい成功と失敗に対して様々な重み付け要因を利用します。
参照 references
トンプソンサンプリングバンディットについて詳しくは、次の研究論文を参照してください。