このページ：パーソナライズされた最適化モデルで、機械学習を使用して、顧客、オファー、コンテキストデータ（ユースケース、アンサンブルモデルコンポーネント、データセット要件、前提、コールドスタート動作など）から学習する方法について説明します。これにより、パーソナライズされたオファーを提供し、KPI を最大化するために、使用するタイミングを決定できます。
パーソナライズされた最適化では、監視された機械学習とディープラーニングの最先端のテクノロジーを活用することで、ビジネスユーザー（マーケター）はビジネス目標を定義し、顧客データを利用してビジネス指向モデルをトレーニングし、パーソナライズされたオファーを提供して KPI を最大化できます。
パーソナライズされた最適化では、各オファーのグローバルパフォーマンスに基づいて最適化される、パーソナライズされていないランキングとは異なり、個々の顧客の属性と、その顧客に対して選択された KPI を最も推進する可能性が高いオファーとの関係を学習します。これにより、一人ひとりの顧客に最適なオファーを提供するのではなく、各プロファイルに合わせたオファーを選択できます。
ユースケースとメリット use-cases
パーソナライズされた最適化は、様々な顧客が使用可能なオファーに異なる反応をするシナリオや、オファーカタログが有意義に差別化され、頻繁に変更されないシナリオを決定するのに適しています。一般的なユースケースは次のとおりです。
- 次善のオファーの選択：複数の競合するオファーまたはプロモーションのうち、各顧客にリアルタイムで提示するものを選択します。
- コンテンツのパーソナライゼーション：web、モバイル、メール、その他のチャネルをまたいで、各顧客に対するコンテンツ（例：バナー、クリエイティブ）またはメッセージを選択します。
- オーディエンスに応じたパーソナライゼーション：顧客が誰であるかと、インタラクションのコンテキストをレコメンデーションに反映できるように、オーディエンスメンバーシップとコンテキストシグナルを組み込みます。
- 売上高と価値の最適化：クリック数やコンバージョン数などのバイナリ結果に加えて、売上高や顧客のライフタイムバリューなどの継続的な結果に向けて最適化します。
主なメリット：
- グローバルに最適な単一のオファーではなく、各顧客が最も反応する可能性の高いオファーを提供して、選択したビジネス KPI を最大化します。
- 新しいインタラクションデータの到着に合わせて継続的に適応し、テストが不十分なオファーの探索と実績のあるパフォーマーの活用のバランスを取ります。
- AI モデル数式ビルダー式で直接使用できるランキングスコアにより、バイナリ指標と連続最適化指標の両方をサポートします。
- オファーと顧客の適合性を自動的に学習して、A/B テストやルールのオーサリングにかかる手作業を削減します。
データセットの要件 dataset
パーソナライズされた最適化モデルをトレーニングするには、データセットに、過去 30 日以内に 250 以上の表示イベント（例：インプレッション数）と 1 つの成功イベント（例：クリック数またはコンバージョン数）を含む 2 つ以上のオファーが必要です。
過去 30 日以内の表示イベント数が 250 回未満のオファーや、成功イベント数がないオファーは、引き続き探索トラフィックに含まれる実施要件が満たされます。また、これらはパーソナライゼーショントラフィックに含まれる実施要件が満たされますが、必要な最小限の表示回数や成功イベント数を満たし、モデルが再トレーニングされるまでは、決定での予測スコアが最も低いオファーと同等に処理されます。
パーソナライズされた最適化モデルが初めてトレーニングされるまで、パーソナライズされた最適化モデルを利用した選択戦略内のオファーはランダムに提供されます。
仕組み how
モデルでは、オファー、ユーザー情報およびコンテキスト情報間の複雑な機能インタラクションを学習し、パーソナライズされたオファーをエンドユーザーに推奨します。 機能は、モデルへの入力です。
次の 3 種類の機能があります。
このモデルには次の 2 つのフェーズがあります。
- オフラインモデルトレーニングフェーズでは、履歴データで機能インタラクションを学習および記憶することによってモデルをトレーニングします。
- オンライン推論フェーズでは、モデルで生成されたリアルタイムスコアに基づいて候補オファーをランク付けします。ユーザーやオファーの機能を組み込むのが困難な従来の協調フィルタリング手法とは異なり、パーソナライズされた最適化はディープラーニングベースのレコメンデーション手法であり、複雑な非線形の機能インタラクションパターンを含めて学習できます。
このモデルは、バイナリ変数（クリック数やコンバージョン数など）に加え、連続的な変数（売上高や顧客のライフタイムバリューなど）の最適化をサポートします。クリック数などのバイナリ指標の予測値は、常 に0～1 の間になります。注文値などの連続指標の予測値は、常に 0 以上の数値になります。ランキングスコアは正規化され、数式や比較で使用される際に、両方の指標タイプで一貫した動作を確保します。
実例 illustrative-example
バイナリ応答（コンバージョン） binary-response
ユーザーとオファー間の過去のインタラクションに関する、簡素化されたデータセットを考慮します。各行には、表示されたオファーが記録されます。2 つの顧客シグナルは、ロイヤルティ層（高= 1）および顧客が最近メールを開封したかどうか（はい= 1）と、顧客がコンバージョンしたかどうか（はい= 1）です。
オファー A では、両方のシグナルが一致する（高い場合も低い場合も）場合、コンバージョンの可能性が高くなります。オファー B では、ロイヤルティ層に関係なく、メールが開封された場合、コンバージョンの可能性が高くなります。学習したパターンに基づいて、このモデルは各顧客のシグナルに基づいて、より優れたオファーを予測できます。
図 1：ハイライト表示された不一致の行で、シグナルが一致せず、コンバージョンしなかった場合にオファー A が表示されます。学習したパターンに基づいて、オファー B は次回の顧客に対するレコメンデーションとして最適です。
これは、過去の機能インタラクションを学習および記憶し、適用して、各顧客向けのパーソナライズされた予測を生成するこのアプローチの本質です。
継続的応答（売上高） continuous-response
同じ考え方が継続的な成果にも及んでいます。このモデルは、顧客がコンバージョンに至るかどうかを予測する代わりに、オファーと顧客セグメントごとに連続的な値（予想売上）を予測し、その予測値に基づいてオファーをランク付けします。
図 2：4 つの顧客セグメントをまたいだ 2 つのオファーの予測売上高。メールを開封したロイヤルティの高い顧客に対しては、オファー A が最も多くの売上高をもたらすことが期待されています。メールを開封したロイヤルティの低い顧客に対しては、オファー B が優れた選択肢となります。モデルは、すべての顧客に 1 つのルールを適用するのではなく、各セグメントに対して最も予測値の高いオファーを選択します。
アンサンブルモデルコンポーネント ensemble
パーソナライズされた最適化は、アンサンブルモデルとして提供されます。いくつかの補完的なモデルアームが一緒に動作し、監督層が各アームがどれだけのライブトラフィックを受け取るかを決定します。このデザインにより、システムは 2 つの目標を同時に追求できます。最もパフォーマンスの高いオファーを学習する（探索）と、パフォーマンスの高いオファーを提供する（活用）ことです。
探索と活用のバランス
あらゆる決定システムは、情報を収集するためにテストが不十分なオファーを探索することと、実績のあるオファーを活用して即座にリターンを最大化することの間で、トレードオフに直面します。探索のトラフィックが少なすぎると、潜在的な可能性の高いオファーが見過ごされてしまいます。逆に多すぎると、既にパフォーマンスを発揮しているオファーによる向上を犠牲にすることになります。アンサンブルは、最小限の探索フロアを保持しながら、時間の経過と共に残りのトラフィックをよりパフォーマンスの高いパーソナライズされたアームへとシフトさせることで、このバランスを自動的に管理します。
アンサンブルは、次の 4 つのトラフィックアームで構成されています。
均一ランダム（探索アーム） uniform-random
均一ランダムアームは、実施要件を満たすオファーの中からランダムに顧客にオファーを割り当てます。特定のオファーを優遇しないので、カタログ全体をまたいで顧客の反応について偏りのないデータ（パーソナライズアームが学習するための生のマテリアル）を生成します。最初のモデルがトレーニングされる前にアクティブな唯一のアームであり、トレーニング後もシステムが学習を継続できるように、最小限の探索フロアを引き続き保持します。
- 初期化時：トラフィックの 100％。
- 最初のトレーニング実行が成功した後：オファーごとに確認されたインプレッションとコンバージョンのイベント数に応じて、トラフィックの 5～20％（最小値）、最大 85％。
ニューラルネットワーク（パーソナライズされたアーム） neural-network
ニューラルネットワークは、顧客の属性やオーディエンスメンバーシップに基づいて、その顧客に最適なオファーを予測するパーソナライズされたアームです。オファー、顧客の特徴、コンテキストの間の複雑で非線形なインタラクションを学習し、多数の特徴量をまたいで微妙なパターンを捉えるのに適しています。
- 初期化時：トラフィックの 0％。
- 最初のトレーニング実行が成功した後：トラフィックの 5％（最小値）、最大 85％。
コンテキストバンディット（パーソナライズされたアーム） contextual-bandit
コンテキストバンディットは、2 番目のパーソナライズされたアームです。これもオーディエンスメンバーシップに基づいて各顧客に最適なオファーを予測しますが、配信を行いながら学習とパフォーマンスのバランスを継続的に調整するバンディットアプローチを採用しています。ニューラルネットワークと併用することで、アンサンブル全体として、これら 2 つの異なるパーソナライズされた手法の強みを活用できます。
- 初期化時：トラフィックの 0％。
- 最初のトレーニング実行が成功した後：トラフィックの 5％（最小値）、最大 85％。
新規オファーブースター（パーソナライズされていないアーム） new-offer-booster
新規オファーブースターは、トンプソンサンプリングを使用した全体勝者バンディット（パーソナライズされていない）です。モデルのルックバック期間内でのインプレッションイベント数のレコードが少ない新規オファーのパフォーマンスについて楽観的な前提を適用します。これにより、有望な新規オファーがその実力を証明するために必要な初期露出を確保できます。これは、新規オファーや、パフォーマンスは高いものの実施要件を満たす限定的なオファーに対して、モデルが十分なトラフィックを誘導できないという既知のコールドスタートの欠点を対処するものです。
- 真のインプレッションやコンバージョンのデータが収集されるにつれて、各オファーの推定パフォーマンスは急速に真の基になるパフォーマンスへとアプローチし、楽観的な前提による影響はほぼゼロになります。
- 相対的に新しいオファーが存在しない場合（例：すべてのオファーのインプレッション数が同程度であるか、すべて 1,000 回以上のインプレッション数がある場合）、楽観的な仮定による影響はほぼゼロとなり、このアームは実質的に、パーソナライズされていない全体勝者モデルとして機能します。
- 初期化時：トラフィックの 0％。
- 最初のトレーニング実行が成功した後：トラフィックの 5％。
アームをまたいだトラフィックの割り当ての仕組み traffic-allocation
初期化時では、まだモデルのトレーニングが行われていないので、トラフィックの 100％は均一ランダムベースライン（サンプリング対象となる学習済み分布を持つ唯一のアーム）に割り当てられます。最初のトレーニング実行が成功した後は、各アームに最小限のトラフィックフロア（5％）が割り当てられ、残りのトラフィックは確認されたパフォーマンスに基づいて監督者バンディットによって割り当てられます。モデルのトレーニングが繰り返されるにつれて、トラフィックは最もパフォーマンスの高いアームへと収束していき、最終的には最大で 85％のトラフィックが割り当てられるようになります。
図 3：初期化時および連続するトレーニングラウンドでの 4 つのアンサンブルアーム間のトラフィック配分の推移例。初期化時では、すべてのトラフィックがランダムベースラインに割り当てられます。 各トレーニング実行後、上位のトンプソンサンプリングバンディットが、最小 5％のトラフィックを維持しながら、よりパフォーマンスの高いアームへと配分をシフトさせていきます。実際の配分は、アームの確認されたパフォーマンスに応じて異なります。
主なモデルの前提と制限事項 key
パーソナライズされた最適化を使用する利点を最大限に活かすために、いくつかの主な前提と制限事項に注意する必要があります。
- ユーザーが検討中のオファー間で様々な環境設定を使用できるよう、オファーは十分に異なります。 オファーが類似しすぎる場合、応答が一見ランダムに見えるので、結果として得られるモデルの影響は少なくなります。
例えば、銀行に色の違いのみがある 2 つのクレジットカードオファーがある場合、どのカードを推奨するかは問題になりませんが、各カードの条件が異なる場合、これは特定の顧客が 1 つを選択する理由の根拠となり、より影響力のあるモデルを作成するのに十分なオファー間の違いが得られます。 - ユーザートラフィックの構成が安定しています。 モデルのトレーニングと予測中にユーザートラフィックの構成が大幅に変化すると、モデルのパフォーマンスが低下する可能性があります。 例えば、モデルのトレーニングフェーズで、オーディエンス A のユーザーのデータしか利用できない場合、トレーニング済みのモデルを使用してオーディエンス B のユーザーの予測を生成すると、モデルのパフォーマンスに影響する可能性があります。
- オファーのパフォーマンスは短期間に大幅に変化するものではありません。このモデルは毎週更新され、モデルの更新に伴ってパフォーマンスの変化が伝えられます。 例えば、ある製品は以前は非常に人気がありましたが、公開レポートでその製品が健康に有害であることが特定されると、急速に人気がなくなりました。 このシナリオでは、ユーザーの行動の変化でモデルが更新されるまで、モデルは引き続きこの製品を予測できます。
コールドスタートの問題 cold-start
レコメンデーションを行うのに十分なデータがない場合に、コールドスタートの問題が発生します。 パーソナライズされた最適化の場合、4 種類のコールドスタートの問題が発生します。
- 履歴データを含まない新しい AI モデルを作成した後、オファーは必要なデータを収集するために一定期間ランダムに提供され、そのデータは最初のモデルのトレーニングに使用されます。
- 最初の AI モデルがリリースされた後、すべてのトラフィックの一部は均一ランダム探索に割り当てられ、残りはモデルのレコメンデーションに使用されます。探索および活用バンディットコンポーネント間のトラフィック分布は、オファー数やパフォーマンスしきい値などの要因に基づいて自動的に調整されます。
- AI ランキングモデルに関連付けられた戦略で選択された オファーコレクションに新規オファーが追加 されると、これらのオファーは（60 分以内に）均一ランダムおよび新規オファーブースターモデルの両方で探索の実施要件を満たす候補となります。次回のスケジュールされた再トレーニング実行中に、新規オファーブースターモデルアームでオファーの推定パフォーマンスが更新され、インプレッション数やクリック数のしきい値を満たした場合、パーソナライズされたモデルアームの実施要件として含まれるようになります。
- AI ランキングモデルに関連付けられた選択戦略に紐づく 既存のオーディエンスセットに新しいプロファイルが追加 されると、これらはオーディエンスセット自体からパーソナライゼーション属性を継承します。そのため、コールドスタートの問題に直面することなく、最初からこれらの属性に基づいたパーソナライズされたオファーを受け取ることができます。
再トレーニング re-training
最新の機能インタラクションを学習し、モデルパフォーマンスの低下を軽減するために、モデルの再トレーニングが毎週行われます。 トレーニングのステータスとモデルのパフォーマンスを監視するには、AI モデル監視を参照してください。