モデルドリフトの検出
モデルのドリフト検出を使用すると、モデルがドリフトし始めたときに自動的にアラートが表示されます。 このアラートにより、他のチームに依存して手動でドリフトを判断する必要がなくなり、遅延が減少します。
最適なパフォーマンスを維持するために、モデルを即座に再トレーニングします。
機能、コンポーネントおよび利点
モデルがドリフトを開始すると、モデルの将来のスコアの精度に影響を与えるパフォーマンスの低下に悩まされます。
Mix Modelerのモデルドリフト検出は、AI を使用してモデルをモニタリングし、任意のモデルのドリフトを検出し、ドリフトを経験するモデルを再訓練するように求めます。
この機能では、次のコンポーネントを使用します。
- ドリフトが発生したモデルを開くたびに表示される通知ダイアログ
- モデル診断でのドリフトのビジュアライゼーション。
- ドリフトモデルを再トレーニングするための実用的な次の手順。
モデルドリフト検出の主なメリットは次のとおりです。
- モデルを手動で監視して、ドリフトの可能性がないか確認する必要はありません。
- モデル診断におけるドリフトビジュアライゼーションを通じて、透明性と信頼性を確保します。
- データサイエンスチームの支援を必要とせずに、モデルのパフォーマンスをすばやく向上させることができます。
モデルインターフェイス
Mix Modeler内でのモデルドリフト検出の仕組みを見てみましょう。 左側のパネルから「モデル」を選択して、現在のモデルの概要を確認します。
このチュートリアルには、ドリフトが実際の機能を説明するために人為的に導入されたモデルが含まれています。 実際には、あらゆる種類のモデルは時間の経過とともにドリフトの影響を受けやすくなります。 モデルの変動は、基礎となるデータや条件の変化により、モデルの予測の正確性が時間の経過と共に低下し、パフォーマンスが低下したときに発生します。
作成したモデルが対象となる場合は、Mix Modelerによって自動的にフラグが設定されるので、アクションを実行できます。
モデルインサイト
Mix Modelerでは、モデルはマーケティングと要因データに基づいてトレーニングされます。 新しい増分マーケティングデータまたは要因データが使用可能になると、新しいデータをトレーニングセットに組み込むことでモデルのスコアを変更できます。これにより、モデルの基本構造を変更せずに、時間の経過と共にモデルをスマートにすることができます。 再トレーニングは、モデル自体を更新して、さらに一歩進みます。例えば、マーケティングまたは要素データセットを追加または削除したり（新しいチャネルまたは要素を導入するなど）、モデルの構造を変更して、市場のダイナミクスやマーケティング戦略のより根本的なシフトを反映させます。 多くの場合、モデルの変動は、単に新しいデータを蓄積するのではなく、市場力学やマーケティング戦略のより根本的な変化を反映しており、モデルの構造を現在の現実に合わせておくために再訓練が必要になります。
モデルを選択してモデルインサイトを調べると、AI 対応のモデルドリフト検出がモデルに適用されます。 ドリフトが検出されると、自動的に通知されます。 「モデルドリフトの検出」ダイアログには、モデルにドリフトがあるためパフォーマンスの低下が発生していることが表示されます。 これはモデルの将来のスコアの精度に影響するので、モデルが再び正確で信頼性のあるものになるように再トレーニングすることをお勧めします。
[ キャンセル ] を選択すると、今のところモデルのドリフト警告を解除できます。 次回モデルを開くと、このダイアログが再び表示されます。
後で通知を受け取るように選択することもできます。 次回、新しいブラウザーセッションを開くと、モデルドリフト警告が再び表示されます。
または、「再トレーニング」を選択してドリフトを解決することもできます。 「再トレーニング」を選択すると、Mix Modelerで使用可能にした新しいデータを使用して、モデルが直ちに再トレーニングされます。 例えば、更新された概要、要因、イベントのデータを含む、Mix Modelerに追加した新しいデータセットなどです。 モデルが再び正確で信頼性の高いものになるように、これらの新しいデータすべてに基づいてモデルが再トレーニングされます。
モデル診断
モデル診断は、Mix Modelerに固有の機能です。 「診断」タブのビジュアライゼーションとテーブルを使用すると、「内部」でモデルがどのように実行されるかを調べることができます。 例えば、モデルの平均予測誤差の定量化に一般的に使用される、平均絶対誤差率を調べることができます。 または、モデルのパフォーマンスを評価する標準的な指標である二乗平均誤差の根本を調べます。
モデルのドリフトが検出されると、バナーが表示されます。 バナーはモデルの再トレーニングを勧めます。 また、アトリビューションスコアが更新されるので、モデルのスコアリングを再度検討する必要があります。
さらに、モデル評価のビジュアライゼーションでは、モデルのドリフトが発生した期間がオレンジ色の影の背景で示されます。 予測エラーが増加し、モデルの適合が悪化していることを示す特定の条件が満たされると、モデルドリフトがトリガーされます。 ビジュアライゼーション内の任意のデータポイントにポインタを合わせると、その特定の日付について、より多くのモデルドリフトの詳細を含むポップアップが表示されます。
鉄道模型
「モデルドリフト検出」 ダイアログでモデルを直ちに再トレーニングしないことが選択されている場合は、メインの「モデル」 インタフェースからモデルを再トレーニングできます。
特定のモデルの「詳細」ボタンを選択します。 次に、右クリック メニューから [ トレーニング ] を選択して、モデルをすぐに再トレーニングします。
まとめ
Adobe Mix Modelerのモデルドリフト検出により、制御が可能です。 自動アラート、即時の再トレーニング、常時稼動のモデル・パフォーマンスを提供します。
このチュートリアルをご覧いただきありがとうございます。 Mix Modelerのモデルドリフト検知機能を存分にご活用ください。