AI モデルの監視 ai-model-observability
マーケター、データサイエンティスト、意思決定管理者のいずれであっても、パーソナライズされた最適化モデルのパフォーマンスと動作を理解することで、AI を使用して各顧客に最適なオファーを選択できます。
それには、AI モデルのヘルス、トレーニングステータスおよび進化を Journey Optimizer で直接監視できます。
これにより、モデルが機能しているかどうか、最後にトレーニングされたとき、トレーニング中に何が起こったか、ビジネス成果を促進している方法（コンバージョンや売上高など）、機能していないときのトラブルシューティングを明確に把握でき す。
➡️ この機能をビデオで確認
トレーニングステータスの表示 from-ai-model-list
モデルが運用を開始するように設定されると、継続的なライフサイクルが開始されます。データが収集され、オファーのランキングを最適化するためにモデルが定期的に再トレーニングされます。 パーソナライズされた最適化モデルのトレーニングステータスは、AI モデルリストで確認できます。
-
決定 / 戦略設定 / AI モデル に移動して、AI モデルインベントリを開きます。
-
使用可能なすべての AI モデルとそのステータスが表示されます。
-
パーソナライズされた最適化タイプの ライブ AI モデルごとに、2 つの列が表示されます。
- 最後のトレーニングジョブが実行された日時（最後のトレーニング）
- 各モデルが正常にトレーニングされたかどうか（トレーニング結果）。
これにより、さらに調査やトラブルシューティングが必要なモデルをすばやく特定できます。
モデルステータスレポートへのアクセス access-ai-model-details
リストからパーソナライズされた最適化 AI モデルをクリックします。 ここから、以下にリストされている要素を表示できます。
-
現在デプロイされているモデル – このセクションには、現在デプロイされているモデル、デプロイ日時、使用するデータの日付範囲、含まれてパーソナライズされている決定項目（オファー）の数、サブモデル間の現在のトラフィック配分が表示されます 。
この例では、モデルは 5 つの決定項目に基づいてトレーニングされ、モデルには、3 つの決定項目に対するパーソナライズされた予測を開発するのに十分なトラフィックがあります。 残りの 2 つの決定項目は、ランダムに提供されます。
また、モデルでは現在、トラフィックの 40% をパーソナライズされたニューラルネットワークに、トラフィックの 40% をコンテキストバンディットに、トラフィックの 20% をランダム探索に割り当てています。
-
前回のトレーニングジョブ – このセクションには、前回のトレーニングジョブのステータス、実行日時およびエラーメッセージが表示されます。 エラー状態の詳細
この例では、デプロイしたモデルが期待どおりにトレーニングジョブに一致することを確認できます。
-
プロパティ – このセクションでは、使用されるデータセット、最適化指標、パーソナライズされた最適化モデルのトレーニングに使用されるオーディエンスなど、モデルのプロパティを表示します。
プロパティを編集 をクリックして、これらの要素を変更します。 AI モデルを作成画面にリダイレクトされます。 詳細情報
-
Model performance – このセクションでは、トラフィック配分や各サブモデルのコンバージョン率など、モデルの各アームのパフォーマンスの推移を表示します。 過去 7 日間 と 過去 30 日間 を切り替えることができます。 上昇率と統計的優位差は、モデルが実際にマーケティング成果を向上させているかどうかを示す主な指標です。
この例では、過去 30 日間に、パーソナライズされたサブモデルによってコンバージョン率が 60% 以上増加しており、この増加は統計的に有意な増加であり、この AI モデルがビジネスに影響を与えていることがわかります。
-
モデルトラフィック配分の推移 – このセクションでは、モデルが時間の経過と共にどのように進化したかを示します。 オファーデータがまだ収集されていないので、モデルを最初にデプロイすると、トラフィックの 100% がランダムになります。 最初の再トレーニング後、トラフィックは通常、パーソナライズされたアームに移動します。
この例では、モデルが時間の経過と共に再トレーニングされたため、トラフィックの割り当てが 100% のランダムな探索からニューラルネットワークとコンテキストバンディットトラフィックにシフトしていることがわかります。
トレーニングエラーについて check-for-error-states
前回のトレーニングジョブが失敗した、パーソナライズされた最適化 AI モデルのエラーの詳細を表示するには、次の手順に従います。
-
リストからモデルをクリックします。 モデルのステータスの詳細が表示されます。
この例では、最後のトレーニングジョブが失敗したので、モデルがデプロイされていないことを確認できます。
note note NOTE モデルがデプロイされていない場合、決定リクエストは、均一なランダムトラフィック配分を使用して提供されます。 -
前回のトレーニングジョブ セクションで、エラーの詳細を確認します。
通常、トレーニングジョブは、このモデル用に選択したデータセットにフィードバックイベントがない場合に失敗します。 つまり、データセットにデータを入力するか、適切なコンバージョンイベントを持つ新しいデータセットを選択する必要があります。
-
モデルの プロパティ で、どのデータセットが選択されているかを確認できます。 プロパティを編集 をクリックして、別のデータセットを選択します。 詳細情報
よくある質問 faq
最適化指標がバイナリか連続かに応じて、各モデルアームのジニ インデックスの計算方法が異なります。
バイナリ最適化指標 （クリック数、注文数など）:Gini インデックスは、受信者動作特性（ROC）曲線の曲線下面積（AUC）に基づいて計算されます。通常、ROC AUC または単に AUC と呼ばれます。 ROC AUC は 0.5 （予測電力ゼロのランダムモデル）から 1.0 （完全予測電力）の範囲です。 ROC AUC は、Gini = 2 x （ROC AUC） - 1 の式を使用して Gini インデックスに変換されます。
連続最適化指標 （売上高、注文値など）：ジニ指数は、母集団におけるモデルの累積的な予測陽性と累積的な真陽性に関連するローレンツ曲線の下の領域に基づいて計算されます。 ローレンツ曲線の下の領域は、0.0 （完全予測電力）から 0.5 （予測電力ゼロのランダムモデル）の範囲です。 Gini = 1 - 2 x （Lorenz AUC）の式を使用して、Lorenz AUC を Gini インデックスに変換します。
チュートリアルビデオ video
AI ランキングモデルを監視し、トレーニングのステータスとパフォーマンスを Journey Optimizer で解釈する方法について説明します。