AI モデルを監視する ai-model-observability
マーケター、データサイエンティスト、意思決定管理者のいずれであっても、パーソナライズされた最適化モデルのパフォーマンスと行動を把握することで、AIを活用して、顧客一人ひとりに最適なオファーを選択することができます。
これを行うには、Journey OptimizerでAI モデルの正常性、トレーニング状態、進化を直接監視できます。
これにより、モデルが機能しているかどうか、最後にトレーニングされたとき、トレーニング中に何が起こったのか、ビジネス成果（コンバージョンや収益など）をどのように促進しているのか、そしてモデルが機能していないときにトラブルシューティングするのかを明確に把握できます。
➡️ この機能をビデオで確認
トレーニングステータスの表示 from-ai-model-list
モデルが公開されると、継続的なライフサイクルに入ります。データが収集され、モデルが定期的に再訓練されて、オファーのランキングが最適化されます。 パーソナライズされた最適化モデルのトレーニング状況は、AI モデルリストで確認できます。
-
Decisioning > 戦略設定 > AI モデルに移動して、AI モデルインベントリを開きます。
-
利用可能なすべてのAI モデルとそのステータスを表示できます。
-
パーソナライズされた最適化タイプのLive AI モデルごとに、次の2つの列が表示されます。
- 前回のトレーニングジョブが実行された場合（前回のトレーニング）、および
- 各モデルが正常にトレーニングされたかどうか（トレーニング結果）。
これにより、さらなる調査やトラブルシューティングが必要なモデルを素早く特定できます。
モデルステータスレポートへのアクセス access-ai-model-details
リストからパーソナライズされた最適化AI モデルをクリックします。 そこから、以下に示す要素を表示できます。
-
現在デプロイされているモデル – このセクションには、現在デプロイされているモデル、デプロイされた日時、使用するデータの日付範囲、追加およびパーソナライズされている決定項目（オファー）の数、サブモデル間の現在のトラフィック配分が表示されます。
この例では、モデルは5つの決定項目でトレーニングされ、モデルには3つの決定項目についてパーソナライズされた予測を作成するのに十分なトラフィックがあります。 残りの2つの決定項目はランダムに提供されます。
また、このモデルでは現在、パーソナライズされたニューラルネットワークに対するトラフィックの40%、コンテキストに基づくバンディットに対するトラフィックの40%、ランダムな探索に対するトラフィックの20%を割り当てています。
-
前回のトレーニング ジョブ – このセクションには、前回のトレーニング ジョブのステータス、実行時、およびエラーメッセージが表示されます。 エラー状態について詳しく見る
この例では、デプロイされたモデルが想定どおりにトレーニングジョブと一致することが確認できます。
-
プロパティ – このセクションには、使用されるデータセット、最適化指標、パーソナライズされた最適化モデルのトレーニングに使用されるオーディエンスなど、モデルのプロパティが表示されます。
プロパティを編集をクリックして、これらの要素を変更します。 AI モデルの作成画面にリダイレクトされます。 詳細情報
-
Model performance – このセクションでは、各サブモデルのトラフィック配分やコンバージョン率など、モデルの各アームのパフォーマンスを経時的に示します。 過去7日間と 過去30日間 を切り替えることができます。 上昇率と統計的有意性は、モデルが実際にマーケティング成果を向上させるかどうかを判断するための重要な指標です。
この例では、過去30日間で、パーソナライズされたサブモデルはコンバージョン率を60%以上向上させ、この上昇は統計的に有意です。つまり、このAI モデルがビジネスにインパクトを与えていることがわかります。
-
モデルのトラフィック配分 – このセクションでは、モデルが時間の経過とともにどのように進化してきたかを示します。 モデルが最初にデプロイされた場合、オファーデータがまだ収集されていないため、トラフィックの100%はランダムです。 最初のリトレーニングの後、トラフィックは通常、パーソナライズされたアームに移行します。
この例では、モデルが時間をかけて再訓練されたため、トラフィック配分が100% ランダム探索からニューラルネットワークとコンテクスト型バンディットトラフィックに移行したことがわかります。
トレーニングエラーについて check-for-error-states
前回のトレーニングジョブが失敗したパーソナライズされた最適化AI モデルのエラーの詳細を表示するには、次の手順に従います。
-
リストからモデルをクリックします。 モデルのステータスの詳細が表示されます。
この例では、最後のトレーニングジョブが失敗したため、モデルがデプロイされていないことがわかります。
note NOTE モデルがデプロイされていない場合、決定リクエストは均一なランダムトラフィック割り当てを使用して提供されます。 -
「最後のトレーニングジョブ」セクションでエラーの詳細を確認します。
通常、このモデルに対して選択したデータセットにフィードバックイベントがない場合、トレーニングジョブは失敗します。 つまり、データセットにデータを入力するか、適切なコンバージョンイベントを含む新しいデータセットを選択する必要があります。
-
モデルの プロパティ で選択されているデータセットを確認できます。 「プロパティを編集」をクリックして、別のデータセットを選択します。 詳細情報
よくある質問 faq
各モデルアームのGini インデックスは、最適化指標がバイナリであるか連続しているかに応じて異なる計算されます。
バイナリ最適化指標 （クリック数、注文数など）: Gini インデックスは、通常はROC AUCまたは簡単にAUCと呼ばれる、受信者 – 操作特性（ROC）曲線の曲線（AUC）下の領域（AUC）に基づいて計算されます。 ROC AUCの範囲は、0.5 （予測力がゼロのランダムモデル）から1.0 （完全予測力）です。 ROC AUCは、Gini = 2 x （ROC AUC） - 1という式を使用してGini インデックスに変換されます。
継続的最適化指標 （収益、注文値など）: ジニ指数は、モデルの累積予測陽性対母集団の累積真の陽性値に関連するローレンツ曲線の下の領域に基づいて計算されます。 ローレンツ曲線の下の領域は0.0 （完全な予測力）から0.5 （予測力がゼロのランダムモデル）の範囲です。 Lorenz AUCは、Gini = 1 - 2 x （Lorenz AUC）という式を使用してGini インデックスに変換されます。
チュートリアルビデオ video
AI ランキング モデルを監視し、Journey Optimizerでトレーニングの状態とパフォーマンスを解釈する方法について説明します。