このページ： AI ランキングモデルの健全性、トレーニングステータス、パフォーマンスを監視します。これにより、ビジネス成果の向上を確認し、改善が見られない場合はトラブルシューティングできます。
マーケター、データサイエンティスト、決定管理者であっても、パーソナライズされた最適化モデルのパフォーマンスや動作を理解することで、AI を使用して顧客ごとに最適なオファーを選択できます。
これを行うには、Journey Optimizer で AI モデルの健全性、トレーニングステータス、進化を直接監視します。
これにより、モデルが機能しているかどうか、前回にトレーニングした日時、トレーニング中に発生した内容、ビジネス成果（例：コンバージョンや売上高）を推進している仕組みを明確に把握でき、機能していない場合はトラブルシューティングできます。
トレーニングステータスの表示 from-ai-model-list
モデルは、ライブに設定されると、継続的なライフサイクルにエントリします。データが収集され、オファーのランキングを最適化するためにモデルが定期的に再トレーニングされます。パーソナライズされた最適化モデルのトレーニングステータスは、AI モデルリストで確認できます。
-
決定／戦略設定／AI モデルに移動して、AI モデル在庫を開きます。
-
使用可能なすべての AI モデルとそのステータスを表示できます。
-
パーソナライズされた最適化タイプの各ライブ AI モデルについて、次の 2 つの列が表示されます。
- 前回のトレーニングジョブが実行された日時（前回のトレーニング）
- 各モデルが正常にトレーニングされたかどうか（トレーニング結果）。
これにより、さらなる調査やトラブルシューティングが必要なモデルをすばやく特定できます。
モデルステータスレポートへのアクセス access-ai-model-details
リストからパーソナライズされた最適化 AI モデルをクリックします。 そこから、以下に示す要素を表示できます。
-
現在デプロイされているモデル - このセクションでは、現在デプロイされているモデル、デプロイされた日時、使用するデータの日付範囲、追加およびパーソナライズされている決定項目（オファー）の数、サブモデル間の現在のトラフィック配分を示します。
この例では、モデルは 5 つの決定項目でトレーニングされ、モデルには 3 つの決定項目についてパーソナライズされた予測を作成するのに十分なトラフィックがあります。残りの 2 つの決定項目はランダムに提供されます。
また、モデルでは現在、パーソナライズされたニューラルネットワークに対するトラフィックの 40％、コンテキストバンディットに対するトラフィックの 40％、ランダムな探索に対するトラフィックの 20％を割り当てていることも参照できます。
-
前回のトレーニングジョブ - このセクションでは、前回のトレーニングジョブのステータス、実行日時、エラーメッセージを示します。エラー状態の詳細情報
この例では、デプロイされるモデルが期待どおりにトレーニングジョブと一致することが確認できます。
-
プロパティ - このセクションでは、使用されるデータセット、最適化指標、パーソナライズされた最適化モデルのトレーニングに使用されるオーディエンスなど、モデルのプロパティを示します。
「プロパティを編集」をクリックして、これらの要素を変更します。 AI モデルを作成画面にリダイレクトされます。詳細情報
-
Model performance - このセクションでは、各サブモデルのトラフィック配分やコンバージョン率など、モデルの各アームのパフォーマンスの推移を示します。過去 7 日間と 過去 30 日間 を切り替えることができます。上昇率と統計的有意差は、モデルが実際にマーケティング成果を向上させるかどうかを判断するための重要な指標です。
この例では、過去 30 日間で、パーソナライズされたサブモデルがコンバージョン率を 60％以上向上させていることがわかります。この向上は統計的に有意です。つまり、この AI モデルがビジネスの影響力を推進していることがわかります。
-
モデルのトラフィック配分の推移 - このセクションでは、モデルの進化の推移を示します。 モデルが最初にデプロイされた場合、オファーデータがまだ収集されていないので、トラフィックの 100％はランダムです。最初の再トレーニングの後、トラフィックは通常、パーソナライズされたアームに移行します。
この例では、モデルが時間の経過と共に再トレーニングされたので、トラフィック配分が 100％のランダム探索からニューラルネットワークとコンテキストバンディットトラフィックに移行したことがわかります。
トレーニングエラーについて check-for-error-states
前回のトレーニングジョブが失敗した、パーソナライズされた最適化 AI モデルのエラーの詳細を表示するには、次の手順に従います。
-
リストからモデルをクリックして開きます。モデルのステータスの詳細が表示されます。
この例では、前回のトレーニングジョブが失敗したので、モデルがデプロイされていないことがわかります。
note NOTE モデルがデプロイされていない場合、決定リクエストは均一なランダムトラフィック割り当てを使用して提供されます。 -
「前回のトレーニングジョブ」セクションでエラーの詳細を確認します。
通常、このモデルに対して選択したデータセットにフィードバックイベントがない場合、トレーニングジョブは失敗します。つまり、データセットにデータを入力するか、適切なコンバージョンイベントを含む新しいデータセットを選択する必要があります。
-
モデルの プロパティ で選択されているデータセットを確認できます。「プロパティを編集」をクリックして、別のデータセットを選択します。詳細情報
よくある質問 faq
各モデルアームのジニ係数は、最適化指標がバイナリ値か継続的な値かに応じて計算方法が異なります。
バイナリ最適化指標（例：クリック数、注文数）：ジニ係数は、受信者操作特性（ROC）曲線の曲線下面積（AUC）に基づいて計算されます。通常、ROC AUC または単に AUC と呼ばれます。ROC AUC は、0.5（予測力がゼロのランダムモデル）から 1.0（完全な予測力）までの範囲です。ROC AUC は、Gini = 2 x (ROC AUC) - 1 の式を使用してジニ係数に変換されます。
継続的最適化指標（例：売上高、注文額）：ジニ係数は、モデルの累積予測陽性数と母集団の累積真陽性数に関連するローレンツ曲線下面積に基づいて計算されます。ローレンツ曲線の下の面積は、0.0（完全な予測力）から 0.5（予測力がゼロのランダムモデル）までの範囲です。ローレンツ AUC は、Gini = 1 - 2 x (ローレンツ AUC) の式を使用してジニ係数に変換されます。
チュートリアルビデオ video
Journey Optimizer で AI ランキングモデルを監視し、トレーニングステータスやパフォーマンスを解釈する方法について説明します。