Überwachen Ihrer KI-Modelle ai-model-observability
Egal, ob Sie Marketing-Experte, Datenwissenschaftler oder Entscheidungs-Administrator sind, wenn Sie verstehen, wie Ihre personalisierten Optimierungsmodelle funktionieren und sich verhalten, können Sie mit KI für jeden Kunden die besten Angebote auswählen.
Zu diesem Zweck können Sie den Zustand, den Trainingsstatus und die Entwicklung Ihrer KI-Modelle direkt in Journey Optimizer überwachen.
Dadurch erhalten Sie einen klaren Überblick darüber, ob Ihr Modell funktioniert, wann es zuletzt trainiert wurde, was während der Schulung passiert ist, wie es Ihr Geschäftsergebnis steigert (z. B. Konversionen oder Umsatz) und wann es nicht funktioniert.
➡️ Funktion im Video kennenlernen
Anzeigen des Trainings-Status from-ai-model-list
Sobald ein Modell live geschaltet ist, tritt es in einen fortlaufenden Lebenszyklus ein: Daten werden erfasst und das Modell wird regelmäßig neu trainiert, um das Ranking der Angebote zu optimieren. Sie können den Trainings-Status Ihrer personalisierten Optimierungsmodelle in der KI-Modellliste überprüfen.
-
Gehen Sie zu Decisioning > Strategie einrichten > KI-Modelle, um das KI-Modellinventar zu öffnen.
-
Sie können alle verfügbaren KI-Modelle und deren Status anzeigen.
-
Für jedes Live-KI-Modell des Typs „Personalisierte Optimierung“ werden zwei Spalten angezeigt:
- wann der letzte Trainingsvorgang ausgeführt wurde Zuletzt trainiert und
- ob jedes Modell erfolgreich trainiert wurde oder nicht (Trainingsergebnis).
Auf diese Weise können Sie schnell Modelle identifizieren, die weitere Untersuchungen oder Fehlerbehebungen benötigen.
Zugreifen auf Modellstatusberichte access-ai-model-details
Klicken Sie in der Liste auf ein KI-Modell für die personalisierte Optimierung. Von dort aus können Sie die unten aufgeführten Elemente anzeigen:
-
Aktuell bereitgestelltes Modell - Dieser Abschnitt zeigt das aktuell bereitgestellte Modell, den Zeitpunkt der Bereitstellung, den Datumsbereich der verwendeten Daten, die Anzahl der eingeschlossenen und personalisierten Entscheidungselemente (Angebote) und die aktuelle Traffic-Zuordnung zu den Untermodellen.
In diesem Beispiel wurde das Modell auf fünf Entscheidungselemente trainiert, und das Modell verfügt über genügend Traffic, um personalisierte Prognosen für drei der Entscheidungselemente zu entwickeln. Die beiden übrigen Entscheidungspunkte werden nach dem Zufallsprinzip zugestellt.
Sie können auch sehen, dass das Modell derzeit 40 % des Traffics dem personalisierten neuronalen Netzwerk, 40 % des Traffics dem kontextuellen Bandit und 20 % des Traffics zufälliger Untersuchung zuordnet.
-
Letzter Trainingsvorgang - Dieser Abschnitt zeigt den Status des letzten Trainingsvorgangs, den Ausführungszeitpunkt sowie alle Fehlermeldungen an. Erfahren Sie mehr über Fehlerzustände
In diesem Beispiel können Sie beobachten, dass das bereitgestellte Modell erwartungsgemäß mit dem Trainings-Auftrag übereinstimmt.
-
Eigenschaften - In diesem Abschnitt werden die Eigenschaften des Modells angezeigt, z. B. der verwendete Datensatz, die Optimierungsmetrik und die Zielgruppen, die zum Trainieren des personalisierten Optimierungsmodells verwendet werden.
Klicken Sie auf Eigenschaften bearbeiten, um diese Elemente zu ändern. Sie werden zum Bildschirm KI-Modell erstellen weitergeleitet. Weitere Informationen
-
Model performance - Dieser Abschnitt zeigt die Leistung der einzelnen Modellarme im Zeitverlauf, wie z. B. die Traffic-Zuordnung und die Konversionsrate für jedes Untermodell. Sie können zwischen den letzten 7 Tagen und den letzten 30 Tagen wechseln. Die Steigerung und die statistische Signifikanz sind die Schlüsselindikatoren dafür, ob das Modell tatsächlich Ihr Marketing-Ergebnis verbessert.
In diesem Beispiel sehen Sie, dass die personalisierten Untermodelle in den letzten 30 Tagen eine Steigerung der Konversionsrate um mehr als 60 % erzielten. Diese Steigerung ist statistisch signifikant, was bedeutet, dass dieses KI-Modell eine Auswirkung auf Ihr Unternehmen hat.
-
Traffic-Zuordnung im Zeitverlauf modellieren - In diesem Abschnitt wird die Entwicklung des Modells im Zeitverlauf dargestellt. Bei der ersten Bereitstellung eines Modells werden 100 % des Traffics zufällig ausgeführt, da noch keine Angebotsdaten erfasst wurden. Nach der ersten Umschulung verlagert sich der Verkehr in der Regel auf die personalisierten Arme.
In diesem Beispiel sehen Sie, dass sich die Traffic-Zuordnung von 100 % zufälliger Exploration zu neuronalem Netzwerk- und kontextuellem Bandit-Traffic verschoben hat, da das Modell im Laufe der Zeit neu trainiert wurde.
Grundlegendes zu Schulungsfehlern check-for-error-states
Gehen Sie wie folgt vor, um Fehlerdetails für ein KI-Modell für die personalisierte Optimierung anzuzeigen, dessen letzter Trainingsvorgang fehlgeschlagen ist.
-
Klicken Sie in der Liste auf das Modell. Die Details zum Modellstatus werden angezeigt.
In diesem Beispiel können Sie sehen, dass kein Modell bereitgestellt wird, da der letzte Trainings-Auftrag fehlgeschlagen ist.
note note NOTE Wenn kein Modell bereitgestellt wird, werden Entscheidungsanfragen mithilfe einer einheitlichen zufälligen Traffic-Zuordnung bereitgestellt. -
Gehen Sie durch die Fehlerdetails im Abschnitt Letzter Trainingsvorgang.
Ein Trainings-Auftrag schlägt in der Regel fehl, wenn es keine Feedback-Ereignisse in dem Datensatz gibt, den Sie für dieses Modell ausgewählt haben. Das bedeutet, dass Sie den Datensatz mit entsprechenden Konversionsereignissen füllen oder einen neuen Datensatz auswählen müssen.
-
Sie können überprüfen, welcher Datensatz in den (Eigenschaften des Modells ausgewählt. Klicken Sie Eigenschaften bearbeiten, um einen anderen Datensatz auszuwählen. Weitere Informationen
Häufig gestellte Fragen faq
Der Gini-Index für jeden Modellarm wird unterschiedlich berechnet, je nachdem, ob die Optimierungsmetrik binär oder kontinuierlich ist:
Binäre Optimierungsmetrik (z. B. Klicks, Bestellungen): Der Gini-Index wird anhand der Fläche unter der Kurve (AUC) der Receiver-Operating-Charakteristik (ROC)-Kurve berechnet, die normalerweise als ROC-AUC oder kurz einfach als AUC bezeichnet wird. Die ROC-AUC reicht von 0,5 (Zufallsmodell mit keiner Vorhersagekraft) bis 1,0 (perfekte Vorhersagekraft). ROC AUC wird mithilfe der Formel Gini = 2 x (ROC AUC) - 1 in einen Gini-Index umgewandelt.
Metrik zur kontinuierlichen Optimierung (z. B. Umsatz, Bestellwert): Der Gini-Index wird anhand der Fläche unter der Lorenz-Kurve berechnet, die den kumulativen prognostizierten Positiven des Modells im Vergleich zu den kumulativen echten Positiven in der Population zugeordnet ist. Die Fläche unter der Lorenz-Kurve reicht von 0,0 (perfekte Vorhersagekraft) bis 0,5 (Zufallsmodell mit Null Vorhersagekraft). Die Lorenz-AUC wird mithilfe der Formel Gini = 1 - 2 x (Lorenz-AUC) in einen Gini-Index umgewandelt.
Anleitungsvideo video
Erfahren Sie, wie Sie Ihre KI-Ranking-Modelle überwachen und den Trainings-Status und die Leistung in Journey Optimizer interpretieren.