Auf dieser Seite: Überwachen Sie den Zustand, Trainings-Status und die Leistung Ihrer KI-Rangfolgemodelle, damit Sie sicher sein können, dass sie Ihre Geschäftsergebnisse verbessern, und führen Sie eine Fehlerbehebung durch, wenn dies nicht der Fall ist.
Egal, ob Sie im Bereich Marketing, Datenwissenschaft oder Administration arbeiten, wenn Sie verstehen, wie Ihre personalisierten Optimierungsmodelle funktionieren und sich verhalten, können Sie mit KI für jede Kundin und jeden Kunden die besten Angebote auswählen.
Zu diesem Zweck können Sie den Zustand, den Trainings-Status und die Entwicklung Ihrer KI-Modelle direkt in Journey Optimizer überwachen.
So erhalten Sie einen klaren Überblick darüber, ob Ihr Modell funktioniert, wann es zuletzt trainiert wurde, was während des Trainings geschehen ist, wie es Ihre Geschäftsergebnisse (beispielsweise Konversionen oder Umsatz) beeinflusst, und können Fehler beheben, wenn es nicht funktioniert.
➡️ Funktion im Video kennenlernen.
Anzeigen des Trainings-Status from-ai-model-list
Sobald ein Modell live geschaltet ist, tritt es in einen fortlaufenden Lebenszyklus ein: Daten werden erfasst und das Modell wird regelmäßig neu trainiert, um das Ranking der Angebote zu optimieren. Sie können den Trainings-Status Ihrer personalisierten Optimierungsmodelle in der KI-Modellliste überprüfen.
-
Gehen Sie zu Entscheidungsfindung > Strategie-Setup > KI-Modelle, um das KI-Modellinventar zu öffnen.
-
Sie können alle verfügbaren KI-Modelle und deren Status anzeigen.
-
Für jedes Live-KI-Modell des Typs „Personalisierte Optimierung“ werden zwei Spalten angezeigt:
- wann der letzte Trainings-Auftrag ausgeführt wurde (Zuletzt trainiert) und
- ob jedes Modell erfolgreich trainiert wurde oder nicht (Trainings-Ergebnis).
Auf diese Weise können Sie schnell Modelle identifizieren, die weitere Untersuchungen oder Fehlerbehebungen benötigen.
Zugreifen auf Modellstatusberichte access-ai-model-details
Klicken Sie in der Liste auf ein KI-Modell für die personalisierte Optimierung. Von dort aus können Sie die unten aufgeführten Elemente anzeigen:
-
Aktuell bereitgestelltes Modell – Dieser Abschnitt zeigt das aktuell bereitgestellte Modell, den Zeitpunkt der Bereitstellung, den Datumsbereich der verwendeten Daten, die Anzahl der eingeschlossenen und personalisierten Entscheidungselemente (Angebote) und die aktuelle Traffic-Zuordnung zu den Untermodellen.
In diesem Beispiel wurde das Modell auf fünf Entscheidungselemente trainiert, und das Modell verfügt über genügend Traffic, um personalisierte Prognosen für drei der Entscheidungselemente zu entwickeln. Die beiden übrigen Entscheidungselemente werden nach dem Zufallsprinzip bereitgestellt.
Sie können auch sehen, dass das Modell derzeit 40 % des Traffics dem personalisierten neuronalen Netzwerk, 40 % des Traffics dem kontextuellen Bandit und 20 % des Traffics der zufälligen Exploration zuordnet.
-
Letzter Trainings-Auftrag – Dieser Abschnitt zeigt den Status des letzten Trainings-Auftrags, den Ausführungszeitpunkt sowie alle Fehlermeldungen an. Weitere Informationen zu Fehlerzuständen
In diesem Beispiel können Sie beobachten, dass das bereitgestellte Modell erwartungsgemäß mit dem Trainings-Auftrag übereinstimmt.
-
Eigenschaften – In diesem Abschnitt werden die Eigenschaften des Modells angezeigt, z. B. der verwendete Datensatz, die Optimierungsmetrik und die Zielgruppen, die zum Trainieren des personalisierten Optimierungsmodells verwendet werden.
Klicken Sie auf Eigenschaften bearbeiten, um diese Elemente zu ändern. Sie werden zum Bildschirm „KI-Modell erstellen“ weitergeleitet. Weitere Informationen
-
Model performance – Dieser Abschnitt zeigt die Leistung der einzelnen Modellzweige im Zeitverlauf, wie z. B. die Traffic-Zuordnung und die Konversionsrate für jedes Untermodell. Sie können zwischen den letzten 7 Tagen und den letzten 30 Tagen wechseln. Die Steigerung und die statistische Signifikanz sind die Schlüsselindikatoren dafür, ob das Modell tatsächlich Ihr Marketing-Ergebnis verbessert.
In diesem Beispiel sehen Sie, dass die personalisierten Untermodelle in den letzten 30 Tagen eine Steigerung der Konversionsrate um mehr als 60 % erzielten. Diese Steigerung ist statistisch signifikant, was bedeutet, dass dieses KI-Modell eine Auswirkung auf Ihr Unternehmen hat.
-
Modell-Traffic-Zuordnung im Zeitverlauf – In diesem Abschnitt wird die Entwicklung des Modells im Zeitverlauf dargestellt. Bei der ersten Bereitstellung eines Modells werden 100 % des Traffics zufällig ausgeführt, da noch keine Angebotsdaten erfasst wurden. Nach der ersten Umschulung verlagert sich der Traffic auf die personalisierten Zweige.
In diesem Beispiel sehen Sie, dass sich die Traffic-Zuordnung von 100 % zufälliger Exploration zu neuronalem Netzwerk- und kontextuellem Bandit-Traffic verschoben hat, da das Modell im Laufe der Zeit neu trainiert wurde.
Grundlegendes zu Trainings-Fehlern check-for-error-states
Gehen Sie wie folgt vor, um Fehlerdetails für ein KI-Modell für die personalisierte Optimierung anzuzeigen, dessen letzter Trainings-Auftrag fehlgeschlagen ist.
-
Klicken Sie in der Liste auf das Modell. Die Details zum Modellstatus werden angezeigt.
In diesem Beispiel können Sie sehen, dass kein Modell bereitgestellt wird, da der letzte Trainings-Auftrag fehlgeschlagen ist.
note NOTE Wenn kein Modell bereitgestellt wird, werden Entscheidungsanfragen mithilfe einer einheitlichen zufälligen Traffic-Zuordnung bereitgestellt. -
Sehen Sie sich die Fehlerdetails im Abschnitt Letzter Trainings-Auftrag an.
Ein Trainings-Auftrag schlägt in der Regel fehl, wenn es keine Feedback-Ereignisse in dem Datensatz gibt, den Sie für dieses Modell ausgewählt haben. Das bedeutet, dass Sie den Datensatz mit entsprechenden Konversionsereignissen füllen oder einen neuen Datensatz auswählen müssen.
-
In den Eigenschaften des Modells können Sie überprüfen, welcher Datensatz ausgewählt ist. Klicken Sie auf Eigenschaften bearbeiten, um einen anderen Datensatz auszuwählen. Weitere Informationen
Häufig gestellte Fragen faq
Der Gini-Index wird für jeden Modellzweig unterschiedlich berechnet, je nachdem, ob die Optimierungsmetrik binär oder kontinuierlich ist:
Binäre Optimierungsmetrik (z. B. Klicks, Bestellungen): Der Gini-Index wird anhand der Fläche unter der Kurve (AUC) der Receiver-Operating-Charakteristik (ROC)-Kurve berechnet, die normalerweise als ROC-AUC oder kurz einfach als AUC bezeichnet wird. Die ROC-AUC reicht von 0,5 (Zufallsmodell ohne Vorhersagekraft) bis 1,0 (perfekte Vorhersagekraft). Die ROC-AUC wird mithilfe der Formel Gini = 2 x (ROC AUC) - 1 in einen Gini-Index umgewandelt.
Metrik zur kontinuierlichen Optimierung (z. B. Umsatz, Bestellwert): Der Gini-Index wird anhand der Fläche unter der Lorenz-Kurve berechnet, die den kumulativen prognostizierten Positiven des Modells im Vergleich zu den kumulativen echten Positiven in der Population zugeordnet ist. Die Fläche unter der Lorenz-Kurve reicht von 0,0 (perfekte Vorhersagekraft) bis 0,5 (Zufallsmodell ohne Vorhersagekraft). Die Lorenz-AUC wird mithilfe der Formel Gini = 1 - 2 x (Lorenz-AUC) in einen Gini-Index umgewandelt.
Anleitungsvideo video
Erfahren Sie, wie Sie in Journey Optimizer Ihre KI-Ranking-Modelle überwachen und den Trainings-Status und die Leistung interpretieren.