Modelldrift erkennen
Mit der Modelldrifterkennung werden Sie automatisch benachrichtigt, wenn ein Modell zu driften beginnt. Die Warnhinweise machen es überflüssig, sich auf ein anderes Team zu verlassen, um Abweichungen manuell zu ermitteln, und verringern Verzögerungen.
Trainieren Sie Ihre Modelle sofort neu, um eine optimale Leistung zu erzielen.
Funktionen, Komponenten und Vorteile
Wenn ein Modell zu driften beginnt, leidet es unter einer Leistungsbeeinträchtigung mit Auswirkungen auf die Genauigkeit der zukünftigen Bewertungen des Modells.
Die Modelldrifterkennung von Mix Modeler verwendet KI, um Ihre Modelle zu überwachen, Drift bei einem der Modelle zu erkennen und Sie aufzufordern, die Modelle, die Drift erleben, neu zu trainieren.
Die Funktion verwendet die folgenden Komponenten:
- ein Benachrichtigungsdialogfeld, wenn Sie ein Modell öffnen, bei dem eine Drift auftritt,
- eine Visualisierung der Drift in der Modelldiagnose,
- Ausführbare nächste Schritte, die Sie zum Umschulen Ihres gedrifteten Modells ausführen müssen.
Die wichtigsten Vorteile der Modelldrifterkennung sind:
- Sie müssen Modelle nicht manuell auf potenzielle Abweichungen überwachen.
- Transparenz und Vertrauen durch die Drift-Visualisierung in Ihrer Modelldiagnose.
- Sie können die Leistung Ihrer Modelle schnell verbessern, ohne die Unterstützung Ihres Datenwissenschafts-Teams zu benötigen.
Models-Benutzeroberfläche
Sehen wir uns an, wie die Modelldrifterkennung in Mix Modeler funktioniert. Wählen Sie in der linken Leiste Modelle aus, um einen Überblick über Ihre aktuellen Modelle zu erhalten.
Dieses Tutorial enthält ein Modell, in dem Drift künstlich eingeführt wurde, um die Funktion in Aktion zu veranschaulichen. In der Praxis ist jede Art von Modell anfällig für Drift im Laufe der Zeit. Eine Modellabweichung tritt auf, wenn Änderungen an den zugrunde liegenden Daten oder Bedingungen dazu führen, dass die Prognosen eines Modells im Laufe der Zeit weniger genau werden, was zu Leistungseinbußen führt.
Wenn dies mit von Ihnen erstellten Modellen geschieht, können Sie sich darauf verlassen, dass Mix Modeler sie automatisch kennzeichnet, damit Sie Maßnahmen ergreifen können.
Modelleinblicke
In Mix Modeler wird ein Modell auf Marketing- und Faktordaten trainiert. Wenn neue, inkrementelle Marketing- oder Faktordaten verfügbar werden, können Sie das Modell neu bewerten, indem Sie die neuen Daten in das Trainings-Set integrieren. So kann das Modell im Laufe der Zeit intelligenter werden, ohne die zugrunde liegende Struktur des Modells zu ändern. Die Umschulung geht einen Schritt weiter und aktualisiert das Modell selbst, indem beispielsweise Marketing- oder Faktor-Datensätze hinzugefügt oder entfernt (z. B. ein neuer Kanal oder Faktor eingeführt) oder die Struktur des Modells anderweitig geändert wird, um grundlegendere Änderungen der Marktdynamik oder Marketing-Strategie widerzuspiegeln. Häufig spiegeln Modellabweichungen grundlegendere Veränderungen in der Marktdynamik oder der Marketing-Strategie wider als einfach die Anhäufung neuer Daten, sodass eine Umschulung notwendig ist, um die Struktur des Modells an die aktuellen Realitäten anzupassen.
Wenn Sie ein Modell auswählen und die Modelleinblicke untersuchen, wird die KI-aktivierte Modelldrifterkennung für das Modell erzwungen. Und wenn Drift erkannt wird, werden Sie automatisch benachrichtigt. Das Dialogfeld Modelldrift erkannt informiert Sie darüber, dass das Modell eine Drift aufweist und daher unter Leistungseinbußen leidet. Da sich dies auf die Genauigkeit der zukünftigen Bewertungen des Modells auswirken wird, wird empfohlen, das Modell neu zu trainieren, damit es wieder genau und zuverlässig ist.
Sie können den Modelldrift-Warnhinweis vorerst schließen, indem Sie Abbrechen auswählen. Beim nächsten Öffnen des Modells wird dieses Dialogfeld erneut angezeigt.
Sie können sich auch dafür entscheiden, später erinnert zu werden. Wenn Sie das nächste Mal eine neue Browser-Sitzung öffnen, wird die Warnung zur Modellabweichung erneut angezeigt.
Alternativ können Sie die Drift durch Auswahl von „Umleiten“ beheben. Wenn Sie Neu trainieren auswählen, wird das Modell sofort mit allen neuen Daten, die Sie Mix Modeler zur Verfügung gestellt haben, neu trainiert. Beispielsweise neue Datensätze, die Sie zu Mix Modeler hinzugefügt haben, mit aktualisierten Zusammenfassungs-, Faktor- oder Ereignisdaten. Das Modell wird auf all diese neuen Daten neu trainiert, um sicherzustellen, dass das Modell wieder genau und zuverlässig wird.
Modelldiagnose
Die Modelldiagnose ist eine einzigartige Funktion von Mix Modeler. Mit den Visualisierungen und Tabellen in der Registerkarte „Diagnose“ können Sie die Leistung Ihres Modells „im Verborgenen“ untersuchen. Sie können beispielsweise den mittleren absoluten Prozentfehler untersuchen, der häufig verwendet wird, um den durchschnittlichen Prognosefehler des Modells zu quantifizieren. Oder untersuchen Sie den quadratischen Mittelwert-Fehler als Standardmetrik, um die Leistung des Modells zu bewerten.
Wenn Modelldrift erkannt wird, wird ein Banner angezeigt. Das Banner empfiehlt, das Modell neu zu trainieren. Und auch zu erwägen, das Modell erneut zu bewerten, da dies sicherstellt, dass auch Attributionsbewertungen aktualisiert werden.
Darüber hinaus können Sie in der Visualisierung der Modellbewertung den Zeitraum sehen, in dem die Modelldrift auftritt, angegeben durch den orange schattierten Hintergrund. Die Modellabweichung wird ausgelöst, wenn bestimmte Bedingungen erfüllt sind, die darauf hindeuten, dass die Prognosefehler zunehmen und die Modellanpassung abnimmt. Sie können den Mauszeiger über einen beliebigen Datenpunkt in der Visualisierung bewegen, um ein Popup mit weiteren Details zur Modellabweichung für dieses bestimmte Datum anzuzeigen.
Zugmodell
Wenn Sie das Modell nicht sofort über das Dialogfeld Modelldrift erkannt neu trainieren möchten, können Sie das Modell über die Hauptbenutzeroberfläche von Models neu trainieren.
Wählen Sie die Schaltfläche Mehr für ein bestimmtes Modell. Wählen Sie dann im Kontextmenü die Option Trainieren aus, um das Modell sofort neu zu trainieren.
Zusammenfassung
Mit der Modelldrifterkennung von Adobe Mix Modeler behalten Sie die Kontrolle. Durch automatische Warnhinweise, sofortiges Umschulen und ständig verfügbare Modellleistung.
Vielen Dank für das Ansehen dieses Tutorials. Und genießen Sie die Verwendung der Modelldrifterkennung von Mix Modeler!