Auf dieser Seite: Erfahren Sie, wie das Modell der personalisierten Optimierung maschinelles Lernen nutzt, um von Kunden-, Angebots- und kontextuellen Daten zu lernen, einschließlich der Anwendungsfälle, Ensemble-Modellkomponenten, Datensatzanforderungen, Annahmen und Kaltstart-Verhalten, sodass Sie entscheiden können, wann es zur Bereitstellung personalisierter Angebote und zur Maximierung Ihrer KPIs verwendet werden soll.
Durch Nutzung modernster Technologien beim überwachten maschinellen Lernen und beim Deep Learning ermöglicht es die personalisierte Optimierung Business-Anwendenden (Marketing-Fachleuten), Geschäftsziele zu definieren und mithilfe ihrer Kundendaten geschäftsorientierte Modelle zu trainieren und so personalisierte Angebote zu unterbreiten und KPIs zu maximieren.
Im Gegensatz zur nicht personalisierten Rangfolge, bei der die Optimierung auf der Grundlage der globalen Leistung der einzelnen Angebote vorgenommen wird, erlernt die personalisierte Optimierung die Beziehung zwischen den Attributen eines einzelnen Kunden bzw. einer einzelnen Kundin und den Angeboten, die am ehesten den ausgewählten KPI für diesen Kunden bzw. diese Kundin bestimmen. Das Ergebnis ist eine Angebotsauswahl, die auf jedes Profil zugeschnitten ist, und nicht auf ein einzelnes bestes Angebot, das allen unterbreitet wird.
Anwendungsfälle und Vorteile use-cases
Die personalisierte Optimierung eignet sich gut für Entscheidungsszenarien, bei denen verschiedene Kundinnen und Kunden unterschiedlich auf die verfügbaren Angebote reagieren und bei denen der Angebotskatalog sinnvoll differenziert ist und sich nicht oft ändert. Häufige Anwendungsfälle sind:
- Auswahl des nächsten besten Angebots: Auswahl mehrerer konkurrierender Angebote oder Aktionen, die jedem Kunden bzw. jeder Kundin in Echtzeit unterbreitet werden sollen.
- Content-Personalisierung: Auswahl des Inhalts (z. B. Banner, Kreativ) oder der Nachricht für jeden Kunden bzw. jede Kundin über Web, Mobile, E-Mail und andere Kanäle.
- Zielgruppengerechte Personalisierung: Integration der Zielgruppenzugehörigkeit und kontextueller Signale, damit die Empfehlungen widerspiegeln, wer der Kunde bzw. die Kundin ist und in welchem Kontext die Interaktion abläuft.
- Umsatz- und Wertoptimierung: Optimierung auf kontinuierliche Ergebnisse wie Umsatz oder Kundenlebenszeitwert sowie binäre Ergebnisse wie Klicks und Konversionen.
Wichtigste Vorteile:
- Maximiert den von Ihnen gewählten Geschäfts-KPI, indem jedem Kunden bzw. jeder Kundin das Angebot unterbreitet wird, auf das er bzw. sie am ehesten reagiert, anstatt ein einziges global optimales Angebot zu erstellen.
- Passt sich kontinuierlich an, wenn neue Interaktionsdaten eingehen, und schafft dabei ein Gleichgewicht zwischen der Erkundung noch wenig getesteter Angebote und der Nutzung bewährter Angebote.
- Unterstützt sowohl binäre als auch kontinuierliche Optimierungsmetriken mit Rangfolgenwerten, die direkt in Ausdrücken des Formel-Builders des KI-Modells verwendet werden können.
- Reduziert den manuellen Aufwand für A/B-Tests und das Erstellen von Regeln, indem die Eignung von Angeboten für Kundinnen bzw. Kunden automatisch erlernt wird.
Datensatzanforderungen dataset
Um ein personalisiertes Optimierungsmodell zu trainieren, muss der Datensatz innerhalb der letzten 30 Tage über mindestens zwei Angebote mit mindestens 250 Anzeigeereignissen (z. B. Impressions) und einem Erfolgsereignis (z. B. Klick oder Konversion) verfügen.
Angebote mit weniger als 250 Anzeigeereignissen und/oder keinen Erfolgsereignissen innerhalb der letzten 30 Tage bleiben für die Aufnahme in den Explorations-Traffic geeignet. Sie kommen auch für die Einbeziehung in den Personalisierungs-Traffic infrage, werden bei der Entscheidungsfindung jedoch so behandelt, als entsprächen sie dem Angebot mit der am schlechtesten bewerteten Prognose, bis sie die erforderliche Mindestanzahl der Anzeige-/Erfolgsereignisse erreicht haben und das Modell neu trainiert wird.
Bis ein Modell für personalisierte Optimierung zum ersten Mal trainiert wird, werden Angebote im Rahmen einer Auswahlstrategie mit einem personalisierten Optimierungsmodell nach dem Zufallsprinzip bereitgestellt.
Funktionsweise how
Das Modell lernt komplexe Wechselwirkungen zwischen Angeboten, Informationen über Benutzende und kontextuelle Informationen, um Endbenutzenden personalisierte Angebote zu empfehlen. Funktionen werden durch Eingaben in das Modell verfügbar.
Es gibt drei Arten von Funktionen:
Das Modell umfasst zwei Phasen:
- In der Phase des Offline-Modelltrainings wird ein Modell durch Erlernen und Speichern von in historischen Daten ersichtlichen Merkmalsinteraktionen trainiert.
- In der Phase der Online-Inferenz werden die Angebote auf der Grundlage der vom Modell in Echtzeit generierten Ergebnisse eingestuft. Im Gegensatz zu herkömmlichen kollaborativen Filtertechniken, bei denen es schwierig ist, Merkmale für Benutzende und Angebote einzubeziehen, ist die personalisierte Optimierung eine auf Deep Learning basierende Empfehlungsmethode, die in der Lage ist, komplexe und nicht-lineare Interaktionsmuster von Merkmalen einzubeziehen und zu lernen.
Das Modell unterstützt die Optimierung von kontinuierlichen Variablen (z. B. Umsatz und Kundenlebenszeitwert) sowie binären Variablen (z. B. Klicks und Konversionen). Prognostizierte Werte für eine binäre Metrik, z. B. Klicks, liegen immer zwischen 0 und 1. Prognostizierte Werte für eine kontinuierliche Metrik, z. B. der Bestellwert, sind immer eine Zahl größer oder gleich null. Die Rangfolgenwerte werden normalisiert, um ein konsistentes Verhalten über beide Metriktypen hinweg sicherzustellen, wenn sie in Formeln oder Vergleichen verwendet werden.
Veranschaulichendes Beispiel illustrative-example
Binäre Antwort (Konversion) binary-response
Stellen Sie sich einen vereinfachten Datensatz mit historischen Interaktionen zwischen Benutzenden und Angeboten vor. Jede Zeile enthält ein angezeigtes Angebot, zwei Kundensignale – die Treuestufe (hoch = 1) und die Angabe, ob der Kunde bzw. die Kundin eine kürzlich gesendete E-Mail geöffnet hat (ja = 1) – sowie die Angabe, ob der Kunde bzw. die Kundin eine Konversion erzielt hat (ja = 1).
Bei Angebot A ist die Konversion wahrscheinlicher, wenn beide Signale übereinstimmen (beide hoch oder beide niedrig). Bei Angebot B ist die Konversion wahrscheinlicher, wenn die E-Mail geöffnet wurde, unabhängig von der Treuestufe. Basierend auf dem erlernten Muster kann das Modell das bessere Angebot für jeden Kunden bzw. jede Kundin auf der Grundlage seiner Signale vorhersagen.
Abbildung 1: In der hervorgehobenen Zeile mit der Nichtübereinstimmung wurde Angebot A angezeigt, wenn die Signale nicht übereinstimmten und keine Konversion erzielt wurde. Basierend auf dem erlernten Muster wäre Angebot B beim nächsten Mal die bessere Empfehlung für diesen Kunden bzw. diese Kundin.
Das ist der Kern dieser Vorgehensweise: frühere Funktionsinteraktionen werden erlernt und gespeichert und danach angewendet, um für jeden Kunden bzw. jede Kundin personalisierte Vorhersagen zu generieren.
Fortlaufende Antwort (Umsatz) continuous-response
Dieselbe Idee gilt für kontinuierliche Ergebnisse. Anstatt vorherzusagen, ob ein Kunde bzw. eine Kundin konvertiert, prognostiziert das Modell einen kontinuierlichen Wert (erwarteten Umsatz) für jedes Angebot und Kundensegment und sortiert Angebote nach diesem prognostizierten Wert.
Abbildung 2: Prognostizierter Umsatz für zwei Angebote in vier Kundensegmenten. Bei Kundinnen und Kunden mit hohem Treuegrad, die die E-Mail geöffnet haben, dürfte Angebot A den höchsten Umsatz erzielen; bei Kundinnen und Kunden mit geringem Treuegrad, die die E-Mail geöffnet haben, ist Angebot B die bessere Wahl. Das Modell wählt für jedes Segment das Angebot mit dem höchsten prognostizierten Wert aus, anstatt eine Regel auf alle Kundinnen und Kunden anzuwenden.
Komponenten des Ensemble-Modells ensemble
Die personalisierte Optimierung wird als Ensemble-Modell bereitgestellt – mehrere komplementäre Modellarme werden zusammen ausgeführt, und eine Überwachungsebene entscheidet, wie viel Live-Traffic jeder Arm erhält. Mit diesem Design kann das System zwei Ziele gleichzeitig verfolgen: Erlernen, welche Angebote die beste Leistung erbringen (Exploration), und Bereitstellen der Angebote, von denen bereits bekannt ist, dass sie eine gute Leistung erbringen (Exploitation).
Ausgleich zwischen Exploration und Exploitation
Jedes Entscheidungssystem steht vor einem Zielkonflikt zwischen der Untersuchung zu wenig getesteter Angebote, um Informationen zu sammeln, und der Nutzung bewährter Angebote, um den sofortigen Gewinn zu maximieren. Wenn zu wenig Traffic für die Exploration reserviert wird, bleiben Angebote mit hohem Potenzial unentdeckt. Wird zu viel reserviert, geht dies auf Kosten der Angebote, die bereits gut laufen. Das Ensemble sorgt automatisch für dieses Gleichgewicht, indem es ein Mindestmaß an Exploration aufrechterhält und gleichzeitig den verbleibenden Traffic im Laufe der Zeit auf die leistungsstärkeren personalisierten Arme verlagert.
Das Ensemble besteht aus vier Traffic-Armen:
Gleichverteilte Zufallsauswahl (Explorationsarm) uniform-random
Der Arm für die gleichverteilte Zufallsauswahl weist den Kundinnen und Kunden nach dem Zufallsprinzip Angebote aus den geeigneten Angeboten zu. Da kein Angebot bevorzugt wird, werden objektive Daten darüber geliefert, wie Kundinnen bzw. Kunden auf den gesamten Katalog reagieren – das ist das Rohmaterial, aus dem die personalisierten Arme lernen. Es ist der einzige Arm, der aktiv ist, bevor das erste Modell trainiert wird, und auch danach sorgt er weiterhin für ein Mindestmaß an Exploration, damit das System weiter lernt.
- Bei Initialisierung: 100 % des Traffics.
- Nach dem ersten erfolgreichen Trainings-Lauf: mindestens 5–20 % des Traffics je nach Anzahl der beobachteten Impression- und Konversionsereignisse pro Angebot, maximal jedoch 85 %.
Neuronales Netzwerk (personalisierter Arm) neural-network
Das neuronale Netzwerk ist ein personalisierter Arm, der anhand von Attributen und Zielgruppenzugehörigkeiten das beste Angebot für einen bestimmten Kunden bzw. eine bestimmte Kundin prognostiziert. Es erlernt komplexe, nicht lineare Interaktionen zwischen Angeboten, Kundenmerkmalen und Kontext und ist gut geeignet, subtile Muster über viele Funktionen hinweg zu erfassen.
- Bei Initialisierung: 0 % des Traffics.
- Nach dem ersten erfolgreichen Trainings-Lauf: mindestens 5 % des Traffics, maximal 85 %.
Kontextueller Bandit (personalisierter Arm) contextual-bandit
Der kontextuelle Bandit ist ein zweiter personalisierter Arm, der anhand der Zielgruppenzugehörigkeit ebenfalls das beste Angebot für jeden Kunden bzw. jede Kundin vorhersagt. Dabei wird ein Bandit-Ansatz verwendet, bei dem während des Betriebs kontinuierlich Lernprozesse und Leistung in Einklang gebracht werden. Wenn er neben dem neuronalen Netzwerk ausgeführt wird, kann das Ensemble auf die Stärken von zwei verschiedenen personalisierten Methoden zurückgreifen.
- Bei Initialisierung: 0 % des Traffics.
- Nach dem ersten erfolgreichen Trainings-Lauf: mindestens 5 % des Traffics, maximal 85 %.
Neue Angebotsverstärkung (nicht personalisierter Arm) new-offer-booster
Die neue Angebotsverstärkung ist ein Thompson-Sampling-Bandit (nicht personalisiert), der als Gesamtsieger hervorgeht und optimistische Annahmen hinsichtlich der Leistung neuer Angebote trifft – Angebote, für die innerhalb des Lookback-Zeitraums des Modells nur wenige Impression-Ereignisse erfasst wurden. Dadurch erhalten vielversprechende neue Angebote frühzeitig die Aufmerksamkeit, die sie benötigen, um sich zu bewähren. Dabei wird eine bekannte „Kaltstart“-Schwachstelle behoben, bei der das Modell ansonsten Schwierigkeiten hatte, ausreichend Traffic auf neue oder leistungsstarke, aber nur eingeschränkt geeignete Angebote zu lenken.
- Wenn echte Impression- und Konversionsdaten erfasst werden, nähert sich die geschätzte Leistung jedes Angebots schnell der tatsächlichen zugrunde liegenden Leistung an, und die Auswirkungen der optimistischen Annahmen sinken auf nahezu null.
- Wenn keines der Angebote relativ neu ist – z. B. wenn alle Angebote eine ähnliche Anzahl von Impressions aufweisen oder alle mehr als 1.000 Impressions aufweisen –, liegt der optimistische Effekt bei nahezu null und dieser Arm verhält sich im Endeffekt wie ein nicht personalisiertes Gesamtsiegermodell.
- Bei Initialisierung: 0 % des Traffics.
- Nach dem ersten erfolgreichen Trainings-Lauf: 5 % des Traffics.
Wie der Traffic auf die Arme verteilt wird traffic-allocation
Bei der Initialisierung wurde noch kein Modell trainiert, sodass 100 % des Traffics auf die einheitliche zufällige Baseline entfallen – der einzige Arm mit einer erlernten Verteilung, aus der Stichproben entnommen werden können. Nach dem ersten erfolgreichen Trainings-Lauf erhält jeder Arm einen Mindestanteil am Traffic (5 %), und der Supervisory-Bandit ordnet den verbleibenden Traffic basierend auf der beobachteten Leistung zu. Während das Modell über aufeinander folgende Runden hinweg trainiert wird, konzentriert sich der Traffic auf die leistungsstärksten Arme, wobei maximal 85 % des Traffics zugeteilt werden können.
Abbildung 3: Ein möglicher Verlauf der Traffic-Zuteilung auf die vier Ensemble-Arme bei der Initialisierung und über aufeinander folgende Trainings-Runden. Bei der Initialisierung fließt der gesamte Traffic zur zufälligen Baseline. Nach jedem Trainings-Lauf verlagert der überwachende Thompson-Sampling-Bandit die Zuteilung zugunsten der leistungsstärkeren Arme, wobei ein Mindest-Traffic von 5 % beibehalten wird. Die tatsächliche Zuteilt variiert je nach beobachteter Leistung des Arms.
Wesentliche Annahmen und Beschränkungen im Zusammenhang mit Modellen key
Um die Vorteile der personalisierten Optimierung zu maximieren, müssen einige wichtige Voraussetzungen und Beschränkungen beachtet werden.
- Die Angebote sind so unterschiedlich, dass auch die Präferenzen der Benutzenden bezüglich der in Frage kommenden Angebote unterschiedlich sind. Wenn die Angebote zu ähnlich sind, hat das resultierende Modell weniger Wirkung, da die Reaktionen scheinbar zufällig sind.
Wenn eine Bank beispielsweise zwei Kreditkarten anbietet, deren einziger Unterschied die Farbe ist, hat die Empfehlung einer Karte weniger Auswirkung. Wenn es jedoch bei jeder Karte unterschiedliche Konditionen gibt, haben Kunden und Kundinnen einen bestimmten Grund, warum sie sich für eine der Karten entscheiden. Dadurch gibt es einen ausreichenden Unterschied zwischen den Angeboten, sodass ein wirkungsvolleres Modell erstellt werden kann. - Die Zusammensetzung des Traffics von Benutzenden ist stabil. Wenn sich die Zusammensetzung des Benutzenden-Traffics während des Trainings der Modelle und der Vorhersagephase drastisch ändert, kann sich die Modell-Performance verschlechtern. Angenommen, in der Trainings-Phase des Modells sind nur Daten für Benutzende in Zielgruppe A verfügbar, aber das trainierte Modell wird verwendet, um Prognosen für Benutzende in Zielgruppe B zu generieren. In diesem Fall kann die Modell-Performance beeinträchtigt werden.
- Die Performance der Angebote ändert sich innerhalb eines kurzen Zeitraums nicht dramatisch, da dieses Modell wöchentlich aktualisiert wird und die Performance-Änderungen mit der Aktualisierung des Modells übermittelt werden. Ein Beispiel: Ein Produkt war früher sehr beliebt, aber in einem öffentlichen Bericht wird festgestellt, dass das Produkt gesundheitsschädlich ist, und das Produkt wird sehr schnell unpopulär. In diesem Szenario könnte das Modell dieses Produkt so lange empfehlen, bis das Modell aufgrund von Verhaltensänderungen der Benutzenden aktualisiert wird.
„Kaltstart“-Problem cold-start
Das „Kaltstart“-Problem tritt auf, wenn es nicht genügend Daten gibt, um Empfehlungen abzugeben. Bei der personalisierten Optimierung gibt es zwei Arten von „Kaltstart“-Problemen.
- Nachdem ein neues KI-Modell ohne historische Daten erstellt wurde, werden die Angebote über einen bestimmten Zeitraum nach dem Zufallsprinzip bereitgestellt, um Daten zu sammeln, die dann zum Trainieren des ersten Modells verwendet werden.
- Nach der Freigabe des ersten KI-Modells wird ein Teil des gesamten Traffics für eine einheitliche zufällige Exploration zugeteilt, während der Rest für Modellempfehlungen verwendet wird. Die Traffic-Verteilung über die Bandit-Komponenten „Exploration“ und „Exploitation“ wird automatisch auf der Grundlage von Faktoren wie der Anzahl der Angebote und deren Leistungsschwellen angepasst.
- Nachdem der Angebotssammlung neue Angebote hinzugefügt wurden, die in der mit dem KI-Rangfolgemodell verknüpften Strategie ausgewählt wurden, werden diese Angebote zu geeigneten Kandidaten für die Exploration durch die Modellarme sowohl für die gleichverteilte Zufallsauswahl als auch für die neue Angebotsverstärkung (innerhalb von 60 Minuten). Während des nächsten geplanten Trainings-Laufs wird die geschätzte Leistung des Angebots im neuen Modellarm für die Angebotsverstärkung aktualisiert, und das Angebot qualifiziert sich für die Aufnahme in die personalisierten Modellarme, wenn es den Impression- und Klickschwellenwert erreicht.
- Nachdem dem bestehenden Zielgruppensatz neue Profile hinzugefügt wurden, die mit der mit dem KI-Rangfolgemodell verknüpfen Auswahlstrategie verknüpft sind, übernehmen diese die Personalisierungsattribute aus dem Zielgruppensatz selbst. Daher erhalten sie von Anfang an personalisierte Angebote, die auf diesen Attributen basieren, ohne dass ein „Kaltstart“-Problem auftritt.
Erneutes Training re-training
Die Modelle werden wöchentlich neu trainiert, um die neuesten Interaktionen zwischen den Merkmalen zu erlernen und der Verschlechterung der Modell-Performance entgegenzuwirken. Informationen zum Überwachen des Trainings-Status und der Modellleistung finden Sie unter KI-Modellüberwachung.