Auf dieser Seite: Erfahren Sie, wie das Modell für vertiefendes Lernen zur automatischen Optimierung Angebote untersucht und ein Ranking anwendet, um die Klickrate zu maximieren, damit Sie entscheiden können, wann es für die Optimierung einzelner Kanäle verwendet werden soll.
Das Modell für die automatische Optimierung in Adobe Journey Optimizer ist ein Modell für vertiefendes Lernen, das die Klickrate (CTR) eines Angebots maximiert, indem es alle Angebote (oder Inhalte) untersucht und Elemente dann nach Anwendung der Eignungsregeln und Frequenzbegrenzungen nach der prognostizierten CTR einordnet.
Anwendungsfälle und Vorteile use-cases-benefits
Die automatische Optimierung kann jederzeit verwendet werden, wenn Sie ein schnelles und einfaches Setup wünschen, nach insgesamt erfolgreichen Angeboten suchen und die Angebots-Klicks innerhalb eines einzelnen Kanals maximieren möchten. Beispiel:
- Wählen Sie die besten Angebote aus, die auf einer Web-Seite eingefügt werden sollen, um die Angebots-Klicks zu maximieren.
- Wählen Sie die besten Angebote aus, die in eine E-Mail eingefügt werden sollen, um die Angebots-Klicks zu maximieren.
- Wählen Sie die besten Angebote aus, die auf einem App-Bildschirm eingefügt werden sollen, um die Angebots-Klicks zu maximieren.
Die automatische Optimierung ist in folgenden Fällen eine gute Wahl:
- Angebote ändern sich im Laufe der Zeit oder häufig: Das Modell der automatischen Optimierung wird alle sechs Stunden neu trainiert.
Anforderungen und Einschränkungen requirements-limitations
Für die automatisch Optimierung gelten die folgenden Anforderungen und Einschränkungen:
- Für die automatische Optimierung ist ein Trainings-Datensatz erforderlich, der Anzeigeereignisse für Angebote, Klickereignisse für Angebote und die Feldergruppe „Erlebnisereignis – Vorschlagsinteraktionen“ enthält.
- Modelle mit automatischer Optimierung können nicht in Anfragen an die Batch Decisioning API verwendet werden.
- Die automatische Optimierung zielt stets auf Angebotsklicks ab. Verwenden Sie das Modell Personalisierte Optimierung, um für ein anderes Ziel als Angebots-Klicks zu maximieren.
- Die automatische Optimierung versucht, die insgesamt erfolgreichsten Angebote zu finden und findet keine personalisierte Rangfolge für jeden Kunden bzw. jede Kundin. Um personalisierte Rankings für jede Person zu finden, verwenden Sie das Modell Personalisierte Optimierung.
Um ein Modell für automatische Optimierung zu trainieren, muss der Datensatz die folgenden Mindestanforderungen erfüllen:
- Mindestens 2 Angebote im Datensatz müssen innerhalb der letzten 14 Tage mindestens 100 Anzeigeereignisse und 5 Klickereignisse aufweisen.
- Angebote mit weniger als 100 Anzeigen und/oder 5 Klickereignissen innerhalb der letzten 14 Tage werden vom Modell als neue Angebote behandelt und sind nur für die Bereitstellung durch den Exploration-Bandit geeignet.
- Angebote mit mehr als 100 Anzeigen und 5 Klickereignissen in den letzten 14 Tagen werden vom Modell als vorhandene Angebote behandelt und können sowohl von Exploration- als auch von Exploitation-Bandits bedient werden.
Bis zum ersten Mal ein Modell für automatische Optimierung trainiert wurde, werden Angebote im Rahmen einer Auswahlstrategie, die ein Modell für automatische Optimierung verwendet, nach dem Zufallsprinzip bereitgestellt.
Ausgleich zwischen Optimierung und Lernen balancing-optimization-learning
Die automatische Optimierung ist ein Modell für vertiefendes Lernen, das anhand des realen Kundenverhaltens Informationen zur Klickleistung von Angeboten gewinnt. Modelle für vertiefendes Lernen zielen darauf ab, ein Ziel zu maximieren, indem Aktionen mit besser vorhergesagten Ergebnissen ausgewählt werden. Ein Modell, das jedem Kunden bzw. jeder Kundin immer die Elemente mit dem besten prognostizierten Ergebnis präsentiert, würde jedoch nie etwas über die Leistung von neuen Elementen erfahren, die im Laufe der Zeit eingeführt wurden (das sogenannte „Kaltstartproblem“), noch würde es etwas über Änderungen bei der Leistung anderer vorhandener Elemente erfahren, die sich aus Verhaltensänderungen bei Kundinnen bzw. Kunden im Laufe der Zeit ergeben. Modelle für vertiefendes Lernen müssen daher mit dem umgehen, was gemeinhin als Exploration-Exploit-Kompromiss bezeichnet wird, d. h. ein Gleichgewicht zwischen Optimierung und Lernen herstellen.
Die automatische Optimierung nutzt einen als Multi-Armed Bandit bezeichneten gängigen Ansatz, um diesen Konflikt zu bewältigen. Bei dem Multi-Armed-Bandit-Ansatz werden Ranking-Entscheidungen basierend auf Folgendem getroffen:
- der prognostizierten Klickrate jedes Elements
- den Unterschieden bei der prognostizierten Klickrate jedes Elements
- dem Grad der Unsicherheit des Modells bezüglich seiner Vorhersagen für jedes Element.
Beim Multi-Armed-Bandit-Ansatz werden diese Informationen zusammen mit zufälliger Variabilität genutzt, um die zu durchzuführenden Aktionen auszuwählen. Die automatische Optimierung ist ein Ensemble-Algorithmus der mehrere Mutli-Armed Bandits enthält, um sicherzustellen, dass alle Angebote ausreichend untersucht werden und gleichzeitig die Gesamtleistung maximiert wird.
Bei der Beantwortung einer Rangfolgeanfrage entscheidet ein „beaufsichtigender“ Multi-Armed Bandit zunächst, ob diese Anfrage auf Exploration oder auf Exploitation ausgerichtet sein soll. Diese Entscheidung wird mithilfe eines „Epsilon-Greedy“-Ansatzes getroffen.
Die zweite Ebene des Rankings wird von einem von zwei Thompson-Sampling-Bandits ausgeführt:
- 10 % des Traffics werden einem auf Exploration ausgerichteten Bandit-Modell zugewiesen, das mit höherer Wahrscheinlichkeit neue Angebote oder Angebote mit eingeschränkten Daten empfiehlt, unter der Annahme, dass das Modell davon profitieren würde, mehr über das Kundenverhalten als Reaktion auf diese Angebote zu erfahren.
- 90 % des Traffics werden einem auf Exploitation ausgerichteten Bandit-Modell zugewiesen, das im Laufe der Zeit mit größerer Wahrscheinlichkeit konsistent leistungsstarke Angebote empfiehlt, unter der Annahme, dass neue oder datenarme Angebote mit größerer Wahrscheinlichkeit unterdurchschnittlich abschneiden, bis das Gegenteil bewiesen ist.
In einem technischen Sinne sind diese Annahmen Parameter der A-priori-Wahrscheinlichkeitsverteilung, auch als Priors bezeichnet. Je mehr Anzeige- und Klickdaten die Angebote sammeln, desto geringer wird der Einfluss der gewählten Priors, und die Prognosen der beiden Bandit-Modelle neigen dazu, sich im Laufe der Zeit anzunähern.
Unser Ansatz, mehrere Bandits zu kombinieren und dedizierten Traffic für die Exploration zuzuweisen, bietet mehrere Vorteile:
- Das Modell lernt am schnellsten die neuesten Angebote mit den geringsten Daten kennen
- Das Modell lernt weiterhin alle Angebote kennen und reagiert auf Veränderungen im Kundenverhalten im Laufe der Zeit
- Das Modell führt nicht zu einer Überanpassung, indem es Angebote mit scheinbar höherer CTR, aber nur wenigen Beobachtungen, übermäßig bevorzugt oder Angebote mit einer niedrigeren scheinbaren CTR, aber nur wenigen Beobachtungen, übermäßig benachteiligt
- Das Modell ist robust genug, um Entscheidungen bei der Traffic-Zuordnung über Hunderte von Angeboten mit spärlichen Klickdaten und mit sehr unterschiedlichen Mengen historischer Daten hinweg zu treffen
Thompson-Stichprobenverfahren thompson-sampling
Beim Thompson-Stichprobenverfahren, oder bayessche Banditen, handelt es sich um einen bayesschen Ansatz für das Problem des mehrarmigen Banditen. Das Modell behandelt die durchschnittliche Belohnung 𝛍 aus jedem Angebot als Zufallsvariable und nutzt die Daten, die wir bisher gesammelt haben, um unsere „Überzeugung“ hinsichtlich der durchschnittlichen Belohnung zu aktualisieren. Diese „Überzeugung“ wird mathematisch durch eine A-posteriori-Wahrscheinlichkeitsverteilung dargestellt – im Prinzip ein Bereich von Werten für die durchschnittliche Belohnung gemeinsam mit der Plausibilität (oder Wahrscheinlichkeit), dass die Belohnung diesen Wert für jedes Angebot hat. Danach entnehmen wir für jede Entscheidung einen Punkt aus jeder dieser A-posteriori-Belohnungsverteilungen und wählen das Angebot aus, dessen Belohnung den höchsten Wert hatte.
Dieser Vorgang wird in der folgenden Abbildung veranschaulicht, in der wir drei verschiedene Angebote haben. Anfänglich haben wir keine Erkenntnisse aus den Daten und nehmen an, dass alle Angebote eine einheitliche A-posteriori-Belohnungsverteilung haben. Wir ziehen eine Stichprobe aus der A-posteriori-Belohnungsverteilung eines jeden Angebots. Die aus der Verteilung von Angebot 2 ausgewählte Stichprobe hat den höchsten Wert. Dies ist ein Beispiel für eine Exploration. Nach der Anzeige von Angebot 2 erfassen wir jede potenzielle Belohnung (z. B. Konversion/Keine Konversion) und aktualisieren die A-posteriori-Verteilung von Angebot 2 mithilfe des Satzes von Bayes, wie unten beschrieben. Wir setzen diesen Prozess fort und aktualisieren die A-posteriori-Verteilungen jedes Mal, wenn ein Angebot angezeigt und die Belohnung erfasst wird. In der zweiten Abbildung wird Angebot 3 ausgewählt. Obwohl Angebot 1 die höchste durchschnittliche Belohnung hat (die A-posteriori-Belohnungsverteilung ist am weitesten rechts), hat der Prozess der Stichprobenziehung aus jeder Verteilung dazu geführt, dass wir das scheinbar suboptimale Angebot 3 ausgewählt haben. Damit geben wir uns die Möglichkeit, mehr über die wahre Belohnungsverteilung von Angebot 3 zu erfahren.
Je mehr Stichproben gesammelt werden, desto größer wird das Konfidenzniveau und desto genauer ist die erzielte Schätzung der möglichen Belohnung (entsprechend der engeren Belohnungsverteilungen). Dieser Prozess der Aktualisierung unserer Annahmen durch die Verfügbarkeit neuer Erkenntnisse wird als Bayes’sche Inferenz bezeichnet.
Wenn ein Angebot (z. B. Angebot 1) ein eindeutiger Gewinner ist, wird seine A-posteriori-Belohnungsverteilung von anderen getrennt. Zu diesem Zeitpunkt ist die von Angebot 1 in die Stichprobe einbezogene Belohnung für jede Entscheidung wahrscheinlich die höchste, und wir wählen sie mit einer höheren Wahrscheinlichkeit aus. Hier sprechen wir von Exploitation: Wir sind der festen Überzeugung, dass Angebot 1 das Beste ist, und daher wird es ausgewählt, um die Belohnungen zu maximieren.
Abbildung 1: Für jede Entscheidung wird ein Punkt aus den A-posteriori-Belohnungsverteilungen entnommen. Das Angebot mit dem höchsten Stichprobenwert (Konversionsrate) wird ausgewählt. In der Anfangsphase haben alle Angebote eine einheitliche Verteilung, da wir aus den Daten keine Erkenntnisse zu den Konversionsraten der Angebote erhalten. Je mehr Stichproben wir sammeln, desto enger und genauer werden die A-posteriori-Verteilungen. Am Schluss wird jedes Mal das Angebot mit der höchsten Konversionsrate ausgewählt.
Zur Berechnung/Aktualisierung der Verteilungen verwenden wir den Satz von Bayes. Für jedes Angebot i möchten wir sein P(𝛍i | Daten) berechnen, d. h. für jedes Angebot i möchten wir feststellen, wie wahrscheinlich der Belohnungswert𝛍 i auf Basis der bisher für dieses Angebot gesammelten Daten ist.
Nach dem Satz von Bayes:
A-posteriori = Wahrscheinlichkeit * A-priori
Die A-priori-Wahrscheinlichkeit ist die anfängliche Einschätzung der Wahrscheinlichkeit, ein Ergebnis zu erzeugen. Die Wahrscheinlichkeit, nachdem einige Erkenntnisse gesammelt wurden, wird als A-posteriori-Wahrscheinlichkeit bezeichnet.
Die automatische Optimierung ist so konzipiert, dass binäre Belohnungen (Klick/kein Klick) berücksichtigt werden. In diesem Fall stellt die Wahrscheinlichkeit die Anzahl der Erfolge aus n Versuchen dar und wird durch eine Binomialverteilung modelliert. Bei einigen Wahrscheinlichkeitsfunktionen befindet sich der Posterior, wenn Sie einen bestimmten Prior wählen, in derselben Verteilung wie der Prior. Ein solcher Prior wird dann konjugierter Priori genannt. Diese Art von Prior macht die Berechnung der A-posteriori-Verteilung sehr einfach. Die Beta-Verteilung ist ein konjugierter Prior zur Binomialwahrscheinlichkeit (binäre Belohnungen) und daher eine bequeme und sinnvolle Wahl für die A-priori- und A-posteriori-Wahrscheinlichkeitsverteilungen. Die Beta-Verteilung basiert auf zwei Parametern: α und β. Diese Parameter können als Anzahl von Erfolgen und Fehlschlägen betrachtet werden, und der Mittelwert ist gegeben durch:
Die Wahrscheinlichkeitsfunktion wird, wie oben erläutert, durch eine Binomialverteilung modelliert, mit s Erfolgen (Konversionen) und f Misserfolgen (keine Konversionen), und q ist eine Zufallsvariable mit einer Beta-Verteilung.
Der Prior wird von der Beta-Verteilung modelliert und die A-posteriori-Verteilung hat die folgende Form:
Explorations-Bias und Exploitations-Bias exploration-exploitation-bias
Für die Parameter α, β muss ein Ausgangswert gewählt werden. Die automatische Optimierung umfasst sowohl einen Thompson-Sampling-Bandit mit Explorations-Bias als auch einen Thompson-Sampling-Bandit mit Exploitations-Bias, die unterschiedliche anfängliche α-, β-Priors in ihren Beta-Verteilungen verwenden.
Die Berechnung des Posteriors erfolgt einfach durch Addieren der Erfolge und Fehler zu den vorhandenen Parametern α, β. Die automatische Optimierung nutzt verschiedene Gewichtungsfaktoren für neue Erfolge und Fehler, um die Auswirkungen neuer Daten im Vergleich zu früheren Daten sowohl in den Bandits mit Explorations-Bias als auch in denen mit Exploitations-Bias zu ändern.
Referenzen references
Um einen tieferen Einblick in das Thompson-Stichprobenverfahren zu erhalten, lesen Sie die folgenden Forschungsarbeiten: