Einrichten von A4T-Berichten in Analysis Workspace für Auto-Target Aktivitäten
Die Analytics for Target (A4T)-Integration für Auto-Target -Aktivitäten verwendet die ML-Algorithmen (maschinelles Lernen) des Adobe Target-Ensembles, um das beste Erlebnis für jeden Besucher basierend auf seinem Profil, Verhalten und Kontext auszuwählen, wobei gleichzeitig eine Adobe Analytics Zielmetrik verwendet wird.
Obwohl in Adobe Analytics Analysis Workspace umfangreiche Analysefunktionen verfügbar sind, sind aufgrund der Unterschiede zwischen Experimentieraktivitäten (manuelle A/B Test und Auto-Allocate) und Personalisierungsaktivitäten (Auto-Target) einige Änderungen am Analytics for Target-Standardbedienfeld erforderlich, um Auto-Target Aktivitäten korrekt zu interpretieren.
In diesem Tutorial werden die empfohlenen Änderungen zur Analyse von Auto-Target in Analysis Workspace erläutert, die auf den folgenden Schlüsselkonzepten basieren:
- Die Dimension Control vs Targeted kann verwendet werden, um zwischen Control Erlebnissen und Erlebnissen zu unterscheiden, die vom ML-Algorithmus des Auto-Target-Ensembles bereitgestellt werden.
- Besuche sollten bei der Anzeige von Leistungsaufschlüsselungen auf Erlebnisebene als Normalisierungsmetrik verwendet werden. Darüber hinaus kann die standardmäßige Zählmethodik von Adobe Analytics Besuche einschließen, bei denen der/die Benutzende keinen Aktivitätsinhalt sieht aber dieses Standardverhalten kann durch die Verwendung eines Segments mit geeignetem Umfang geändert werden (Details unten).
- Die Attribution auf Besuchs-Lookback-Ebene, die im vorgeschriebenen Attributionsmodell auch als „Besuchs-Lookback-Fenster“ bezeichnet wird, wird von den Adobe Target ML-Modellen während ihrer Trainingsphasen verwendet. Bei der Aufschlüsselung der Zielmetrik sollte dasselbe (nicht standardmäßige) Attributionsmodell verwendet werden.
Erstellen des Bedienfelds „A4T“ für Auto-Target in Analysis Workspace
Um ein A4T für Auto-Target Bericht zu erstellen, beginnen Sie entweder mit dem Analytics for Target in Analysis Workspace, wie unten dargestellt, oder beginnen Sie mit einer Freiformtabelle. Nehmen Sie dann die folgenden Auswahlen vor:
-
Control Experience: Sie können ein beliebiges Erlebnis auswählen. Sie werden diese Auswahl jedoch später überschreiben. Beachten Sie, dass das Kontrollerlebnis für Auto-Target Aktivitäten wirklich eine Kontrollstrategie ist, die entweder a) in zufälliger Abfolge unter allen Erlebnissen bereitstellt oder b) in einem Erlebnis bereitgestellt wird (diese Auswahl wird bei der Erstellung der Aktivität in Adobe Target getroffen). Selbst wenn Sie sich für Auswahl (b) entschieden haben, hat Ihre Auto-Target-Aktivität ein bestimmtes Erlebnis als Kontrolle ausgewiesen. Sie sollten dennoch den in diesem Tutorial beschriebenen Ansatz zur Analyse von A4T für Auto-Target Aktivitäten befolgen.
-
Normalizing Metric: Visits auswählen.
-
Success Metrics: Sie können zwar beliebige Metriken auswählen, für die Sie einen Bericht erstellen möchten, Sie sollten jedoch im Allgemeinen Berichte zu derselben Metrik anzeigen, die bei der Aktivitätserstellung in Target zur Optimierung ausgewählt wurde.
Abbildung 1: Analytics for Target für Auto-Target Aktivitäten.
Verwenden Sie die Dimension Control vs.Targeted , um das ML-Modell des Target mit Ihrem Steuerelement zu vergleichen
Das standardmäßige A4T-Bedienfeld wurde für klassische (manuelle) A/B Test oder Auto-Allocate Aktivitäten entwickelt, bei denen das Ziel darin besteht, die Leistung einzelner Erlebnisse mit der des Kontrollerlebnisses zu vergleichen. In Auto-Target Aktivitäten sollte jedoch der erste Reihenvergleich zwischen der Kontroll-(Strategie ** und der zielgerichteten Strategie erfolgen. Mit anderen Worten, die Bestimmung der Steigerung der Gesamtleistung des Auto-Target-Ensemble ML-Modell über die Kontrollstrategie.
Verwenden Sie zum Ausführen dieses Vergleichs die Dimension Control vs Targeted (Analytics for Target) . Drag-and-Drop, um die Target Experiences Dimension im standardmäßigen A4T-Bericht zu ersetzen.
Beachten Sie, dass durch diese Ersetzung die standardmäßigen Lift and Confidence im A4T-Bedienfeld ungültig werden. Um Verwirrung zu vermeiden, können Sie diese Metriken aus dem Standardbedienfeld entfernen und so den folgenden Bericht beibehalten:
Abbildung 2: Empfohlener Baseline-Bericht für Auto-Target Aktivitäten. Dieser Bericht wurde konfiguriert, um den Zieldatenverkehr (bereitgestellt vom ML-Modell des Ensembles) mit dem Kontrolldatenverkehr zu vergleichen.
Aufschlüsselungen von Metriken auf Erlebnisebene hinzufügen
Um weitere Einblicke in die Leistung des Ensemble-ML-Modells zu erhalten, können Sie Aufschlüsselungen der Control vs Targeted-Dimension auf Erlebnisebene untersuchen. Ziehen Sie Analysis Workspace die Dimension Target Experiences auf den Bericht und schlüsseln Sie dann die Kontroll- und Zieldimensionen getrennt auf.
Abbildung 3: Aufschlüsselung der Zieldimension nach Zielerlebnissen
Ein Beispiel für den resultierenden Bericht finden Sie hier.
Abbildung 4: Ein standardmäßiger Auto-Target mit Aufschlüsselungen auf Erlebnisebene. Beachten Sie, dass Ihre Zielmetrik möglicherweise anders ist und Ihre Kontrollstrategie möglicherweise ein einziges Erlebnis hat.
Warum "Visits" die richtige Normalisierungsmetrik für Auto-Target Aktivitäten ist
Wählen Sie bei der Analyse einer Auto-Target immer Visits als standardmäßige Normalisierungsmetrik aus. Auto-Target Personalisierung wählt ein Erlebnis für einen Besucher einmal pro Besuch aus (formell einmal pro Target). Das bedeutet, dass das einem Besucher angezeigte Erlebnis bei jedem einzelnen Besuch geändert werden kann. Wenn Sie also Unique Visitors als Normalisierungsmetrik verwenden, würde die Tatsache, dass ein einzelner Benutzer möglicherweise mehrere Erlebnisse sieht (über verschiedene Besuche hinweg), zu verwirrenden Konversionsraten führen.
Ein einfaches Beispiel veranschaulicht dies: Stellen Sie sich ein Szenario vor, in dem zwei Besucher eine Kampagne mit nur zwei Erlebnissen betreten. Der erste Besucher besucht zweimal. Sie werden Erlebnis A beim ersten Besuch zugewiesen, aber Erlebnis B beim zweiten Besuch (da sich ihr Profilstatus bei diesem zweiten Besuch ändert). Nach dem zweiten Besuch konvertiert der Besucher, indem er eine Bestellung aufgibt. Die Konversion wird dem zuletzt angezeigten Erlebnis (Erlebnis B) zugeordnet. Der zweite Besucher besucht ebenfalls zweimal und erhält beide Male Erlebnis B, konvertiert jedoch nie.
Vergleichen wir Berichte auf Besucher- und Besuchsebene:
Tabelle 1: Beispiel für den Vergleich von besuchernormalisierten und besuchsnormalisierten Berichten für ein Szenario, in dem Entscheidungen an einem Besuch haften bleiben (und nicht wie bei regelmäßigen A/B-Tests für einen Besucher). Besuchernormalisierte Metriken sind in diesem Szenario verwirrend.
Wie die Tabelle zeigt, gibt es eine eindeutige Inkongruenz bei den Zahlen auf Besucherebene. Obwohl es insgesamt zwei Unique Visitors gibt, ist dies nicht die Summe der Unique Visitors pro Erlebnis. Obwohl die Konversionsrate auf Besucherebene nicht unbedingt falsch ist, ist es wohl viel sinnvoller, wenn man individuelle Erlebnisse vergleicht. Formal ist die Einheit der Analyse („Besuche„) dieselbe wie die Einheit der Entscheidungssicherheit, was bedeutet, dass Aufschlüsselungen von Metriken auf Erlebnisebene hinzugefügt und verglichen werden können.
Filtern nach tatsächlichen Besuchen der Aktivität
Die Adobe Analytics standardmäßige Zählmethodik für Besuche in einer Target Aktivität kann Besuche umfassen, bei denen der Benutzer nicht mit der Target Aktivität interagiert hat. Das liegt daran, wie Target Aktivitätszuweisungen im Analytics Besucherkontext beibehalten werden. Daher kann es vorkommen, dass die Anzahl der Besuche auf der Target-Aktivität überhöht ist, was zu niedrigeren Konversionsraten führt.
Wenn Sie lieber Berichte über Besuche erstellen möchten, bei denen der Benutzer tatsächlich mit der Auto-Target interagiert hat (entweder über den Eintritt in die Aktivität, ein Anzeige- oder Besuchsereignis oder eine Konversion), haben Sie folgende Möglichkeiten:
- Erstellen Sie ein bestimmtes Segment, das Treffer aus der betreffenden Target-Aktivität enthält, und dann
- Filtern Sie die Visits mithilfe dieses Segments.
So erstellen Sie das Segment:
- Wählen Sie die Option Components > Create Segment in der Analysis Workspace Symbolleiste aus.
- Geben Sie einen Title für Ihr Segment an. Im folgenden Beispiel trägt das Segment den Namen “Hit with specific Auto-Target activity”.
- Ziehen Sie die Target Activities Dimension in den Abschnitt Definition.
- Verwenden Sie den equals Operator.
- Suchen Sie nach Ihrer spezifischen Target.
- Klicken Sie auf das Zahnradsymbol und wählen Sie dann Attribution model > Instance aus, wie in der folgenden Abbildung dargestellt.
- Klicken Sie auf Save.
Abbildung 5: Verwenden Sie ein Segment wie das hier gezeigte, um die Visits Metrik in Ihrem A4T nach Auto-Target Bericht zu filtern
Nachdem das Segment erstellt wurde, verwenden Sie es zum Filtern der Visits Metrik, sodass die Visits Metrik nur Besuche enthält, bei denen der Benutzer mit der Target interagiert hat.
So filtern Sie Visits mit diesem Segment:
- Ziehen Sie das neu erstellte Segment aus der Komponenten-Symbolleiste und bewegen Sie den Mauszeiger über die Basis der Visits Metrikbeschriftung, bis eine blaue Filter by angezeigt wird.
- Segment freigeben. Der Filter wird auf diese Metrik angewendet.
Das letzte Bedienfeld wird wie folgt angezeigt:
Abbildung 6: Bedienfeld „Reporting“ mit dem Segment „Treffer mit spezifischer automatischer Targeting-Aktivität“, das auf die Visits Metrik angewendet wurde. Dieses Segment stellt sicher, dass nur Besuche im Bericht enthalten sind, bei denen ein Benutzer mit der betreffenden Target-Aktivität interagiert hat.
Stellen Sie sicher, dass Zielmetrik und Attribution an Ihrem Optimierungskriterium ausgerichtet sind
Durch die A4T-Integration kann das Auto-Target-ML-Modell mithilfe Konversionsereignisdaten trainiert) werden, die Adobe Analytics zum von verwendet. Es gibt jedoch bestimmte Annahmen, die bei der Interpretation dieser Daten beim Trainieren der ML-Modelle verwendet werden müssen, die sich von den Standardannahmen unterscheiden, die während der Reporting-Phase in Adobe Analytics gemacht wurden.
Insbesondere verwenden die Adobe Target ML-Modelle ein Attributionsmodell für Besuche. Das heißt, die ML-Modelle gehen davon aus, dass eine Konversion beim selben Besuch als Inhaltsanzeige für die Aktivität erfolgen muss, damit die Konversion der Entscheidung des ML-Modells „zugeordnet“ werden kann. Dies ist erforderlich, damit Target ein rechtzeitiges Training ihrer Modelle gewährleisten kann. Target können nicht bis zu 30 Tage auf eine Konversion (das standardmäßige Attributionsfenster für Berichte in Adobe Analytics) warten, bevor sie sie in die Trainingsdaten für ihre Modelle aufnehmen.
Daher kann der Unterschied zwischen der Zuordnung, die von den Target Modellen (während des Trainings) verwendet wird, und der Standardzuordnung, die bei der Datenabfrage (während der Berichterstellung) verwendet wird, zu Diskrepanzen führen. Es kann sogar den Anschein haben, dass die ML-Modelle schlecht abschneiden, obwohl das eigentliche Problem in der Attribution liegt.
Die genaue Metrikdefinition und die Attributionseinstellungen hängen von dem Optimierungskriterium ab, das Sie bei der Aktivitätserstellung angegeben haben.
Targeting von definierten Konversionen oder Analytics Metriken mit Maximieren des Metrikwerts pro Besuch
Wenn es sich bei der Metrik um eine Target oder eine Analytics Metrik mit Maximieren des Metrikwerts pro Besuch handelt, ermöglicht die Definition der Zielmetrik, dass im selben Besuch mehrere Konversionsereignisse auftreten.
Gehen Sie wie folgt vor, um Zielmetriken anzuzeigen, die dieselbe Attributionsmethode wie die Target ML-Modelle verwenden:
-
Bewegen Sie den Mauszeiger über das Zahnradsymbol der Zielmetrik:
-
Scrollen Sie im angezeigten Menü nach Data settings.
-
Wählen Sie Use non-default attribution model aus (falls noch nicht ausgewählt).
-
Klicken Sie auf Edit.
-
Wählen Sie Model: Participation und Lookback window: Visit aus.
-
Klicken Sie auf Apply.
Mit diesen Schritten wird sichergestellt, dass Ihr Bericht die Zielmetrik der Anzeige des Erlebnisses zuordnet, wenn das Zielmetrikereignis irgendwann („Teilnahme„) bei demselben Besuch stattgefunden hat, bei dem ein Erlebnis gezeigt wurde.
Analytics Metriken mit Konversionsraten eindeutiger Besuche
Besuch mit positivem Metriksegment definieren
Im Szenario, in dem Sie Optimierungskriterium Eindeutige Besuchs-Konversionsrate maximieren) ausgewählt haben, ist die richtige Definition der Konversionsrate der Anteil der Besuche, bei denen der Metrikwert positiv ist. Dies kann erreicht werden, indem ein Segment erstellt wird, das nach Besuchen mit einem positiven Wert der Metrik filtert, und dann die Besuchsmetrik gefiltert wird.
-
Wählen Sie wie zuvor in der Analysis Workspace die Option Components > Create Segment aus.
-
Geben Sie einen Title für Ihr Segment an.
Im folgenden Beispiel trägt das Segment den Namen “Visits with an order”.
-
Ziehen Sie die in Ihrem Optimierungsziel verwendete Basismetrik in das Segment.
Im folgenden Beispiel verwenden wir die Metrik Bestellungen, sodass die Konversionsrate den Anteil der Besuche misst, bei denen eine Bestellung aufgezeichnet wird.
-
Wählen Sie oben links im Container für die Segmentdefinition Include Besuch aus.
-
Verwenden Sie den is greater than Operator und setzen Sie den Wert auf 0.
Wenn Sie den Wert auf 0 setzen, umfasst dieses Segment Besuche, bei denen die Bestellmetrik positiv ist.
-
Klicken Sie auf Save.
Abbildung 7: Filtern der Segmentdefinition nach Besuchen mit positiver Reihenfolge. Abhängig von der Optimierungsmetrik Ihrer Aktivität müssen Sie Bestellungen durch eine entsprechende Metrik ersetzen
Wenden Sie dies auf die Besuche in der Metrik Aktivitätsfilterung an
Dieses Segment kann jetzt verwendet werden, um nach Besuchen mit einer positiven Anzahl von Bestellungen zu filtern und herauszufinden, wo ein Treffer bei der Auto-Target-Aktivität aufgetreten ist. Das Verfahren zum Filtern einer Metrik ähnelt dem vorherigen. Nach dem Anwenden des neuen Segments auf die bereits gefilterte Besuchsmetrik sollte das Berichtfenster wie in Abbildung 8 aussehen
Abbildung 8: Das Bedienfeld „Bericht“ mit der richtigen Konversionsmetrik für Unique Visits: die Anzahl der Besuche, bei denen ein Treffer aus der Aktivität aufgezeichnet wurde und bei denen die Konversionsmetrik (Bestellungen in diesem Beispiel) nicht null war.
Letzter Schritt: Erstellen Sie eine Konversionsrate, die die obige Magie erfasst
Mit den Änderungen an den Visit- und Zielmetriken in den vorherigen Abschnitten sollten Sie Ihre standardmäßige A4T-Version für Auto-Target Reporting-Panel schließlich so ändern, dass Sie Konversionsraten erstellen, die dem richtigen Verhältnis entsprechen - dem der korrigierten Zielmetrik - und zu einer entsprechend gefilterten „Besuche“ -Metrik führen.
Erstellen Sie dazu einen Calculated Metric mit den folgenden Schritten:
- Wählen Sie die Option Components > Create Metric in der Analysis Workspace Symbolleiste aus.
- Geben Sie eine Title für Ihre Metrik an. Beispiel: „Besuchskorrigierte Konversionsrate für Aktivität XXX“.
- Wählen Sie Format = Prozent und Decimal Places = 2 aus.
- Ziehen Sie die entsprechende Zielmetrik für Ihre Aktivität (z. B. Activity Conversions) in die Definition und passen Sie das Attributionsmodell wie zuvor beschrieben mit dem Zahnradsymbol für diese Zielmetrik an (Teilnahme|Besuch).
- Wählen Sie oben rechts im Definition Abschnitt Add > Container aus.
- Wählen Sie den Operator Division (÷) zwischen den beiden Containern aus.
- Ziehen Sie das zuvor erstellte Segment mit dem Namen „Treffer mit spezifischer Auto-Target" in dieses Tutorial für diese spezifische Auto-Target.
- Ziehen Sie die Visits Metrik in den Segment-Container.
- Klicken Sie auf Save.
Die vollständige Definition der berechneten Metrik wird hier angezeigt.
Abbildung 7: Metrikdefinition für die besuchskorrigierte und attributionskorrigierte Modellkonversionsrate. (Beachten Sie, dass diese Metrik von Ihrer Zielmetrik und Aktivität abhängt. Mit anderen Worten, diese Metrikdefinition ist nicht über Aktivitäten hinweg wiederverwendbar.)
Zusammenfassung: Abschließendes Beispiel Analysis Workspace Bedienfeld für Auto-Target Berichte
Die folgende Abbildung zeigt eine vollständige Ansicht des empfohlenen Berichts für Auto-Target A4T-Aktivitäten, indem alle oben genannten Schritte zu einem einzigen Bedienfeld zusammengefasst werden. Dieser Bericht ist derselbe, der von den Target ML-Modellen zur Optimierung Ihrer Zielmetrik verwendet wird. Der Bericht enthält alle Nuancen und Empfehlungen, die in diesem Tutorial besprochen wurden. Dieser Bericht ähnelt auch den Zählmethodiken, die in herkömmlichen Target-gesteuerten Auto-Target verwendet werden.
Klicken, um Bild zu erweitern.
Abbildung 10: Der endgültige A4T-Auto-Target-Bericht in Adobe Analytics Workspace, der alle Anpassungen an Metrikdefinitionen kombiniert, die in den vorherigen Abschnitten dieses Tutorials beschrieben wurden.