Uw AI-modellen controleren ai-model-observability
Of u een tellers, gegevenswetenschapper, of beslissingsbeheerder bent, die begrijpt hoe uw gepersonaliseerde optimalisatiemodellen presteren en gedraagt helpt u de beste aanbiedingen voor elke klant selecteren gebruikend AI.
Hiervoor kunt u de gezondheid, de trainingsstatus en de evolutie van uw AI-modellen rechtstreeks in Journey Optimizer volgen.
Dit geeft u een duidelijke mening van of uw model werkt, toen het het laatst werd opgeleid, wat tijdens opleiding gebeurde, hoe het uw bedrijfsresultaat (bijvoorbeeld, omzettingen of opbrengst) drijft, en problemen oplost wanneer het niet werkt.
➡️ Ontdek deze functie in video
De trainingsstatus weergeven from-ai-model-list
Als een model eenmaal is ingesteld op live, gaat het een doorlopende levenscyclus in: er worden gegevens verzameld en het model wordt regelmatig opnieuw opgeleid om de rangschikking van aanbiedingen te optimaliseren. U kunt de trainingsstatus van uw gepersonaliseerde optimalisatiemodellen controleren in de lijst met AI-modellen.
-
Ga naar Decisioning > Strategy setup > AI models om de voorraad van het AI-model te openen.
-
U kunt al uw beschikbare AI-modellen en hun status bekijken.
-
Voor elk Live AI-model van het gepersonaliseerde optimalisatietype kunt u de volgende twee kolommen zien:
- wanneer de laatste trainingsbaan liep (Last trained), en
- of elk model met succes heeft getraind of niet (Training result).
Dit staat u toe om modellen snel te identificeren die verder onderzoek of het oplossen van problemen vergen.
Toegang tot een modelstatusrapport access-ai-model-details
Klik in de lijst in een gepersonaliseerd AI-model voor optimalisatie. Hierna kunt u de onderstaande elementen bekijken:
-
Currently deployed model - deze sectie toont het momenteel opgestelde model, toen het werd opgesteld, welke datumwaaier van gegevens het gebruikt, hoeveel besluitvormingspunten (aanbiedingen) inbegrepen en gepersonaliseerd zijn, en de huidige verkeerstoewijzing over submodellen .
In dit voorbeeld, werd het model getraind op vijf besluitvormingspunten, en het model heeft genoeg verkeer om gepersonaliseerde voorspellingen voor drie van de besluitvormingspunten te ontwikkelen. De resterende twee beslissingselementen worden willekeurig betekend.
U kunt ook zien dat het model momenteel 40% van verkeer aan het gepersonaliseerde neurale netwerk, 40% van verkeer aan de contextafhankelijke bandiet, en 20% van verkeer aan willekeurige exploratie toewijst.
-
Last training job - In deze sectie wordt de status van de laatste trainingstaak tijdens het uitvoeren weergegeven, en eventuele foutberichten. leer meer over foutenstaten
In dit voorbeeld kunt u zien dat het geïmplementeerde model overeenkomt met de trainingstaak zoals u had verwacht.
-
Properties - Deze sectie toont de eigenschappen van het model, zoals de gebruikte dataset, optimalisatiemetrisch, en het publiek dat wordt gebruikt om het gepersonaliseerde optimalisatiemodel te trainen.
Klik op Edit properties om deze elementen te wijzigen. U wordt omgeleid naar het scherm voor het maken van het AI-model. Meer informatie
-
Model performance - Deze sectie toont de prestaties van elke arm van het model in tijd, zoals de verkeerstoewijzing en de omzettingssnelheid voor elk submodel. U kunt tussen laatste 7 dagen en laatste 30 dagen van een knevel voorzien. De lift en de statistische significantie zijn de belangrijkste indicatoren om te bepalen of het model daadwerkelijk uw marketingresultaten verbetert.
In dit voorbeeld ziet u dat de gepersonaliseerde submodellen in de afgelopen 30 dagen meer dan 60% opvallen in de conversiekoers, en deze opkomst is statistisch significant, wat betekent dat dit AI-model een invloed heeft op uw bedrijf.
-
Model traffic allocation over time - Deze sectie laat zien hoe het model zich in de loop der tijd heeft ontwikkeld. Wanneer een model eerst wordt opgesteld, is 100% van verkeer willekeurig omdat geen aanbiedingsgegevens nog zijn verzameld. Na de eerste omleiding verschuift het verkeer gewoonlijk naar de gepersonaliseerde armen.
In dit voorbeeld, kunt u zien dat de verkeerstoewijzing van 100% willekeurige exploratie naar neuraal netwerk en contextueel bandverkeer is verschoven aangezien het model in tijd werd heropgeleid.
Trainingsfouten begrijpen check-for-error-states
Voer de onderstaande stappen uit om foutgegevens weer te geven voor een gepersonaliseerd AI-model waarvan de laatste trainingtaak is mislukt.
-
Klik in het model in de lijst. De details van de modelstatus worden weergegeven.
In dit voorbeeld ziet u dat er geen model is geïmplementeerd omdat de laatste trainingstaak is mislukt.
note note NOTE Wanneer geen model wordt opgesteld, worden de besluitvormingsverzoeken gediend gebruikend eenvormige willekeurige verkeerstoewijzing. -
Doorloop de foutdetails in de sectie Last training job .
Een opleidingsbaan ontbreekt gewoonlijk wanneer er geen terugkoppelt gebeurtenissen in de dataset zijn die u voor dit model selecteerde. Het betekent dat u de dataset moet bevolken of een nieuwe dataset met aangewezen omzettingsgebeurtenissen selecteren.
-
U kunt controleren welke dataset in het model Properties wordt geselecteerd. Klik op Edit properties om een andere gegevensset te selecteren. Meer informatie
Veelgestelde vragen faq
De Gini-index voor elke modelarm wordt anders berekend, afhankelijk van het feit of de optimalisatiemetrisch binair of doorlopend is:
Binaire optimalisering metrische (b.v. kliks, orden): De index van Gini wordt gegevens verwerkt gebaseerd op het gebied onder de kromme (AUC) van de ontvanger-werkende karakteristieke kromme (ROC), normaal die als ROC AUC of eenvoudig AUC voor kort wordt bedoeld. De AUC van de ROC varieert van 0.5 (willekeurig model met nul voorspellend vermogen) tot 1.0 (perfecte voorspellende macht). ROC AUC wordt omgezet in een index van Gini gebruikend de formule Gini = 2 x (ROC AUC) - 1.
Ononderbroken optimalisering metrische (b.v. opbrengst, ordewaarde): De index van Gini wordt gegevens verwerkt gebaseerd op het gebied onder de kromme Lorenz verbonden aan de cumulatieve voorspelde positieven van het model tegenover de cumulatieve ware positieven in de bevolking. Het oppervlak onder de Lorenz-curve loopt van 0,0 (perfect voorspellend vermogen) tot 0,5 (willekeurig model met een voorspellend vermogen van nul). Lorenz AUC wordt in een Gini-index omgezet met de formule Gini = 1 - 2 x (Lorenz AUC).
Hoe kan ik-video video
Leer hoe u uw AI-classificatiemodellen kunt controleren en de trainingsstatus en -prestaties in Journey Optimizer kunt interpreteren.