Övervaka dina AI-modeller ai-model-observability
Oavsett om du är marknadsförare, datavetare eller beslutsadministratör kan du med förståelse för hur era personaliserade optimeringsmodeller fungerar och fungerar hjälpa er att välja de bästa erbjudandena för varje kund med hjälp av AI.
Det gör du genom att övervaka hälsa, utbildningsstatus och utveckling för dina AI-modeller direkt i Journey Optimizer.
Detta ger dig en tydlig bild av om din modell fungerar, när den senast tränades, vad som hände under utbildningen, hur den påverkar ditt affärsresultat (till exempel konverteringar eller intäkter) och felsöker när den inte fungerar .
➡️ Upptäck den här funktionen i en video
Visa utbildningsstatus from-ai-model-list
När en modell är inställd på att vara aktiv går den in i en pågående livscykel: data samlas in och modellen omutbildas regelbundet för att optimera offerternas rankning. Du kan kontrollera utbildningsstatusen för dina personaliserade optimeringsmodeller i AI-modelllistan.
-
Gå till Decisioning > Strategy setup > AI models för att öppna AI-modellagret.
-
Du kan visa alla tillgängliga AI-modeller och deras status.
-
För varje Live AI-modell av den anpassade optimeringstypen kan du se två kolumner:
- när det senaste utbildningsjobbet kördes (Last trained), och
- om varje modell har tränats eller inte (Training result).
På så sätt kan du snabbt identifiera modeller som behöver undersökas ytterligare eller felsökas.
Åtkomst till en modellstatusrapport access-ai-model-details
Klicka på en personlig AI-optimeringsmodell i listan. Därifrån kan du visa elementen som listas nedan:
-
Currently deployed model - I det här avsnittet visas den modell som distribuerats för närvarande, när den distribuerades, vilket datumintervall med data som används, hur många beslutsobjekt (erbjudanden) som inkluderas och personaliseras samt den aktuella trafikallokeringen mellan delmodeller .
I det här exemplet har modellen utbildats på fem beslutsposter och modellen har tillräckligt med trafik för att utveckla personaliserade prognoser för tre av beslutsposterna. De återstående två beslutsposterna delges på måfå.
Ni kan också se att modellen för närvarande tilldelar 40 % av trafiken till det personaliserade neurala nätverket, 40 % av trafiken till kontextuell bandit och 20 % av trafiken till slumpmässig prospektering.
-
Last training job - I det här avsnittet visas status för det senaste utbildningsjobbet, när det kördes, och eventuella felmeddelanden. Läs mer om feltillstånd
I det här exemplet kan du se att den distribuerade modellen matchar utbildningsjobbet som förväntat.
-
Properties - I det här avsnittet visas modellens egenskaper, t.ex. vilken datauppsättning som används, optimeringsmåttet och vilka målgrupper som används för att utbilda den personaliserade optimeringsmodellen.
Klicka på Edit properties om du vill ändra de här elementen. Du omdirigeras till skärmen Skapa AI-modell. Läs mer
-
Model performance - I det här avsnittet visas prestanda för varje del av modellen över tid, t.ex. trafikallokering och konverteringsgrad för varje delmodell. Du kan växla mellan de senaste 7 dagarna och de senaste 30 dagarna. Lyftet och den statistiska betydelsen är de viktigaste indikatorerna på om modellen faktiskt förbättrar ert marknadsföringsresultat.
I det här exemplet ser du att de personaliserade undermodellerna under de senaste 30 dagarna har ökat konverteringsgraden med mer än 60 %, och den här höjningen är statistiskt signifikant, vilket innebär att den här AI-modellen påverkar verksamheten.
-
Model traffic allocation over time - I det här avsnittet visas hur modellen har utvecklats över tid. När en modell distribueras för första gången är 100 % av trafiken slumpvis eftersom inga erbjudandedata har samlats in ännu. Efter den första omskolningen rör sig trafiken vanligen mot de personaliserade armarna.
I det här exemplet ser du att trafiktilldelningen har växlat från 100 % slumpvis utforskande till neuralnätverk och kontextuell bandit-trafik när modellen omutbildades över tid.
Förstå utbildningsfel check-for-error-states
Följ stegen nedan om du vill visa felinformation för en anpassad optimerings-AI-modell vars senaste utbildningsjobb misslyckades.
-
Klicka på modellen i listan. Modellstatusinformationen visas.
I det här exemplet ser du att ingen modell distribueras eftersom det senaste utbildningsjobbet misslyckades.
note note NOTE Om ingen modell används hanteras beslutsbegäranden med enhetlig, slumpmässig trafikallokering. -
Gå igenom felinformationen i avsnittet Last training job.
Ett utbildningsjobb misslyckas vanligtvis när det inte finns några feedbackhändelser i datauppsättningen som du valde för den här modellen. Det innebär att du måste fylla i datauppsättningen eller välja en ny datauppsättning med lämpliga konverteringshändelser.
-
Du kan kontrollera vilken datauppsättning som har valts i modellens Properties. Klicka på Edit properties om du vill välja en annan datauppsättning. Läs mer
Vanliga frågor och svar faq
Gini-indexvärdet för varje modellarm beräknas på olika sätt beroende på om optimeringsmåttet är binärt eller kontinuerligt:
Binärt optimeringsmått (t.ex. klick, order): Gini-indexet beräknas baserat på ytan under kurvan (AUC) för den mottagande operatorns kurva (ROC), som vanligtvis kallas ROC AUC eller AUC för kort. AUC för ROC varierar från 0,5 (slumpmodell utan prediktiv effekt) till 1,0 (perfekt prediktiv effekt). AUC för ROC konverteras till ett Gini-index med formeln Gini = 2 x (ROC AUC) - 1.
Kontinuerligt optimeringsmått (t.ex. intäkt, ordervärde): Gini-indexet beräknas baserat på det område under Lorenz-kurvan som är associerat med modellens kumulativa förväntade positiva värden jämfört med de kumulativa verkliga positiva värdena i populationen. Området under Lorenzos-kurvan varierar från 0,0 (perfekt prediktiv effekt) till 0,5 (slumpmässig modell utan prediktiv effekt). Lorenz AUC konverteras till ett Gini- index med formeln Gini = 1 - 2 x (Lorenz AUC).
Instruktionsvideo video
Lär dig övervaka dina AI-rankningsmodeller och tolka utbildningsstatus och prestanda i Journey Optimizer.