DocumentaciónJourney OptimizerGuía de Journey Optimizer

Monitorización de los modelos de IA ai-model-observability

Last update: Tue Mar 10 2026 00:00:00 GMT+0000 (Coordinated Universal Time)
  • Se aplica a:
  • Journey Orchestration
  • Temas:

Creado para:

  • Intermedio
  • Usuario

Tanto si es un experto en marketing, un científico de datos o un administrador de decisiones, comprender cómo funcionan y se comportan los modelos de optimización personalizados le ayuda a seleccionar las mejores ofertas para cada cliente mediante IA.

Para ello, puede supervisar el estado, el estado de formación y la evolución de sus modelos de IA directamente en Journey Optimizer.

Esto le proporciona una visión clara de si el modelo funciona, cuándo se entrenó por última vez, qué sucedió durante la formación, cómo está impulsando el resultado de su negocio (por ejemplo, conversiones o ingresos) y cómo solucionar problemas cuando no funciona.

AVAILABILITY
Actualmente, esta funcionalidad solo es compatible con modelos de optimización personalizada.

➡️ Descubra esta funcionalidad en vídeo

Ver el estado de la formación from-ai-model-list

Una vez que un modelo está configurado para funcionar, entra en un ciclo de vida continuo: los datos se recopilan y el modelo se vuelve a entrenar periódicamente para optimizar la clasificación de las ofertas. Puede comprobar el estado de formación de los modelos de optimización personalizados en la lista de modelos de IA.

  1. Vaya a Decisiones > Configuración de estrategia > modelos de IA para abrir el inventario de modelos de IA.

  2. Puede ver todos los modelos de IA disponibles y su estado.

  3. Para cada modelo de IA Live del tipo de optimización personalizado, dos columnas le permiten ver:

    • cuando se ejecutó el último trabajo de formación (Último entrenamiento), y
    • si cada modelo se ha entrenado correctamente o no (Resultado de la formación).

    Esto le permite identificar rápidamente los modelos que necesitan más investigación o solución de problemas.

Acceso a un informe de estado de modelo access-ai-model-details

Haga clic en un modelo de IA de optimización personalizado de la lista. Desde aquí puede ver los elementos que se enumeran a continuación:

  • Modelo implementado actualmente: esta sección muestra el modelo implementado actualmente, cuándo se implementó, qué intervalo de fechas de datos utiliza, cuántos elementos de decisión (ofertas) se incluyen y personalizan y la asignación de tráfico actual entre submodelos.

    En este ejemplo, el modelo se entrenó en cinco elementos de decisión y tiene tráfico suficiente para desarrollar predicciones personalizadas para tres de los elementos de decisión. Los dos elementos de decisión restantes se proporcionan de forma aleatoria.

    También se puede ver que el modelo está asignando actualmente el 40% del tráfico a la red neuronal personalizada, el 40% del tráfico al bandido contextual y el 20% del tráfico a la exploración aleatoria.

  • Último trabajo de formación: en esta sección se muestra el estado del último trabajo de formación, cuándo se ejecutó y los mensajes de error. Más información sobre los estados de error

    En este ejemplo, se puede observar que el modelo implementado coincide con el trabajo de formación según lo esperado.

  • Propiedades: en esta sección se muestran las propiedades del modelo, como el conjunto de datos utilizado, la métrica de optimización y las audiencias utilizadas para entrenar el modelo de optimización personalizado.

    Haga clic en Editar propiedades para modificar estos elementos. Se le redirigirá a la pantalla Crear modelo de IA. Más información

  • Model performance: esta sección muestra el rendimiento de cada rama del modelo a lo largo del tiempo, como la asignación de tráfico y la tasa de conversión de cada submodelo. Puede alternar entre los últimos 7 días y los últimos 30 días. El alza y la relevancia estadística son los indicadores clave de si el modelo está mejorando realmente el resultado de marketing.

    En este ejemplo, puede ver que en los últimos 30 días, los submodelos personalizados han proporcionado más de un 60 % de aumento en la tasa de conversión y este aumento es estadísticamente significativo, lo que significa que este modelo de IA está generando un impacto para su negocio.

  • Asignación de tráfico de modelo con el paso del tiempo: esta sección muestra cómo ha evolucionado el modelo con el paso del tiempo. Cuando se implementa un modelo por primera vez, el 100 % del tráfico es aleatorio porque aún no se han recopilado datos de ofertas. Después del primer reentrenamiento, el tráfico generalmente se desplaza hacia los brazos personalizados.

    En este ejemplo, se puede ver que la asignación del tráfico ha cambiado de la exploración aleatoria al 100 % al tráfico de red neuronal y de bandido contextual, ya que el modelo se ha vuelto a entrenar con el paso del tiempo.

Comprender los errores de formación check-for-error-states

Para ver los detalles de error de un modelo de IA de optimización personalizado cuyo último trabajo de formación ha fallado, siga los pasos a continuación.

  1. Haga clic en el modelo en la lista. Se muestran los detalles del estado del modelo.

    {width="95%"}

    En este ejemplo, puede ver que no se ha implementado ningún modelo porque se produjo un error en el último trabajo de formación.

    note note
    NOTE
    Cuando no se implementa ningún modelo, las solicitudes de decisión se atienden mediante una asignación de tráfico aleatorio uniforme.

  2. Examine los detalles del error en la sección Último trabajo de formación.

    {width="70%"}

    Un trabajo de formación suele fallar cuando no hay eventos de comentarios en el conjunto de datos seleccionado para este modelo. Significa que debe rellenar el conjunto de datos o seleccionar uno nuevo con los eventos de conversión adecuados.

  3. Puede comprobar qué conjunto de datos está seleccionado en las propiedades del modelo. Haga clic en Editar propiedades para seleccionar otro conjunto de datos. Más información

    {width="45%"}

Preguntas frecuentes faq

¿Qué modelos de IA puedo monitorizar?
Actualmente, la monitorización del modelo de IA solo es compatible con modelos de optimización personalizados. Otros tipos de modelos de clasificación aún no exponen el informe de estado del modelo.
¿Por qué ha fallado el trabajo de formación de mi modelo?
Los trabajos de formación suelen fallar cuando el conjunto de datos seleccionado para el modelo no tiene eventos de comentarios (conversión) o tiene muy pocos. Consulte la sección Último trabajo de formación para ver los detalles del error y, a continuación, revise las propiedades del modelo para confirmar el conjunto de datos y la métrica de optimización. Rellene el conjunto de datos con los eventos adecuados o seleccione un conjunto de datos diferente con los datos de conversión adecuados.
¿Cómo se relaciona la monitorización del modelo de IA con los informes de campaña y recorrido?
La monitorización del modelo de IA difiere de la creación de informes de campaña o recorrido. Un solo modelo de IA se puede utilizar en varias campañas o varios recorridos, y los informes de campaña o recorrido no muestran qué modelo se utilizó para una entrega determinada. Utilice la monitorización del estado del modelo de IA para comprender y monitorizar el modelo en sí; use informes de campaña e informes de recorrido para métricas de nivel de entrega.
Mi métrica de optimización es una métrica continua como ingresos o valor de pedido, no una métrica binaria como clics o conversiones. ¿Cómo interpreto los valores de Conversiones y Tasa de conversión notificados?
Cuando se utiliza una métrica continua como ingresos o valor de pedido, el modelo intenta predecir el valor estimado asociado con la presentación de una oferta determinada (no la probabilidad de conversión). El valor "Conversiones" notificado es el ingreso total (o el valor del pedido) asociado con las visualizaciones de ofertas registradas para cada brazo del modelo. La "Tasa de conversión" registrada es el valor de Conversiones dividido por el valor de Pantallas y puede superar el 100 % en el caso de una métrica continua.
¿Qué es la relevancia del alza?
La relevancia del alza es la relevancia estadística del alza notificada frente a la exploración aleatoria. La significancia se calcula usando una prueba de chi cuadrado de diferencias de proporción, que proporciona un resultado idéntico al cálculo de significancia de una prueba Z para dos proporciones de población.
¿Cuál es el modelo del índice Gini? ¿Cuál es un valor <>bueno<> del índice Gini?
El índice de Gini del modelo (también conocido como coeficiente de Gini) es una medida sin conexión del poder predictivo de un modelo. El índice Gini del modelo varía de 0 (sin poder predictivo) a 1 (predice perfectamente la conversión o el valor de métrica de cada oferta para cada cliente). No hay un valor de índice de Gini "bueno" universal, ya que los diferentes casos de uso de decisiones resultan en un comportamiento diferente del usuario y, por lo tanto, en resultados de modelos diferentes. Dentro del mismo caso de uso, los valores más altos del índice de Gini indican un modelo de mayor calidad.
¿Cómo se calcula el índice de Gini?

El índice Gini de cada grupo de modelos se calcula de forma diferente en función de si la métrica de optimización es binaria o continua:

Métrica de optimización binaria (por ejemplo, clics, pedidos): El índice Gini se calcula en función del área bajo la curva (AUC) de la curva de característica de funcionamiento del receptor (ROC), normalmente denominada AUC de ROC o simplemente AUC para abreviar. El AUC de ROC varía de 0,5 (modelo aleatorio con cero poder predictivo) a 1,0 (poder predictivo perfecto). El AUC de ROC se convierte en un índice de Gini usando la fórmula Gini = 2 x (ROC AUC) - 1.

Métrica de optimización continua (por ejemplo: ingresos, valor de pedido): El índice Gini se calcula en función del área bajo la curva de Lorenz asociada a los positivos predichos acumulados del modelo frente a los positivos verdaderos acumulados en la población. El área bajo la curva de Lorenz varía de 0,0 (potencia predictiva perfecta) a 0,5 (modelo aleatorio con potencia predictiva cero). El AUC de Lorenz se convierte en un índice de Gini usando la fórmula Gini = 1 - 2 x (AUC de Lorenz).

¿Cuál es una mejor medida de la calidad del modelo: índice de Gini o relevancia de Alza/Alza?
Normalmente, las medidas en línea de la calidad del modelo, como la relevancia del alza y el alza, se consideran el método "estándar de oro" para medir la calidad del modelo. Los índices Gini proporcionan un punto de datos adicional para los equipos de ciencia de datos de clientes que evalúan modelos de toma de decisiones.

Vídeo práctico video

Aprenda a monitorizar los modelos de clasificación de IA e interpretar el estado y el rendimiento de la formación en Journey Optimizer.

https://video.tv.adobe.com/v/3479852?captions=spa&quality=12
recommendation-more-help
b22c9c5d-9208-48f4-b874-1cefb8df4d76