Monitorización de flujos de datos para orígenes en la interfaz de usuario

En Adobe Experience Platform, los datos se incorporan a partir de una amplia variedad de fuentes, se analizan en el Experience Platform y se activan en una amplia variedad de destinos. Platform facilita el proceso de seguimiento de este flujo de datos potencialmente no lineal al proporcionar transparencia con flujos de datos.

El panel de monitorización proporciona una representación visual del recorrido de un flujo de datos. Puede utilizar una vista de monitorización agregada y navegar verticalmente desde el nivel de origen, hasta un flujo de datos y hasta una ejecución de flujo de datos, lo que le permite ver las métricas correspondientes que contribuyen al éxito o al fracaso de un flujo de datos. También puede utilizar la capacidad de supervisión entre servicios del panel de monitorización para supervisar el recorrido de un flujo de datos desde un origen, a Identity Service y a Profile.

Este tutorial proporciona pasos para monitorizar el flujo de datos, mediante la vista de monitorización agregada y la monitorización entre servicios.

Primeros pasos

Este tutorial requiere una comprensión práctica de los siguientes componentes de Adobe Experience Platform:

  • Flujos de datos: Los flujos de datos son una representación de los trabajos de datos que mueven los datos a través de Platform. Los flujos de datos se configuran en distintos servicios, lo que ayuda a mover datos de conectores de origen a conjuntos de datos de destino, a Identity y Profile, y a Destinations.
    • Se ejecuta el flujo de datos: Las ejecuciones de flujo de datos son los trabajos programados recurrentes basados en la configuración de frecuencia de los flujos de datos seleccionados.
  • Fuentes: Experience Platform permite la ingesta de datos de varias fuentes, al mismo tiempo que le ofrece la capacidad de estructurar, etiquetar y mejorar los datos entrantes mediante los servicios de Platform.
  • Servicio de identidad: Obtenga una mejor visión de los clientes individuales y su comportamiento al unir identidades entre dispositivos y sistemas.
  • Perfil del cliente en tiempo real: Proporciona un perfil de cliente unificado y en tiempo real basado en datos agregados de varias fuentes.
  • Simuladores para pruebas: Experience Platform proporciona entornos limitados virtuales que dividen una sola instancia de Platform en entornos virtuales independientes para ayudar a desarrollar y desarrollar aplicaciones de experiencia digital.

Vista de monitorización agregada

En la Platform UI, seleccione Monitoring en el panel de navegación izquierdo para acceder al panel Monitoring. El tablero Monitoring contiene métricas e información sobre todos los flujos de datos de fuentes, incluida la información sobre el estado del tráfico de datos desde una fuente a Identity Service y a Profile.

En el centro del tablero se encuentra el panel Source ingestion, que contiene métricas y gráficos que muestran datos en registros ingeridos y registros con errores.

panel de monitorización

De forma predeterminada, los datos mostrados contienen tasas de ingesta de las últimas 24 horas. Seleccione Last 24 hours para ajustar el lapso de tiempo de los registros mostrados.

fecha de cambio

Aparece una ventana emergente de calendario que proporciona opciones para intervalos de tiempo de ingesta alternativos. Seleccione Last 30 days y luego seleccione Apply

ajuste del intervalo de tiempo

Los gráficos están habilitados de forma predeterminada y puede deshabilitarlos para expandir la lista de fuentes a continuación. Seleccione la opción Metrics and graphs para desactivar los gráficos.

métricas y gráficos

Ingesta de origen Descripción
Records ingested El número total de registros introducidos.
Records failed El número total de registros que no se incorporaron debido a errores en los datos.
Total failed dataflows El número total de flujos de datos con estado failed.

La lista de consumo de origen muestra todas las fuentes que contienen al menos una cuenta existente. La lista también incluye información sobre la tasa de ingesta de cada fuente, el número de registros fallidos y el número total de flujos de datos fallidos en función del lapso de tiempo aplicado.

ingesta de origen

Para ordenar por la lista de fuentes, seleccione My sources y luego seleccione la categoría que desee en el menú desplegable. Por ejemplo, para centrarse en las almacenamiento en la nube, seleccione Cloud storage

ordenar por categoría

Para ver todos los flujos de datos existentes en todas las fuentes, seleccione Dataflows.

view-all-dataflows

Como alternativa, puede introducir una fuente en la barra de búsqueda para aislar una sola fuente. Una vez que haya identificado el origen, seleccione el icono de filtro filter situado junto a él para ver una lista de sus flujos de datos activos.

búsqueda

Aparecerá una lista de flujos de datos. Para reducir la lista y centrarse en los flujos de datos con errores, seleccione Show failures only.

show-failure-only

Busque el flujo de datos que desea monitorizar y, a continuación, seleccione el icono de filtro filter que se encuentra junto a él para obtener más información sobre su estado de ejecución.

dataflow

La página de ejecución del flujo de datos muestra información sobre la fecha de inicio de la ejecución del flujo de datos, el tamaño de los datos, el estado y la duración del tiempo de procesamiento. Seleccione el icono de filtro filter situado junto al tiempo de inicio de la ejecución del flujo de datos para ver sus detalles de ejecución del flujo de datos.

dataflow run-start

La página Dataflow run details muestra información sobre los metadatos del flujo de datos, el estado de ingesta parcial y el resumen de errores. El resumen del error contiene el error específico de nivel superior que muestra en qué paso el proceso de ingesta encontró un error.

Desplácese hacia abajo para ver información más específica sobre el error que se ha producido.

dataflow-run-details

El panel Dataflow run errors muestra el código de error y error específico que provocó el error de ingesta del flujo de datos. En este escenario, se produjo un error de transformación del asignador, que dio como resultado un error de 24 registros.

Seleccione Files para obtener más información.

dataflow run-errors

El panel Files contiene información sobre el nombre y la ruta del archivo.

Para una representación más granular del error, seleccione Preview error diagnostics.

files

Aparece la ventana Error diagnostics preview, que muestra una previsualización de hasta 100 errores en el flujo de datos. Puede seleccionar Download para recuperar un comando curl, que luego le permite descargar los diagnósticos de error.

Cuando haya terminado, seleccione Close

diagnóstico de errores

Puede utilizar el sistema de rutas de exploración del encabezado superior para volver al tablero Monitoring. Seleccione Run start: 2/14/2021, 9:47 PM para volver a la página anterior y, a continuación, seleccione Dataflow: Loyalty Data Ingestion Demo - Failed para volver a la página de flujos de datos.

rutas de exploración

Supervisión entre servicios

La parte superior del panel contiene una representación del flujo de ingesta desde el nivel de origen, hasta Identity Service y hasta Profile. Cada celda incluye un marcador de punto que indica la presencia de errores que se produjeron en esa fase de ingesta. Un punto verde significa una ingesta sin errores, mientras que un punto rojo significa que se ha producido un error en esa etapa concreta de ingesta.

monitorización entre servicios

En la página flujos de datos, busque un flujo de datos correcto y seleccione el icono de filtro filter que se encuentra junto a él para ver su información de ejecución del flujo de datos.

dataflow-success

La página Source ingestion contiene información que confirma la ingesta correcta de su flujo de datos. Desde aquí, puede empezar a monitorizar el recorrido de su flujo de datos desde el nivel de origen, hasta Identity Service y luego hasta Profile.

Seleccione Identities para ver la ingesta en la etapa Identities.

sources

Identity métricas

La página Identity processing contiene información sobre los registros ingestados a Identity Service, incluido el número de identidades añadidas, los gráficos creados y los gráficos actualizados.

Seleccione el icono de filtro filter situado junto al tiempo de inicio de la ejecución del flujo de datos para ver más información sobre la ejecución del flujo de datos Identity.

identidades

Métricas de identidad Descripción
Records received Número de registros recibidos de Data Lake.
Records failed Número de registros que no se incorporaron en Platform debido a errores en los datos.
Records skipped El número de registros que se incorporaron, pero no en Identity Service porque solo había un identificador en la fila de registro.
Records ingested Número de registros ingeridos en Identity Service.
Total records Recuento total de todos los registros, incluidos los registros con errores, los registros omitidos, los Identities agregados y los registros duplicados.
Identities added Número de identificadores nuevos netos agregados a Identity Service.
Graphs created Número de nuevos gráficos de identidad netos creados en Identity Service.
Graphs updated Número de gráficos de identidad existentes actualizados con bordes nuevos.
Failed dataflow runs Número de ejecuciones de flujo de datos que han fallado.
Processing time Marca de tiempo desde el inicio de la ingesta hasta la finalización.
Status Define el estado general de un flujo de datos. Los valores de estado posibles son:
  • Success: Indica que un flujo de datos está activo y que está incorporando datos según la programación proporcionada.
  • Failed: Indica que el proceso de activación de un flujo de datos se ha interrumpido debido a errores.
  • Processing: Indica que el flujo de datos aún no está activo. Este estado se encuentra a menudo inmediatamente después de crear un nuevo flujo de datos.

La página Dataflow run details muestra más información sobre la ejecución del flujo de datos Identity, incluido su ID de organización de IMS y el ID de ejecución del flujo de datos. Esta página también muestra el código de error y el mensaje de error correspondientes proporcionados por Identity Service, en caso de que se produzca algún error en el proceso de ingesta.

Seleccione Run start: 2/14/2021, 9:47 PM para volver a la página anterior.

identities-dataflow run

En la página Identity processing, seleccione Profiles para ver el estado de la ingesta de registros en la etapa Profiles.

select-profiles

Profile métricas

La página Profile processing contiene información sobre los registros ingestados a Profile, incluido el número de fragmentos de perfil creados, los fragmentos de perfil actualizados y el número total de fragmentos de perfil.

Seleccione el icono de filtro filter situado junto al tiempo de inicio de la ejecución del flujo de datos para ver más información sobre la ejecución del flujo de datos Profile.

perfiles

Métricas de perfil Descripción
Records received Número de registros recibidos de Data Lake.
Records failed El número de registros que se incorporaron, pero no en Profile debido a errores.
Profile fragments added Número de nuevos fragmentos Profile netos añadidos.
Profile fragments updated El número de fragmentos existentes Profile actualizados
Total Profile fragments El número total de registros escritos en Profile, incluidos todos los fragmentos Profile existentes actualizados y los nuevos fragmentos Profile creados.
Failed dataflow runs Número de ejecuciones de flujo de datos que han fallado.
Processing time Marca de tiempo desde el inicio de la ingesta hasta la finalización.
Status Define el estado general de un flujo de datos. Los valores de estado posibles son:
  • Success: Indica que un flujo de datos está activo y que está incorporando datos según la programación proporcionada.
  • Failed: Indica que el proceso de activación de un flujo de datos se ha interrumpido debido a errores.
  • Processing: Indica que el flujo de datos aún no está activo. Este estado se encuentra a menudo inmediatamente después de crear un nuevo flujo de datos.

La página Dataflow run details muestra más información sobre la ejecución del flujo de datos Profile, incluido su ID de organización de IMS y el ID de ejecución del flujo de datos. Esta página también muestra el código de error y el mensaje de error correspondientes proporcionados por Profile, en caso de que se produzca algún error en el proceso de ingesta.

profiles-dataflow-run

Pasos siguientes

Al seguir este tutorial, ha monitorizado correctamente el flujo de datos de ingesta desde el nivel de origen, a Identity Service y a Profile, utilizando el panel Monitoring. También ha identificado correctamente los errores que han contribuido al error de los flujos de datos durante el proceso de ingesta. Consulte los siguientes documentos para obtener más información:

En esta página