Monitorización de ingesta de lago de datos

IMPORTANT
El tablero de monitorización no admite actualmente fuentes de streaming, como la fuente de API HTTP. En este momento, solo puede utilizar el panel para monitorizar los orígenes de lotes.

Puede utilizar el panel de monitorización de la interfaz de usuario de Adobe Experience Platform para recuperar métricas sobre los procesos de ingesta y retención de datos en el lago de datos. Utilice los gráficos de la interfaz para monitorizar las tendencias de ingesta y retención a lo largo del tiempo y resumir el rendimiento de todos los flujos de datos de origen.

Lea este documento para aprender cómo puede utilizar el panel de monitorización para monitorizar todo el procesamiento de datos en el lago de datos, incluidas tanto la ingesta como la retención.

Introducción get-started

Este tutorial requiere una comprensión práctica de los siguientes componentes de Adobe Experience Platform:

  • Flujos de datos: los flujos de datos son una representación de los trabajos de datos que mueven datos a través de Experience Platform. Los flujos de datos se configuran en diferentes servicios, lo que ayuda a mover datos de los conectores de origen a los conjuntos de datos de destino, a Identity y Profile, y a Destinations.
    • Ejecuciones de flujo de datos: Las ejecuciones de flujo de datos son los trabajos programados recurrentes basados en la configuración Frecuencia de los flujos de datos seleccionados.
  • Fuentes: Experience Platform permite que se ingieran datos de varias fuentes al tiempo que le brinda la capacidad de estructurar, etiquetar y mejorar los datos entrantes utilizando Experience Platform servicios.
  • Servicio de identidad: Obtenga una mejor vista de los clientes individuales y su comportamiento al unir identidades entre dispositivos y sistemas.
  • Perfil del cliente en tiempo real: Proporciona un perfil de consumidor unificado en tiempo real basado en datos agregados de múltiples fuentes.
  • Zonas protegidas: Experience Platform proporciona zonas protegidas virtuales que dividen una sola instancia de Experience Platform en entornos virtuales independientes para ayudar a desarrollar y evolucionar aplicaciones de experiencia digital.

Uso del panel de control de monitorización para la ingesta del lago de datos

Seleccione Data lake en el encabezado principal del panel de monitorización para ver la tasa de ingesta del lago de datos.

Panel de supervisión con la tarjeta de orígenes seleccionada.

El gráfico Ingestion rate muestra la tasa de ingesta de datos en función del lapso de tiempo configurado. De forma predeterminada, el panel de monitorización muestra las tasas de ingesta de las últimas 24 horas. Para ver los pasos sobre cómo configurar el lapso de tiempo, lea la guía sobre configuración del lapso de tiempo de supervisión.

El gráfico se muestra de forma predeterminada. Para ocultar el gráfico, seleccione Metrics and graphs para deshabilitar la opción y ocultar el gráfico.

Gráfico de métricas de tasa de ingesta.

La parte inferior del panel muestra una tabla que describe el informe de métricas actuales para todos los flujos de datos de origen existentes.

La tabla de métricas del tablero de monitoreo.

Métricas
Descripción
Registros recibidos
El número total de registros recibidos de una fuente determinada.
Registros ingeridos
Número total de registros ingeridos en el lago de datos.
Registros eliminados
Número total de registros eliminados debido a la configuración de retención del lago de datos o a cambios en las operaciones de captura de datos.
Registros omitidos
El número total de registros omitidos. Un registro omitido hace referencia a los campos que se omitieron porque no eran necesarios para la ingesta. Por ejemplo, si crea un flujo de datos de origen con la ingesta parcial habilitada, puede configurar una tasa de error aceptable umbral. Durante el proceso de ingesta, la ingesta omitirá los registros de campos que no son obligatorios, como los campos de identidad, siempre que estén dentro del umbral de error.
Error de registros
El número total de registros que no se pudieron ingerir debido a errores.
Tasa de ingesta
El porcentaje de registros que se ingirieron en función del número total de registros recibidos.
Total de flujos de datos fallidos
Número total de flujos de datos que han fallado.

Puede filtrar aún más los datos mediante las opciones proporcionadas sobre la tabla de métricas:

Filtrado de opciones
Descripción
Buscar
Utilice la barra de búsqueda para filtrar la vista a un solo tipo de origen.
Fuentes
Seleccione Sources para filtrar la vista y mostrar los datos de métricas por tipo de origen. Esta es la visualización predeterminada que utiliza el panel de monitorización.
Flujos de datos
Seleccione Dataflows esta opción para filtrar vista y mostrar Métrica datos por flujo de datos.
Mostrar solo errores
Seleccione esta opción Show failures only para filtrar los vista y mostrar únicamente los flujos de datos que informaron errores de ingesta.
Mis fuentes
Puede filtrar aún más la vista mediante el menú desplegable My sources. Utilice el menú desplegable para filtrar la vista por categoría. Como alternativa, puede seleccionar All sources para mostrar las métricas de todos los orígenes o seleccionar My sources para mostrar únicamente los orígenes con los que tiene una cuenta correspondiente.

Para personalizar la visualización de la columna, seleccione el icono de configuración de columna column-icon .

Panel de supervisión con el icono de configuración de columna seleccionado.

A continuación, utilice la ventana Customize table para seleccionar las columnas que desea que muestre el panel. Cuando termine, seleccione Apply.

Ventana emergente de columna personalizada en el panel de supervisión.

Para monitorizar los datos que se están ingiriendo en un flujo de datos específico, seleccione el icono de filtro filter junto a un origen.

TIP
Puede utilizar el tablero de monitorización para monitorizar las métricas de eliminación de datos de los registros eliminados mediante políticas de retención de datos. Para obtener más información sobre la retención de datos, lea la guía sobre configuración de políticas de retención de datos.

Controle un flujo de datos específico seleccionando el icono de filtro junto a una fuente determinada.

La tabla de métricas se actualiza a una tabla de flujos de datos activos que corresponden al origen seleccionado. Durante este paso, puede vista información adicional sobre sus flujos de datos, incluidos sus conjunto de datos y tipo de datos correspondientes, así como una marca de tiempo para indicar cuándo estuvieron activos por última vez.

Para seguir inspeccionando un flujo de datos, seleccione el filtro del icono de filtro junto al flujo de datos.

La tabla de flujos de datos en el panel de supervisión.

A continuación, se le dirigirá a una interfaz que enumera todas las iteraciones de ejecución de flujo de datos del flujo de datos seleccionado.

Las ejecuciones de flujo de datos representan una instancia de ejecución de flujo de datos. Por ejemplo, si un flujo de datos está programado para ejecutarse cada hora a las 9:00, las 10:00 y las 11:00 a.m., entonces tendrá tres instancias de ejecución de flujo. Las ejecuciones de flujo son específicas de su organización particular.

Para inspeccionar métricas de una iteración de ejecución de flujo de datos específica, seleccione el filtro de icono de filtro junto a su flujo de datos.

El flujo de datos se ejecuta Métrica Página.

Utilice el Página de detalles de ejecución del flujo de datos para vista métricas e información de la iteración de ejecución seleccionada.

Los detalles de ejecución del flujo de datos Página.

Detalles de ejecución del flujo de datos
Descripción
Registros ingeridos
El número total de registros que se ingirieron desde la ejecución del flujo de datos.
Error de registros
Número total de registros que no se ingirieron debido a errores en la ejecución del flujo de datos.
Total de archivos
Número total de archivos en la ejecución del flujo de datos.
Tamaño de los datos
El tamaño total de los datos contenidos en la ejecución del flujo de datos.
ID de ejecución de flujo de datos
El ID de la iteración de ejecución del flujo de datos.
ID de la organización
El ID de la organización en la que se ejecutó el flujo de datos.
Estado
El estado de ejecución del flujo de datos.
Inicio de ejecución de flujo de datos
Una marca de tiempo que indica cuándo se inició la ejecución del flujo de datos.
Fin de ejecución de flujo de datos
Una marca de tiempo que indica cuándo terminó la ejecución del flujo de datos.
Conjunto de datos
Conjunto de datos utilizado para crear el flujo de datos.
Tipo de datos
El tipo de datos que se encontraban en el flujo de datos.
Ingesta parcial
La ingesta parcial por lotes es la capacidad de ingerir datos que contengan errores, hasta un determinado umbral configurable. Esta función le permite introducir correctamente todos los datos exactos en Experience Platform, mientras que todos los datos incorrectos se agrupan por separado con información sobre los motivos por los que no son válidos. Puede habilitar la ingesta parcial durante el proceso de creación del flujo de datos.
Diagnósticos de error
Error diagnostics indica a la fuente que produzca diagnósticos de error a los que puede hacer referencia posteriormente al monitorizar la actividad del conjunto de datos y el estado del flujo de datos. Puede habilitar el diagnóstico de errores durante el proceso de creación del flujo de datos.
Resumen de errores
Ante una ejecución fallida del flujo de datos, el resumen del error muestra un código y una descripción de error para resumir por qué ha fallado la iteración de ejecución.

Si el flujo de datos ejecuta informes de errores, puede desplazarse hacia abajo hasta la parte inferior de la página utilizando la interfaz Dataflow run errors.

Utilice la sección Records failed para ver las métricas de los registros que no se ingirieron debido a errores. Para ver un informe de error completo, seleccione Preview error diagnostics. Para descargar una copia de los diagnósticos de error y del manifiesto de archivo, seleccione Download y, a continuación, copie la llamada de API de ejemplo que se utilizará con la API Data Access.

NOTE
Solo puede utilizar diagnósticos de errores si la función se habilitó durante el proceso de creación de la conexión de origen.

Próximos pasos next-steps

Al seguir este tutorial, aprendió a monitor la tasa de ingestión del lago de datos utilizando el Monitoring panel. También ha aprendido a identificar errores que causan errores de flujo de datos durante la ingesta. Consulte los siguientes documentos para obtener más detalles:

recommendation-more-help
d4f38c9a-ed8e-4b74-98e7-57b4df1b999f