查看作业计划详细信息
- 批量数据湖摄取
- 批量配置文件摄取
- 批次分段
- 批量目标激活
在排除作业故障或调查性能问题时,您需要有关特定数据集及其作业运行的详细信息。 作业计划界面允许您从时间线视图向下钻取到单个数据集和作业,以了解执行历史记录、时间和状态。
使用此详细视图可以:
- 调查特定作业失败或所用时间长于预期的原因
- 查看一段时间内数据集的执行历史记录
- 了解批处理作业的时间和持续时间模式
- 识别导致管道问题的特定批次
- 收集通过Adobe支持进行故障排除所需的信息
先决条件 prerequisites
在查看作业详细信息之前,您应:
了解详细信息层次结构 details-hierarchy
作业计划提供三个详细级别,使您能够从广泛的模式移动到特定的问题:
导航流:从时间线视图开始以识别问题→选择数据集以查看其详细信息→选择特定作业运行以调查详细信息。
了解时间线视图 timeline-visualization
时间线视图使用水平和垂直布局来帮助您了解任务计划和关键处理时间:
-
水平轴(时间进度):数据集及其作业运行在时间轴上从左到右显示,显示作业在选定时段(今天、昨天或过去7天)内的执行时间。 每个彩色条表示作业运行,根据其开始和结束时间水平放置。
-
垂直轴(计划的开始时间):关键计划的开始时间显示为横跨所有数据集的垂直线,以便轻松查看上游作业与下游处理之间的时间关系:
- 蓝色垂直线:表示计划何时开始分段
- 黑色垂直线:表示目标激活计划何时开始
利用此布局,可快速识别数据管道作业与下游处理之间的时间关系。 理想情况下,上游作业(如数据湖和配置文件摄取)应在这些垂直标记的左侧完成,以确保数据在分段和激活开始之前准备就绪。 延伸超过这些标记的任务指示了潜在的计时问题,其中下游流程可能在数据完全准备之前启动。
我应该使用哪个视图? which-view
使用下表为您的任务选择正确的视图。 将您需要执行的操作与建议的视图匹配以有效导航。
查看数据集详细信息 view-dataset-details
要查看特定数据集的详细信息,请执行以下操作:
- 在 Job Schedules 时间线视图中,找到要调查的数据集。
- 从左列中选择数据集名称。
数据集详细信息视图将在右侧面板中打开,显示与此数据集关联的所有作业的信息。
数据集详细信息面板显示按作业类型组织的数据集名称、ID和作业特定的量度。 在面板顶部,数据集ID显示为可单击的链接。 选择此ID可导航到完整数据集详细信息页面。
每个数据集详细信息面板包括以下量度:
湖摄取量度 lake-ingestion-metrics
对于包含数据湖摄取作业的数据集,面板会显示以下量度:
配置文件摄取量度 profile-ingestion-metrics
对于包含配置文件摄取作业的数据集,该面板会显示以下量度:
在时间轴中筛选数据集 filter-datasets
当有许多包含计划作业的数据集时,您可能希望将重点放在特定数据集上,而不是一次查看所有数据集。 数据集过滤器允许您选择要在时间轴视图中显示的数据集。
要筛选时间轴中显示的数据集,请执行以下操作:
- 在时间轴视图的左上角查找数据集计数器(例如,“2个数据集”)。
- 选择数据集计数器旁边的过滤器图标。
- 此时将打开一个数据集选择面板,其中显示所有具有计划作业且支持配置文件的可用数据集。
- 选择或取消选择要在时间轴视图中显示或隐藏的数据集。
- 时间轴会立即更新以仅显示选定的数据集。
使用过滤可以:
- 专注于特定数据源:对特定数据管道进行故障排除时,请进行筛选以仅显示相关数据集。
- 降低视觉混乱:如果您有许多数据集,那么过滤功能可帮助您更清楚地查看数据子集的模式。
- 比较相关数据集:仅选择与了解其计划关系相关的数据集。
- 调查反模式:当您发现潜在的配置问题时,请筛选到受影响的数据集以更仔细地检查它们。
该过滤器在您的会话期间持续存在,因此您可以在时间段(今天、昨天、过去7天)之间导航,同时保持您的数据集选择。
查看单个作业运行详细信息 view-job-details
当需要调查特定作业运行时,请从时间线中选择该作业以查看该特定运行的详细执行信息。
访问作业运行详细信息 access-job-details
要查看特定作业运行的详细信息,请执行以下操作:
- 在Job Schedules时间线视图中,找到要调查的特定作业运行。
- 选择时间线上的作业指示器(表示作业的彩色条)。
此时将打开 Dataflow run details 面板,显示有关该特定作业执行的信息。
数据流运行详细信息 dataflow-run-details
数据流运行详细信息面板按作业类型显示有关特定作业运行的信息。 对于摄取作业,您将看到湖摄取和配置文件摄取阶段的详细信息。
湖摄取作业详细信息 lake-ingestion-job-details
配置文件摄取作业详细信息 profile-ingestion-job-details
了解作业执行流程 job-execution-flow
查看特定作业运行时,您可以查看湖摄取和配置文件摄取之间的关系:
- 湖摄取首先运行:数据已加载到数据湖并进行验证。
- 配置文件摄取遵循:湖摄取完成后,符合条件的记录将被处理到配置文件存储中。
- 时间很重要:请注意湖摄取完成时和配置文件摄取开始时之间的时间差。 此处的差距可能会影响下游流程,如分段。
将作业运行详细信息用于:
- 验证特定作业是否成功完成
- 计算作业运行的实际持续时间(完成时间减去开始时间)
- 了解在特定运行中处理了多少记录
- 比较不同作业运行的性能
- 访问详细的数据流监控以进行故障排除
- 确定湖和配置文件摄取阶段之间的时间问题
作业详细信息疑难解答 troubleshooting
使用作业详细信息调查问题并确定后续步骤:
失败的作业:选择数据流运行ID以在监视仪表板中查看错误详细信息。 检查数据集详细信息以了解周期性模式,查看时间线以了解资源争用,并在您的配置中识别反模式。
缓慢作业:将持续时间与数据集量度中的历史平均值进行比较。 常见原因包括计划重叠、密集批次栈叠或数据量增加。
记录不匹配:将湖摄取记录与作业运行详细信息中的配置文件摄取记录进行比较。 由于身份要求和数据质量规则,配置文件摄取通常显示的记录较少。
有关详细的数据流状态信息,请参阅监视数据湖摄取、监视个人资料的数据流、监视受众的数据流和监视目标的数据流。
后续步骤 next-steps
了解如何查看作业详细信息后: