使用超多维数据集进行高效的大数据分析
AVAILABILITY了解如何在Adobe Experience Platform的Experience Query Service中使用超多维数据集，以提高效率执行高级数据分析。 本文档介绍如何使用Apache Datasketches 库的高级函数以增量方式处理不同的计数和复杂的计算，而不必每次都重新处理历史数据。
在大数据分析中，生成量度，如非重复计数、分位数、最频繁项目、联接和图分析通常涉及非累加计数（其中结果不能简单地从子组中求和）。 传统方法需要重新处理所有历史数据，这可能占用大量资源和时间。 使用草图（即使用概率表示大型数据集的简洁摘要）和高级查询服务功能，通过减少重新计算的需要来简化此过程。
超多维数据集的关键功能
超多维数据集提供了多种强大的功能，以提高数据分析效率和灵活性。
- 计算独特用户或不同查询数：使用SQL功能生成与数据的各种维度（如产品查看、网站访问或商业活动）交互的独特用户数，而无需重复重新分析原始数据。
- 增量处理：执行增量更新以折叠和合并跨维度和时间的数据点，而不从头开始重新计算所有内容。
- 多维度分析：超立方体支持多维度过滤和重新排列数据，以创建表示维度组合的摘要行。 然后，这些摘要可用于以最小的计算开销生成见解。
超多维数据集用例
使用超多维数据集高效地为各种用户交互生成不同的计数，而无需每次都完全重新计算数据。 以下是一些实用的使用场景：
- 分析在定义的时间段内查看特定产品的独特访客。
- 识别在给定时间段内与多个产品进行交互的用户，以增强交叉销售分析。
- 区分随着时间的推移，使用一种产品而不是另一种产品的用户，以揭示偏好设置模式。
- 将在线和离线交互数据相结合，可全面了解用户在特定时段内的行为。
- 跟踪用户在事件中不同活动之间的移动，以优化布局和服务。
使用超多维数据集的好处
在这些情况下，您可以预先计算特定类别的基本信息。 但是，在跨多个维度和时间段分析数据时，必须从原始数据重新计算所有内容，或使用查询服务超多维数据集。 超立方体通过高效组织数据来简化流程，这允许灵活过滤和多维度分析，而无需重新处理。 他们使用高级功能快速准确地评估结果，从而提供关键优势，例如提高处理效率、可扩展性和对复杂分析任务的适应性。
查询处理的数据大小效率
查询服务可以将数百万或数十亿数据点（例如，用户ID）压缩为称为草图的紧凑形式。 此草图显着减小了查询处理的数据大小，从而维护了可扩展性并使处理变得更加简单和快速。 无论原始数据变得多大，草图的大小都会保持很小，这使得分析大数据变得更加易于管理和高效。
下图说明如何将Commerce、产品信息和Web维度ExperienceEvents处理为草图，然后使用草图来估计唯一计数。
