数据引入的护栏

上次更新: 2023-11-09
  • 创建对象:
  • Developer
    User
    Admin
    Leader

护栏是阈值,可为数据和系统使用、性能优化以及避免Adobe Experience Platform中的错误或意外结果提供指导。 护栏可指您对与许可权利相关的数据和处理的使用或使用。

本文档提供了有关Adobe Experience Platform中数据摄取防护的指南。

批量摄取的护栏

下表概述了在使用时应考虑的护栏 批量摄取API 或源:

摄取类型 准则 注释
使用批量摄取API进行数据湖摄取
  • 您可以使用批量摄取API,每小时向Data Lake摄取多达20 GB的数据。
  • 每批次的最大文件数为1500。
  • 最大批次大小为100 GB。
  • 每行的属性或字段的最大数量为10000。
  • 每个用户每分钟的最大批次数为138。
使用批处理源摄取数据湖
  • 您可以使用批量摄取源(例如)每小时向数据湖摄取多达200 GB的数据 Azure Blob, Amazon S3、和 SFTP.
  • 批次大小应介于256 MB和100 GB之间。 这同时适用于未压缩数据和压缩数据。 在数据湖中解压缩压缩数据时,将应用这些限制。
  • 每批次的最大文件数为1500。
请参阅 源概述 对于可用于数据摄取的源目录。
将批量摄取到配置文件
  • 记录类的最大大小为100 KB (soft)。
  • ExperienceEvent类的最大大小为10 KB (soft)。
  • 单个记录的最大大小为1 MB。
每天摄取的配置文件或ExperienceEvent批次数 每天摄取的Profile或ExperienceEvent批次的最大数量为90。 这意味着每天摄取的Profile和ExperienceEvent批次总数不能超过90。 摄取其他批次将影响系统性能。 这是一个软限制。 可以超出软限制,但是,软限制提供了系统性能推荐准则。

流式摄取的护栏

阅读 流式摄取概述 以了解有关流式摄取的护栏的信息。

流源的护栏

下表概述了使用流源时要考虑的防护:

摄取类型 准则 注释
流源
  • 最大记录大小为1 MB,建议的大小为10 KB。
  • 在创建新的源连接时,流源支持每秒钟有4000到5000个请求。 注意:流式处理数据完全到数据湖最多可能需要30分钟。
  • 您可以每秒处理4000到5000个到数据湖的请求。 注意:流式处理数据完全到数据湖最多可能需要30分钟。
流源,如 Kafka, Azure Event Hubs、和 Amazon Kinesis 请勿使用 Data Collection Core Service (DCCS)路由,可以具有不同的吞吐量限制。 请参阅 源概述 对于可用于数据摄取的源目录。

后续步骤

请参阅Real-Time CDP产品描述文档中的以下文档,了解有关其他Experience Platform服务护栏、端到端延迟信息和许可信息的更多信息:

在此页面上