数据摄取的防护

护栏是指为Adobe Experience Platform中的数据和系统使用、性能优化以及避免错误或意外结果提供指导的阈值。 护栏可以是指您对与授权许可相关的数据和处理的使用情况或使用情况。

本文档提供了有关在Adobe Experience Platform中摄取数据的防护的指导。

批量摄取的防护

下表概述了在使用 批量摄取API 或来源：

摄取类型 准则 注释
使用批量摄取API的数据湖摄取
  • 使用批量摄取API，您每小时可以摄取多达20 GB的数据到数据湖。
  • 每批文件的最大数量为1500。
  • 最大批处理大小为100 GB。
  • 每行的属性或字段的最大数为10000。
  • 每用户每分钟的批次数上限为138个。
使用批处理源的数据湖摄取
  • 使用批量摄取源(例如， Azure Blob, Amazon S3和 SFTP.
  • 批处理大小应介于256 MB和100 GB之间。
  • 每批文件的最大数量为1500。
 请参阅 源概述 用于数据摄取的源目录。
批量摄取到配置文件
  • 您每小时可摄取多达120 GB的数据。
  • 记录类的最大大小为100 KB（软）。
  • ExperienceEvent类的最大大小为10 KB（软）。
  • 单个记录的最大大小为1 MB。
每天摄取的配置文件或ExperienceEvent批次数 每天摄取的配置文件或ExperienceEvent批次数上限为90个。 这意味着每天摄取的配置文件和ExperienceEvent批次的合计总数不能超过90个。 摄取其他批次将影响系统性能。 这是个软限制。 可以超出软限制，但是软限制为系统性能提供了建议的准则。

用于流式引入的防护

下表概述了在使用 流式引入API 或流源：

摄取类型 准则 注释
流式摄取
  • 最大记录大小为1 MB，建议大小为10 KB。
  • 您可以在一分钟内每秒处理20000个向用户档案发出的请求。
  • 在15分钟内，您每秒最多可以处理20000个数据湖请求。
 如果您需要提高数据吞吐量，请使用批量摄取API。
流源
  • 最大记录大小为1 MB，建议大小为10 KB。
  • 在创建新的源连接时，流源每秒支持4000到5000个请求。 注意:流式数据最多可能需要30分钟才能完全处理到数据湖。
  • 您每秒可以处理4000到5000个数据湖请求。 注意:流式数据最多可能需要30分钟才能完全处理到数据湖。
 流源，如 Kafka, Azure Event Hubs和 Amazon Kinesis 不使用 Data Collection Core Service (DCCS)路由，并且可以具有不同的吞吐量限制。 请参阅 源概述 用于数据摄取的源目录。

后续步骤

有关Experience Platform中数据和处理护栏的更多信息，请参阅以下文档：

在此页面上