データ取り込みのガードレール

ガードレールとは、Adobe Experience Platform でのデータやシステムの使用状況、パフォーマンスの最適化、エラーや予期しない結果の回避に関するガイダンスを提供するしきい値のことです。 ガードレールは、データの使用状況や消費量、ライセンスのエンタイトルメントに関連する処理方法を参照できます。

このドキュメントでは、Adobe Experience Platform でのデータ取り込みのガードレールに関するガイダンスを説明します。

バッチ取り込み用のガードレール

次の表に、バッチ取り込み API またはソースを使用する際に検討するガードレールの概要を示します。

取り込みのタイプ ガイドライン 備考
バッチ取り込み API を使用したデータレイクの取り込み
  • バッチ取り込み API を使用して、データレイクに 1 時間あたり最大 20 GB のデータを取り込むことができます。
  • バッチあたりの最大ファイル数は 1500 個です。
  • 最大バッチサイズは 100 GB です。
  • 1 行あたりのプロパティまたはフィールドの最大数は 10000 個です。
  • ユーザーあたりの 1 分ごとの最大バッチ数は 138 個です。
バッチソースを使用したデータレイクの取り込み
  • Azure Blob、Amazon S3、SFTP などのバッチ取り込みソースを使用して、データレイクに1 時間あたり最大 200 GB のデータを取り込むことができます。
  • バッチサイズは 256 MB から 100 GB の間である必要があります。
  • バッチあたりの最大ファイル数は 1500 個です。
 データ取り込みに使用できるソースのカタログについて詳しくは、ソースの概要を参照してください。
プロファイルへのバッチ取り込み
  • 1 時間あたり最大 120 GB のデータを取り込むことができます。
  • レコードクラスの最大サイズは 100 KB（ソフト）です。
  • ExperienceEvent クラスの最大サイズは 10 KB（ソフト）です。
  • 単一のレコードの最大サイズは 1 MB です。
1 日に取り込まれるプロファイルバッチまたは ExperienceEvent バッチの数 1 日に取り込まれるプロファイルバッチまたは ExperienceEvent バッチの最大数は 90 です。 つまり、1 日に取り込まれるプロファイルバッチと ExperienceEvent バッチを合わせた合計数は 90 を超えることはできないということです。追加のバッチを取り込むと、システムのパフォーマンスに影響します。 これはソフトリミットです。 ソフトリミットを超えることは可能ですが、ソフトリミットはシステムパフォーマンスの推奨ガイドラインを示すものです。

ストリーミング取り込み用のガードレール

次の表に、ストリーミング取り込み API またはストリーミングソースを使用する際に検討するガードレールの概要を示します。

取り込みのタイプ ガイドライン 備考
ストリーミング取り込み
  • 最大レコードサイズは 1 MB、推奨サイズは 10 KB です。
  • 1 分以内にプロファイルに対するリクエストを 1 秒あたり 20,000 件処理できます。
  • 15 分以内にデータレイクに対するリクエストを 1 秒あたり最大 20,000 件処理できます。
 より高いデータスループットが必要な場合は、バッチ取り込み API を使用します。
ストリーミングソース
  • 最大レコードサイズは 1 MB、推奨サイズは 10 KB です。
  • ストリーミングソースは、新規ソース接続の作成時に 1 秒あたり 4,000～5,000 件のリクエストをサポートします。注意：ストリーミングデータがデータレイクへと完全に処理されるまでに、最大 30 分かかる場合があります。
  • データレイクに対するリクエストを 1 秒あたり 4,000～5,000 件処理できます。注意：ストリーミングデータがデータレイクへと完全に処理されるまでに、最大 30 分かかる場合があります。
 Kafka、Azure Event Hubs、Amazon Kinesis などのストリーミングソースは Data Collection Core Service（DCCS）ルートを使用せず、スループットの制限が異なる場合があります。データ取り込みに使用できるソースのカタログについて詳しくは、ソースの概要を参照してください。

次の手順

Experience Platform でのデータやガードレールの処理について詳しくは、以下のドキュメントを参照してください。

このページ