データ取り込みのガードレール
IMPORTANT
バッチおよびストリーミング取り込みのガードレールは、一般的に、サンドボックスレベルではなく、組織レベルで計算されます。 つまり、サンドボックスごとのデータ使用量は、組織全体に対応するライセンス使用権限の合計にバインドされます。 さらに、開発用サンドボックスにおけるデータの使用は、プロファイル全体の10%に制限されています。 ライセンス使用権限について詳しくは、 データ管理のベストプラクティスガイド を参照してください。
ガードレールとは、Adobe Experience Platform でのデータやシステムの使用状況、パフォーマンスの最適化、エラーや予期しない結果の回避に関するガイダンスを提供するしきい値のことです。 ガードレールは、データの使用状況や消費量、ライセンスのエンタイトルメントに関連する処理方法を参照できます。
IMPORTANT
このガードレール ページに加えて、実際の使用制限について、セールスオーダーと対応する製品説明のライセンス使用権限を確認してください。
このドキュメントでは、Adobe Experience Platform でのデータ取り込みのガードレールに関するガイダンスを説明します。
バッチ取り込み用のガードレール
次の表に、バッチ取り込み API またはソースを使用する際に検討するガードレールの概要を示します。
取り込みのタイプ
ガイドライン
備考
バッチ取り込み API を使用したデータレイクの取り込み
- Adobeでは、バッチ内のファイル数を10,000個未満にすることをお勧めします。 10,000個を超えるファイルを含むバッチは、タイムリーかつ効率的な方法で取り込まれることが保証されていません。
- Adobeでは、バッチサイズを100 GB未満にすることをお勧めします。 100 GBを超えるバッチは、タイムリーかつ効率的な方法で取り込まれることが保証されていません。
- バッチ取り込み API を使用して、データレイクに 1 時間あたり最大 20 GB のデータを取り込むことができます。
- バッチあたりの最大ファイル数は25,000です。 25,000個を超えるファイルを含むバッチは、取り込み時に失敗します。
- 最大バッチサイズは1 TBです。 1 TBを超えるバッチは、取り込み時に失敗します。
- Change Data Capture （CDC）の最大バッチサイズは100 GBです。
- 1 行あたりのプロパティまたはフィールドの最大数は 10000 個です。
- ユーザーあたりの 1 分ごとの最大バッチ数は 2000 個です。
バッチが強制的なファイル数またはバッチサイズの制限を超えると、取り込みが失敗し、超えたしきい値を識別するエラーメッセージが表示されます。 例：
Batch ingestion guardrails hit: 25143 files (over the 25000 threshold); 1150000000000 bytes (over the 1099511627776 threshold)バッチソースを使用したデータレイクの取り込み
- Adobeでは、バッチ内のファイル数を10,000個未満にすることをお勧めします。 10,000個を超えるファイルを含むバッチは、タイムリーかつ効率的な方法で取り込まれることが保証されていません。
- Adobeでは、バッチサイズを100 GB未満にすることをお勧めします。 100 GBを超えるバッチは、タイムリーかつ効率的な方法で取り込まれることが保証されていません。
- Azure Blob、Amazon S3、SFTP などのバッチ取り込みソースを使用して、データレイクに1 時間あたり最大 200 GB のデータを取り込むことができます。
- バッチサイズは256 MB～1 TBにする必要があります。 1 TBを超えるバッチは、取り込み時に失敗します。 これは、非圧縮データと圧縮データの両方に適用されます。 圧縮されたデータがデータレイクで圧縮されていない場合、これらの制限が適用されます。
- バッチあたりの最大ファイル数は25,000です。 25,000個を超えるファイルを含むバッチは、取り込み時に失敗します。
- ファイルまたはフォルダーの最小サイズは1 バイトです。 0 バイトサイズのファイルやフォルダーを取り込むことはできません。
データ取り込みに使用できるソースのカタログについては、 ソースの概要を参照してください。 バッチが強制的なファイル数またはバッチサイズの制限を超えると、取り込みが失敗し、超えたしきい値を識別するエラーメッセージが表示されます。
プロファイルへのバッチ取り込み
- レコードクラスの最大サイズは100 KB （ハード）です。
- ExperienceEvent クラスの最大サイズは10 KB （ハード）です。
1 日に取り込まれるプロファイルバッチまたは ExperienceEvent バッチの数
1日に取り込まれるプロファイルまたはExperienceEvent バッチの最大数は、サンドボックスごとに90です。 つまり、1日に取り込まれたProfileとExperienceEventのバッチの合計は90を超えることはできません。 追加のバッチを取り込むと、システムのパフォーマンスに影響します。
これはソフトリミットです。 ソフトリミットを超えることはできますが、ソフトリミットはシステムのパフォーマンスに関する推奨ガイドラインです。 さらに、このガードレールは サンドボックス ごとに作成され、組織ごとに作成されるものではありません。
暗号化されたデータの取り込み
1つの暗号化ファイルでサポートされる最大サイズは1 GBです。 例えば、1回のデータフロー実行で2 GB以上のデータを取り込むことができますが、データフロー実行では1 GBを超える個々のファイルを取り込むことはできません。
暗号化されたデータの取り込みプロセスは、通常のデータ取り込みよりも時間がかかる場合があります。 詳しくは、暗号化データ取り込みAPI ガイド を参照してください。
アップサートバッチ取り込み
アップサートバッチの取り込みは、通常のバッチの最大10倍遅くなる可能性があります。そのため、効率的なランタイムを確保し、他のバッチがサンドボックスで処理されるのをブロックしないようにするには、アップサートバッチを200万レコード未満に抑える必要があります。
200万件を超えるレコードを含むバッチを確実に取り込むことができますが、小さなサンドボックスの制限により、取り込み時間が大幅に長くなります。
NOTE
推奨されるバッチサイズとファイル数はパフォーマンスガイドラインであり、制限は適用されません。 10,000～25,000個のファイルまたは100 GBを超え、最大1 TBのファイルを含む通常のバッチを取り込むことができますが、これらのバッチがタイムリーで効率的な方法で取り込まれることは保証されていません。 適用可能な最大失敗数を超えるバッチは、取り込み時に失敗します。
ストリーミング取り込み用のガードレール
ストリーミング取り込みのガードレールについて詳しくは、 ストリーミング取り込みの概要を参照してください。
ストリーミングソースのガードレール
次の表に、ストリーミングソースを使用する際に考慮すべきガードレールの概要を示します。
取り込みのタイプ
ガイドライン
備考
ストリーミングソース
- 最大レコードサイズは 1 MB、推奨サイズは 10 KB です。
- ストリーミングソースは、データレイクに取り込む際に、1秒あたり4,000～5,000件のリクエストをサポートします。 これは、既存のソース接続に加えて、新しく作成されたソース接続の両方に適用されます。 メモ: ストリーミングデータがデータレイクに完全に処理されるまでに、最大60分かかる場合があります。
- ストリーミングソースは、プロファイルまたはストリーミングセグメンテーションにデータを取り込む際に、1秒あたり最大1500件のリクエストをサポートします。
Kafka、Azure Event Hubs、Amazon Kinesis などのストリーミングソースは Data Collection Core Service（DCCS）ルートを使用せず、スループットの制限が異なる場合があります。 データ取り込みに使用できるソースのカタログについて詳しくは、ソースの概要を参照してください。
次の手順
その他のExperience Platform サービスのガードレール、エンドツーエンドの待ち時間に関する情報、Real-Time CDPの製品説明ドキュメントからのライセンス情報については、次のドキュメントを参照してください。
recommendation-more-help
experience-platform-help-ingestion