データ取り込みのガードレール
IMPORTANT
バッチおよびストリーミング取り込みのガードレールは、サンドボックスレベルではなく組織レベルで計算されます。 つまり、サンドボックスごとのデータ使用状況は、組織全体に対応するライセンス使用権限の合計にバインドされます。 さらに、開発用サンドボックスでのデータ使用は、プロファイル全体の 10% に制限されています。 ライセンス使用権限について詳しくは、 データ管理のベストプラクティスガイドを参照してください。
ガードレールとは、Adobe Experience Platform でのデータやシステムの使用状況、パフォーマンスの最適化、エラーや予期しない結果の回避に関するガイダンスを提供するしきい値のことです。 ガードレールは、データの使用状況や消費量、ライセンスのエンタイトルメントに関連する処理方法を参照できます。
IMPORTANT
このガードレール ページに加えて、販売注文と対応する 製品説明でライセンスの使用権限を確認してください。
このドキュメントでは、Adobe Experience Platform でのデータ取り込みのガードレールに関するガイダンスを説明します。
バッチ取り込み用のガードレール
次の表に、バッチ取り込み API またはソースを使用する際に検討するガードレールの概要を示します。
取り込みのタイプ
ガイドライン
備考
バッチ取り込み API を使用したデータレイクの取り込み
- バッチ取り込み API を使用して、データレイクに 1 時間あたり最大 20 GB のデータを取り込むことができます。
- バッチあたりの最大ファイル数は 1500 個です。
- 最大バッチサイズは 100 GB です。
- 1 行あたりのプロパティまたはフィールドの最大数は 10000 個です。
- ユーザーあたりの 1 分ごとの最大バッチ数は 2000 個です。
バッチソースを使用したデータレイクの取り込み
- Azure Blob、Amazon S3、SFTP などのバッチ取り込みソースを使用して、データレイクに1 時間あたり最大 200 GB のデータを取り込むことができます。
- バッチサイズは 256 MB から 100 GB の間である必要があります。 これは、非圧縮データと圧縮データの両方に適用されます。 圧縮されたデータがデータレイクで圧縮されていない場合、次の制限が適用されます。
- バッチあたりの最大ファイル数は 1500 個です。
- ファイルまたはフォルダの最小サイズは 1 バイトです。 0 バイトのサイズのファイルやフォルダーは取り込めません。
データ取り込みに使用できるソースのカタログについて詳しくは、 ソースの概要を参照してください。
プロファイルへのバッチ取り込み
- レコードクラスの最大サイズは 100 KB （ハード）です。
- ExperienceEvent クラスの最大サイズは 10 KB （ハード）です。
1 日に取り込まれるプロファイルバッチまたは ExperienceEvent バッチの数
1 日に取り込まれるプロファイルバッチまたは ExperienceEvent バッチの最大数は 90 です。 つまり、1 日に取り込まれるプロファイルバッチと ExperienceEvent バッチを合わせた合計数は 90 を超えることはできないということです。追加のバッチを取り込むと、システムのパフォーマンスに影響します。
これはソフトリミットです。 ソフトリミットを超えることは可能ですが、ソフトリミットはシステムパフォーマンスの推奨ガイドラインを示すものです。
暗号化されたデータの取り込み
1 つの暗号化ファイルのサポートされる最大サイズは 1 GB です。 例えば、1 回のデータフロー実行で 2 GB 以上のデータを取り込むことができますが、データフロー実行の個々のファイルは 1 GB を超えることはできません。
暗号化されたデータの取り込みプロセスは、通常のデータ取り込みよりも時間がかかる場合があります。 詳しくは、 暗号化されたデータ取り込み API ガイドを参照してください。
バッチ取り込みをアップサート
アップサートバッチの取り込みは、通常のバッチよりも最大 10 倍遅くなる場合があります。そのため、効率的なランタイムを確保し、サンドボックスで他のバッチが処理されるのをブロックしないようにするには、アップサートバッチを 200 万件未満のレコードに保つ 必要があります。
200 万件を超えるバッチは間違いなく取り込むことができますが、小さなサンドボックスの制限により、取り込み時間が大幅に長くなります。
ストリーミング取り込み用のガードレール
ストリーミング取り込みのガードレールについて詳しくは、 ストリーミング取り込みの概要を参照してください。
ストリーミングソースのガードレール
次の表に、ストリーミングソースを使用する際に検討するガードレールの概要を示します。
取り込みのタイプ
ガイドライン
備考
ストリーミングソース
- 最大レコードサイズは 1 MB、推奨サイズは 10 KB です。
- ストリーミングソースは、データレイクに取り込む際に、1 秒あたり 4,000～5,000 件のリクエストをサポートします。 これは、既存のソース接続に加えて、新しく作成したソース接続の両方に適用されます。 注意：ストリーミングデータがデータレイクへと完全に処理されるまでに、最大 30 分かかる場合があります。
- ストリーミングソースは、データをプロファイルまたはストリーミングセグメント化に取り込む際、1 秒あたり最大 1500 リクエストをサポートします。
Kafka、Azure Event Hubs、Amazon Kinesis などのストリーミングソースは Data Collection Core Service（DCCS）ルートを使用せず、スループットの制限が異なる場合があります。データ取り込みに使用できるソースのカタログについて詳しくは、ソースの概要を参照してください。
次の手順
他のExperience Platformサービスのガードレール、エンドツーエンドの待ち時間の情報およびReal-Time CDP Product Description のドキュメントからのライセンス情報について詳しくは、次のドキュメントを参照してください。
recommendation-more-help
2ee14710-6ba4-4feb-9f79-0aad73102a9a