データ取り込みの概要

Adobe Experience Platformでは、データ取得とは、様々なソースからストレージメディアにデータを転送し、そこで組織がアクセス、使用、分析できるようにすることです。 Experience Platformのデータ取り込みは、ストリーミング取り込み と バッチ取り込み の 2 つの主なカテゴリにグループ化できます。

ストリーミングとバッチの取り込みでは、データをExperience Platformに取り込むために使用できる様々な方法があります。 例えば、様々な ソース を使用し、これらのソースに接続してデータをExperience Platformに取り込みます。

データをExperience Platformに取り込む様々な方法の概要については、このドキュメントを参照してください。

ストリーミング取り込み streaming

ストリーミング取得を使用して、クライアントおよびサーバーサイドデバイスから、リアルタイムでExperience Platformにデータを送信できます。 Experience Platformでは、受信したエクスペリエンスデータをストリーミングするためのデータインレットの使用をサポートしています。このデータインレットは、データレイク内のストリーミング対応データセットで保持されます。 データインレットは、収集したデータを自動的に認証するように設定でき、信頼できるソースからのデータであることを確認できます。

詳しくは、​ ストリーミング取得の概要 ​ を参照してください。

バッチ取得 batch

Experience Platformでは、バッチは、一定期間にわたって収集された一連のデータで、1 つのユニットとして一緒に処理されます。 データセットは、バッチで構成されます。 バッチ取り込みを使用して、データをバッチファイルとしてExperience Platformに取り込むことができます。 取り込まれたバッチには、正常に取り込まれたレコードの数と、失敗したレコードの数、および関連するエラーメッセージを示すメタデータが提供されます。

フラットな CSV ファイル（XDM スキーマにマッピングされたもの）や parquet ファイルなど、手動でアップロードされたデータファイルは、この方法を使用して取り込む必要があります。

詳しくは、​ バッチ取得の概要 ​ を参照してください。

ソース sources

Experience Platform Sources に接続してデータを取り込むこともできます。 Experience Platformには、接続してデータを取り込むことができる様々なデータソースのカタログが用意されています。 これらのソースには、Adobe Analytics ソースやMarketo Engage ソースなどのネイティブのAdobe アプリケーションを使用できます。 Amazon S3 ソースや Google Cloud Storage ソースなど、サードパーティのソースに接続することもできます。

ソースは、クラウドストレージ、データベース、CRM システムなど、様々なカテゴリにグループ化されます。 特定のソースは、バッチまたはストリーミング取得をサポートする場合があります。

ソースを使用すると、様々なデータソースや、様々なユースケースカテゴリからデータを取り込むことができます。 さらに、ソースを介したデータ取り込みでは、外部データソースに対して認証を行い、取り込みスケジュールを設定し、取り込みスループットを管理することができます。

詳しくは、​ ソースの概要 ​ を参照してください。

ML 支援スキーマの作成 ml-assisted-schema-creation

新しいデータソースをすばやく統合するために、機械学習アルゴリズムを使用して、サンプルデータからスキーマを生成できるようになりました。 この自動化により、正確なスキーマの作成が簡素化され、エラーが減り、データ収集から分析およびインサイトに至るプロセスが迅速化されます。

このワークフローについて詳しくは 🔗 ML-ASSISTED schema creation guide」を参照してください。

データ準備 data-prep

データ準備は取り込み方法ではありませんが、データ取り込みプロセスの重要な部分です。 データフローを作成してデータをExperience Platformに取り込む前に、データ準備関数を使用して、エクスペリエンスデータモデル（XDM）との間でデータのマッピング、変換および検証を行います。 データ準備は、データ取得プロセス中にExperience Platform ユーザーインターフェイスで「マッピング」手順として表示されます。

詳しくは、​ データ準備の概要 ​ を参照してください。

ストリーミング取り込み方法 streaming-ingestion-methods

次の表に、ストリーミングデータをExperience Platformに取り込む際に使用できる様々な方法の概要を示します。

バッチ取り込み方法 batch-ingestion-methods

次の表に、バッチデータをExperience Platformに取り込むために使用できる様々な方法の概要を示します。

次の手順とその他のリソース

このドキュメントでは、Experience Platform での Data Ingestion の様々な側面について簡単に説明しました。各取り込み方法の概要ドキュメントを引き続き参照して、それぞれの機能、ユースケース、ベストプラクティスをよく理解してください。また、次の取り込みの概要ビデオを見ることで、理解を補うこともできます。取り込んだレコードのメタデータを Experience Platform で追跡する方法について詳しくは、Catalog Service の概要 を参照してください。