データ取り込みの概要

Adobe Experience Platformでは、データの取り込みとは、さまざまなソースからデータを記憶媒体に転送し、企業がアクセス、使用、分析できるようにすることです。 Experience Platformでのデータ取り込みは、主に​ ストリーミング取り込み ​と​ バッチ取り込み ​の2つのカテゴリに分類できます。

ストリーミングおよびバッチ取り込みの下には、データをExperience Platformに取り込むために使用できる、さまざまな方法があります。 これらの方法には、様々な​ ソース ​を使用し、これらのソースに接続してデータをExperience Platformに取り込む方法が含まれます。

Experience Platformにデータを取り込む様々な方法について詳しくは、このドキュメントを参照してください。

ストリーミング取り込み streaming

ストリーミング取り込みを使用して、クライアントデバイスとサーバーサイドデバイスからExperience Platformにリアルタイムでデータを送信できます。 Experience Platformでは、受信エクスペリエンスデータをストリーミングするためのデータインレットの使用をサポートしています。これは、データレイク内のストリーミング対応データセットに保持されます。 データインレットは、収集したデータを自動的に認証するように設定でき、信頼できるソースからのデータであることを確認できます。

詳しくは、​ ストリーミング取り込みの概要を参照してください。

バッチ取り込み batch

Experience Platformでは、バッチとは、一定期間にわたって収集され、1つのユニットとして処理されたデータのセットのことです。 データセットはバッチで構成されています。 バッチ取り込みを使用すると、データをExperience Platformにバッチファイルとして取り込むことができます。 取り込まれたバッチには、正常に取り込まれたレコードの数と、失敗したレコードの数、および関連するエラーメッセージを示すメタデータが提供されます。

フラットなCSV ファイル（XDM スキーマにマッピング）やparquet ファイルなどの手動でアップロードされたデータファイルは、この方法を使用して取り込む必要があります。

詳しくは、​ バッチ取り込みの概要を参照してください。

ソース sources

また、Experience Platform ソースに接続してデータを取り込むこともできます。 Experience Platformには、様々なデータソースカタログが用意されています。これらのデータソースカタログに接続して、データを取り込むことができます。 これらのソースは、Adobe Analytics ソースやMarketo Engage ソースなどのネイティブのAdobe アプリケーションにすることができます。 Amazon S3 ソースやGoogle Cloud Storage ソースなどのサードパーティ ソースに接続することもできます。

ソースは、クラウドストレージ、データベース、CRM システムなど、さまざまなカテゴリーに分類されます。 特定のソースは、バッチまたはストリーミングの取り込みをサポートしている場合があります。

ソースを使用すると、様々なデータソースや様々なユースケースのカテゴリからデータを取り込むことができます。 さらに、ソースを介したデータ取り込みでは、外部データソースに対する認証、取り込みスケジュールの設定、取り込みスループットの管理を行うことができます。

詳細については、​ ソースの概要を参照してください。

ML支援スキーマの作成 ml-assisted-schema-creation

新しいデータソースをすばやく統合するために、マシンラーニングアルゴリズムを使用して、サンプルデータからスキーマを生成できるようになりました。 これにより、正確なスキーマの作成が簡素化され、エラーを減らし、データ収集から分析、インサイトに至るまでのプロセスを高速化できます。

このワークフローについて詳しくは、ML支援スキーマ作成ガイド ​を参照してください。

データ準備 data-prep

データ準備は取り込み方法ではありませんが、データ取り込みプロセスの重要な部分です。 Experience Platformにデータを取り込むデータフローを作成する前に、データ準備関数を使用して、Experience Data Model （XDM）との間でデータをマッピング、変換、検証します。 データ準備は、データ取り込みプロセス中にExperience Platform ユーザーインターフェイスの「マッピング」ステップとして表示されます。

詳しくは、​ データ準備の概要を参照してください。

ストリーミング取り込み方法 streaming-ingestion-methods

次の表は、ストリーミングデータをExperience Platformに取り込むために使用できるさまざまなメソッドの概要を示しています。

バッチ取り込み方法 batch-ingestion-methods

次の表は、バッチデータをExperience Platformに取り込むために使用できるさまざまな方法の概要を示しています。

次の手順とその他のリソース

このドキュメントでは、Experience Platform での Data Ingestion の様々な側面について簡単に説明しました。 各取り込み方法の概要ドキュメントを引き続き参照して、それぞれの機能、ユースケース、ベストプラクティスをよく理解してください。 また、次の取り込みの概要ビデオを見ることで、理解を補うこともできます。 取り込んだレコードのメタデータを Experience Platform で追跡する方法について詳しくは、Catalog Service の概要 を参照してください。