UI でのストリーミングソースのデータフローの監視
このチュートリアルでは、 ソース ワークスペース。
はじめに
このチュートリアルは、Adobe Experience Platform の次のコンポーネントを実際に利用および理解しているユーザーを対象としています。
- データフロー:データフローは、Platform 間でデータを移動するデータジョブを表します。データフローは異なるサービスをまたいで設定され、ソースコネクタからターゲットデータセット、Identity および Profile、Destinations へとデータを移動できます。
- データフロー実行:データフロー実行は、選択したデータフローの頻度設定に基づいて繰り返しスケジュールされたジョブです。
- ソース:Experience Platform を使用すると、データを様々なソースから取得しながら、Platform サービスを使用して受信データの構造化、ラベル付け、拡張を行うことができます。
- サンドボックス:Experience Platform には、単一の Platform インスタンスを別々の仮想環境に分割し、デジタルエクスペリエンスアプリケーションの開発と発展に役立つ仮想サンドボックスが用意されています。
ストリーミングソースのデータフローの監視
Platform の UI で、左側のナビゲーションバーで「Sources」を選択し、Sources のワークスペースにアクセスします。カタログ画面には、アカウントを作成できる様々なソースが表示されます。
ストリーミングソースの既存のデータフローを表示するには、「 」を選択します。 データフロー を上部のヘッダーから削除します。
The データフロー ページには、組織内のすべての既存のデータフローのリストが含まれています。このリストには、ソースデータ、アカウント名、データフローの実行ステータスに関する情報が含まれます。
表示するデータフローの名前を選択します。
次の表に、データフロー実行ステータスの詳細を示します。
Completed
「 」ステータスは、対応するデータフロー実行のすべてのレコードが 1 時間以内に処理されたことを示します。 A Completed
ステータスには、データフローの実行でエラーを含めることができます。Success
「 」ステータスは、対応するデータフロー実行のすべてのレコードが 1 時間以内に処理され、データフローの実行中にエラーが発生しなかったことを示します。Processing
」ステータスは、データフローがまだアクティブでないことを示します。 このステータスは、多くの場合、新しいデータフローを作成した直後に発生します。Error
」ステータスは、データフローのアクティブ化プロセスが中断されたことを示します。No runs
「 」ステータスは、データフローが作成されたが、データフローの実行が開始されなかったことを示します。The データフローアクティビティ ページには、ストリーミングデータフローに関する特定の情報が表示されます。 上部のバナーには、選択した日付範囲でのすべてのストリーミングデータフロー実行で取り込まれたレコードと失敗したレコードの累積数が表示されます。
デフォルトでは、表示されるデータには、過去 7 日間の取り込み率が含まれています。 選択 過去 7 日間 を使用して、表示されるレコードの時間枠を調整します。
カレンダーポップアップウィンドウが開き、別の取り込み時間枠のオプションが表示されます。 データフローの実行時間枠を設定して、過去 7 日間または過去 30 日間のフロー実行を表示できます。 または、インタラクティブカレンダーを設定して、任意のカスタム期間を設定します。 完了したら、「適用」を選択します。
ページの下半分には、フロー実行ごとの受信、取り込み、失敗のレコード数に関する情報が表示されます。 各フロー実行は、1 時間ごとのウィンドウ内に記録されます。
データフロー実行指標 dataflow-run-metrics
個々のデータフロー実行ごとに、次の詳細が表示されます。
- データフロー実行開始:データフロー実行が開始された時刻です。
- 処理時間:データフローの処理に要した時間。
- 受信したレコード:ソースコネクタからデータフローで受け取ったレコードの合計数。
- 取り込まれたレコード:に取り込まれたレコードの合計数。 Data Lake.
- 警告のあるレコード:取り込まれた警告を含んだレコードの合計数。 すべてのマッパー変換エラーは警告として報告され、部分的に取り込まれた行には次のラベルが付けられます。
success
警告付きで 注意:警告を含むレコードの取り込みのサポートは、ストリーミングソースでのみ使用できます。 - 失敗したレコード:に取り込まれなかったレコードの数 Data Lake データのエラーが原因で発生しています。
- 取り込み率:に取り込まれたレコードの成功率 Data Lake. この指標は、次の場合に適用されます。 部分取り込み が有効になっている。
- ステータス:データフローの状態(完了または処理中)を表します。完了 は、対応するデータフロー実行のすべてのレコードが 1 時間以内に処理されたことを意味します。 処理中は、データフロー実行がまだ終了していないことを意味します。
The データフロー実行の概要 ページには、対応するデータフロー実行 ID、ターゲットデータセット、組織 ID など、データフローに関する追加情報が含まれています。
エラーが発生したフロー実行には、 データフロー実行エラー パネル:実行の失敗につながった特定のエラーと、失敗したレコードの合計数を表示します。
警告のあるレコードを表示 warnings
警告のあるレコード フロー実行中に発生したマッパー変換の警告のリストを表示します。 部分的に取り込まれた行は正常と見なされ、マッパーの変換エラーが見つかった場合は警告が付加されます。
デフォルトでは、マッパー変換エラーはすべて警告と見なされますが、次のエラーのいずれかを除きます。
- 構文エラー
- 存在しない属性への参照
- XDM データタイプの不一致
エラー診断を表示するには、「 」を選択します。 エラー診断をプレビュー.
The エラー診断のプレビュー ウィンドウでは、データフローの実行に関する最大 100 個のエラーや警告をプレビューできます。 ここから、詳しくは、 Data Access API.
次の手順
このチュートリアルでは、 ソース workspace を使用して、ストリーミングデータフローを監視し、データフローの失敗につながったエラーを特定します。 詳しくは、次のドキュメントを参照してください。