UIでのストリーミングソースのデータフローの監視
このチュートリアルでは、 ソース ワークスペースを使用してストリーミングソースのデータフローを監視する手順について説明します。
はじめに
このチュートリアルは、Adobe Experience Platform の次のコンポーネントを実際に利用および理解しているユーザーを対象としています。
- データフロー: データフローは、Experience Platform間でデータを移動するデータジョブを表します。 データフローは異なるサービスをまたいで設定され、ソースコネクタからターゲットデータセット、Identity および Profile、Destinations へとデータを移動できます。
- データフロー実行：データフロー実行は、選択したデータフローの頻度設定に基づいて繰り返しスケジュールされたジョブです。
- ソース : Experience Platformを使用すると、様々なソースからデータを取り込むことができますが、Experience Platform サービスを使用して着信データを構造化、ラベル付け、強化することができます。
- サンドボックス : Experience Platformは、1つのExperience Platform インスタンスを個別のバーチャル環境に分割して、デジタルエクスペリエンスアプリケーションの開発と進化に役立つバーチャルサンドボックスを提供します。
ストリーミングソースのデータフローの監視
Experience Platform UIで、左側のナビゲーションバーから「ソース」を選択して、 ソース ワークスペースにアクセスします。 カタログ 画面には、アカウントを作成できる様々なソースが表示されます。
ストリーミングソースの既存のデータフローを表示するには、上部ヘッダーから「データフロー」を選択します。
データフロー ページには、ソースデータ、アカウント名、データフロー実行ステータスに関する情報を含め、組織内の既存のすべてのデータフローのリストが含まれます。
表示するデータフローの名前を選択します。
次の表に、データフロー実行ステータスに関する詳細を示します。
Completed ステータスは、対応するデータフロー実行のすべてのレコードが1時間以内に処理されたことを示します。 Completed ステータスには、データフロー実行のエラーが引き続き含まれる可能性があります。Success ステータスは、対応するデータフロー実行のすべてのレコードが1時間以内に処理され、データフロー実行中にエラーが発生しなかったことを示します。Processing」ステータスは、データフローがまだアクティブでないことを示します。 このステータスは、多くの場合、新しいデータフローを作成した直後に発生します。Error」ステータスは、データフローのアクティブ化プロセスが中断されたことを示します。No runs ステータスは、データフローが作成されたが、データフロー実行が開始されていないことを示します。 データフローアクティビティ ページには、ストリーミングデータフローに関する特定の情報が表示されます。 上部バナーには、選択した日付範囲のすべてのストリーミングデータフロー実行で取り込まれたレコードと失敗したレコードの累積数が含まれます。
デフォルトでは、表示されるデータには、過去7日間の取り込み率が含まれます。 過去7日間を選択して、表示されるレコードの時間枠を調整します。
カレンダーポップアップウィンドウが表示され、別の取り込み時間枠のオプションが表示されます。 データフロー実行時間枠を設定して、過去7日間または過去30日間のフロー実行を表示できます。 または、インタラクティブカレンダーを設定して、任意のカスタム時間枠を設定することもできます。 完了したら、適用を選択します。
ページの下半分には、フロー実行ごとに、受信、取り込み、失敗したレコードの数に関する情報が表示されます。 各フロー実行は、1時間ごとのウィンドウ内に記録されます。
データフロー実行指標 dataflow-run-metrics
個々のデータフロー実行ごとに、次の詳細が表示されます。
- データフローの実行開始: データフローの実行が開始された時間。
- 処理時間: データフローが処理するのにかかる時間。
- 受信したレコード：ソースコネクタからデータフローで受信したレコードの合計数。
- 取り込まれたレコード: Data Lakeに取り込まれたレコードの合計数。
- 警告を含むレコード：取り込まれた警告を含むレコードの合計数。 すべてのマッパー変換エラーは警告として報告され、部分的に取り込まれた行は警告を含む
successとしてラベル付けされます。 注意：警告を含むレコードの取り込みのサポートは、ストリーミングソースでのみ利用できます。 - レコードが失敗しました: データのエラーが原因でData Lakeに取り込まれなかったレコードの数。
- 取り込み率: Data Lakeに取り込まれたレコードの成功率。 この指標は、部分取り込みが有効になっている場合に適用されます。
- ステータス: データフローの状態を表します：完了または処理中。 完了とは、対応するデータフロー実行のすべてのレコードが1時間以内に処理されたことを意味します。 処理は、データフロー実行がまだ完了していないことを意味します。
データフロー実行の概要 ページには、対応するデータフロー実行ID、ターゲットデータセット、組織IDなど、データフローに関する追加情報が含まれています。
エラーを含むフロー実行には、 データフロー実行エラー パネルも含まれます。このパネルには、実行の失敗につながった特定のエラーと、失敗したレコードの合計数が表示されます。
警告を含むレコードの表示 warnings
警告を含むレコード には、フローの実行中に発生したマッパー変換の警告のリストが表示されます。 部分的に取り込まれた行は正常と見なされ、マッパー変換エラーが見つかった場合は警告が追加されます。
デフォルトでは、次のいずれかの場合を除き、すべてのマッパー変換エラーは警告と見なされます。
- 構文エラー
- 存在しない属性への参照
- XDM データタイプの不一致
エラー診断を表示するには、エラー診断のプレビューを選択します。
エラー診断プレビュー ウィンドウでは、データフロー実行に関するエラーや警告を最大100個までプレビューできます。 ここから、Data Access APIを使用して、取り込み失敗マニフェストをダウンロードして詳細を確認することもできます。
次の手順
このチュートリアルでは、 ソース ワークスペースを使用して、ストリーミングデータフローを監視し、失敗したデータフローにつながるエラーを特定しました。 詳しくは、次のドキュメントを参照してください。