UIでのストリーミングソースのデータフローの監視
このチュートリアルでは、Sources ワークスペースを使用してストリーミングソースのデータフローを監視する手順について説明します。
はじめに
このチュートリアルは、Adobe Experience Platform の次のコンポーネントを実際に利用および理解しているユーザーを対象としています。
- データフロー: データフローは、Experience Platform間でデータを移動するデータジョブを表します。 データフローは異なるサービスをまたいで設定され、ソースコネクタからターゲットデータセット、Identity および Profile、Destinations へとデータを移動できます。
- データフロー実行：データフロー実行は、選択したデータフローの頻度設定に基づいて繰り返しスケジュールされたジョブです。
- ソース : Experience Platformを使用すると、様々なソースからデータを取り込むことができますが、Experience Platform サービスを使用して着信データを構造化、ラベル付け、強化することができます。
- サンドボックス : Experience Platformは、1つのExperience Platform インスタンスを個別のバーチャル環境に分割して、デジタルエクスペリエンスアプリケーションの開発と進化に役立つバーチャルサンドボックスを提供します。
ストリーミングソースのデータフローの監視
Experience Platform UIで、左側のナビゲーションバーから「Sources」を選択して、Sources ワークスペースにアクセスします。 Catalog画面には、アカウントを作成できる様々なソースが表示されます。
ストリーミングソースの既存のデータフローを表示するには、上部ヘッダーから「Dataflows」を選択します。
Dataflows ページには、ソースデータ、アカウント名、データフロー実行ステータスに関する情報を含め、組織内のすべての既存のデータフローのリストが含まれます。
表示するデータフローの名前を選択します。
次の表に、データフロー実行ステータスに関する詳細を示します。
Completed ステータスは、対応するデータフロー実行のすべてのレコードが1時間以内に処理されたことを示します。 Completed ステータスには、データフロー実行のエラーが引き続き含まれる可能性があります。Success ステータスは、対応するデータフロー実行のすべてのレコードが1時間以内に処理され、データフロー実行中にエラーが発生しなかったことを示します。Processing」ステータスは、データフローがまだアクティブでないことを示します。 このステータスは、多くの場合、新しいデータフローを作成した直後に発生します。Error」ステータスは、データフローのアクティブ化プロセスが中断されたことを示します。No runs ステータスは、データフローが作成されたが、データフロー実行が開始されていないことを示します。Dataflow Activity ページには、ストリーミングデータフローに関する特定の情報が表示されます。 上部バナーには、選択した日付範囲のすべてのストリーミングデータフロー実行で取り込まれたレコードと失敗したレコードの累積数が含まれます。
デフォルトでは、表示されるデータには、過去7日間の取り込み率が含まれます。 表示されるレコードの時間枠を調整するには、Last 7 daysを選択します。
カレンダーポップアップウィンドウが表示され、別の取り込み時間枠のオプションが表示されます。 データフロー実行時間枠を設定して、過去7日間または過去30日間のフロー実行を表示できます。 または、インタラクティブカレンダーを設定して、任意のカスタム時間枠を設定することもできます。 終了したら「Apply」を選択します。
ページの下半分には、フロー実行ごとに、受信、取り込み、失敗したレコードの数に関する情報が表示されます。 各フロー実行は、1時間ごとのウィンドウ内に記録されます。
データフロー実行指標 dataflow-run-metrics
個々のデータフロー実行ごとに、次の詳細が表示されます。
- Dataflow run start: データフローの実行が開始された時間。
- Processing time: データフローが処理するのにかかる時間。
- Records Received: ソースコネクタからデータフローで受信したレコードの合計数。
- Records Ingested: Data Lakeに取り込まれたレコードの合計数。
- Records with Warnings：取り込まれた警告を含むレコードの合計数。 すべてのマッパー変換エラーは警告として報告され、部分的に取り込まれた行は警告を含む
successとしてラベル付けされます。 注意：警告を含むレコードの取り込みのサポートは、ストリーミングソースでのみ利用できます。 - Records Failed: データのエラーが原因でData Lakeに取り込まれなかったレコードの数。
- Ingestion Rate: Data Lakeに取り込まれたレコードの成功率。 この指標は、Partial Ingestionが有効になっている場合に適用されます。
- Status: データフローの状態（CompletedまたはProcessing）を表します。 Completedは、対応するデータフロー実行のすべてのレコードが1時間以内に処理されたことを意味します。 Processingは、データフロー実行がまだ完了していないことを意味します。
Dataflow run overview ページには、対応するデータフロー実行ID、ターゲットデータセット、組織IDなど、データフローに関する追加情報が含まれています。
エラーを含むフロー実行には、Dataflow run errors パネルも含まれます。このパネルには、実行の失敗につながった特定のエラーと、失敗したレコードの合計数が表示されます。
警告を含むレコードの表示 warnings
Records with warningsは、フローの実行中に発生したマッパー変換の警告のリストを表示します。 部分的に取り込まれた行は正常と見なされ、マッパー変換エラーが見つかった場合は警告が追加されます。
デフォルトでは、次のいずれかの場合を除き、すべてのマッパー変換エラーは警告と見なされます。
- 構文エラー
- 存在しない属性への参照
- XDM データタイプの不一致
エラー診断を表示するには、Preview error diagnosticsを選択します。
Error diagnostics preview ウィンドウでは、データフロー実行に関する最大100個のエラーや警告をプレビューできます。 ここから、Data Access APIを使用して、取り込み失敗マニフェストをダウンロードして詳細を確認することもできます。
次の手順
このチュートリアルでは、Sources ワークスペースを使用して、ストリーミングデータフローを監視し、失敗したデータフローの原因となるエラーを特定しました。 詳しくは、次のドキュメントを参照してください。