データレイクの取り込みの監視

IMPORTANT
HTTP API ソース ​ などのストリーミングソースは、現在、監視ダッシュボードではサポートされていません。 現時点では、バッチソースの監視にのみダッシュボードを使用できます。

Adobe Experience Platform ユーザー インターフェイスの監視ダッシュボードを使用して、Data Lake のデータ取得およびデータ保持プロセスに関するメトリックを取得できます。 インターフェイスのグラフを使用して、時間の経過に伴う取得と保持の傾向監視、すべてのソースデータフローのパフォーマンスを要約します。

このドキュメントでは、監視ダッシュボードを使用して、取得とリテンション期間の両方を含む Data Lake 内のすべてのデータ処理監視する方法について説明します。

基本を学ぶ get-started

このチュートリアルは、Adobe Experience Platform の次のコンポーネントを実際に利用および理解しているユーザーを対象としています。

  • データフロー: データフローは、Experience Platform間でデータを移動するデータ ジョブの表現です。 データフローは異なるサービスをまたいで設定され、ソースコネクタからターゲットデータセット、Identity および Profile、Destinations へとデータを移動できます。
    • データフロー実行:データフロー実行は、選択したデータフローの頻度設定に基づいて繰り返しスケジュールされたジョブです。
  • ​ ソース ​:Experience Platformを使用すると、データを様々なソースから取得しながら、Experience Platform サービスを使用して受信データの構造化、ラベル付け、拡張を行うことができます。
  • ID サービス:デバイスやシステム間で ID を橋渡しすることで、個々の顧客とその行動をより確実に把握することができます。
  • リアルタイム顧客プロファイル:複数のソースから集計したデータに基づいて、統合されたリアルタイムの顧客プロファイルを提供します。
  • ​ サンドボックス ​: Experience Platformには、1 つのExperience Platform インスタンスを別々の仮想環境に分割し、デジタルエクスペリエンスアプリケーションの開発と発展に役立つ仮想サンドボックスが用意されています。

データレイク取り込み用の監視ダッシュボードの使用

監視ダッシュボードのメイン ヘッダーから [ Data lake ] を選択して、データ レイクの取得率を表示します。

ソースが選択された監視ダッシュボードカード。

Ingestion rate グラフには、設定した時間枠に基づくデータ取り込み率が表示されます。 デフォルトでは、監視ダッシュボードには、過去 24 時間の取り込みレートが表示されます。 時間枠の設定手順については、​ 時間枠の監視の設定 ​ に関するガイドを参照してください。

このグラフは、デフォルトで表示できるようになっています。 グラフを非表示にするには、「Metrics and graphs」を選択して切り替えを無効にし、グラフを非表示にします。

取得率の指標グラフ。

ダッシュボードの下部には、既存のすべてのソースデータフローの現在のメトリックレポートの概要を示すテーブルが表示されます。

監視ダッシュボードのメトリック テーブル。

指標
説明
受信したレコード
特定のソースから受信したレコードの合計数。
取り込まれたレコード
データレイクに取り込まれたレコードの合計数。
削除されたレコード
データレイクの保持設定または変更データキャプチャ操作が原因で削除されたレコードの合計数です。
スキップされたレコード
スキップされたレコードの合計数です。 スキップされたレコードとは、取り込みに必要でなかったという理由でスキップされたフィールドを指します。 例えば、部分取り込みを有効にしてソースデータフローを作成した場合、許容可能なエラー率しきい値を設定できます。 取り込みプロセス中、エラーしきい値内にある限り、取り込みは ID フィールドなどの不要なフィールドのレコードをスキップします。
失敗したレコード
エラーが原因で取り込むことができなかったレコードの合計数です。
取り込み率
受信したレコードの合計数に基づいて取り込まれたレコードの割合。
失敗したデータフローの合計
失敗したデータフローの合計数。

指標テーブルの上にあるオプションを使用して、データをさらにフィルタリングできます。

フィルターオプション
説明
検索
検索バーを使用して、ビューを単一のソースタイプにフィルタリングします。
ソース
Sources」を選択して表示をフィルタリングし、ソースタイプごとの指標データを表示します。 これは、監視ダッシュボードが使用するデフォルトの表示です。
データフロー
Dataflows」を選択してビューをフィルタリングし、データフローごとの指標データを表示します。
失敗のみを表示
Show failures only」を選択して表示をフィルタリングし、取り込み失敗を報告したデータフローのみを表示します。
マイソース
My sourcesドロップダウンメニューを使用して、表示をさらにフィルタリングできます。ドロップダウンメニューを使用すると、カテゴリでビューをフィルタリングできます。 または、[ All sources ] を選択してすべてまたはソースのメトリックを表示するか、[ My sources ] を選択して、対応するアカウントがあるソースのみを表示することもできます。

列表示をカスタマイズするには、列設定アイコン 列アイコン を選択します。

列設定アイコンが選択された監視ダッシュボード。

次に、Customize table ウィンドウを使用して、ダッシュボードに表示する列を選択します。 終了したら「Apply」を選択します。

監視ダッシュボードの「カスタマイズ」列ポップアップウィンドウ。

特定のデータフローに取り込まれているデータ監視には、ソースの横にあるフィルター アイコン filter を選択します。

TIP
監視ダッシュボードを使用して、データ保持ポリシーを使用して削除されたレコードのデータ削除メトリック監視できます。 データ保持の詳細については、 データ保持ポリシーの設定に関するガイドを参照してください。

特定のデータフローを監視するには、特定のソースの横にあるフィルター アイコンを選択します。

メトリック テーブルが更新され、選択したソースに対応するアクティブなデータフローのテーブルが表示されます。 この手順では、対応するデータセットやデータタイプなどのデータフローに関する追加情報と、最後にアクティブだった日時を示すタイムスタンプを表示できます。

データフローをさらに詳しく調べるには、データフローの横にあるフィルターアイコン フィルター を選択します。

監視ダッシュボードのデータフローテーブル。

次に、選択したデータフローのすべてのデータフロー実行イテレーションをリストするインターフェイスに移動します。

データフロー実行は、データフロー実行のインスタンスを表します。 例えば、データフローが 1 時間ごとに午前 9:00、午前 10:00、午前 11:00 に実行されるようにスケジュールされている場合、フロー実行の 3 つのインスタンスが存在します。 フロー実行は、特定の組織に固有です。

特定のデータフロー実行イテレーションの指標を調べるには、データフローの横にあるフィルターアイコン フィルター を選択します。

データフロー実行指標ページ

データフロー実行の詳細ページを使用して、選択した実行イテレーションの指標と情報を表示します。

データフロー実行の詳細ページ

データフロー実行の詳細
説明
取り込まれたレコード
データフロー実行から取り込まれたレコードの合計数です。
失敗したレコード
データフロー実行のエラーによって取り込まれなかったレコードの合計数です。
合計ファイル
実行中のデータフロー内のファイルの総数。
データのサイズ
データフローの実行に含まれるデータの合計サイズ。
データフロー実行 ID
データフロー実行イテレーションの ID。
組織 ID
データフロー実行が作成された組織の ID。
ステータス
データフロー実行のステータス。
データフローの実行開始
データフロー実行がいつ開始されたかを示すタイムスタンプ。
データフローの実行終了
データフロー実行がいつ終了したかを示すタイムスタンプ。
データセット
データフローの作成に使用するデータセット。
データタイプ
データフローに含まれていたデータのタイプ。
部分取り込み
部分バッチ取得は、特定の構成可能なしきい値まで、エラーを含むデータを取り込む機能です。 この機能を使用すると、すべての正確なデータをExperience Platformに正常に取り込むことができますが、正しくないデータはすべて、無効理由に関する情報とともに個別にバッチ処理されます。 データフロー作成プロセス中に部分的な取得を有効にすることができます。
エラー診断
エラー診断は、後でデータセットアクティビティとデータフローの状態を監視するときに参照できるエラー診断を生成するようにソースに指示します。 データフローの作成プロセス中に、エラー診断を有効にすることができます。
エラー概要
データフロー実行が失敗した場合、エラーサマリーには、実行の反復が失敗した理由を要約するエラーコードと説明が表示されます。

データフロー実行でエラーが報告された場合は、Dataflow run errors インターフェイスを使用して、ページの下部まで下にスクロールできます。

「Records failed」セクションを使用すると、エラーが原因で取り込まれなかったレコードの指標を表示できます。 包括的なエラーレポートを表示するには、「Preview error diagnostics」を選択します。 エラー診断およびファイルマニフェストのコピーをダウンロードするには、「Download」を選択してから、Data Access API で使用されるサンプル API 呼び出しをコピーします。

NOTE
エラー診断を使用できるのは、ソース接続の作成プロセス中にこの機能が有効になった場合のみです。

次の手順 next-steps

このチュートリアルに従うと、Monitoring ダッシュボードを使用してデータレイクの取り込み率を監視する方法を学ぶことができます。 また、取り込み中にデータフローエラーを引き起こすエラーを特定する方法についても説明しました。 詳しくは、次のドキュメントを参照してください。

recommendation-more-help
d4f38c9a-ed8e-4b74-98e7-57b4df1b999f