データレイクの取り込みを監視

IMPORTANT
HTTP API ソース ​などのストリーミングソースは、現在、監視ダッシュボードでサポートされていません。 現時点では、ダッシュボードを使用してバッチソースを監視することしかできません。

Adobe Experience Platformのユーザーインターフェイスのモニタリングダッシュボードを使用して、データレイクにおけるデータの取り込みプロセスとデータ保持プロセスに関する指標を取得できます。 インターフェイスのグラフを使用して、取り込みと保持の傾向を長期的に監視し、すべてのソースデータフローのパフォーマンスを要約します。

このドキュメントでは、監視ダッシュボードを使用して、取り込みと保持の両方を含むデータレイク内のすべてのデータ処理を監視する方法について説明します。

基本を学ぶ get-started

このチュートリアルは、Adobe Experience Platform の次のコンポーネントを実際に利用および理解しているユーザーを対象としています。

  • ​ データフロー: データフローは、Experience Platform間でデータを移動するデータジョブを表します。 データフローは異なるサービスをまたいで設定され、ソースコネクタからターゲットデータセット、Identity および Profile、Destinations へとデータを移動できます。
    • データフロー実行:データフロー実行は、選択したデータフローの頻度設定に基づいて繰り返しスケジュールされたジョブです。
  • ​ ソース ​: Experience Platformを使用すると、様々なソースからデータを取り込むことができますが、Experience Platform サービスを使用して着信データを構造化、ラベル付け、強化することができます。
  • ID サービス:デバイスやシステム間で ID を橋渡しすることで、個々の顧客とその行動をより確実に把握することができます。
  • リアルタイム顧客プロファイル:複数のソースから集計したデータに基づいて、統合されたリアルタイムの顧客プロファイルを提供します。
  • ​ サンドボックス ​: Experience Platformは、1つのExperience Platform インスタンスを個別のバーチャル環境に分割して、デジタルエクスペリエンスアプリケーションの開発と進化に役立つバーチャルサンドボックスを提供します。

データレイク取り込み用のモニタリングダッシュボードの使用

監視ダッシュボードのメインヘッダーから「Data lake」を選択して、データレイクの取り込み率を表示します。

​ ソースカードを選択した監視ダッシュボード。

Ingestion rate グラフには、設定した時間枠に基づいてデータ取り込み率が表示されます。 デフォルトでは、監視ダッシュボードには過去24時間の取り込み率が表示されます。 時間枠を設定する手順については、監視時間枠の設定に関するガイドを参照してください。

グラフはデフォルトで表示が有効になっています。 グラフを非表示にするには、Metrics and graphs​を選択して切り替えを無効にし、グラフを非表示にします。

取り込み率指標グラフ。

ダッシュボードの下部には、既存のすべてのソースデータフローの現在の指標レポートの概要を示すテーブルが表示されます。

監視ダッシュボード指標テーブル。

指標
説明
受信したレコード
特定のソースから受信したレコードの合計数です。
取り込まれたレコード
データレイクに取り込まれたレコードの合計数です。
削除されたレコード
データレイクの保存設定またはデータキャプチャ操作の変更によって削除されたレコードの合計数。
スキップされたレコード
スキップされたレコードの合計数です。 スキップされたレコードは、取り込みに必要ないためスキップされたフィールドを指します。 例えば、部分的な取り込みが有効なソースデータフローを作成する場合、許容可能なエラー率のしきい値を設定できます。 取り込みプロセスでは、ID フィールドなど、必須ではないフィールドのレコードがエラーのしきい値内にある限り、取り込みはスキップされます。
失敗したレコード
エラーが原因で取り込めなかったレコードの合計数です。
取り込み率
受信したレコードの合計数に基づいて、取り込まれたレコードの割合。
失敗したデータフローの合計
失敗したデータフローの合計数。

さらに、指標テーブルの上にあるオプションを使用してデータをフィルタリングできます。

フィルターオプション
説明
検索
検索バーを使用して、ビューを単一のソースタイプにフィルタリングします。
ソース
Sources​を選択して、ビューをフィルターし、ソースタイプごとに指標データを表示します。 これは、監視ダッシュボードが使用するデフォルトの表示です。
データフロー
Dataflows​を選択して、ビューをフィルタリングし、データフローごとに指標データを表示します。
失敗のみを表示
Show failures only​を選択してビューをフィルタリングし、取り込み失敗が報告されたデータフローのみを表示します。
マイソース
My sources ドロップダウンメニューを使用して、ビューをさらにフィルタリングできます。 ドロップダウンメニューを使用して、カテゴリ別にビューをフィルタリングします。 または、All sources​を選択してすべてまたはソースに指標を表示するか、My sources​を選択して、対応するアカウントを持つソースのみを表示することもできます。

列表示をカスタマイズするには、列設定アイコン column-icon を選択します。

列設定アイコンが選択された監視ダッシュボード。

次に、Customize table ウィンドウを使用して、ダッシュボードに表示する列を選択します。 終了したら「Apply」を選択します。

監視ダッシュボードの「列をカスタマイズ」ポップアップウィンドウ。

特定のデータフローに取り込まれているデータを監視するには、ソースの横にあるフィルターアイコン filter を選択します。

TIP
監視ダッシュボードを使用して、データ保持ポリシーを使用して削除されたレコードのデータ削除指標を監視できます。 データ保持について詳しくは、​ データ保持ポリシーの設定に関するガイドを参照してください。

特定のソースの横にあるフィルターアイコンを選択して、特定のデータフローを監視します。

指標テーブルは、選択したソースに対応するアクティブなデータフローのテーブルに更新されます。 この手順では、対応するデータセットとデータタイプを含むデータフローに関する追加情報と、最後にアクティブだったことを示すタイムスタンプを表示できます。

データフローをさらに調べるには、データフローの横にあるフィルターアイコン filter を選択します。

監視ダッシュボードのデータフローテーブル。

次に、選択したデータフローのすべてのデータフロー実行イテレーションを一覧表示するインターフェイスに移動します。

データフロー実行は、データフロー実行のインスタンスを表します。 例えば、データフローが午前9:00、午前10:00、および午前11:00に1時間ごとに実行するようにスケジュールされている場合、フロー実行のインスタンスは3つになります。 フロー実行は特定の組織に固有です。

特定のデータフロー実行イテレーションの指標を調べるには、データフローの横にあるフィルターアイコン filter を選択します。

​ データフロー実行指標ページ。

データフロー実行の詳細ページを使用して、選択した実行イテレーションの指標と情報を表示します。

​ データフロー実行の詳細ページ。

データフロー実行の詳細
説明
取り込まれたレコード
データフロー実行から取り込まれたレコードの合計数です。
失敗したレコード
データフロー実行のエラーが原因で取り込まれなかったレコードの合計数。
合計ファイル
データフロー実行内のファイルの合計数。
データのサイズ
データフロー実行に含まれるデータの合計サイズです。
データフロー実行 ID
データフロー実行イテレーションのID。
組織 ID
データフロー実行が作成された組織のID。
ステータス
データフロー実行のステータス。
データフローの実行開始
データフローの実行がいつ開始されたかを示すタイムスタンプ。
データフローの実行終了
データフロー実行が終了したタイミングを示すタイムスタンプ。
データセット
データフローの作成に使用されるデータセット。
データタイプ
データフロー内のデータのタイプ。
部分取り込み
一部バッチ取り込みとは、特定の設定可能なしきい値まで、エラーを含むデータを取り込む機能です。 この機能を使用すると、正確なデータをすべてExperience Platformに正常に取り込むことができますが、誤ったデータはすべて、無効な理由に関する情報とともに個別にバッチ化されます。 データフロー作成プロセス中に部分取り込みを有効にできます。
エラー診断
エラー診断は、データセットアクティビティとデータフローステータスを監視する際に、後で参照できるエラー診断を生成するようにソースに指示します。 データフロー作成プロセス中にエラー診断を有効にすることができます。
エラー概要
データフロー実行に失敗した場合、エラーサマリーには、実行イテレーションが失敗した理由を要約するためのエラーコードと説明が表示されます。

データフロー実行でエラーが報告された場合は、Dataflow run errors インターフェイスを使用して、ページの一番下までスクロールできます。

エラーが原因で取り込まれなかったレコードの指標を表示するには、Records failed セクションを使用します。 包括的なエラーレポートを表示するには、Preview error diagnostics​を選択します。 エラー診断とファイルマニフェストのコピーをダウンロードするには、Download​を選択し、Data Access APIで使用するAPI呼び出しの例をコピーします。

NOTE
ソース接続の作成プロセス中に機能が有効になった場合にのみ、エラー診断を使用できます。

次の手順 next-steps

このチュートリアルでは、Monitoring ダッシュボードを使用してデータレイクの取り込み率を監視する方法について説明しました。 また、取り込み中にデータフローのエラーを引き起こすエラーを特定する方法についても説明しました。 詳しくは、次のドキュメントを参照してください。

recommendation-more-help
experience-platform-help-dataflows