AI アシスタントでデータを検証する
AI アシスタントを使用して、Adobe Experience Platformデータセットのデータ品質を検証できます。 Agent Orchestratorなら、データセットを統計的かつ意味的に検証し、データセットフィールドを分析して、データ品質の問題を特定できます。また、実用的なインサイトを得て自然言語による要約を返すことができます。 データエンジニア、アナリスト、データスチュワードは、AI アシスタントを通じてこの機能を使用し、SQL クエリの記述や複雑なスキーマ階層の操作なしに、迅速にデータ品質評価を実行できます。
AI アシスタントのAgent Orchestratorを使用したデータ検証を活用すると、次のことが可能になります。
- オンボーディングプロセスと日々の診断のギャップを埋める。
- データセットの手動QAを削減。
- 顧客の価値創出までの時間を短縮。
AI アシスタントでデータを検証する方法について詳しくは、このドキュメントを参照してください。
ユースケース
UI ガイド
Adobe CX Enterpriseで AI アシスタント を使用して、データを検証します。 AI アシスタントは会話型インターフェイスであり、Agent Orchestratorは舞台裏での検証ワークフローを調整します。 次の手順は、表示されるメイン画面に従います。
検証を開始
左側のナビゲーションで、AI アシスタントを選択します。 次に、環境セレクターを使用し、データセットが存在するExperience Platformの組織またはサンドボックスを選択します（例：Experience Platform - Prod）。 プロンプトフィールドに検証リクエストを入力します（例えば、データセットを名前で検証するように依頼します）。 プロンプトを送信するには、送信を選択します。
データセットの概要とフィールドテーブルを読み取る
Agent Orchestratorが実行を完了するまでの短い時間を設けます（推論完了）。 実行が完了したら、データセット名、検証されたフィールド数、サンプルサイズ（通常は約1,000行）の概要を読み取ります。
フィールドの概要を使用して、各フィールドのパス、タイプ、有効な値（有効インジケーターを含む）を確認します。 さらに、カード上の表、グラフまたはドキュメントのアイコンを使用して、結果の表示方法を変更することもできます（使用可能な場合）。
最初のビューを超える列または行を追加する必要がある場合は、すべての結果を表示を選択します。
分割ビューでの作業
拡張ビューでは、分割レイアウトを使用します。一方には詳細な統計とストーリー、もう一方にはグラフが表示されます。
- ナラティブ側では、有効性、一意の値、ヌルレート、一流の一意の値、無効な値のメッセージを確認します。
- ビジュアライゼーション側では、グラフを使用して、サンプル内の有効な値と無効な値をすばやく読み取ることができます。
関連する提案または下部のプロンプトフィールドを使用して、別のフィールドを検証するか、データセットを再実行するか、会話を続行します。
フォローアップに関連する提案の使用
回答の後、会話の下にある 関連する提案 を見つけます。 候補を選択して（例えば、同じデータセットの特定のフィールドを検証して）、プロンプトフィールドに読み込みます。 必要に応じてテキストを調整し、環境を確認してから、送信を選択してフォローアップを実行します。
フィールドレベルでの検証
フィールドレベル 検証結果 カードを開きます（例えば、1つのフィールドを検証した後）。 テーブルの代わりに視覚的な概要を表示する場合は、ビューコントロールを使用して、グラフ （または別のビュー）に切り替えます。 この手順では、オプションで プロパティ を選択して、フィールドの詳細を表示できます。
「拡張ビューで表示」を選択すると、そのフィールドの検証に関するより大きく詳細なビューが開きます。
拡張ビューを使用すると、特定のフィールドの最大1000件のレコードのサンプルに基づいて、フィールド全体の項目別リストを表示できます。 この機能を使用して、有効な値、一意の値、null値に関する情報を取得できます。
検証の動作
AI アシスタントで検証を開始すると、Agent Orchestratorは、データセット履歴全体を処理するのではなく、データセットの代表的なサンプル（通常は最新の約1,000行）を分析します。 このプロセスは厳密に読み取り専用であり、データ、スキーマ、マッピングが変更されずに維持されます。 検証結果は、ソース、ストリーミング、ファイルのアップロード、データ準備、その他の取り込み方法など、データがExperience Platformに取り込まれる方法に関係なく、一貫性があります。 結果は、データ品質のパターンや潜在的な問題を迅速に特定するための有用なチェックとして機能し、必要に応じてさらにアクション（Query Serviceでの探索など）を実行できます。 Agent Orchestratorを活用したこのアプローチにより、データ収集を中断したり、本番環境のワークロードに影響を与えたりすることなく、迅速に評価できます。
検証結果
AI アシスタントは、検証されたフィールドごとに、検証ワークフローによって生成された次のような結果を表示します。
基本統計
- サンプルに使用された合計行数
- nullCount （およびオプションで% null）
- uniqueCount （使用可能な場合）
- 上位の一意の値（例：上位10）とその周波数
セマンティック検証
- 無効な値が疑われるのリスト
- 無効な値ごとに、説明を指定します（例：「有効な電子メール形式ではありません」、「想定される範囲外のタイムスタンプ」）
自然言語の概要
- フィールドの品質に関する短いストーリーの要約
- 「フィールド Xのマッピングをレビュー」、「高いヌル率のためにフィールド Yをドロップすることを検討」、「メール形式の検証を強化」など、次のアクションを提案します。
nullCount = 9,532 (95.3%)uniqueCount = 3"True" (255), "False" (243)"abc@, reason: "not a valid email address"検証タイプ
AI アシスタントで実行できる検証には、主にふたつのタイプがあります。
- フィールド検証: データセット内の特定のフィールドを検証します。
- データセットの検証: データセット内で最大5つの（5）フィールドを検証します。
AI アシスタントのフィールド検証を使用して、特定のデータセットの特定のフィールドを検証します。 この検証スキルでは、次の情報を提供します。
- ヌルカウントと一意の値カウント。
- 上位の一意の値とそれに対応する周波数。
- AIによるセマンティック検証（利用可能なメタデータとデータの実際の値にもとづいて無効な値を検出する機能）。
フィールド検証のプロンプトの例を次に示します。
- Customers_2024 データセットの電子メールフィールドを検証します。
- データセット customer_events_2024のフィールドステータスを検証します。
- 顧客データデータセットのフィールド person.address.cityを検証します。
AI アシスタントのデータセット検証を使用して、データセット全体を検証し、全体的な品質と主要な問題を要約します。 これらのフィールドを明示的に指定することもできますが、Agent Orchestratorはデータセットを分析し、最も関連性の高いフィールドを自動的に決定することもできます。 このスキルは、フィールド検証と同じタイプの情報を提供しますが、複数のターゲットフィールドにまたがって提供されます。 特定のデータセットでは、最大5つのフィールドを検証できます。
データセット検証のプロンプトの例を次に示します。
- 顧客データ 2024年データセットを検証する。
- フィールドを検証する電子メール、Customers_2024の電話。
- 顧客データのfirstName、lastName、birthDateを要約します。
- データセット 693012a4b8c98b09cea350bc」を要約します。
データ検証によるチェック
フィールドとデータセットごとに、次のタイプの検証が実行されます。
-
完全性チェック:null/欠落カウントとパーセンテージ。
-
分布チェック：一意の上位の値とその分布、高基数の検出。
-
セマンティックチェックとスキーマ: XDM フィールド名、タイプ、説明を使用して、「有効な」フィールドがどのようなものかを推測し、異常を検出します。
-
データタイプに応じたチェック （該当する場合）:
- E メール：形式とドメインの可能性
- 電話番号：形式の準備状況（E.164など）
- 日付/タイムスタンプ：基本的な形式のサニティ（ISO-8601など）
-
ID関連チェック （future / extended）：候補ID フィールドまたは複合キーの一意性。
これらのチェックは、決定論統計とLLM支援のセマンティック検証を組み合わせて、スキーマが技術的に一致する場合でも「間違って見える」値を検出します。
制限事項
データを検証する前に、いくつかの重要な制限事項に注意することが重要です。 これらの制約は、パフォーマンスと機能のバランスを取ることを目的としており、期待できる分析の種類とインサイトについて期待値を設定するのに役立ちます。
- サンプリングのみ：検証は、データセット全体を処理するのではなく、データセットのサンプル（通常は最後から1,000行）に対して実行されます。 データセット全体のスキャンは使用できません。
- フィールド数の制限: データセットを検証する場合、エージェントは1つのリクエストにつき最大5つのフィールドを分析します。 これらのフィールドを指定するか、担当者が自動的に選択できるようにします。
- 確率的セマンティクス：無効な値の検出は、LLM ベースの推論に部分的に依存しています。この推論では、一部のエラーが見逃されたり、境界値がフラグ付けされたりすることがあります。
- 読み取り専用の操作: エージェントは、データまたはそのスキーマに変更を加えません。 インサイトを提供し、潜在的な問題を強調表示しますが、自動化された修正は行われません。
検証のニーズがより詳細である場合や、複雑なビジネスロジックを適用する必要がある場合は、AI アシスタントに表示される結果を、クエリサービスやデータ準備の検証などのツールで補完することを検討してください。