TTL を使用してデータレイクでのエクスペリエンスイベントデータセット保持を管理

効率的なデータ管理は、最適なパフォーマンス、コスト管理、データの整合性を実現するために重要です。 エクスペリエンスイベントデータセット保持の有効期間（TTL）を使用して、行レベルの有効期限を適用し、データレイク内のデータセットから古いレコードを自動的に削除すると同時に、最適なストレージ効率とデータ関連性を確保します。

このガイドでは、Catalog Service API を使用して TTL を評価、設定、管理する方法について説明します。 TTL を適用するタイミングと理由、API 呼び出しを使用して TTL 値を設定および更新する方法、効果的な実装を確実に行うためのベストプラクティスについて説明します。

行レベルのデータ管理に TTL を使用する理由

データセットが増加するにつれて、パフォーマンスの維持、コストの制御、データの関連性の維持を実現するために、効率的なデータ管理がますます重要になります。 TTL ベースの行レベルのデータ有効期限は、手動の介入なしで古いレコードを削除することでデータクリーンアップを自動化し、ストレージの最適化とシステム効率の向上を支援します。

TTL は、時間の経過と共に関連性が失われる時間依存データを管理する場合に役立ちます。 次の必要がある場合は、TTL の実装を検討してください。

TTL 設定を使用して、使用権限に基づいてストレージを最適化します。 （Real-Time CDPで使用される）プロファイルストアデータは古いと見なされ、30 日後に削除される可能性がありますが、Data Lake 内の同じイベントデータは、Analytics と Data Distillerのユースケースで 12 ～ 13 か月間（または使用権限に基づいて、それより長い期間）使用できます。

ある業界の例 industry-example

例えば、ビデオビュー、検索、レコメンデーションなど、ユーザーのインタラクションを追跡するビデオストリーミングサービスについて考えてみます。 最近のエンゲージメントデータはパーソナライゼーションにとって重要ですが、古いアクティビティログ（1 年以上のインタラクションなど）は関連性を失います。 行レベルの有効期限を使用すると、Experience Platformは古いログを自動的に削除し、現在の意味のあるデータのみが分析とレコメンデーションに使用されるようにします。

TTL の適合性の評価 evaluate-ttl-suitability

保持ポリシーを適用する前に、データセットが行レベルの有効期限の適切な候補であるかどうかを評価します。 次の点に留意してください。

履歴レコードが長期的な分析やビジネスオペレーションに不可欠な場合、TTL は適切なアプローチではない可能性があります。 これらの要因を確認することで、データの可用性に悪影響を与えることなく、TTL がデータ保持のニーズに確実に対応できるようになります。

TTL 設定のベストプラクティス best-practices

適切な TTL 値を選択して、エクスペリエンスイベントデータセット保持ポリシーが、データ保持、ストレージ効率、分析のニーズのバランスを取れるようにします。 TTL が短すぎるとデータが失われる可能性がありますが、長すぎると、ストレージコストや不要なデータ蓄積が増加する可能性があります。 データのアクセス頻度と関連性の高いデータを保持する期間を考慮して、TTL がデータセットの目的に合っていることを確認します。

次の表に、データセットタイプと使用パターンに基づいた、一般的な TTL 推奨事項を示します。

TTL 設定を定期的に確認して、ストレージポリシー、分析ニーズ、ビジネス要件に引き続き合致していることを確認します。

TTL を設定する際の主な考慮事項 key-considerations

TTL 設定をデータ保持戦略に確実に合致させるには、次のベストプラクティスに従います。

TTL の制限 limitations

TTL を使用する場合は、次の制限事項に注意してください。

TTL を適用する前にデータセットのサイズと関連性を分析 analyze-dataset-size

TTL を適用する前に、クエリを使用してデータセットのサイズと関連性を分析します。 ターゲットクエリ（特定の日付範囲内のレコードのカウントなど）を実行して、様々な TTL 値の影響をプレビューします。 次に、この情報を使用して、データ・ユーティリティとコスト・パフォーマンスのバランスを取る最適な保存期間を選択します。

ターゲットクエリの実行は、様々な TTL 設定で保持または削除されるデータの量を決定するのに役立ちます。 例えば、次の SQL クエリは、過去 30 日間に作成されたレコードの数をカウントします。

SELECT COUNT(1) FROM [datasetName] WHERE timestamp > date_sub(now(), INTERVAL 30 DAY);

異なる時間間隔で同様のクエリを実行すると、TTL 設定を検証し、ストレージの効率とデータのアクセシビリティのバランスを確保できます。

TTL 管理の基本を学ぶ

Catalog Service API を使用してエクスペリエンスイベントデータセット保持を評価、設定、管理する前に、リクエストを正しくフォーマットする方法を理解する必要があります。 これには、API パスの把握、必要なヘッダーの提供、リクエストペイロードの書式設定が含まれます。 この重要な情報については、Catalog Service API 入門ガイドを参照してください。

TTL 制約の確認 check-ttl-constraints

Data Hygiene API /ttl/{DATASET_ID} エンドポイントを使用して、TTL 設定の計画に役立てます。 このエンドポイントは、組織でサポートされる最小および最大 TTL 値と、データセットタイプの推奨値（defaultValue）を返します。

詳しくは、Adobe Developer Data Hygiene API のドキュメントを参照してください。

データセットに現在適用されている TTL を確認するには、代わりに Catalog Service API /dataSets/{DATASET_ID} エンドポイントに対してGET リクエストを実行します。

API 形式

GET /ttl/{DATASET_ID}

リクエスト

次のリクエストでは、特定のデータセットに関する組織の TTL 制約を取得します。

curl -X GET \
  'https://platform.adobe.io/data/foundation/catalog/ttl/{DATASET_ID}' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -H 'x-sandbox-name: {SANDBOX_NAME}'
  -H 'x-sandbox-id: {SANDBOX_ID}'

応答

正常な応答では、組織の使用権限に基づく推奨 TTL 値、最大値、最小値と、データセットに対して推奨される TTL （defaultValue）が返されます。 この defaultValue は、ガイダンスとしてのみ提供される、推奨される TTL 期間です。 明示的に設定されない限り、適用されません。 応答には、既に設定されているカスタム TTL 値は含まれていません。 データセットの現在の TTL を表示するには、GET /catalog/dataSets/{DATASET_ID} エンドポイントを使用します。

{
  "extensions": {
    "adobe_lakeHouse": {
      "rowExpiration": {
        "defaultValue": "P12M",
        "maxValue": "P12M",
        "minValue": "P7D"
      }
    }
  }
}

適用された TTL 値の確認方法 check-applied-ttl-values

データセットに適用されている現在の TTL 値を確認するには、次の API 呼び出しを使用します。

GET /dataSets/{DATASET_ID}

この呼び出しは、ttlValue セクションに現在の extensions.adobe_lakeHouse.rowExpiration が設定されている場合、その値を返します。

リクエスト

次のリクエストでは、特定のデータセットに対する組織の TTL 値を取得します。

curl -X GET \
https://platform.adobe.io/data/foundation/catalog/dataSets/{DATASET_ID} \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -H 'x-sandbox-name: {SANDBOX_NAME}'

応答

正常な応答には extensions オブジェクトが含まれます。このオブジェクトには、データセットに適用された現在の TTL 設定が含まれます。 以下の応答の例は、簡潔にするために切り捨てられています。

{
    "{DATASET_ID}": {
        "name": "Acme Sales Data",
        "description": "This dataset contains sales transaction records for Acme Corporation.",
        "imsOrg": "{ORG_ID}",
        "sandboxId": "{SANDBOX_ID}",
        "extensions": {
            "adobe_lakeHouse": {
            "rowExpiration": {
                "ttlValue": "P3M",
            }
            }
        }
        ...
    }
}

データセットの TTL の設定または更新 set-update-ttl

エクスペリエンスイベントデータセット保持を設定するには、新しい TTL を設定するか、同じ API 方法を使用して既存の TTL を更新します。 /v2/datasets/{DATASET_ID} エンドポイントへのPATCH リクエストを使用して、TTL を適用または調整します。

API 形式

PATCH /v2/datasets/{DATASET_ID}

リクエスト

次の例では、ttlValue が P3M に設定されています。 つまり、3 か月を超えるレコードは自動的に削除されます。 ビジネスのニーズに合わせて保持期間を調整します（例えば、6 か月間は P6M、1 年間は P12M）。

curl -X PATCH \
  'https://platform.adobe.io/data/foundation/catalog/v2/datasets/{DATASET_ID}' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'Content-Type: application/json' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -d '{
    "extensions": {
        "adobe_lakeHouse": {
            "rowExpiration": {
                "ttlValue": "P3M"  // A 3 month retention period
            }
        }
    }
}

応答

応答が成功すると、更新されたデータセットへの参照が返されますが、TTL 設定は明示的には含まれません。 TTL 設定を確認するには、フォローアップの GET /dataSets/{DATASET_ID} リクエストを実行します。

[
  "@/dataSets/{DATASET_ID}"
]

サンプルシナリオ example-scenario

パーソナライゼーション用に新しいエンゲージメントデータを確保するために、最初に TTL を 3 か月に設定するビデオストリーミングプラットフォームについて考えてみます。 ただし、後続の分析で、古いインタラクションが引き続き貴重なインサイトを提供することが明らかになった場合は、次のリクエストを使用して TTL を 6 か月に拡張できます。

curl -X PATCH \
  'https://platform.adobe.io/data/foundation/catalog/v2/datasets/{DATASET_ID}' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'Content-Type: application/json' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -d '{
    "extensions": {
        "adobe_lakeHouse": {
            "rowExpiration": {
                "ttlValue": "P6M"  // Extend to 6 months
            }
        }
    }
}

データセット保持ポリシーに関する FAQ faqs

この FAQ では、データセット保持ジョブ、TTL 変更の即時影響、回復オプション、保持期間の Platform サービス間での違いに関する実践的な質問について説明しています。

保持ポリシールールを適用できるデータセットのタイプを教えてください。

データセット保持ジョブによって Data Lake Services からデータはどのくらいの時間で削除されますか？

データレイクとプロファイルサービスに異なる保持ポリシーを設定できますか。

現在のデータセットの使用状況を確認するにはどうすればよいですか？

データ保持ジョブが成功したかどうかを確認する方法

削除したデータを復元できますか？

データレイクのエクスペリエンスイベントデータセットで設定できる最小 TTL は何ですか？

TTL ポリシーで許可されている期間より長くデータレイクフィールドを保持する必要がある場合はどうすればよいですか。

次の手順 next-steps

これで、行レベルの有効期限の TTL 設定を管理する方法を学びました。次のドキュメントを参照して、TTL 管理をさらに理解してください。