Administrar la retención de conjuntos de datos de Experience Event en el lago de datos mediante TTL

La administración eficiente de los datos es fundamental para obtener un rendimiento óptimo, un control de costes y la integridad de los datos. Utilice el Tiempo de vida de retención de conjuntos de datos de evento de experiencia (TTL) para aplicar una caducidad de nivel de fila, lo que elimina automáticamente los registros obsoletos de los conjuntos de datos en el lago de datos y garantiza una eficiencia y una relevancia de datos óptimas.

Esta guía explica cómo evaluar, establecer y administrar TTL mediante la API del servicio de catálogo. Aprenderá cuándo y por qué aplicar TTL, cómo configurar y actualizar valores TTL mediante llamadas a la API y prácticas recomendadas para garantizar una implementación eficaz.

Razones para utilizar TTL para la administración de datos de nivel de fila

A medida que los conjuntos de datos aumentan, la administración eficiente de los datos cobra cada vez más importancia para preservar el rendimiento, controlar los costes y mantener la relevancia de los datos. La caducidad de datos a nivel de fila basada en TTL automatiza la limpieza de datos al eliminar registros obsoletos sin intervención manual para ayudar a optimizar el almacenamiento y mejorar la eficiencia del sistema.

TTL es útil cuando se administran datos con distinción de tiempo que pierden relevancia con el tiempo. Considere implementar TTL si necesita:

Utilice configuraciones de TTL para optimizar el almacenamiento en función de los derechos. Aunque los datos del almacén de perfiles (utilizados en Real-Time CDP) se pueden considerar obsoletos y se eliminan a los 30 días, los mismos datos de evento del lago de datos pueden permanecer disponibles durante 12-13 meses (o más según el derecho) para los casos de uso de Analytics y Data Distiller.

Ejemplo del sector industry-example

Por ejemplo, considere un servicio de streaming de vídeo que rastree las interacciones del usuario, como vistas de vídeo, búsquedas y recomendaciones. Aunque los datos de participación recientes son cruciales para la personalización, los registros de actividad más antiguos (por ejemplo, las interacciones de hace más de un año) pierden relevancia. Al utilizar la caducidad a nivel de fila, Experience Platform elimina automáticamente los registros obsoletos, lo que garantiza que solo se utilicen datos actuales y significativos para los análisis y las recomendaciones.

Evaluar la idoneidad de TTL evaluate-ttl-suitability

Antes de aplicar una directiva de retención, compruebe si el conjunto de datos es un buen candidato para la caducidad del nivel de fila. Tenga en cuenta lo siguiente:

Si los registros históricos son esenciales para el análisis a largo plazo o las operaciones comerciales, es posible que el TTL no sea el enfoque correcto. La revisión de estos factores garantiza que el TTL se ajuste a sus necesidades de retención de datos sin afectar negativamente a la disponibilidad de los datos.

Prácticas recomendadas para establecer TTL best-practices

Seleccione el valor TTL correcto para garantizar que la política de retención de conjuntos de datos de eventos de experiencia equilibra la retención de datos, la eficiencia del almacenamiento y las necesidades analíticas. Un TTL demasiado corto puede causar pérdida de datos, mientras que uno demasiado largo puede aumentar los costos de almacenamiento y la acumulación de datos innecesaria. Asegúrese de que el TTL se ajuste al propósito de su conjunto de datos teniendo en cuenta la frecuencia con la que se accede a los datos y cuánto tiempo permanece relevante.

La siguiente tabla proporciona recomendaciones TTL comunes basadas en el tipo de conjunto de datos y patrones de uso:

Revise la configuración de TTL periódicamente para asegurarse de que sigue ajustándose a las políticas de almacenamiento, las necesidades analíticas y los requisitos empresariales.

Consideraciones clave al establecer TTL key-considerations

Siga estas prácticas recomendadas para asegurarse de que la configuración de TTL se ajusta a su estrategia de retención de datos:

Limitaciones de TTL limitations

Tenga en cuenta las siguientes limitaciones al utilizar TTL:

Analizar el tamaño y la relevancia del conjunto de datos antes de aplicar TTL analyze-dataset-size

Antes de aplicar TTL, utilice consultas para analizar el tamaño y la relevancia del conjunto de datos. Ejecute consultas de destino (como el recuento de registros dentro de intervalos de fechas específicos) para obtener una vista previa del impacto de varios valores TTL. A continuación, utilice esta información para elegir un período de retención óptimo que equilibre la utilidad de los datos y la rentabilidad.

La ejecución de consultas de destino ayuda a determinar la cantidad de datos que se retendrán o eliminarán en diferentes configuraciones de TTL. Por ejemplo, la siguiente consulta SQL cuenta el número de registros creados en los últimos 30 días:

SELECT COUNT(1) FROM [datasetName] WHERE timestamp > date_sub(now(), INTERVAL 30 DAY);

La ejecución de consultas similares para diferentes intervalos de tiempo ayuda a validar la configuración de TTL y a garantizar que equilibran la eficacia del almacenamiento y la accesibilidad de los datos.

Introducción a la administración de TTL

Antes de poder evaluar, establecer y administrar la retención de conjuntos de datos de eventos de experiencia mediante la API del servicio de catálogo, debe saber cómo dar formato a las solicitudes correctamente. Esto incluye conocer las rutas de API, proporcionar los encabezados necesarios y dar formato a las cargas útiles de solicitud. Consulte la Guía de introducción a la API del servicio de catálogo para obtener esta información esencial.

Compruebe las restricciones TTL check-ttl-constraints

Utilice el extremo de la API de higiene de datos /ttl/{DATASET_ID} para ayudar a planificar las configuraciones de TTL. Este extremo devuelve los valores TTL mínimo y máximo admitidos para su organización, junto con un valor recomendado (defaultValue) para el tipo de conjunto de datos.

Consulte la documentación de la API de higiene de datos de Adobe Developer para obtener más información.

Para comprobar el TTL aplicado actualmente a un conjunto de datos, realice una petición GET al extremo Catalog Service API /dataSets/{DATASET_ID} en su lugar.

Formato de API

GET /ttl/{DATASET_ID}

Solicitud

La siguiente solicitud recupera las restricciones TTL de su organización para un conjunto de datos concreto.

curl -X GET \
  'https://platform.adobe.io/data/foundation/catalog/ttl/{DATASET_ID}' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -H 'x-sandbox-name: {SANDBOX_NAME}'
  -H 'x-sandbox-id: {SANDBOX_ID}'

Respuesta

Una respuesta correcta devuelve los valores TTL recomendados, máximos y mínimos en función de los derechos de su organización, junto con un TTL sugerido (defaultValue) para el conjunto de datos. Este(a) defaultValue es una duración TTL recomendada, solamente se proporciona a modo de guía. No se aplica a menos que usted lo configure explícitamente. La respuesta no incluye ningún valor TTL personalizado que ya se pueda establecer. Para ver el TTL actual de un conjunto de datos, use el extremo de GET /catalog/dataSets/{DATASET_ID}.

{
  "extensions": {
    "adobe_lakeHouse": {
      "rowExpiration": {
        "defaultValue": "P12M",
        "maxValue": "P12M",
        "minValue": "P7D"
      }
    }
  }
}

Cómo comprobar los valores TTL aplicados check-applied-ttl-values

Para comprobar el valor TTL actual que se ha aplicado a un conjunto de datos, utilice la siguiente llamada de API:

GET /dataSets/{DATASET_ID}

Esta llamada devuelve el objeto ttlValue actual (si está establecido) en la sección extensions.adobe_lakeHouse.rowExpiration.

Solicitud

La siguiente solicitud recupera el valor TTL de su organización para un conjunto de datos concreto.

curl -X GET \
https://platform.adobe.io/data/foundation/catalog/dataSets/{DATASET_ID} \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -H 'x-sandbox-name: {SANDBOX_NAME}'

Respuesta

Una respuesta correcta incluye el objeto extensions, que contiene la configuración TTL actual aplicada al conjunto de datos. El ejemplo de respuesta siguiente se trunca por su brevedad.

{
    "{DATASET_ID}": {
        "name": "Acme Sales Data",
        "description": "This dataset contains sales transaction records for Acme Corporation.",
        "imsOrg": "{ORG_ID}",
        "sandboxId": "{SANDBOX_ID}",
        "extensions": {
            "adobe_lakeHouse": {
            "rowExpiration": {
                "ttlValue": "P3M",
            }
            }
        }
        ...
    }
}

Establecer o actualizar el TTL para un conjunto de datos set-update-ttl

Puede configurar la retención de conjuntos de datos de evento de experiencia estableciendo un TTL nuevo o actualizando uno existente mediante el mismo método de API. Use una petición PATCH al extremo /v2/datasets/{DATASET_ID} para aplicar o ajustar el TTL.

Formato de API

PATCH /v2/datasets/{DATASET_ID}

Solicitud

En el ejemplo siguiente, ttlValue está establecido en P3M. Esto significa que los registros con más de tres meses se eliminan automáticamente. Ajuste el período de retención para adaptarlo a sus necesidades empresariales (por ejemplo, P6M durante seis meses o P12M durante un año).

curl -X PATCH \
  'https://platform.adobe.io/data/foundation/catalog/v2/datasets/{DATASET_ID}' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'Content-Type: application/json' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -d '{
    "extensions": {
        "adobe_lakeHouse": {
            "rowExpiration": {
                "ttlValue": "P3M"  // A 3 month retention period
            }
        }
    }
}

Respuesta

Una respuesta correcta devuelve una referencia al conjunto de datos actualizado, pero no incluye explícitamente la configuración de TTL. Para confirmar la configuración de TTL, realice una solicitud de seguimiento GET /dataSets/{DATASET_ID}.

[
  "@/dataSets/{DATASET_ID}"
]

Ejemplo de escenario example-scenario

Considere una plataforma de streaming de vídeo que inicialmente establece el TTL en tres meses para garantizar nuevos datos de participación para la personalización. Sin embargo, si un análisis posterior revela que las interacciones más antiguas siguen proporcionando perspectivas valiosas, el TTL se puede ampliar a seis meses con la siguiente solicitud:

curl -X PATCH \
  'https://platform.adobe.io/data/foundation/catalog/v2/datasets/{DATASET_ID}' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'Content-Type: application/json' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -d '{
    "extensions": {
        "adobe_lakeHouse": {
            "rowExpiration": {
                "ttlValue": "P6M"  // Extend to 6 months
            }
        }
    }
}

Preguntas frecuentes sobre política de retención de conjuntos de datos faqs

Estas preguntas frecuentes abarcan preguntas prácticas acerca de los trabajos de retención de conjuntos de datos, los efectos inmediatos de los cambios de TTL, las opciones de recuperación y cómo difieren los períodos de retención en los servicios de Platform.

¿A qué tipos de conjuntos de datos puedo aplicar reglas de política de retención?

¿Cuándo eliminará el trabajo de retención de conjuntos de datos los datos de los servicios de lago de datos?

¿Puedo establecer diferentes políticas de retención para el lago de datos y los servicios de perfil?

¿Cómo puedo comprobar el uso actual de mi conjunto de datos?

¿Cómo puedo verificar si el trabajo de retención de datos se realizó correctamente?

¿Puedo recuperar los datos eliminados?

¿Cuál es el TTL mínimo que puedo configurar en un conjunto de datos de evento de experiencia de lago de datos?

¿Qué sucede si necesito conservar algunos campos del lago de datos más tiempo del que permite mi política de TTL?

Próximos pasos next-steps

Ahora que ha aprendido a administrar la configuración de TTL para la caducidad de nivel de fila, revise la siguiente documentación para comprender mejor la administración de TTL: