Mécanismes de sécurisation pour l’ingestion des données
IMPORTANT
Les mécanismes de sécurisation pour l’ingestion par lots et en flux continu sont généralement calculés au niveau de l’organisation et non au niveau du sandbox. Cela signifie que votre utilisation des données par sandbox est liée au droit total d’utilisation de licence qui correspond à l’ensemble de votre organisation. En outre, l’utilisation des données dans les sandbox de développement est limitée à 10 % du total de vos profils. Pour plus d’informations sur les droits d’utilisation de licence, consultez le guide des bonnes pratiques de gestion des données.
Les mécanismes de sécurisation sont des seuils qui fournissent des conseils pour l’utilisation des données et du système, l’optimisation des performances et la prévention des erreurs ou des résultats inattendus dans Adobe Experience Platform. Les mécanismes de sécurisation peuvent faire référence à l’utilisation ou la consommation de données et de traitement par rapport à vos droits de licence.
IMPORTANT
Vérifiez vos droits de licence dans votre commande client et la Description du produit correspondante sur les limites d’utilisation réelles en plus de cette page de mécanismes de sécurisation.
Ce document fournit des conseils sur les mécanismes de sécurisation pour l’ingestion de données dans Adobe Experience Platform.
Mécanismes de sécurisation pour l’ingestion par lots
Le tableau suivant décrit les mécanismes de sécurisation à prendre en compte lors de l’utilisation de l’API d’ingestion par lots ou de sources :
Type d’ingestion
Instructions
Notes
Ingestion du lac de données à l’aide de l’API d’ingestion par lots
- Adobe recommande de conserver le nombre de fichiers par lot en dessous de 10 000. Il n’est pas garanti que les lots contenant plus de 10 000 fichiers seront ingérés rapidement et efficacement.
- Adobe recommande de conserver la taille du lot en dessous de 100 Go. Il n’est pas garanti que les lots de plus de 100 Go seront ingérés rapidement et efficacement.
- Vous pouvez ingérer jusqu’à 20 Go de données par heure dans le lac de données à l’aide de l’API d’ingestion par lots.
- Le nombre maximal de fichiers par lot est de 25 000. Les lots contenant plus de 25 000 fichiers échouent au moment de l’ingestion.
- La taille de lot maximale est de 1 To. Les lots de plus de 1 To échouent au moment de l’ingestion.
- La taille de lot maximale de capture des données de modification (CDC) est de 100 Go.
- Le nombre maximal de propriétés ou de champs par ligne est de 10 000.
- Le nombre maximal de lots par minute, par utilisateur est de 2000.
Si un lot dépasse un nombre de fichiers imposé ou une limite de taille de lot, l’ingestion échoue et un message d’erreur identifie le seuil dépassé. Par exemple :
Batch ingestion guardrails hit: 25143 files (over the 25000 threshold); 1150000000000 bytes (over the 1099511627776 threshold)Ingestion du lac de données à l’aide de sources de lots
- Adobe recommande de conserver le nombre de fichiers par lot en dessous de 10 000. Il n’est pas garanti que les lots contenant plus de 10 000 fichiers seront ingérés rapidement et efficacement.
- Adobe recommande de conserver la taille du lot en dessous de 100 Go. Il n’est pas garanti que les lots de plus de 100 Go seront ingérés rapidement et efficacement.
- Vous pouvez ingérer jusqu’à 200 Go de données par heure dans le lac de données à l’aide de sources d’ingestion par lots, telles que Azure Blob, Amazon S3 et SFTP.
- La taille du lot doit être comprise entre 256 Mo et 1 To. Les lots de plus de 1 To échouent au moment de l’ingestion. Cela s’applique à la fois aux données compressées et non compressées. Lorsque des données compressées sont décompressées dans le lac de données, ces restrictions s’appliquent.
- Le nombre maximal de fichiers par lot est de 25 000. Les lots contenant plus de 25 000 fichiers échouent au moment de l’ingestion.
- La taille minimale d’un fichier ou dossier est de 1 octet. Vous ne pouvez pas ingérer de fichiers ou de dossiers de taille 0 octet.
Lisez la présentation des sources pour un catalogue de sources que vous pouvez utiliser pour l’ingestion de données. Si un lot dépasse un nombre de fichiers imposé ou une limite de taille de lot, l’ingestion échoue et un message d’erreur identifie le seuil dépassé.
Ingestion par lots vers le profil
- La taille maximale d’une classe d’enregistrement est de 100 Ko (hard).
- La taille maximale d’une classe ExperienceEvent est de 10 Ko (hard).
Nombre de lots Profile ou ExperienceEvent ingérés par jour
Le nombre maximal de lots Profile ou ExperienceEvent ingérés par jour est de 90 par sandbox. Cela signifie que le total combiné des lots Profile et ExperienceEvent ingérés chaque jour ne peut pas dépasser 90. L’ingestion de lots supplémentaires affectera les performances du système.
C’est une limite conditionnelle. Il est possible d’aller au-delà d’une limite conditionnelle. Toutefois, ces limites fournissent une orientation recommandée pour les performances du système. En outre, ce mécanisme de sécurisation est défini par sandbox et non par organisation.
Ingestion de données chiffrées
La taille maximale prise en charge d’un seul fichier chiffré est de 1 Go. Par exemple, alors que vous pouvez ingérer 2 Go ou plus de données dans une seule exécution de flux de données, aucun fichier individuel dans l’exécution de flux de données ne peut dépasser 1 Go.
Le processus d’ingestion de données chiffrées peut prendre plus de temps que celui d’une ingestion de données normale. Lisez le Guide de l’API d’ingestion de données chiffrées pour plus d’informations.
Ingestion par lots upsert
L’ingestion des lots d’upsert peut être jusqu’à 10 fois plus lente que les lots standard. Par conséquent, vous devez conserver vos lots d’upsert sous deux millions d’enregistrements afin d’assurer une exécution efficace et d’éviter de bloquer le traitement d’autres lots dans le sandbox.
Bien que vous puissiez sans aucun doute ingérer des lots qui dépassent deux millions d’enregistrements, le temps de votre ingestion sera considérablement plus long en raison des limites des petits sandbox.
NOTE
La taille de lot et le nombre de fichiers recommandés sont des directives de performance et ne sont pas des limites appliquées. Vous pouvez ingérer des lots standard contenant entre 10 000 et 25 000 fichiers ou plus de 100 Go et jusqu’à 1 To, mais il n’est pas garanti que ces lots seront ingérés en temps voulu et de manière efficace. Les lots qui dépassent un maximum appliqué échouent au moment de l’ingestion.
Mécanismes de sécurisation pour l’ingestion en flux continu
Lisez la présentation de l’ingestion en flux continu pour plus d’informations sur les mécanismes de sécurisation pour l’ingestion en flux continu.
Mécanismes de sécurisation pour les sources en flux continu
Le tableau suivant présente les mécanismes de sécurisation à prendre en compte lors de l’utilisation des sources de diffusion en continu :
Type d’ingestion
Instructions
Notes
Sources en flux continu
- La taille d’enregistrement maximale est de 1 Mo, la taille recommandée étant de 10 Ko.
- Les sources en flux continu prennent en charge entre 4 000 et 5 000 requêtes par seconde lors de l’ingestion dans le lac de données. Cela s’applique aux nouvelles connexions source en plus des connexions source existantes. Remarque : il peut s’écouler jusqu’à 60 minutes avant que les données de diffusion en continu ne soient complètement traitées dans le lac de données.
- Les sources en flux continu prennent en charge un maximum de 1 500 requêtes par seconde lors de l’ingestion de données vers le profil ou la segmentation en flux continu.
Les sources en flux continu, telles que Kafka, Azure Event Hubs et Amazon Kinesis, n’utilisent pas l’itinéraire Data Collection Core Service (DCCS) et peuvent avoir différentes limites de débit. Consultez la présentation des sources pour un catalogue de sources que vous pouvez utiliser pour l’ingestion de données.
Étapes suivantes
Consultez la documentation suivante pour plus d’informations sur les autres mécanismes de sécurisation des services Experience Platform, sur les informations de latence de bout en bout et les informations de licence dans les documents de description du produit Real-Time CDP :
- Mécanismes de sécurisation de Real-Time CDP
- Diagrammes de latence de bout en bout pour divers services Experience Platform.
- Real-Time Customer Data Platform (B2C Edition - Packages Prime et Ultimate)
- Real-Time Customer Data Platform (B2P - Packages Prime et Ultimate)
- Real-Time Customer Data Platform (B2B - Packages Prime et Ultimate)
recommendation-more-help
experience-platform-help-ingestion