Configuration de la détection des robots pour les flux de données
Le trafic non humain provenant de programmes automatisés, de web scrapers, d’araignées et de scanners scriptés peut rendre difficile l’identification d’événements provenant de visiteurs humains. Ce type de trafic peut avoir un impact négatif sur des mesures commerciales importantes, ce qui entraîne des rapports de trafic incorrects.
La détection des robots vous permet d’identifier les événements générés par les Web SDK, Mobile SDK et Edge Network API comme étant générés par des araignées et des robots connus.
En configurant la détection des robots pour vos flux de données, vous pouvez identifier des adresses IP spécifiques, des plages d’adresses IP et des en-têtes de requête à classer en tant qu’événements de robots. Vous obtiendrez ainsi une mesure plus précise de l’activité des utilisateurs sur votre site ou application mobile.
Lorsqu’une requête envoyée à Edge Network correspond à l’une des règles de détection des robots, le schéma XDM est mis à jour avec un score de robot (toujours défini sur 1), comme illustré ci-dessous :
{
"botDetection": {
"score": 1
}
}
Ce score de robots aide les solutions recevant la demande à identifier correctement le trafic de robots.
Les règles de détection de robots peuvent prendre jusqu’à 15 minutes pour se propager dans Edge Network après leur création.
Prérequis prerequisites
Pour que la détection de robots fonctionne sur votre flux de données, vous devez ajouter le groupe de champs Informations sur la détection de robots à votre schéma. Consultez la documentation Schéma XDM pour savoir comment ajouter des groupes de champs à un schéma.
Configuration de la détection des robots pour les flux de données configure
Vous pouvez configurer la détection des robots après avoir créé une configuration de train de données. Consultez la documentation sur la création et configuration d’un flux de données, puis suivez les instructions ci-dessous pour ajouter des fonctionnalités de détection de robots à votre flux de données.
Accédez à la liste des flux de données et sélectionnez le flux de données auquel vous souhaitez ajouter la détection des robots.
Sur la page des détails du flux de données, sélectionnez l’option Détection de robots sur le rail de droite.
La page Règles de détection des robots s’affiche.
Sur la page Règles de détection des robots , vous pouvez configurer la détection des robots à l’aide des fonctionnalités suivantes :
- Utilisation de l’[IAB/ABC International Spiders and Bots List] .
- Création de vos propres règles de détection des robots.
Utiliser la liste internationale d'araignées et de robots IAB/ABC iab-list
La IAB/ABC International Spiders and Bots List est une liste d’araignées et de robots Internet tierce et standard. Cette liste vous permet d’identifier le trafic automatisé, tel que les robots d’exploration des moteurs de recherche, les outils de surveillance et tout autre trafic non humain que vous ne souhaitez pas inclure dans vos comptes d’analyse.
Pour configurer votre flux de données afin d’utiliser la liste internationale d’araignées et de robots IAB/ABC :
- Activez l’option Utiliser la liste internationale d’araignées et de robots IAB/ABC pour la détection des robots sur ce flux de données.
- Sélectionnez Enregistrer pour appliquer les paramètres de détection des robots à votre flux de données.
Création de règles de détection des robots rules
Outre l’utilisation de la Liste internationale d’araignées et de robots IAB/ABC, vous pouvez définir vos propres règles de détection des robots pour chaque flux de données.
Vous pouvez créer des règles de détection de robots basées sur adresses IP et plages d’adresses IP.
Si vous avez besoin de règles de détection de robots plus granulaires, vous pouvez combiner les conditions IP avec les conditions d’en-tête de requête. Les règles de détection de robots peuvent utiliser les en-têtes suivants :
user-agentcontent-typereferersec-ch-uasec-ch-ua-mobilesec-ch-ua-platformsec-ch-ua-platform-versionsec-ch-ua-archsec-ch-ua-modelsec-ch-ua-bitnesssec-ch-ua-wow64Pour créer une règle de détection des robots, procédez comme suit :
-
Sélectionnez Ajouter une nouvelle règle.
-
Saisissez le nom de la règle dans le champ Nom de la règle.
-
Sélectionnez Ajouter une nouvelle condition d’adresse IP pour ajouter une nouvelle règle basée sur l’adresse IP. Vous pouvez définir la règle par adresse IP ou par plage d’adresses IP.
note tip TIP Les conditions IP sont basées sur une opération ORlogique. Une requête est marquée comme provenant d’un robot si elle correspond à l’une des conditions IP que vous avez définies. -
Si vous souhaitez ajouter des conditions d’en-tête à votre règle, sélectionnez Ajouter un groupe de conditions d’en-tête, puis sélectionnez les en-têtes que la règle doit utiliser.
Ajoutez ensuite les conditions à utiliser pour l’en-tête sélectionné.
-
Après avoir configuré les règles de détection de robots souhaitées, sélectionnez Enregistrer pour appliquer les règles à votre flux de données.
Exemples de règles de détection de robots examples
Pour vous familiariser avec la détection de robots, vous pouvez utiliser les exemples présentés ci-dessous pour créer des règles de détection de robots.
Détection de robots basée sur une adresse IP one-ip
Pour marquer toutes les requêtes provenant d’une adresse IP spécifique comme du trafic de robots, créez une règle de détection de robots qui évalue une seule adresse IP, comme illustré dans l’image ci-dessous.
Détection de robots basée sur deux adresses IP two-ip
Pour marquer toutes les requêtes provenant de l’une des deux adresses IP spécifiques comme du trafic de robots, créez une règle de détection de robots qui évalue deux adresses IP, comme illustré dans l’image ci-dessous.
Détection de robots basée sur une plage d'adresses IP range
Pour marquer toutes les requêtes provenant de n’importe quelle adresse IP dans une plage spécifique comme du trafic de robots, créez une règle de détection de robots qui évalue une plage entière d’adresses IP, comme illustré dans l’image ci-dessous.
Détection de robots basée sur une adresse IP et un en-tête de requête ip-header
Pour marquer toutes les requêtes provenant d’une adresse IP spécifique et contenant un en-tête de requête spécifique comme du trafic de robots, créez une règle de détection de robots comme illustré dans l’image ci-dessous.
Cette règle vérifie si la requête provient d’une adresse IP spécifique et si l’en-tête de la requête referer commence par www.adobe.com.
Détection de robots basée sur plusieurs conditions multiple-conditions
Vous pouvez créer des règles de détection de robots basées sur :
- Plusieurs conditions différentes : différentes conditions sont évaluées comme une opération de
ANDlogique, ce qui signifie que les conditions doivent être remplies simultanément pour que la requête soit identifiée comme provenant d’un robot. - Conditions multiples du même type : les conditions du même type sont évaluées comme une opération de
ORlogique, ce qui signifie que si l’une des conditions est remplie, la requête est identifiée comme provenant d’un robot.
La règle affichée dans l’image ci-dessous identifie une requête provenant de robots si les conditions suivantes sont remplies :
La requête provient de l’une des deux adresses IP, l’en-tête referer commence par www.adobe.com et l’en-tête sec-ch-ua-mobile identifie la requête comme provenant d’un navigateur de bureau.
