Configuration de la détection des robots pour les flux de données
Le trafic non humain provenant de programmes automatisés, de web scrapers, d’araignées et de scanneurs scriptés peut rendre difficile l’identification des événements provenant de visiteurs humains. Ce type de trafic peut avoir une incidence négative sur les mesures commerciales importantes, ce qui entraîne des rapports de trafic incorrects.
La détection des robots permet d’identifier les événements générés par le SDK Web, le SDK mobile et Server API comme étant générés par des araignées et des robots connus.
En configurant la détection des robots pour vos flux de données, vous pouvez identifier des adresses IP, des plages d’adresses IP et des en-têtes de requête spécifiques à classer comme des événements de robots. Cela permet de mesurer plus précisément l’activité des utilisateurs sur votre site ou application mobile.
Lorsqu’une requête à l’Edge Network correspond à l’une des règles de détection de robots, le schéma XDM est mis à jour avec un score de robot (toujours défini sur 1), comme illustré ci-dessous :
{
"botDetection": {
"score": 1
}
}
Ce score de robot permet aux solutions qui reçoivent la demande d’identifier correctement le trafic de robots.
Les règles de détection de robots peuvent prendre jusqu’à 15 minutes pour se propager dans l’Edge Network après sa création.
Conditions préalables prerequisites
Pour que la détection des robots fonctionne sur votre flux de données, vous devez ajouter le groupe de champs Informations sur la détection des robots à votre schéma. Consultez la documentation Schéma XDM pour savoir comment ajouter des groupes de champs à un schéma.
Configuration de la détection des robots pour les flux de données configure
Vous pouvez configurer la détection des robots après avoir créé une configuration de flux de données. Consultez la documentation sur la façon de créer et configurer un flux de données, puis suivez les instructions ci-dessous pour ajouter des fonctionnalités de détection de robots à votre flux de données.
Accédez à la liste des flux de données et sélectionnez le flux de données auquel vous souhaitez ajouter la détection des robots.
Dans la page des détails de la banque de données, sélectionnez l’option Détection de robots sur le rail de droite.
La page Règles de détection des robots s’affiche.
Sur la page Règles de détection des robots , vous pouvez configurer la détection des robots à l’aide des fonctionnalités suivantes :
- Utilisation de [IAB/ABC International Spiders and Bots List].
- Création de vos propres règles de détection de robots.
Utilisation de la liste internationale des robots (Robots) fournie par l’IAB/ABC iab-list
La liste internationale des robots et araignées IAB/ABCest une liste tierce et standard d’araignées et de robots Internet. Cette liste vous permet d’identifier le trafic automatisé, tel que les moteurs de recherche, les outils de surveillance et tout autre trafic non humain, que vous pouvez ne pas inclure dans vos comptes d’analyses.
Pour configurer votre flux de données afin d’utiliser la liste internationale des robots fournie par l’IAB/ABC :
- Activez/désactivez l’option Utiliser la liste internationale des robots et araignées IAB/ABC pour la détection des robots dans cette banque de données .
- Sélectionnez Enregistrer pour appliquer les paramètres de détection des robots à votre flux de données.
Création de règles de détection de robots rules
Outre l’utilisation de la liste internationale des robots et araignées IAB/ABC, vous pouvez définir vos propres règles de détection des robots pour chaque flux de données.
Vous pouvez créer des règles de détection de robots basées sur les adresses IP et les plages d’adresses IP.
Si vous avez besoin de règles de détection de robots plus granulaires, vous pouvez combiner les conditions d’IP avec des conditions d’en-tête de requête. Les règles de détection de robots peuvent utiliser les en-têtes suivants :
user-agent
content-type
referer
sec-ch-ua
sec-ch-ua-mobile
sec-ch-ua-platform
sec-ch-ua-platform-version
sec-ch-ua-arch
sec-ch-ua-model
sec-ch-ua-bitness
sec-ch-ua-wow64
Pour créer une règle de détection de robots, procédez comme suit :
-
Sélectionnez Ajouter une nouvelle règle.
-
Saisissez un nom pour la règle dans le champ Nom de la règle.
-
Sélectionnez Ajouter une nouvelle condition IP pour ajouter une nouvelle règle basée sur IP. Vous pouvez définir la règle par adresse IP ou plage d’adresses IP.
note tip TIP Les conditions IP sont basées sur une opération OR
logique. Une demande est marquée comme provenant d’un robot si correspond à l’une des conditions IP que vous avez définies. -
Si vous souhaitez ajouter des conditions d’en-tête à votre règle, sélectionnez Ajouter un groupe de conditions d’en-tête, puis sélectionnez les en-têtes que la règle doit utiliser.
Ajoutez ensuite les conditions à utiliser pour l’en-tête sélectionné.
-
Après avoir configuré les règles de détection de robots souhaitées, sélectionnez Enregistrer pour que les règles soient appliquées à votre flux de données.
Exemples de règles de détection de robots examples
Pour vous aider à prendre en main la détection des robots, vous pouvez utiliser les exemples présentés ci-dessous pour créer des règles de détection de robots.
Détection des robots à partir d’une adresse IP one-ip
Pour marquer comme trafic de robots toutes les requêtes provenant d’une adresse IP spécifique, créez une nouvelle règle de détection de robots qui évalue une seule adresse IP, comme illustré dans l’image ci-dessous.
Détection des robots à partir de deux adresses IP two-ip
Pour marquer comme trafic de robots toutes les requêtes provenant de l’une des deux adresses IP spécifiques, créez une nouvelle règle de détection de robots qui évalue deux adresses IP, comme illustré dans l’image ci-dessous.
Détection des robots à partir d’une plage d’adresses IP range
Pour marquer comme trafic de robots toutes les requêtes provenant d’une adresse IP sur une plage spécifique, créez une nouvelle règle de détection de robots qui évalue une plage d’adresses IP entière, comme illustré dans l’image ci-dessous.
Détection des robots à partir d’une adresse IP et d’un en-tête de requête ip-header
Pour marquer toutes les requêtes provenant d’une adresse IP spécifique et contenant un en-tête de requête spécifique comme trafic de robots, créez une règle de détection de robots comme illustré dans l’image ci-dessous.
Cette règle vérifie si la requête provient d’une adresse IP spécifique et si l’en-tête de la requête referer
commence par www.adobe.com
.
Détection de robots selon plusieurs conditions multiple-conditions
Vous pouvez créer des règles de détection de robots basées sur les éléments suivants :
- Plusieurs conditions différentes : différentes conditions sont évaluées en tant qu’opération
AND
logique, ce qui signifie que les conditions doivent être remplies simultanément pour que la demande soit identifiée comme provenant d’un robot. - Plusieurs conditions du même type : les conditions du même type sont évaluées en tant qu’opération
OR
logique, ce qui signifie que si l’une des conditions est remplie, la demande est identifiée comme provenant d’un robot.
La règle affichée dans l’image ci-dessous identifie une demande d’origine de robots si les conditions suivantes sont remplies :
La requête provient de l’une des deux adresses IP, l’en-tête referer
commence par www.adobe.com
et l’en-tête sec-ch-ua-mobile
identifie la requête comme provenant d’un navigateur de bureau.