Gouvernance du crawl du site web : explication d'ImpactCINDAgent

Cet article explique comment identifier, vérifier et contrôler ImpactCINDAgent.

ImpactCINDAgent est un robot d’exploration web exploité par impact.com et utilisé pour vérifier que les pages des sites partenaires et des marques utilisent correctement le suivi impact.com et respectent les accords de marque.

Si votre site participe à un programme de partenariat impact.com, ImpactCINDAgent récupère périodiquement des pages pour :

• Vérifier le suivi: S’assurer que les liens et les balises de suivi sont correctement installés et fonctionnent.
• Examiner la conformité: Vérifier que le contenu de la page est conforme aux accords publiés de sécurité de la marque et de conformité.
• Rapporter: Extraire des métadonnées non personnelles (titres, URL canoniques, images de produits, SKU) afin d’alimenter les rapports destinés aux partenaires.
• Découvrir: Effectuer des explorations plus larges pour découvrir du contenu promouvant des marques inscrites sur impact.com sur des domaines qui ne sont pas encore enregistrés sur la plateforme.

Identifier ImpactCINDAgent

ImpactCINDAgent s’identifie via une chaîne User-Agent spécifique.

Chaîne User-Agent complète : Mozilla/5.0 (compatible; ImpactCINDAgent) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36

Remarque: La version de Chrome est mise à jour à mesure que le navigateur sous-jacent est amélioré. Pour identifier le robot de manière fiable, recherchez la sous-chaîne ImpactCINDAgent.

Vérifier une requête

Si vous devez confirmer qu’une requête provient bien de impact.com (et qu’il ne s’agit pas d’un User-Agent usurpé), utilisez l’une des méthodes suivantes, classées de la moins à la plus fiable :

Méthode 1 : vérification de la plage d’adresses IP (forte confiance)

Confirmez que l’adresse IP source de la requête se situe dans ces plages contrôlées par impact.com :

Plages CIDR:

• 163.116.128.0/17
• 162.10.0.0/17
• 31.186.239.0/24
• 8.39.144.0/24
• 8.36.116.0/24

Adresses individuelles: 34.145.188.137, 35.245.212.57, 34.21.56.213, 34.48.90.233, 35.245.229.167, 34.150.151.151, 35.245.185.65, 35.188.242.212, 34.86.33.122, 34.145.224.193, 35.245.135.218, 35.221.1.178, 34.150.217.77, 107.175.80.80, 162.212.175.22, 107.172.69.119

Méthode 2 : vérification de la signature (confiance la plus élevée)

Chaque requête provenant de ImpactCINDAgent est signée cryptographiquement (selon RFC 9421). Vous pouvez vérifier les signatures à l’aide de notre répertoire de clés publiques. Cette implémentation est basée sur la spécification web-bot-auth qui s’appuie sur la spécification RFC 9421 .

Comportement attendu :

• Navigation sans interface: ImpactCINDAgent utilise un véritable navigateur sans interface. Il envoie une requête GET , rend la page, exécute JavaScript et récupère les sous-ressources (CSS/JS) pour voir la page exactement comme un utilisateur le ferait.
• Captures d’écran: Il peut prendre une capture d’écran pour un examen interne de conformité. Elles ne sont jamais publiques.
• Redirections: Il suit les redirections, y compris entre différents origines.
• Aucune action destructive: Il ne soumet pas de formulaires, ne contourne pas les CAPTCHA/pare-feu payants et n’effectue pas de POST/DELETE requêtes.

Contrôler l’accès

ImpactCINDAgent respecte les directives robots.txt adressées spécifiquement à ImpactCINDAgent ou le caractère générique *.

Bloquer entièrement

User-agent: ImpactCINDAgent
Disallow: /

Définir un rythme d’exploration

Si le robot d’exploration affecte les performances de votre site, utilisez la directive Crawl-delay .

User-agent: ImpactCINDAgent
Crawl-delay: 10

Limites de débit et ralentissement

ImpactCINDAgent réduit automatiquement son rythme de requêtes si votre serveur renvoie :

• HTTP 429 (Trop de requêtes)
• HTTP 503 (Service indisponible)
• Il respecte également l’en-tête Retry-After s’il est fourni.

Important: Si votre site participe à un programme impact.com, bloquer ce robot d’exploration peut nous empêcher de vérifier votre suivi ou votre conformité, ce qui pourrait affecter la situation de votre programme. Nous recommandons d’utiliser Crawl-delay au lieu d’un blocage complet.