Exigences de crawling de site web pour les partenaires

En tant que partenaire, vous pourrez être amené à effectuer certaines démarches, comme configurer l’identification User-Agent, afin de garantir que les crawlers de conformité régulée d’impact.com puissent accéder et récupérer des données de votre site Web de manière programmatique, sans interruption et avec l’autorisation appropriée. Ce guide s’adresse principalement aux développeurs, administrateurs informatiques et équipes techniques responsables de la gestion de l’accès au site et des paramètres de sécurité.

Comment autoriser le Bot de conformité régulée d’impact.com

En tant que partenaire, votre site Web peut être surveillé par le Bot de conformité régulée d’impact.com afin de vérifier que certains contenus sont conformes à votre accord avec la ou les marques. Chaque élément surveillé nécessite une visite distincte sur votre site, donc les sites contenant un grand nombre de contenus surveillés recevront proportionnellement plus de requêtes.

Si le Bot de conformité régulée d’impact.com est restreint (par ex. renvoie HTTP 429 – Trop de requêtes ou HTTP 403 – Interdit), il se peut que nous ne puissions pas examiner et vérifier votre contenu, ce qui pourrait affecter la visibilité de la conformité.

Pour garantir une surveillance ininterrompue :

• Mettre en liste blanche le Bot de conformité régulée d’impact.com en utilisant le User-Agent fourni.

• Éviter de bloquer ou de limiter les requêtes légitimes provenant du Bot de conformité régulée d’impact.com.

• Vérifier le Bot de conformité régulée d’impact.com à l’aide de la signature incluse dans les en-têtes de la requête pour confirmer son authenticité et prévenir l’usurpation.

• En autorisant et en vérifiant le Bot de conformité régulée d’impact.com, vous contribuez à ce que votre contenu soit examiné avec précision et reflété dans le système impact.com.

Identification User-Agent

Notre crawler utilise un User-Agent pour s’identifier lors des requêtes Web. Cela vous permet, en tant que partenaire, de distinguer le trafic de conformité d’impact.com des autres bots et crawlers.

Chaîne User-Agent à mettre en liste blanche (utiliser exactement telle qu’indiquée) :

Mozilla/5.0 (compatible;Impact.com Agent) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36

Vérifier les requêtes du crawler d’impact.com

Pour confirmer que le trafic entrant provient du crawler d’impact.com, chaque requête inclut un en-tête de signature HMAC personnalisé :

X-Impact-Crawler-Signature : <hmac signature>

Cette signature vous permet d’authentifier la requête en utilisant un secret connu et un algorithme partagé. Elle garantit que la requête provient d’impact.com et n’a pas été altérée.

Construction de la signature

Construction de la signature

Nous calculons la signature en utilisant le processus suivant :

• Secret: /impact/crawler/signature/

• Données à signer: User-Agent

• Algorithme HMAC : HMAC-SHA256

• Résultat de la signature: Chaîne hexadécimale

Comment vérifier (pseudocode)

const crypto = require('crypto');

// Extraire les en-têtes de la requête entrante
const userAgent = req.headers['user-agent'];
const signature = req.headers['x-impact-crawler-signature'];

const secret = '/impact/crawler/signature/';

// Recalculer la signature
const expectedSignature = crypto
  .createHmac('sha256', secret)
  .update(userAgent)
  .digest('hex');

// Comparer les signatures
if (signature === expectedSignature) {
  // ✅ Vérifié
} else {
  // ❌ Rejeter ou consigner pour examen
}

Avertissement : Veillez à utiliser la valeur User-Agent exacte telle que reçue dans la requête. Toute modification, comme le trimming, le décodage ou le reformatage entraînera une non-correspondance de signature.

Liste blanche d’IP pour la surveillance de la conformité régulée

Pour soutenir la surveillance continue de la conformité régulée, veuillez mettre en liste blanche les plages d’adresses IP suivantes. Cela garantit que le trafic provenant d’impact.com n’est pas bloqué involontairement et que la surveillance du site peut se poursuivre sans interruption.

Autoriser les plages d’IP suivantes :

• 163.116.128.0/17

• 162.10.0.0/17

• 31.186.239.0/24

• 8.39.144.0/24

• 8.36.116.0/24

• 34.145.188.137

• 35.245.212.57

• 34.21.56.213

• 34.48.90.233

• 35.245.229.167

• 34.150.151.151

• 35.245.185.65

• 35.188.242.212

• 34.86.33.122

• 34.145.224.193

• 35.245.135.218

• 35.221.1.178

• 34.150.217.77

Nous recommandons de mettre à jour votre pare-feu ou vos listes de contrôle d’accès pour permettre le trafic entrant depuis les plages d’adresses IP d’impact.com suivantes.

Recommandé : Pour la coordination technique ou les questions liées à la surveillance de la conformité régulée et à l’accès des bots, contacter le support.