Exigences de crawl de site Web pour les partenaires

En tant que partenaire, vous devrez peut-être effectuer certaines étapes telles que configurer l’identification User-Agent afin de garantir que les crawlères Regulated Compliance d’impact.com puissent accéder et récupérer des données depuis votre site Web de manière programmatique, sans interruption et avec une autorisation appropriée. Ce guide s’adresse principalement aux développeurs, administrateurs informatiques et équipes techniques responsables de la gestion de l’accès au site et des paramètres de sécurité.

Comment autoriser le bot Regulated Compliance d’impact.com

En tant que partenaire, votre site Web peut être surveillé par le bot Regulated Compliance d’impact.com afin de vérifier que certains contenus sont conformes à votre accord avec la/les marque(s). Chaque élément surveillé nécessite une visite séparée sur votre site, donc les sites contenant un volume élevé de contenus surveillés recevront proportionnellement plus de requêtes.

Si le bot Regulated Compliance d’impact.com est restreint (par exemple renvoie HTTP 429 – Too Many Requests ou HTTP 403 – Forbidden), nous pourrions être dans l’incapacité de revoir et de vérifier votre contenu, ce qui pourrait affecter la visibilité en matière de conformité.

Pour garantir une surveillance ininterrompue :

• Ajoutez le bot Regulated Compliance d’impact.com à la liste blanche en utilisant le User-Agent fourni.

• Évitez de bloquer ou de limiter (throttling) les requêtes légitimes provenant du bot Regulated Compliance d’impact.com.

• Vérifiez le bot Regulated Compliance d’impact.com en utilisant la signature incluse dans les en-têtes de la requête pour confirmer l’authenticité et empêcher l’usurpation.

• En autorisant et en vérifiant le bot Regulated Compliance d’impact.com, vous contribuez à assurer que votre contenu soit correctement examiné et reflété dans le système d’impact.com.

Identification User-Agent

Notre crawler utilise un User-Agent pour s’identifier lors des requêtes web. Cela vous permet, en tant que partenaire, de distinguer le trafic de conformité d’impact.com des autres bots et crawlères.

Chaîne User-Agent à ajouter à la liste blanche (utiliser exactement comme indiqué) :

Mozilla/5.0 (compatible;Impact.com Agent) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36

Vérifier les requêtes du crawler d’impact.com

Pour confirmer que le trafic entrant provient du crawler d’impact.com, chaque requête inclut un en-tête de signature HMAC personnalisé :

X-Impact-Crawler-Signature: <hmac signature>

Cette signature vous permet d’authentifier la requête en utilisant un secret connu et un algorithme partagé. Elle garantit que la requête provient d’impact.com et n’a pas été altérée.

Construction de la signature

Construction de la signature

Nous calculons la signature en utilisant le processus suivant :

• Secret: /impact/crawler/signature/

• Données à signer: User-Agent

• Algorithme HMAC : HMAC-SHA256

• Sortie de la signature: Chaîne hexadécimale

Comment vérifier (pseudocode)

const crypto = require('crypto');

// Extraire les en-têtes de la requête entrante
const userAgent = req.headers['user-agent'];
const signature = req.headers['x-impact-crawler-signature'];

const secret = '/impact/crawler/signature/';

// Recalculer la signature
const expectedSignature = crypto
  .createHmac('sha256', secret)
  .update(userAgent)
  .digest('hex');

// Comparer les signatures
if (signature === expectedSignature) {
  // ✅ Vérifié
} else {
  // ❌ Rejeter ou consigner pour examen
}

Avertissement : Assurez-vous d’utiliser la valeur User-Agent exacte telle que reçue dans la requête. Toute modification telle que le rognage, le décodage ou le reformattage entraînera une non-correspondance de la signature.

Liste blanche d’IP pour la surveillance Regulated Compliance

Pour soutenir la surveillance Regulated Compliance en cours, veuillez ajouter à la liste blanche les plages d’adresses IP suivantes. Cela garantit que le trafic provenant d’impact.com n’est pas bloqué involontairement et que la surveillance du site peut se poursuivre sans interruption.

Autorisez les plages d’IP suivantes :

• 163.116.128.0/17

• 162.10.0.0/17

• 31.186.239.0/24

• 8.39.144.0/24

• 8.36.116.0/24

Nous vous recommandons de mettre à jour votre pare-feu ou vos listes de contrôle d’accès pour permettre le trafic entrant depuis les plages d’adresses IP d’impact.com suivantes.

Recommandé : Pour la coordination technique ou les questions liées à la surveillance Regulated Compliance et à l’accès du bot, contacter le support.