Exigences de crawl de site Web pour les partenaires

En tant que partenaire, vous devrez peut‑être effectuer certaines démarches, telles que configurer l'identification User‑Agent, afin de permettre aux robots de conformité réglementée d'impact.com d'accéder et de récupérer des données sur votre site Web de manière programmatique sans interruption et avec une autorisation appropriée. Ce guide s'adresse principalement aux développeurs, aux administrateurs informatiques et aux équipes techniques responsables de la gestion de l'accès au site et des paramètres de sécurité.

Comment autoriser le bot de conformité réglementée d'impact.com

En tant que partenaire, votre site Web peut être surveillé par le bot de conformité réglementée d'impact.com pour s'assurer que certains contenus sont conformes à votre accord avec la ou les marques. Chaque élément surveillé nécessite une visite distincte sur votre site, de sorte que les sites contenant un grand volume de contenu surveillé recevront proportionnellement plus de requêtes.

Si le bot de conformité réglementée d'impact.com est restreint (par exemple, retourne HTTP 429 – Trop de requêtes ou HTTP 403 – Interdit), nous pourrions être dans l'incapacité de revoir et de vérifier votre contenu, ce qui pourrait affecter la visibilité de la conformité.

Pour garantir une surveillance ininterrompue :

• Mettez le bot de conformité réglementée d'impact.com sur liste blanche en utilisant le User‑Agent fourni.

• Évitez de bloquer ou de limiter les requêtes légitimes provenant du bot de conformité réglementée d'impact.com.

• Vérifiez le bot de conformité réglementée d'impact.com en utilisant la signature incluse dans les en‑têtes de la requête pour confirmer son authenticité et empêcher l'usurpation d'identité.

• En autorisant et en vérifiant le bot de conformité réglementée d'impact.com, vous contribuez à garantir que votre contenu est correctement examiné et reflété dans le système d'impact.com.

Identification User‑Agent

Notre crawler utilise un User‑Agent personnalisé pour s'identifier lors des requêtes Web. Cela vous permet, en tant que partenaire, de distinguer le trafic de conformité d'impact.com des autres bots et crawlers.

Chaîne User‑Agent à mettre sur liste blanche (utiliser exactement comme indiqué) :

Mozilla/5.0 (compatible;Impact.com Agent) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36

Vérifier les requêtes du crawler d'impact.com

Pour confirmer que le trafic entrant provient du crawler d'impact.com, chaque requête inclut un en‑tête de signature HMAC personnalisé :

X-Impact-Crawler-Signature: <hmac signature>

Cette signature vous permet d'authentifier la requête en utilisant un secret connu et un algorithme partagé. Elle garantit que la requête émane d'impact.com et n'a pas été altérée.

Construction de la signature

Construction de la signature

Nous calculons la signature en utilisant le processus suivant :

• Secret: /impact/crawler/signature/

• Données à signer: User‑Agent

• Algorithme HMAC : HMAC‑SHA256

• Sortie de la signature: Chaîne hexadécimale

Comment vérifier (pseudocode)

const crypto = require('crypto');

// Extraire les en‑têtes de la requête entrante
const userAgent = req.headers['user-agent'];
const signature = req.headers['x-impact-crawler-signature'];

const secret = '/impact/crawler/signature/';

// Recalculer la signature
const expectedSignature = crypto
  .createHmac('sha256', secret)
  .update(userAgent)
  .digest('hex');

// Comparer les signatures
if (signature === expectedSignature) {
  // ✅ Vérifié
} else {
  // ❌ Rejeter ou consigner pour examen
}

Avertissement : Assurez‑vous d'utiliser exactement la User‑Agent valeur telle que reçue dans la requête. Toute modification telle que le retrait d'espaces, le décodage ou le reformatage entraînera une incompatibilité de signature.

Liste blanche d'IP pour la surveillance de la conformité réglementée

Pour soutenir la surveillance continue de la conformité réglementée, veuillez mettre sur liste blanche les plages d'adresses IP suivantes. Cela garantit que le trafic provenant d'impact.com n'est pas bloqué par inadvertance et que la surveillance du site peut se poursuivre sans interruption.

Autorisez les plages d'IP suivantes :

• 163.116.128.0/17

• 162.10.0.0/17

• 31.186.239.0/24

• 8.39.144.0/24

• 8.36.116.0/24

• 34.145.188.137

• 35.245.212.57

• 34.21.56.213

• 34.48.90.233

• 35.245.229.167

• 34.150.151.151

• 35.245.185.65

• 35.188.242.212

• 34.86.33.122

• 34.145.224.193

• 35.245.135.218

• 35.221.1.178

• 34.150.217.77

• 107.175.80.80

• 162.212.175.22

• 107.172.69.119

Nous vous recommandons de mettre à jour votre pare‑feu ou vos listes de contrôle d'accès pour autoriser le trafic entrant depuis les plages d'adresses IP d'impact.com suivantes.

Recommandé : Pour la coordination technique ou les questions liées à la surveillance de la conformité réglementée et à l'accès des bots, contactez le support.