Requisiti di crawling del sito web per i partner

In qualità di partner, potrebbe essere necessario eseguire determinate operazioni, come configurare l'identificazione User-Agent, per garantire che i crawler di Regulated Compliance di impact.com possano accedere e recuperare programmaticamente i dati dal tuo sito web senza interruzioni e con la dovuta autorizzazione. Questa guida è principalmente destinata a sviluppatori, amministratori IT e team tecnici responsabili della gestione dell'accesso al sito web e delle impostazioni di sicurezza.

Come consentire il Regulated Compliance Bot di impact.com

In qualità di partner, il tuo sito web potrebbe essere monitorato dal Regulated Compliance Bot di impact.com per garantire che contenuti specifici siano conformi al tuo accordo con il/i marchio/i. Ogni elemento monitorato richiede una visita separata al tuo sito, quindi i siti con un elevato volume di contenuti monitorati riceveranno proporzionalmente più richieste.

Se il Regulated Compliance Bot di impact.com è limitato (ad esempio restituisce HTTP 429 – Troppe richieste o HTTP 403 – Vietato), potremmo non essere in grado di rivedere e verificare i tuoi contenuti, il che potrebbe influire sulla visibilità della conformità.

Per garantire un monitoraggio senza interruzioni:

• Inserisci in allowlist il Regulated Compliance Bot di impact.com utilizzando lo User-Agent fornito.

• Evita di bloccare o limitare le richieste legittime provenienti dal Regulated Compliance Bot di impact.com.

• Verifica il Regulated Compliance Bot di impact.com utilizzando la firma inclusa negli header della richiesta per confermarne l'autenticità e prevenire spoofing.

• Consentendo e verificando il Regulated Compliance Bot di impact.com, contribuisci a garantire che i tuoi contenuti vengano esaminati correttamente e riflessi nel sistema di impact.com.

Identificazione User-Agent

Il nostro crawler utilizza un User-Agent personalizzato per identificarsi durante le richieste web. Questo ti permette, come partner, di distinguere il traffico di compliance di impact.com da altri bot e crawler.

Stringa User-Agent da inserire in allowlist (usare esattamente come mostrato):

Mozilla/5.0 (compatible;Impact.com Agent) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36

Verificare le richieste del crawler di impact.com

Per confermare che il traffico in arrivo provenga dal crawler di impact.com, ogni richiesta include un header con una firma HMAC personalizzata:

X-Impact-Crawler-Signature: <hmac signature>

Questa firma ti consente di autenticare la richiesta usando un segreto noto e un algoritmo condiviso. Garantisce che la richiesta abbia avuto origine da impact.com e non sia stata manomessa.

Costruzione della firma

Costruzione della firma

Calcoliamo la firma utilizzando il seguente processo:

• Segreto: /impact/crawler/signature/

• Dati da firmare: User-Agent

• Algoritmo HMAC: HMAC-SHA256

• Output della firma: Stringa esadecimale

Come verificare (pseudocodice)

const crypto = require('crypto');

// Estrarre gli header dalla richiesta in arrivo
const userAgent = req.headers['user-agent'];
const signature = req.headers['x-impact-crawler-signature'];

const secret = '/impact/crawler/signature/';

// Ricalcolare la firma
const expectedSignature = crypto
  .createHmac('sha256', secret)
  .update(userAgent)
  .digest('hex');

// Confrontare le firme
if (signature === expectedSignature) {
  // ✅ Verificato
} else {
  // ❌ Rifiuta o registra per la revisione
}

Avvertenza: Assicurati di usare esattamente il User-Agent valore come ricevuto nella richiesta. Qualsiasi modifica come troncamento, decodifica o riformattazione comporterà una discrepanza della firma.

Allowlist IP per il monitoraggio di Regulated Compliance

Per supportare il monitoraggio continuativo di Regulated Compliance, inserisci in allowlist i seguenti intervalli di indirizzi IP. Questo garantisce che il traffico proveniente da impact.com non venga bloccato involontariamente e che il monitoraggio del sito possa procedere senza interruzioni.

Consenti i seguenti intervalli IP:

• 163.116.128.0/17

• 162.10.0.0/17

• 31.186.239.0/24

• 8.39.144.0/24

• 8.36.116.0/24

• 34.145.188.137

• 35.245.212.57

• 34.21.56.213

• 34.48.90.233

• 35.245.229.167

• 34.150.151.151

• 35.245.185.65

• 35.188.242.212

• 34.86.33.122

• 34.145.224.193

• 35.245.135.218

• 35.221.1.178

• 34.150.217.77

• 107.175.80.80

• 162.212.175.22

• 107.172.69.119

Consigliamo di aggiornare il firewall o le liste di controllo accessi per consentire il traffico in ingresso dai seguenti intervalli di indirizzi IP di impact.com.

Raccomandato: Per coordinamento tecnico o domande relative al monitoraggio di Regulated Compliance e all'accesso dei bot, contatta il supporto.