Requisiti di crawling del sito web per i partner

In qualità di partner, potrebbe essere necessario eseguire determinate operazioni come configurare l'identificazione User-Agent per garantire che i crawler di Regulated Compliance di impact.com possano accedere e recuperare programmaticamente i dati dal tuo sito web senza interruzioni e con la corretta autorizzazione. Questa guida è principalmente destinata a sviluppatori, amministratori IT e team tecnici responsabili della gestione dell'accesso al sito web e delle impostazioni di sicurezza.

Come consentire il Regulated Compliance Bot di impact.com

In qualità di partner, il tuo sito web potrebbe essere monitorato dal Regulated Compliance Bot di impact.com per garantire che contenuti specifici siano conformi al tuo accordo con il/i marchio/i. Ogni elemento monitorato richiede una visita separata al tuo sito, pertanto i siti con un elevato volume di contenuti monitorati riceveranno proporzionalmente più richieste.

Se il Regulated Compliance Bot di impact.com è limitato (ad es. restituisce HTTP 429 – Troppe Richieste o HTTP 403 – Vietato), potremmo non essere in grado di esaminare e verificare i tuoi contenuti, il che potrebbe influire sulla visibilità della conformità.

Per garantire un monitoraggio ininterrotto:

• Inserisci nella allowlist il Regulated Compliance Bot di impact.com utilizzando lo User-Agent fornito.

• Evita di bloccare o limitare le richieste legittime provenienti dal Regulated Compliance Bot di impact.com.

• Verifica il Regulated Compliance Bot di impact.com utilizzando la firma inclusa nelle intestazioni della richiesta per confermarne l'autenticità e prevenire spoofing.

• Consentendo e verificando il Regulated Compliance Bot di impact.com, aiuti a garantire che i tuoi contenuti vengano esaminati accuratamente e riportati correttamente nel sistema di impact.com.

Identificazione User-Agent

Il nostro crawler utilizza un User-Agent personalizzato per identificarsi durante le richieste web. Questo ti permette, in qualità di partner, di distinguere il traffico di conformità di impact.com da altri bot e crawler.

Stringa User-Agent da inserire nella allowlist (usare esattamente come mostrato):

Mozilla/5.0 (compatible;Impact.com Agent) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36

Verificare le richieste del crawler di impact.com

Per confermare che il traffico in ingresso provenga dal crawler di impact.com, ogni richiesta include un'intestazione di firma HMAC personalizzata:

X-Impact-Crawler-Signature: <hmac signature>

Questa firma ti consente di autenticare la richiesta utilizzando un segreto noto e un algoritmo condiviso. Garantisce che la richiesta abbia avuto origine da impact.com e non sia stata manomessa.

Costruzione della firma

Costruzione della firma

Calcoliamo la firma utilizzando il seguente processo:

• Segreto: /impact/crawler/signature/

• Dati da firmare: User-Agent

• Algoritmo HMAC: HMAC-SHA256

• Output della firma: Stringa esadecimale

Come verificare (pseudocodice)

const crypto = require('crypto');

// Estrai le intestazioni dalla richiesta in ingresso
const userAgent = req.headers['user-agent'];
const signature = req.headers['x-impact-crawler-signature'];

const secret = '/impact/crawler/signature/';

// Ricalcola la firma
const expectedSignature = crypto
  .createHmac('sha256', secret)
  .update(userAgent)
  .digest('hex');

// Confronta le firme
if (signature === expectedSignature) {
  // ✅ Verificato
} else {
  // ❌ Rifiuta o registra per revisione
}

Avvertenza: Assicurati di usare esattamente il User-Agent valore come ricevuto nella richiesta. Qualsiasi modifica come trim, decodifica o riformattazione comporterà una discrepanza della firma.

Allowlist IP per il monitoraggio della conformità regolamentata

Per supportare il monitoraggio continuo della Regulated Compliance, inserisci nella allowlist i seguenti intervalli di indirizzi IP. Questo garantisce che il traffico proveniente da impact.com non venga bloccato involontariamente e che il monitoraggio del sito possa procedere senza interruzioni.

Consenti i seguenti intervalli IP:

• 163.116.128.0/17

• 162.10.0.0/17

• 31.186.239.0/24

• 8.39.144.0/24

• 8.36.116.0/24

• 34.145.188.137

• 35.245.212.57

• 34.21.56.213

• 34.48.90.233

• 35.245.229.167

• 34.150.151.151

• 35.245.185.65

• 35.188.242.212

• 34.86.33.122

• 34.145.224.193

• 35.245.135.218

• 35.221.1.178

• 34.150.217.77

Consigliamo di aggiornare il tuo firewall o le liste di controllo accessi per consentire il traffico in ingresso dai seguenti intervalli di indirizzi IP di impact.com.

Raccomandato: Per il coordinamento tecnico o domande relative al monitoraggio della Regulated Compliance e all'accesso del bot, contatta il supporto.