Requisiti di crawling del sito web per i partner

In qualità di partner, potresti dover adottare alcuni passaggi, come configurare l’identificazione dell’User-Agent, per garantire che i crawler di Regulated Compliance di impact.com possano accedere e recuperare in modo programmatico i dati dal tuo sito web senza interruzioni e con la corretta autorizzazione. Questa guida è rivolta principalmente a sviluppatori, amministratori IT e team tecnici responsabili della gestione dell’accesso al sito web e delle impostazioni di sicurezza.

Come consentire il Bot di Regulated Compliance di impact.com

In qualità di partner, il tuo sito web potrebbe essere monitorato dal Bot di Regulated Compliance di impact.com per garantire che contenuti specifici siano in linea con il tuo accordo con il/i brand. Ogni elemento monitorato richiede una visita separata al tuo sito, quindi i siti web con un elevato volume di contenuti monitorati riceveranno proporzionalmente più richieste.

Se il Bot di Regulated Compliance di impact.com è limitato (ad es. restituisce HTTP 429 – Troppe richieste o HTTP 403 – Vietato), potremmo non essere in grado di esaminare e verificare i tuoi contenuti, il che potrebbe influire sulla visibilità della conformità.

Per garantire un monitoraggio ininterrotto:

• Inserisci nella allowlist il Bot di Regulated Compliance di impact.com utilizzando l’User-Agent fornito.
• Evita di bloccare o limitare le richieste legittime provenienti dal Bot di Regulated Compliance di impact.com.
• Verifica il Bot di Regulated Compliance di impact.com utilizzando la firma inclusa nelle intestazioni della richiesta per confermarne l’autenticità e prevenire lo spoofing.
• Consentendo e verificando il Bot di Regulated Compliance di impact.com, contribuisci a garantire che i tuoi contenuti vengano esaminati e riportati con precisione nel sistema di impact.com.

Identificazione dell’User-Agent

Il nostro crawler utilizza un User-Agent personalizzato per identificarsi durante le richieste web. Ciò ti consente, in qualità di partner, di distinguere il traffico di conformità di impact.com dagli altri bot e crawler.

Stringa User-Agent da inserire nella allowlist (usare esattamente come mostrato):

Mozilla/5.0 (compatible;Impact.com Agent) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36

Verifica le richieste del crawler di impact.com

Per confermare che il traffico in entrata provenga dal crawler di impact.com, ogni richiesta include un’intestazione personalizzata di firma HMAC:

X-Impact-Crawler-Signature: <firma hmac>

Questa firma ti consente di autenticare la richiesta utilizzando un segreto noto e un algoritmo condiviso. Garantisce che la richiesta abbia origine da impact.com e non sia stata manomessa.

Creazione della firma

Creazione della firma

Calcoliamo la firma utilizzando il seguente processo:

• Segreto: /impact/crawler/signature/
• Dati da firmare: User-Agent
• Algoritmo HMAC: HMAC-SHA256
• Output della firma: Stringa esadecimale

Come verificare (pseudocodice)

const crypto = require('crypto');

// Estrai gli header dalla richiesta in arrivo
const userAgent = req.headers['user-agent'];
const signature = req.headers['x-impact-crawler-signature'];

const secret = '/impact/crawler/signature/';

// Ricalcola la firma
const expectedSignature = crypto
  .createHmac('sha256', secret)
  .update(userAgent)
  .digest('hex');

// Confronta le firme
if (signature === expectedSignature) {
  // ✅ Verificato
} else {
  // ❌ Rifiuta o registra per la revisione
}

Attenzione: Assicurati di utilizzare esattamente il User-Agent valore così come ricevuto nella richiesta. Qualsiasi modifica, ad esempio troncamento, decodifica o riformattazione, comporterà una mancata corrispondenza della firma.

Allowlist degli IP per il monitoraggio della conformità regolamentata

Per supportare il monitoraggio continuo della Conformità Regolamentata, inserisci nella allowlist i seguenti intervalli di indirizzi IP. Ciò garantisce che il traffico proveniente da impact.com non venga bloccato involontariamente e che il monitoraggio del sito possa proseguire senza interruzioni.

Consenti i seguenti intervalli IP:

• 163.116.128.0/17
• 162.10.0.0/17
• 31.186.239.0/24
• 8.39.144.0/24
• 8.36.116.0/24
• 34.145.188.137
• 35.245.212.57
• 34.21.56.213
• 34.48.90.233
• 35.245.229.167
• 34.150.151.151
• 35.245.185.65
• 35.188.242.212
• 34.86.33.122
• 34.145.224.193
• 35.245.135.218
• 35.221.1.178
• 34.150.217.77
• 107.175.80.80
• 162.212.175.22
• 107.172.69.119

Ti consigliamo di aggiornare il firewall o gli elenchi di controllo degli accessi per consentire il traffico in entrata dai seguenti intervalli di indirizzi IP di impact.com.

Consigliato: Per coordinamento tecnico o domande relative al monitoraggio della Conformità Regolamentata e all’accesso del bot, contatta l'assistenza.