Anforderungen an das Crawlen von Websites für Partner

Als Partner müssen Sie möglicherweise bestimmte Maßnahmen ergreifen, z. B. die Konfiguration der User-Agent‑Identifikation, damit die Regulated Compliance‑Crawler von impact.com programmgesteuert auf Ihre Website zugreifen und Daten ohne Unterbrechung und mit entsprechender Autorisierung abrufen können. Diese Anleitung richtet sich in erster Linie an Entwickler, IT‑Administratoren und technische Teams, die für die Verwaltung des Website‑Zugriffs und der Sicherheitseinstellungen verantwortlich sind.

So erlauben Sie den Regulated Compliance‑Bot von impact.com

Als Partner kann Ihre Website vom Regulated Compliance‑Bot von impact.com überwacht werden, um sicherzustellen, dass bestimmte Inhalte mit Ihrer Vereinbarung mit der/dem Marke(n) übereinstimmen. Jeder überwachte Eintrag erfordert einen separaten Besuch Ihrer Seite, sodass Websites mit einer großen Menge überwachten Inhalts entsprechend mehr Anfragen erhalten.

Wenn der Regulated Compliance‑Bot von impact.com eingeschränkt wird (z. B. HTTP 429 – Too Many Requests oder HTTP 403 – Forbidden zurückgibt), sind wir möglicherweise nicht in der Lage, Ihre Inhalte zu überprüfen und zu verifizieren, was die Sichtbarkeit der Compliance beeinträchtigen könnte.

Um eine ununterbrochene Überwachung sicherzustellen:

• Setzen Sie den Regulated Compliance‑Bot von impact.com mit dem angegebenen User‑Agent auf die Allowlist.

• Vermeiden Sie das Blockieren oder Drosseln legitimer Anfragen vom Regulated Compliance‑Bot von impact.com.

• Verifizieren Sie den Regulated Compliance‑Bot von impact.com mithilfe der Signatur in den Anfrage‑Headern, um die Authentizität zu bestätigen und Spoofing zu verhindern.

• Indem Sie den Regulated Compliance‑Bot von impact.com zulassen und verifizieren, tragen Sie dazu bei, dass Ihre Inhalte korrekt überprüft und im impact.com‑System abgebildet werden.

User‑Agent‑Identifikation

Unser Crawler verwendet einen benutzerdefinierten User‑Agent um sich bei Webanfragen zu identifizieren. Dadurch können Sie als Partner den Compliance‑Traffic von impact.com von anderen Bots und Crawlern unterscheiden.

User‑Agent‑Zeichenfolge, die auf die Allowlist gesetzt werden soll (genau wie unten verwenden):

Mozilla/5.0 (compatible;Impact.com Agent) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36

Verifizieren von impact.com Crawler‑Anfragen

Um zu bestätigen, dass eingehender Traffic vom impact.com Crawler stammt, enthält jede Anfrage einen benutzerdefinierten HMAC‑Signatur‑Header:

X-Impact-Crawler-Signature: <hmac signature>

Diese Signatur ermöglicht es Ihnen, die Anfrage mithilfe eines bekannten Geheimnisses und eines gemeinsamen Algorithmus zu authentifizieren. Sie stellt sicher, dass die Anfrage von impact.com stammt und nicht manipuliert wurde.

Signaturaufbau

Signaturaufbau

Wir berechnen die Signatur mit dem folgenden Prozess:

• Geheimnis: /impact/crawler/signature/

• Zu signierende Daten: User‑Agent

• HMAC‑Algorithmus: HMAC‑SHA256

• Signaturausgabe: Hexadezimale Zeichenfolge

So verifizieren Sie (Pseudocode)

const crypto = require('crypto');

// Extrahieren Sie Header aus der eingehenden Anfrage
const userAgent = req.headers['user-agent'];
const signature = req.headers['x-impact-crawler-signature'];

const secret = '/impact/crawler/signature/';

// Signatur neu berechnen
const expectedSignature = crypto
  .createHmac('sha256', secret)
  .update(userAgent)
  .digest('hex');

// Vergleichen der Signaturen
if (signature === expectedSignature) {
  // ✅ Verifiziert
} else {
  // ❌ Ablehnen oder zur Überprüfung protokollieren
}

Warnung: Achten Sie darauf, den genauen User‑Agent Wert wie in der Anfrage empfangen zu verwenden. Jegliche Änderungen wie Abschneiden, Dekodieren oder Neuformatieren führen zu einer Signaturabweichung.

IP‑Allowlist für Regulated Compliance‑Überwachung

Um die fortlaufende Regulated Compliance‑Überwachung zu unterstützen, setzen Sie bitte die folgenden IP‑Adressbereiche auf die Allowlist. Dies stellt sicher, dass Traffic von impact.com nicht versehentlich blockiert wird und die Seitenüberwachung ohne Unterbrechung erfolgen kann.

Erlauben Sie die folgenden IP‑Bereiche:

• 163.116.128.0/17

• 162.10.0.0/17

• 31.186.239.0/24

• 8.39.144.0/24

• 8.36.116.0/24

Wir empfehlen, Ihre Firewall oder Zugriffssteuerungslisten zu aktualisieren, um eingehenden Traffic von den folgenden impact.com IP‑Adressbereichen zuzulassen.

Empfohlen: Für technische Koordination oder Fragen im Zusammenhang mit Regulated Compliance‑Überwachung und Bot‑Zugriff, Support kontaktieren.