Anforderungen an das Crawlen von Websites für Partner

Als Partner müssen Sie möglicherweise bestimmte Schritte unternehmen, z. B. die User-Agent-Identifizierung konfigurieren, um sicherzustellen, dass die Regulated-Compliance-Crawler von impact.com programmgesteuert ohne Unterbrechung und mit entsprechender Autorisierung auf Daten von Ihrer Website zugreifen und diese abrufen können. Dieser Leitfaden richtet sich in erster Linie an Entwickler, IT-Administratoren und technische Teams, die für die Verwaltung von Website-Zugriffs- und Sicherheitseinstellungen zuständig sind.

So erlauben Sie den Regulated Compliance Bot von impact.com

Als Partner kann Ihre Website vom Regulated Compliance Bot von impact.com überwacht werden, um sicherzustellen, dass bestimmte Inhalte mit Ihrer Vereinbarung mit der/den Marke(n) übereinstimmen. Für jeden überwachten Eintrag ist ein separater Besuch Ihrer Website erforderlich, sodass Websites mit einer großen Menge an überwachten Inhalten entsprechend mehr Anfragen erhalten.

Wenn der Regulated Compliance Bot von impact.com eingeschränkt ist (z. B. HTTP 429 – Zu viele Anfragen oder HTTP 403 – Verboten zurückgibt), können wir Ihre Inhalte möglicherweise nicht prüfen und verifizieren, was die Sichtbarkeit der Compliance beeinträchtigen könnte.

Um eine unterbrechungsfreie Überwachung sicherzustellen:

• Nehmen Sie den Regulated Compliance Bot von impact.com mithilfe des bereitgestellten User-Agent in die Zulassungsliste auf.
• Blockieren oder drosseln Sie legitime Anfragen vom Regulated Compliance Bot von impact.com nicht.
• Verifizieren Sie den Regulated Compliance Bot von impact.com mithilfe der in den Anfrage-Headern enthaltenen Signatur, um die Echtheit zu bestätigen und Spoofing zu verhindern.
• Indem Sie den Regulated Compliance Bot von impact.com zulassen und verifizieren, tragen Sie dazu bei, dass Ihre Inhalte korrekt geprüft und im impact.com-System korrekt wiedergegeben werden.

User-Agent-Identifizierung

Unser Crawler verwendet einen benutzerdefinierten User-Agent zur Identifizierung bei Webanfragen. So können Sie als Partner den Compliance-Datenverkehr von impact.com von anderen Bots und Crawlern unterscheiden.

User-Agent-Zeichenfolge für die Zulassungsliste (genau wie angezeigt verwenden):

Mozilla/5.0 (compatible;Impact.com Agent) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36

Anfragen des impact.com-Crawlers verifizieren

Um zu bestätigen, dass eingehender Datenverkehr vom impact.com-Crawler stammt, enthält jede Anfrage einen benutzerdefinierten HMAC-Signatur-Header:

X-Impact-Crawler-Signature: <hmac signature>

Diese Signatur ermöglicht es Ihnen, die Anfrage mit einem bekannten Geheimnis und einem gemeinsamen Algorithmus zu authentifizieren. So wird sichergestellt, dass die Anfrage von impact.com stammt und nicht manipuliert wurde.

Aufbau der Signatur

Aufbau der Signatur

Wir berechnen die Signatur mit dem folgenden Verfahren:

• Geheimnis: /impact/crawler/signature/
• Zu signierende Daten: User-Agent
• HMAC-Algorithmus: HMAC-SHA256
• Signaturausgabe: Hexadezimaler String

So verifizieren Sie (Pseudocode)

const crypto = require('crypto');

// Header aus der eingehenden Anfrage extrahieren
const userAgent = req.headers['user-agent'];
const signature = req.headers['x-impact-crawler-signature'];

const secret = '/impact/crawler/signature/';

// Signatur neu berechnen
const expectedSignature = crypto
  .createHmac('sha256', secret)
  .update(userAgent)
  .digest('hex');

// Signaturen vergleichen
if (signature === expectedSignature) {
  // ✅ Verifiziert
} else {
  // ❌ Ablehnen oder zur Überprüfung protokollieren
}

Warnung: Verwenden Sie unbedingt den exakten User-Agent Wert, wie er in der Anfrage empfangen wurde. Jede Änderung wie Abschneiden, Dekodieren oder Neuformatieren führt zu einer Signaturabweichung.

IP-Zulassungsliste für die Überwachung der regulierten Compliance

Um die fortlaufende Überwachung der regulierten Compliance zu unterstützen, nehmen Sie bitte die folgenden IP-Adressbereiche in die Zulassungsliste auf. So wird sichergestellt, dass Datenverkehr von impact.com nicht unbeabsichtigt blockiert wird und die Website-Überwachung ohne Unterbrechung fortgesetzt werden kann.

Erlauben Sie die folgenden IP-Bereiche:

• 163.116.128.0/17
• 162.10.0.0/17
• 31.186.239.0/24
• 8.39.144.0/24
• 8.36.116.0/24
• 34.145.188.137
• 35.245.212.57
• 34.21.56.213
• 34.48.90.233
• 35.245.229.167
• 34.150.151.151
• 35.245.185.65
• 35.188.242.212
• 34.86.33.122
• 34.145.224.193
• 35.245.135.218
• 35.221.1.178
• 34.150.217.77
• 107.175.80.80
• 162.212.175.22
• 107.172.69.119

Wir empfehlen, Ihre Firewall oder Zugriffskontrolllisten so zu aktualisieren, dass eingehender Datenverkehr aus den folgenden IP-Adressbereichen von impact.com zugelassen wird.

Empfohlen: Für technische Abstimmungen oder Fragen im Zusammenhang mit der Überwachung der regulierten Compliance und dem Bot-Zugriff, kontaktieren Sie den Support.