Anforderungen an Website-Crawling für Partner

Als Partner müssen Sie möglicherweise bestimmte Maßnahmen ergreifen, z. B. die Konfiguration der User-Agent-Identifikation, um sicherzustellen, dass impact.com Regulated Compliance-Crawler programmgesteuert und mit ordnungsgemäßer Autorisierung auf Ihre Website zugreifen und Daten abrufen können, ohne unterbrochen zu werden. Diese Anleitung richtet sich in erster Linie an Entwickler, IT-Administratoren und technische Teams, die für die Verwaltung von Website-Zugriffen und Sicherheitseinstellungen verantwortlich sind.

So erlauben Sie den Regulated Compliance Bot von impact.com

Als Partner kann Ihre Website vom Regulated Compliance Bot von impact.com überwacht werden, um sicherzustellen, dass bestimmter Inhalt mit Ihrer Vereinbarung mit der Marke(n) übereinstimmt. Jeder überwachte Eintrag erfordert einen separaten Besuch Ihrer Seite, sodass Websites mit einem hohen Volumen an überwachten Inhalten proportional mehr Anfragen erhalten.

Wenn der Regulated Compliance Bot von impact.com eingeschränkt wird (z. B. HTTP 429 – Too Many Requests oder HTTP 403 – Forbidden zurückgibt), können wir möglicherweise Ihre Inhalte nicht überprüfen und verifizieren, was die Einsehbarkeit für Compliance beeinträchtigen könnte.

Um eine ununterbrochene Überwachung sicherzustellen:

• Setzen Sie den impact.com Regulated Compliance Bot mit dem angegebenen User-Agent auf die Allowlist.

• Vermeiden Sie das Blockieren oder Drosseln legitimer Anfragen des impact.com Regulated Compliance Bots.

• Verifizieren Sie den impact.com Regulated Compliance Bot mithilfe der im Anforderungsheader enthaltenen Signatur, um Authentizität zu bestätigen und Spoofing zu verhindern.

• Indem Sie den impact.com Regulated Compliance Bot erlauben und verifizieren, tragen Sie dazu bei, dass Ihre Inhalte korrekt geprüft und im impact.com-System abgebildet werden.

User-Agent-Identifikation

Unser Crawler verwendet einen benutzerdefinierten User-Agent um sich bei Webanforderungen zu identifizieren. Dadurch können Sie als Partner impact.com-Compliance-Verkehr von anderen Bots und Crawlern unterscheiden.

User-Agent-String, den Sie auf die Allowlist setzen sollen (genau wie angegeben verwenden):

Mozilla/5.0 (compatible;Impact.com Agent) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36

Verifizieren von impact.com Crawler-Anfragen

Um zu bestätigen, dass eingehender Traffic vom impact.com Crawler stammt, enthält jede Anfrage einen benutzerdefinierten HMAC-Signatur-Header:

X-Impact-Crawler-Signature: <hmac signature>

Diese Signatur ermöglicht es Ihnen, die Anfrage mit einem bekannten Geheimnis und einem gemeinsamen Algorithmus zu authentifizieren. Sie stellt sicher, dass die Anfrage von impact.com stammt und nicht manipuliert wurde.

Signaturerstellung

Signaturerstellung

Wir berechnen die Signatur mithilfe des folgenden Prozesses:

• Geheimnis: /impact/crawler/signature/

• Zu signierende Daten: User-Agent

• HMAC-Algorithmus: HMAC-SHA256

• Signaturausgabe: Hexadezimale Zeichenkette

So verifizieren Sie (Pseudocode)

const crypto = require('crypto');

// Extrahieren Sie Header aus der eingehenden Anfrage
const userAgent = req.headers['user-agent'];
const signature = req.headers['x-impact-crawler-signature'];

const secret = '/impact/crawler/signature/';

// Signatur erneut berechnen
const expectedSignature = crypto
  .createHmac('sha256', secret)
  .update(userAgent)
  .digest('hex');

// Signaturen vergleichen
if (signature === expectedSignature) {
  // ✅ Verifiziert
} else {
  // ❌ Ablehnen oder zur Überprüfung protokollieren
}

Warnung: Verwenden Sie unbedingt den exakten User-Agent Wert, wie er in der Anfrage empfangen wurde. Jegliche Änderungen wie Trimmen, Decodieren oder Umformatieren führen zu einer Signaturabweichung.

IP-Allowlist für Regulated Compliance-Monitoring

Um das laufende Regulated Compliance-Monitoring zu unterstützen, fügen Sie bitte die folgenden IP-Adressbereiche zur Allowlist hinzu. Dadurch wird sichergestellt, dass Traffic von impact.com nicht unbeabsichtigt blockiert wird und die Überwachung der Seite ohne Unterbrechung fortgesetzt werden kann.

Erlauben Sie die folgenden IP-Bereiche:

• 163.116.128.0/17

• 162.10.0.0/17

• 31.186.239.0/24

• 8.39.144.0/24

• 8.36.116.0/24

• 34.145.188.137

• 35.245.212.57

• 34.21.56.213

• 34.48.90.233

• 35.245.229.167

• 34.150.151.151

• 35.245.185.65

• 35.188.242.212

• 34.86.33.122

• 34.145.224.193

• 35.245.135.218

• 35.221.1.178

• 34.150.217.77

Wir empfehlen, Ihre Firewall- oder Zugriffskontrolllisten zu aktualisieren, um eingehenden Traffic aus den folgenden impact.com-IP-Adressbereichen zuzulassen.

Empfohlen: Für technische Koordination oder Fragen im Zusammenhang mit Regulated Compliance-Monitoring und Bot-Zugriff, kontaktieren Sie den Support.