Anforderungen an das Crawlen von Websites für Partner

Als Partner müssen Sie möglicherweise bestimmte Maßnahmen ergreifen, wie z. B. die Konfiguration der User-Agent-Identifikation, um sicherzustellen, dass die Regulated Compliance-Crawler von impact.com programmgesteuert auf Ihre Website zugreifen und Daten ohne Unterbrechung und mit entsprechender Autorisierung abrufen können. Dieser Leitfaden richtet sich hauptsächlich an Entwickler, IT-Administratoren und technische Teams, die für die Verwaltung des Websitezugriffs und der Sicherheitseinstellungen verantwortlich sind.

So erlauben Sie den Regulated Compliance Bot von impact.com

Als Partner kann Ihre Website vom Regulated Compliance Bot von impact.com überwacht werden, um sicherzustellen, dass bestimmter Inhalt mit Ihrer Vereinbarung mit der/die Marke(n) übereinstimmt. Jeder überwachte Eintrag erfordert einen separaten Besuch Ihrer Website, sodass Websites mit einem großen Volumen überwachten Inhalts entsprechend mehr Anfragen erhalten.

Wenn der Regulated Compliance Bot von impact.com eingeschränkt wird (z. B. HTTP 429 – Too Many Requests oder HTTP 403 – Forbidden zurückgibt), sind wir möglicherweise nicht in der Lage, Ihre Inhalte zu überprüfen und zu verifizieren, was die Sichtbarkeit der Compliance beeinträchtigen könnte.

Um eine unterbrechungsfreie Überwachung zu gewährleisten:

• Setzen Sie den Regulated Compliance Bot von impact.com mit dem bereitgestellten User-Agent auf die Allowlist.

• Vermeiden Sie das Blockieren oder Drosseln legitimer Anfragen des Regulated Compliance Bot von impact.com.

• Verifizieren Sie den Regulated Compliance Bot von impact.com anhand der Signatur in den Anforderungsheadern, um Authentizität zu bestätigen und Spoofing zu verhindern.

• Durch das Zulassen und Verifizieren des Regulated Compliance Bot von impact.com tragen Sie dazu bei, dass Ihre Inhalte korrekt überprüft und im impact.com-System widergespiegelt werden.

User-Agent-Identifikation

Unser Crawler verwendet einen benutzerdefinierten User-Agent um sich bei Webanfragen zu identifizieren. Dadurch können Sie als Partner den Compliance-Traffic von impact.com von anderen Bots und Crawlern unterscheiden.

User-Agent-String zur Allowlist (genau wie angezeigt verwenden):

Mozilla/5.0 (compatible;Impact.com Agent) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36

Verifizieren Sie Anfragen des impact.com-Crawlers

Um zu bestätigen, dass eingehender Traffic vom impact.com-Crawler stammt, enthält jede Anfrage einen benutzerdefinierten HMAC-Signatur-Header:

X-Impact-Crawler-Signature: <hmac signature>

Diese Signatur ermöglicht es Ihnen, die Anfrage mit einem bekannten Geheimnis und einem gemeinsamen Algorithmus zu authentifizieren. Sie stellt sicher, dass die Anfrage von impact.com stammt und nicht manipuliert wurde.

Aufbau der Signatur

Aufbau der Signatur

Wir berechnen die Signatur mithilfe des folgenden Prozesses:

• Geheimnis: /impact/crawler/signature/

• Zu signierende Daten: User-Agent

• HMAC-Algorithmus: HMAC-SHA256

• Signaturausgabe: Hexadezimale Zeichenkette

So verifizieren Sie (Pseudocode)

const crypto = require('crypto');

// Extrahieren Sie Header aus der eingehenden Anfrage
const userAgent = req.headers['user-agent'];
const signature = req.headers['x-impact-crawler-signature'];

const secret = '/impact/crawler/signature/';

// Signatur neu berechnen
const expectedSignature = crypto
  .createHmac('sha256', secret)
  .update(userAgent)
  .digest('hex');

// Vergleichen Sie Signaturen
if (signature === expectedSignature) {
  // ✅ Verifiziert
} else {
  // ❌ Ablehnen oder zur Prüfung protokollieren
}

Warnung: Stellen Sie sicher, dass Sie genau den User-Agent Wert wie in der Anfrage erhalten verwenden. Jegliche Änderungen wie Trimmen, Dekodieren oder Umformatieren führen zu einer Signaturabweichung.

IP-Allowlist für Regulated Compliance-Monitoring

Um das fortlaufende Regulated Compliance-Monitoring zu unterstützen, setzen Sie bitte die folgenden IP-Adressbereiche auf die Allowlist. Dies stellt sicher, dass Traffic von impact.com nicht unbeabsichtigt blockiert wird und die Überwachung der Website ohne Unterbrechung fortgesetzt werden kann.

Erlauben Sie die folgenden IP-Bereiche:

• 163.116.128.0/17

• 162.10.0.0/17

• 31.186.239.0/24

• 8.39.144.0/24

• 8.36.116.0/24

• 34.145.188.137

• 35.245.212.57

• 34.21.56.213

• 34.48.90.233

• 35.245.229.167

• 34.150.151.151

• 35.245.185.65

• 35.188.242.212

• 34.86.33.122

• 34.145.224.193

• 35.245.135.218

• 35.221.1.178

• 34.150.217.77

• 107.175.80.80

• 162.212.175.22

• 107.172.69.119

Wir empfehlen, Ihre Firewall- oder Zugriffskontrolllisten zu aktualisieren, um eingehenden Traffic von den folgenden IP-Adressbereichen von impact.com zuzulassen.

Empfohlen: Für technische Koordination oder Fragen im Zusammenhang mit Regulated Compliance-Monitoring und Bot-Zugriff, Kontaktieren Sie den Support.