Governance für Website-Crawling: ImpactCINDAgent erklärt

Dieser Artikel erklärt, wie man ImpactCINDAgent identifiziert, verifiziert und kontrolliert.

ImpactCINDAgent ist ein Web-Crawler, der von impact.com betrieben wird und dazu verwendet wird, zu überprüfen, ob Seiten auf Partner- und Markenseiten impact.com-Tracking korrekt verwenden und Markenvereinbarungen einhalten.

Wenn Ihre Website an einem Partnerprogramm von impact.com teilnimmt, ruft ImpactCINDAgent in regelmäßigen Abständen Seiten ab, um:

• Tracking überprüfen: Sicherstellen, dass Tracking-Links und -Tags korrekt installiert sind und funktionieren.
• Compliance prüfen: Überprüfen, dass der Seiteninhalt mit den veröffentlichten Vereinbarungen zu Markensicherheit und Compliance übereinstimmt.
• Berichten: Nicht personenbezogene Metadaten extrahieren (Titel, kanonische URLs, Produktbilder, SKUs), um Berichte für Partner zu ermöglichen.
• Entdecken: Umfangreichere Crawls durchführen, um Inhalte zu entdecken, die für bei impact.com angemeldete Marken auf Domänen werben, die in der Plattform noch nicht registriert sind.

Den ImpactCINDAgent identifizieren

ImpactCINDAgent identifiziert sich über eine bestimmte User-Agent-Zeichenfolge.

Vollständige User-Agent-Zeichenfolge: Mozilla/5.0 (compatible; ImpactCINDAgent) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36

Hinweis: Der Chrome-Versionsabschnitt wird aktualisiert, wenn der zugrunde liegende Browser aktualisiert wird. Um den Bot zuverlässig zu identifizieren, stimmen Sie mit der Teilzeichenfolge ImpactCINDAgent überein.

Eine Anfrage verifizieren

Wenn Sie bestätigen müssen, dass eine Anfrage tatsächlich von impact.com stammt (und kein gefälschter User-Agent ist), verwenden Sie eine der folgenden Methoden, aufgeführt von der am wenigsten bis zur am meisten autoritativen:

Methode 1: IP-Adressbereichsprüfung (hohes Vertrauen)

Bestätigen Sie, dass die Quell-IP der Anfrage innerhalb dieser von impact.com kontrollierten Bereiche liegt:

CIDR-Bereiche:

• 163.116.128.0/17
• 162.10.0.0/17
• 31.186.239.0/24
• 8.39.144.0/24
• 8.36.116.0/24

Einzelne Adressen: 34.145.188.137, 35.245.212.57, 34.21.56.213, 34.48.90.233, 35.245.229.167, 34.150.151.151, 35.245.185.65, 35.188.242.212, 34.86.33.122, 34.145.224.193, 35.245.135.218, 35.221.1.178, 34.150.217.77, 107.175.80.80, 162.212.175.22, 107.172.69.119

Methode 2: Signaturprüfung (höchstes Vertrauen)

Jede Anfrage von ImpactCINDAgent ist kryptografisch signiert (gemäß RFC 9421). Sie können Signaturen gegen unser öffentliches Schlüsselverzeichnis überprüfen. Diese Implementierung basiert auf der web-bot-auth-Spezifikation die auf der RFC 9421 Spezifikation aufbaut.

Erwartetes Verhalten:

• Headless-Browsing: ImpactCINDAgent verwendet einen echten Headless-Browser. Er sendet eine GET -Anfrage, rendert die Seite, führt JavaScript aus und ruft Unterressourcen (CSS/JS) ab, um die Seite genau so zu sehen, wie ein Nutzer sie sehen würde.
• Screenshots: Es kann einen Screenshot für die interne Compliance-Prüfung erfassen. Diese sind niemals öffentlich.
• Weiterleitungen: Es folgt Weiterleitungen, auch über verschiedene Ursprünge hinweg.
• Keine destruktiven Aktionen: Es sendet keine Formulare ab, umgeht keine CAPTCHAs/Paywalls und führt keine POST/DELETE -Anfragen aus.

Zugriff steuern

ImpactCINDAgent befolgt robots.txt -Anweisungen, die speziell an ImpactCINDAgent oder den Platzhalter gerichtet sind *.

Vollständig blockieren

User-agent: ImpactCINDAgent
Disallow: /

Crawl-Rate festlegen

Wenn der Crawler die Leistung Ihrer Website beeinträchtigt, verwenden Sie die Crawl-delay -Anweisung.

User-agent: ImpactCINDAgent
Crawl-delay: 10

Ratenbegrenzungen und Back-off

ImpactCINDAgent reduziert seine Anfragefrequenz automatisch, wenn Ihr Server Folgendes zurückgibt:

• HTTP 429 (Zu viele Anfragen)
• HTTP 503 (Dienst nicht verfügbar)
• Er befolgt außerdem den Retry-After -Header, sofern vorhanden.

Wichtig: Wenn Ihre Website an einem impact.com-Programm teilnimmt, kann das Blockieren dieses Crawlers verhindern, dass wir Ihr Tracking oder Ihre Compliance überprüfen, was den Status Ihres Programms beeinträchtigen könnte. Wir empfehlen die Verwendung von Crawl-delay anstelle einer vollständigen Blockierung.