For the complete documentation index, see llms.txt. This page is also available as Markdown.

Governance für Website-Crawling: ImpactCINDAgent erklärt

Dieser Artikel erklärt, wie man ImpactCINDAgent identifiziert, verifiziert und kontrolliert.

ImpactCINDAgent ist ein Web-Crawler, der von impact.com betrieben wird und dazu verwendet wird, zu überprüfen, ob Seiten auf Partner- und Markenseiten impact.com-Tracking korrekt verwenden und Markenvereinbarungen einhalten.

Wenn Ihre Website an einem Partnerprogramm von impact.com teilnimmt, ruft ImpactCINDAgent in regelmäßigen Abständen Seiten ab, um:

  • Tracking überprüfen: Sicherstellen, dass Tracking-Links und -Tags korrekt installiert sind und funktionieren.

  • Compliance prüfen: Überprüfen, dass der Seiteninhalt mit den veröffentlichten Vereinbarungen zu Markensicherheit und Compliance übereinstimmt.

  • Berichten: Nicht personenbezogene Metadaten extrahieren (Titel, kanonische URLs, Produktbilder, SKUs), um Berichte für Partner zu ermöglichen.

  • Entdecken: Umfangreichere Crawls durchführen, um Inhalte zu entdecken, die für bei impact.com angemeldete Marken auf Domänen werben, die in der Plattform noch nicht registriert sind.

Den ImpactCINDAgent identifizieren

ImpactCINDAgent identifiziert sich über eine bestimmte User-Agent-Zeichenfolge.

Vollständige User-Agent-Zeichenfolge: Mozilla/5.0 (compatible; ImpactCINDAgent) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36

Eine Anfrage verifizieren

Wenn Sie bestätigen müssen, dass eine Anfrage tatsächlich von impact.com stammt (und kein gefälschter User-Agent ist), verwenden Sie eine der folgenden Methoden, aufgeführt von der am wenigsten bis zur am meisten autoritativen:

Methode 1: IP-Adressbereichsprüfung (hohes Vertrauen)

Bestätigen Sie, dass die Quell-IP der Anfrage innerhalb dieser von impact.com kontrollierten Bereiche liegt:

CIDR-Bereiche:

  • 163.116.128.0/17

  • 162.10.0.0/17

  • 31.186.239.0/24

  • 8.39.144.0/24

  • 8.36.116.0/24

Einzelne Adressen: 34.145.188.137, 35.245.212.57, 34.21.56.213, 34.48.90.233, 35.245.229.167, 34.150.151.151, 35.245.185.65, 35.188.242.212, 34.86.33.122, 34.145.224.193, 35.245.135.218, 35.221.1.178, 34.150.217.77, 107.175.80.80, 162.212.175.22, 107.172.69.119

Methode 2: Signaturprüfung (höchstes Vertrauen)

Jede Anfrage von ImpactCINDAgent ist kryptografisch signiert (gemäß RFC 9421). Sie können Signaturen gegen unser öffentliches Schlüsselverzeichnis überprüfen. Diese Implementierung basiert auf der web-bot-auth-Spezifikation die auf der RFC 9421 Spezifikation aufbaut.

Erwartetes Verhalten:

  • Headless-Browsing: ImpactCINDAgent verwendet einen echten Headless-Browser. Er sendet eine GET -Anfrage, rendert die Seite, führt JavaScript aus und ruft Unterressourcen (CSS/JS) ab, um die Seite genau so zu sehen, wie ein Nutzer sie sehen würde.

  • Screenshots: Es kann einen Screenshot für die interne Compliance-Prüfung erfassen. Diese sind niemals öffentlich.

  • Weiterleitungen: Es folgt Weiterleitungen, auch über verschiedene Ursprünge hinweg.

  • Keine destruktiven Aktionen: Es sendet keine Formulare ab, umgeht keine CAPTCHAs/Paywalls und führt keine POST/DELETE -Anfragen aus.

Zugriff steuern

ImpactCINDAgent befolgt robots.txt -Anweisungen, die speziell an ImpactCINDAgent oder den Platzhalter gerichtet sind *.

Vollständig blockieren

Crawl-Rate festlegen

Wenn der Crawler die Leistung Ihrer Website beeinträchtigt, verwenden Sie die Crawl-delay -Anweisung.

Ratenbegrenzungen und Back-off

ImpactCINDAgent reduziert seine Anfragefrequenz automatisch, wenn Ihr Server Folgendes zurückgibt:

  • HTTP 429 (Zu viele Anfragen)

  • HTTP 503 (Dienst nicht verfügbar)

  • Er befolgt außerdem den Retry-After -Header, sofern vorhanden.

Zuletzt aktualisiert

War das hilfreich?