合作伙伴网站抓取要求

作为合作伙伴，您可能需要采取某些步骤，例如配置 User-Agent 标识，以确保 impact.com 的监管合规爬虫能够在不中断且获得适当授权的情况下，以程序化方式访问并从您的网站检索数据。本指南主要面向负责管理网站访问和安全设置的开发人员、IT 管理员和技术团队。

如何允许 impact.com 的监管合规机器人

作为合作伙伴，您的网站可能会受到 impact.com 的监管合规机器人的监控，以确保特定内容与您和品牌方的协议一致。每个被监控的条目都需要单独访问您的站点，因此，被监控内容量较大的网站将按比例收到更多请求。

如果 impact.com 的监管合规机器人受到限制（例如返回 HTTP 429 – 请求过多或 HTTP 403 – 禁止访问），我们可能无法审核和验证您的内容，这可能会影响合规可见性。

为确保监控不中断：

• 使用提供的 User-Agent 将 impact.com 监管合规机器人加入允许列表。

• 避免阻止或限流来自 impact.com 监管合规机器人的合法请求。

• 使用请求标头中包含的签名验证 impact.com 监管合规机器人，以确认其真实性并防止欺骗。

• 通过允许并验证 impact.com 监管合规机器人，您有助于确保您的内容在 impact.com 系统中得到准确审核和体现。

User-Agent 标识

我们的爬虫在执行网页请求时会使用自定义 User-Agent 来表明自身身份。这使您作为合作伙伴能够将 impact.com 的合规流量与其他机器人和爬虫区分开来。

需要加入允许列表的 User-Agent 字符串（请按所示完全一致使用）：

Mozilla/5.0 (compatible;Impact.com Agent) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36

验证 impact.com 爬虫请求

为确认传入流量来自 impact.com 爬虫，每个请求都包含一个自定义的 HMAC 签名标头：

X-Impact-Crawler-Signature: <hmac 签名>

该签名允许您使用已知密钥和共享算法对请求进行身份验证。它可确保请求确实来自 impact.com，且未被篡改。

签名构建

签名构建

我们使用以下流程计算签名：

• 密钥: /impact/crawler/signature/

• 待签名数据: User-Agent

• HMAC 算法： HMAC-SHA256

• 签名输出: 十六进制字符串

如何验证（伪代码）

const crypto = require('crypto');

// 从传入请求中提取标头
const userAgent = req.headers['user-agent'];
const signature = req.headers['x-impact-crawler-signature'];

const secret = '/impact/crawler/signature/';

// 重新计算签名
const expectedSignature = crypto
  .createHmac('sha256', secret)
  .update(userAgent)
  .digest('hex');

// 比较签名
if (signature === expectedSignature) {
  // ✅ 已验证
} else {
  // ❌ 拒绝或记录以供审核
}

警告： 务必使用请求中收到的精确 User-Agent 值。任何修改，例如裁剪、解码或重新格式化，都会导致签名不匹配。

受监管合规监控的 IP 允许列表

为支持持续的受监管合规监控，请允许以下 IP 地址范围。这可确保来自 impact.com 的流量不会被意外阻止，并使站点监控能够不间断地进行。

允许以下 IP 范围：

• 163.116.128.0/17

• 162.10.0.0/17

• 31.186.239.0/24

• 8.39.144.0/24

• 8.36.116.0/24

• 34.145.188.137

• 35.245.212.57

• 34.21.56.213

• 34.48.90.233

• 35.245.229.167

• 34.150.151.151

• 35.245.185.65

• 35.188.242.212

• 34.86.33.122

• 34.145.224.193

• 35.245.135.218

• 35.221.1.178

• 34.150.217.77

• 107.175.80.80

• 162.212.175.22

• 107.172.69.119

我们建议更新您的防火墙或访问控制列表，以允许来自以下 impact.com IP 地址范围的传入流量。

推荐： 如需有关受监管合规监控和机器人访问的技术协调或问题， 联系支持.