爬取 大师 
网页抓取本身不违法，但”用什么代理去抓”正在成为合规红线。2026 年 NetNut 被 Google 与 FBI 联合处置后，一条被很多团队忽略的事实浮出水面：如果你的住宅代理来源本身不干净，那么再”合规”的抓取脚本也救不了整条数据链。这篇文章讲清楚 2026 年网页抓取的法律与道德边界，以及代理来源为什么是其中最容易被忽视的一环。
在讨论”能不能抓”之前，先厘清一个常见误解：网页抓取不等于违法。公开可访问的数据、遵守站点规则、控制请求频率、不碰个人隐私和版权红线的抓取，在多数司法辖区里都是被允许的商业行为。真正让团队踩雷的，往往不是”抓了公开数据”，而是抓取过程中的方式问题——包括你借道的那张住宅 IP 网络到底是怎么来的。
2026 年，为什么”代理来源”被抬到了伦理层面
2026 年 7 月，Google 威胁情报团队（GTIG）联合 FBI、Lumen、Shadowserver 等对 NetNut（关联僵尸网络 Popa）住宅代理网络实施处置，估算涉及约 200 万台 被感染设备，包括智能电视和流媒体盒子；FBI 与 IRS 同时扣押了 netnut.com、proxyjet.io、divinetworks.io 等域名。安全研究机构 Qurium 的调查显示，该网络通过一些应用在”未正确取得、甚至完全没有取得用户同意”的情况下把终端设备变成了代理出口节点。
这件事对做抓取的人意味着什么？意味着”住宅 IP 是真实用户的 IP”不再是一句加分的营销话术，而可能是一条风险线：如果这些 IP 的终端用户从未真正知情同意，你的每一次请求其实是在借用别人被劫持的网络。抓取脚本再规范，也无法为这种来源背书。
网页抓取的四条法律与道德边界
1. robots.txt 与服务条款（ToS）
robots.txt 是站点对爬虫的公开意愿声明，服务条款则是更正式的合约边界。二者在法律上的强制力因辖区而异，但从道德与风险控制角度，稳妥做法是：尊重 robots.txt 的抓取禁区，避免抓取明确以 ToS 禁止采集的登录后内容，尤其不要用技术手段绕过明确的访问控制。把”技术上能抓”和”被允许抓”分开看，是成熟团队的基本素养。
2. 个人数据与隐私（GDPR / 个保法）
抓取公开的商品价格、库存、评论聚合是一回事，批量采集可识别到个人的姓名、联系方式、行为画像是另一回事。GDPR、CCPA 以及中国个人信息保护法都对”处理个人数据”设定了合法性基础要求。抓取涉及个人数据时，最小化采集、明确用途、可删除，是绕不开的合规动作。
3. 请求频率与服务器礼仪
高并发、无节制的抓取会给目标站点带来真实的带宽和计算成本，本质上是把成本转嫁给别人。合理的速率限制、错峰、缓存复用、遵守 429/Retry-After，既是降低被封概率的技术手段，也是抓取伦理的一部分。
4. 代理来源的知情同意
这是 NetNut 事件之后最值得重视的一条。你用来分散请求的住宅 IP，背后是真实家庭网络。终端用户是否被清楚告知其带宽和 IP 会被用作代理出口？是否可以随时退出？供应商能否解释这些 IP 的获取方式？如果答案是”说不清”，那么无论你的抓取本身多规范，整条数据供应链在伦理上都是破的。想系统性地查清这一点，可以参考我们的住宅代理供应链审计方法。
把伦理落到采购动作上
抓取伦理不是一句口号，它最终要落到”你选哪家代理”这个具体决定上。一个负责任的抓取团队，至少应该能回答：我的代理 IP 从哪里来、终端用户是否知情同意、供应商是否有 KYC 与用途审核、上游一旦被执法处置我的业务怎么兜底。这些问题的完整版本，我们整理在了NetNut / Popa 事件尽调报告里，建议采购、法务和安全团队一起过一遍。
从供给侧看，真正把”来源可解释、同意机制公开、用途有边界”写进官方文档的服务商并不多。Bright Data 是少数把住宅网络的 KYC 门槛、显式 opt-in 来源模型、可接受使用政策和滥用处理流程都公开挂出来的供应商之一。对把抓取伦理当回事的团队来说，从这样一家能自证来源的服务商起步，比追求”最大 IP 池”更稳妥。
结论
2026 年的网页抓取，合规重心正在从”抓什么”扩展到”用什么抓”。robots.txt、隐私法、请求礼仪是老话题，代理来源的知情同意则是 NetNut 事件之后被推到台前的新变量。把这一条纳入你的抓取伦理清单，才算真正跟上了这一年的行业现实。
合规住宅网络推荐
如果你需要一个来源可解释、KYC 门槛公开、用途有明确边界的住宅代理起点，可以先看 Bright Data 的住宅网络：
