Cloudflare在9月15日调整了AI相关流量的默认处理规则。
新接入Cloudflare的网站中，广告页面上的Training和Agent访问默认受到限制，而Search保持允许状态。对于同时承担Search和Training任务的多用途Crawler，也会按照更严格的适用规则处理。
这代表网站对AI访问的判断开始更加细分。
AI爬虫已经不是一个统一类别
- Search需要帮助用户发现内容。
- Training需要获取数据。
- Agent需要执行任务。
三者的目的不同，网站自然也需要不同的管理方式。IP2UP动态住宅IP最低价格可至$0.45/GB，支持HTTP/SOCKS5，可用于Web Scraping和AI数据采集网络层。
Web Scraping团队需要重新看待访问策略
之前的数据采集系统会关心：请求成功、页面返回、数据解析。
现在则更需要考虑：网站允许什么类型的访问？目标页面是否包含广告？Crawler身份如何声明？访问频率是否合理？任务是否需要长期Session？……
动态住宅代理只是访问层，真正需要调整的是整个采集系统。
IP数量不是唯一指标
大规模Web Scraping更应该关注：
- Success Rate
- Response Time
- Retry Rate
- Valid Data Rate
- Session Quality
- Duplicate Rate。
如果代理池很大，但有效数据比例低，采集系统仍然没有价值。
Cloudflare开始细分AI流量后，代理行业也需要从单纯提供IP转向更完整的访问基础设施。
本文来自网络投稿，不代表Ip2up立场，如有问题请联系我们
