Cloudflare出手了：9月15日起，广告页默认不让你家的AI白嫖
7月1日，Cloudflare丢出一枚炸弹——给所有AI公司下了个新死线。从2026年9月15日起，用Cloudflare的新客户、新站点、以及所有免费客户，默认设置会直接屏蔽"混合用途"爬虫去抓带广告的页面。
啥叫混合用途？就是那些又干搜索、又跑agent、又薅训练数据的爬虫（点名了，说的就是某些大厂的Googlebot）。新规则下，它们想抓广告页，得先让站长手动放行。
Cloudflare CEO Matthew Prince的原话：现在互联网上大部分流量已经不是人了，我们得动作更快，才能长出可持续的生态。
站长终于有武器了
这次不是光堵，还给了一套控制面板：
- Search、Agent、Training三类爬虫拆开管，不再一锅炖
- 站长能看清到底是哪家AI公司在爬、爬了啥
- 还能看到这些AI bot到底有没有把流量导回你的站——没导回？直接屏蔽，或者收费
配套的新玩法叫Pay Per Use（按用收费），是之前Pay Per Crawl（按抓收费）的升级版——不只抓的时候收钱，你的内容给AI创造了价值（比如进了回答、进了训练），也能收。首发合作方是Ceramic.ai和You.com。
为什么这是件大事
Cloudflare的数据说，AI爬虫超过50%的抓取流量，花在了重复抓没变的页面上——纯纯的带宽浪费。对站长来说，免费给AI喂内容、自己服务器烧钱、对方还不一定给你带流量，这套交易早就不公平了。
对做内容网站的人（比如咱们这种）来说，这政策直接关系到：你的文章被谁抓、抓去干啥、能不能收钱。9月15日之后新建的站，默认就站你这边了。
Google这边当然不乐意，搬出Google Extended说自己早给了退出训练的选项。但Cloudflare的意思很明确：你搜索流量大，是因为你拿AI训练当附带代价，这账得算清楚。
说白了，免费数据被薅的时代，Cloudflare想替站长画个句号。至于AI公司愿不愿意乖乖付费——9月15日见分晓。