304永利集团官网入口-赛博菩萨 Cloudflare，AI 爬虫最严厉的父亲
首页财产阐发评论ai正文 赛博菩萨 Cloudflare，AI 爬虫最严肃的父亲 怎样规范来自 AI 的流量，既有可能决议了所有网站的将来，也决议了收集守门人 Cloudflare 本身的成长轨迹。 2026-07-06 10:13 ·微信公家号：极客公园 靖宇 靖宇 AI投资人解读· Cloudflare从9月15日起将默许屏蔽混淆用途的AI爬虫，还有推出“Pay Per Use”模式，初始互助伙伴有两家AI搜刮公司。 · 其爬虫API曾经激发争议，且该政策可能没法让内容权益从头分配灰尘落定。 总结：Cloudflare新规和新模式虽有立异，但面对一些问题。其于AI数据获取规范上迈出一步，构建新盈利模式，但自身脚色定位存疑，对于小创作者影响待察，可否转变行业格式有待进一步不雅察。
7 月 1 日，Cloudflare 发了一篇博客，标题很暖和，叫「你的网站，你的法则」。但内容一点也不暖和——从 9 月 15 日起，所有利用 Cloudflare 的网站，默许屏蔽混淆用途的 AI 爬虫。只要你的页面上有告白，AI 的练习爬虫及 Agent 爬虫就进不来。除了非你本身去后台手动打开。
留意这个逻辑翻转：之前是「默许答应，你可以选择屏蔽」，此刻是「默许屏蔽，你可以选择答应」。
这是互联网基础举措措施层，*次对于 AI 数据获取方式举行体系性「立法」。
做出这个决议的配景是一个标记性的事务，互联网上的 bot 流量，已经经跨越了人类流量。
Cloudflare CEO Matthew Prince 说，这个里程碑比所有人预期的都来患上早，原本估计要到 2027 年才会发生。换句话说，今天你打开的年夜大都网页，「看」它们的重要不是人，而是呆板。
而怎样规范来自 AI 的流量，既有可能决议了所有网站的将来，也决议了收集守门人 Cloudflare 本身的成长轨迹。
01
最严肃的「爬虫政策」
按照官方先容，Cloudflare 把 AI 爬虫拆成为了三类。
*类叫「Search」，就是为搜刮办事建索引的传统爬虫，Google 干了二十多年的那种。
第二类叫「Agent」，是及时代用户去拜候网页的 AI 代办署理，好比你让 ChatGPT 帮你查个信息、填个表单，它暗地里就有一个 Agent 爬虫于替你跑腿。
第三类叫「Training」，就是年夜范围抓取内容用在模子练习的爬虫。
三类分隔标注。网站主可以别离对于每一一类设置「答应」或者「屏蔽」。你想让搜刮引擎找到你？可以。你想让 AI 代办署理帮你的用户查信息？也能够。但你不想让 AI 公司白嫖你的内容去练习模子？那你可以零丁把 Training 关失。
这个分类自己就是一把刀，直接捅向了 Google。
Google 的 Googlebot 是一个典型的「混淆爬虫」——它同时为 Google 搜刮建索引，也为 Google 的 AI 功效（好比 AI Overviews）收罗数据。Google 确凿提供了一个叫 Google-Extended 的东西，答应网站选退 AI 练习。但问题于在，Googlebot 这个焦点爬虫自己，依然会同时为搜刮引擎内置的 AI 功效网络数据。
搜刮及 AI 的数据需求，于 Google 的架构里就没有被真正分隔过。
这象征着甚么？Cloudflare 的数听说患上很清晰：由于网站想连结于 Google 搜刮中的可见性，就不能不让 Googlebot 进来，而 Googlebot 进来了，AI 练习的数据也就一并拿走了。Google 是以得到了约莫两倍在其他 AI 公司的网页内容拜候量。
Cloudflare 此次还有加了一条「最严法则优先」的原则。假如一个爬虫同时履行搜刮及练习两个功效，那所有合用的法则会同时生效——按最严酷的阿谁来。也就是说，你只要选择屏蔽 Training 爬虫，Googlebot、Applebot、BingBot 这些混淆爬虫，十足会被一并屏蔽。
这刀砍的是「绑缚」——你想被搜刮到，就患上接管被 AI 练习。Cloudflare 说，这个绑缚不公允，必需拆开。
一组数据可以申明旧「社会左券」崩坏到了甚么水平。Cloudflare 宣布了各家 AI 公司的爬取与回流比：Google 约莫是 14:1——每一爬取 14 个页面，回流 1 次点击。OpenAI 是 1,700:1。Anthropic 是 73,000:1。
搜刮引擎时代的生意业务是「我爬你的内容，你获得流量」。于 AI 时代，这笔账已经经算不外来了。
02
从「保安」到「收银员」
假如 Cloudflare 只是帮网站主盖住 AI 爬虫，那这件事的意义就止在「防备」。但 Cloudflare 显然不满意在只当保安。
去年 7 月，Cloudflare 推出了「Pay Per Crawl」——按爬取次数向 AI 公司收费。本年，它把这个模式进级为「Pay Per Use」。区分于在，再也不是爬虫每一来一次你收一次钱，而是当你的内容于 AI 体系中真正孕育发生了价值，被用在天生一个回覆、呈现于一个 AI 搜刮成果里，用户才能收到钱。
从「按次收费」到「按价值收费」，这个改变的野心不小。它象征着 Cloudflare 想成立的不是一道墙，而是一个市场。
今朝的初始互助伙伴是两家 AI 搜刮公司 Ceramic.ai 及 You.com。当出书商选择插手后，他们的内容呈现于 Ceramic 的 AI 搜刮成果中，或者被 You.com 的 Agent 拜候时，出书商会收到付款。年夜出书商们纷纷站台——Condé Nast 的 CEO 说这是「游戏法则的转变」，Reddit 的结合开创人说「整个生态体系城市受益」。
听起来像是一个*的故事。但我感觉有须要说一个不那末*的细节。
本年 3 月，Cloudflare 本身发布了一个爬虫 API。你给它一个 URL，它能一次性抓取整个网站，返回 HTML、Markdown 或者布局化 JSON。这让一些出书商相称不安——阿谁一直帮我挡爬虫的公司，怎么本身造了一个爬虫？
更难堪的是，有出书商测验考试屏蔽 Cloudflare 本身的爬虫时发明，设置不生效。虽然 Cloudflare 厥后修复了这个问题，但互联网上的评论已经经传开了——「咱们掩护网站不被爬虫抓取……除了非是咱们本身的爬虫。」
Cloudflare 对于此的注释是，它的爬虫是「合规爬虫」，会尊敬 robots.txt，会遵守本身的 AI Crawl Control 法则。假如站长选择屏蔽 AI 爬虫，Cloudflare 本身的爬虫也会被挡于门外。用一名开发者的话说，这是一个「双方下注以是永远赢」的计谋。
这就引出了一个底子性的问题：Cloudflare 究竟是一个中立的基础举措措施裁判，还有是一个新型的中间商？
谜底多是后者。
它同时饰演着法则制订者（界说三类爬虫）、法则履行者（于基础举措措施层阻挡爬虫）及市场介入者（运营本身的爬虫及内容生意业务平台）三个脚色。
这不是说它做的工作没有价值——把 AI 爬虫从「无序打劫」拉入「明确分类、需要许可」的框架，确凿是一个前进。但把 Cloudflare 当做内容创作者的「救世主」，就太无邪了。
它于构建的，是一个以本身为枢纽的「AI 内容税收站」。
03
平凡人能分到蛋糕吗？
这多是整件事里最使人沉着的部门。
Condé Nast、Dotdash Meredith、Reddit——站出来撑持 Cloudflare 的，都是年夜型出书商及平台。它们有内容范围，有法务团队，有构和筹马。这些公司不需要 Cloudflare 也能跟 AI 公司签许可和谈——事实上，已往一年全世界已经经签了跨越 50 分内容许可年夜单。Cloudflare 对于它们来讲，是多了一个东西，不是*的前途。
但小我私家博主呢？一个于 WordPress 上写技能教程的自力开发者呢？一个用公家号写深度阐发的自媒体人呢？
理论上，Cloudflare 的基础举措措施，可让小内容主无需一一跟每一家 AI 公司构和，就能设定权限及得到赔偿。但「理论上」三个字是要害。Pay Per Use 到此刻只有 Ceramic.ai 及 You.com 两个互助伙伴，都是小玩家。OpenAI、Google、Anthropic 这些真正于年夜范围耗损内容的公司没有一个上桌。
并且有一个更实际的抵牾：对于小创作者来讲，暴光自己就是最稀缺的资源。屏蔽 AI 爬虫可能象征着削减被发明的时机。年夜媒体屏蔽爬虫，Google 搜刮还有是会收录它们；小博客屏蔽爬虫，可能就真的消散于互联网的噪音里了。
有一组更让人苏醒的数据。
AI 谈天呆板人带来的引荐流量比传统搜刮少约莫 96%。用户于 AI 回覆中点击援用来历的几率，只有约莫 1%。出书商于已往一年由于 AI 搜刮功效丧失了 20% 到 90% 不等的流量及收入。一项研究发明，Google 的 AI Overviews 让外链点击量降落了约莫 40%。
这象征着，纵然 Pay Per Use 周全放开，付费范围也可能远远不敷填补出书商已经经掉去的告白收入。这不是一场变局，更像是一次止损——并且未必能止住。
Cloudflare 陈诉说，50% 以上的 AI 爬虫流量花于反复抓取未更新的页面上。解决这类低效确凿有价值。但解决效率问题及让创作者真正赚到钱，是两件事。
04
「菩萨」也有本身的庙
Cloudflare 历来被泛博用户奖饰为「赛博菩萨」，是由于它确凿于做一件有价值的事——把 AI 时代的数据打劫从暗处拉到明处，逼 AI 公司说清晰「我要你的数据干甚么」。于一个 bot 流量已经经跨越人类流量的互联网上，有人愿意站出来喊一声「端方不克不及这么没有」，这自己值患上必定。
但「菩萨」也有本身的庙。
Cloudflare 治理着全世界约莫 20% 的收集流量，这个数字既年夜又不敷年夜。别的 80% 的网站不于它的掩护规模内。AI 公司彻底可以把数据收罗的重心转向非 Cloudflare 站点。
Google 及 Apple 的爬虫已经经提供了情势上的选退东西，可能借此绕过 Cloudflare 的阻挡。英国竞争与市场治理局（CMA）正于从羁系角度向 Google 施压，要求它让出书商能于不影响搜刮排名的条件下退出 AI 练习。
一个基础举措措施公司的政策，不会让这场内容权益的从头分配灰尘落定。
但它展现了一个更深层的趋向，互联网的「收费站」正于从搜刮引擎转移到基础举措措施层。
已往二十年，Google 是阿谁站于路中间决议谁能被瞥见的人。此刻 Cloudflare 想于更底层的位置拦一道——你要过路，先说清晰你是来干甚么的，然后按端方来。
收费站变了。收费的人，未必变了。
【本文由投资界互助伙伴微信公家号：极客公园授权发布，本平台仅提供信息存储办事。】【免责声明】：本文不组成任何投资建议。市场有危害，投资需审慎。若有任何疑难，请接洽（editor@zero2ipo.com.cn）投资界处置惩罚。
-304永利集团官网入口
