无视网站反对AI抓取的规定,Anthropic的爬虫机器人已引起多位网站所有者的不满。
编辑日期:2024年07月27日
这一看似略显疯狂的举动,引发了iFixit的CEO Kyle Wiens在X(推特)上的直接回应,其主要内容如下:
iFixit 的使用条款政策声明,“未经公司事先明确的书面许可,严禁复制、复制或分发”网站上的任何内容,特别包括“用于训练机器学习或 AI 模型”。
Wiens 后来表示,iFixit 已经在其 robots.txt 文件中添加了“爬行延迟”扩展。
然而,iFixit并不是唯一的受害者。Read the Docs的联合创始人Eric Holscher和Freelancer.com的CEO Matt Barrie都在Wiens的帖子中提到,他们的网站也曾被Anthropic的网络爬虫频繁抓取。
这些行为并非是ClaudeBot的“初次违规”。早在今年4月,Linux Mint网站论坛就曾将一次网站故障归咎于ClaudeBot的抓取活动所带来的压力。
大家在看
AI安装教程
AI本地安装教程
微软AI大模型通识教程
微软AI大模型通识教程
AI大模型入门教程
AI大模型入门教程
Python入门教程
Python入门教程
Python进阶教程
Python进阶教程
Python小例子200道练习题
Python小例子200道练习题
Python练手项目
Python练手项目
Python从零在线练习题
Python从零到一60题