没有授权也没关系多家 ai 公司被曝绕过网络标准抓取新闻出版商网站内容

没有授权也没关系多家-ai-公司被曝绕过网络标准抓取新闻出版商网站内容

该公告的发布正值AI搜索新秀Perplexity与知名媒体《福布斯》就同一网络标准发生公开分歧之际，这引发了科技和媒体行业内对于生成式AI时代内容价值的深入讨论。

Tollbit 擅长扮演一个中介角色，它连接着内容稀缺的AI企业与那些有意签订重大许可协议的出版商，旨在促成双方的合作。

请注意，此前《福布斯》杂志曾提出指控，认为 Perplexity 在利用人工智能技术生成的摘要中未经许可复制了其报道的内容。然而，Perplexity 在此过程中并未注明信息来源，也未取得《福布斯》的授权。

此外，据《连线》杂志在上周的一篇深入报道中揭示，Perplexity 有可能规避了新闻出版商设立的“机器人排除协议”以及其他的网络爬虫阻止机制。

The News Media Alliance, a trade association claiming to represent over 2,000 American publishers, has voiced its concerns regarding AI companies disregarding the 'no scraping' policies or 'robots.txt' tools implemented by publishers. According to Danielle Coffey, the organization's chair, "If AI companies persist in extensive content scraping, we are unable to profit from valuable content, thereby hindering our capacity to compensate journalists."

据Tollbit透露，Perplexity 并非独一无二地违反了出版商网站的"禁止抓取"规定。他们的调查揭示，众多人工智能平台同样规避了这一机制。这个机制如同一份"白名单"，允许AI平台抓取特定的内容，明确规定了网站的哪些区域可以被访问。

据TollBit所述，这表明多方位的AI平台，而不仅仅是单个企业，选择忽视robots.txt协议，直接从网站抓取信息。随着我们收集到的出版商日志增加，这种情况呈现出来的频次也在不断攀升。

一些出版商，如《纽约时报》，已针对这些侵权行为对人工智能公司提起诉讼。与此同时，别的出版商选择与AI企业达成许可协议，后者也同意支付内容使用费，尽管双方在内容价值的评估上常有分歧。许多AI开发者坚称，他们免费获取和使用内容是合法的，并未触犯任何法规。