PerplexityがBBCなどから、コンテンツの無断収集に対する法的措置を警告されている12。昨日は読売新聞も提訴したとの報道3。Perplexityは以前より、robot.txtに従わないグレーなデータ収集をしているのではないか、と噂されていたが、Cloudflareが解析結果を公開していた。結論から言うと、かなり黒。
Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives Perplexity is repeatedly modifying their user agent and changing IPs and ASNs to hide their crawling activity, in direct conflict with explicit no-crawl preferences expressed by websites. blog.cloudflare.com ユーザーエージェント(UA)や自律システム番号(ASN)の変更などでクローラーの身元を隠ぺい robot.txtを意図的に無視 といった挙動が確認できたので、Perplexityのクローラーを認証済botのリストから削除した、とのこと。
...