9 月 26 日消息,網絡服務商Cloudflare本周推出一系列防AI 爬蟲的工具,包括可查看 AI 爬蟲具體活動的 AI Audit 和一鍵屏蔽所有 AI 爬蟲的 Block AI Scrapers and Crawlers。站長們可以部署相關服務,從而防止自己網站的內容被用于訓練AI的機器人爬蟲扒取。
IT酷哥注:爬蟲是一種自動化的程序,可以在互聯網上搜索和獲取信息,目前許多廠商使用相關爬蟲扒取各大網站信息用于訓練AI模型,相關爬蟲容易導致被扒網站產生大量異常流量,為此站長需支付高昂的網絡帶寬費用,同時也容易導致網站上大量原創/隱私內容泄露。
Cloudflare推出的相關工具主要利用簽名比對、啟發式算法、機器學習和行為分析技術來辨別爬蟲,用戶可以查看 AI 爬蟲的各種行為,包括爬蟲類型、訪問頻率和掃描內容,站長還可以按照需要放行“善意的 AI機器人”抓取信息(此類“善意的AI機器人”主要尋找網站的robots.txt來獲取信息,通常不會對網站本身產生異常流量,也不會將網頁所有數據直接用于全盤訓練模型)。
如果不確定如何處理這些 AI 爬蟲,站長們也可以使用 Block AI Scrapers and Crawlers 功能,一鍵屏蔽所有 AI 爬蟲。
互聯網為許多大語言模型(如OpenAI的GPT模型和谷歌的Bard)提供了大部分的訓練數據,如今許多廠商為了刷自家AI模型分數,大肆通過網絡爬蟲“拿來式”地獲取訓練數據,從而讓本應你情我愿的行為變得“污名化”,各大網絡商直接推出此類禁用AI爬蟲的服務也在意料之中。
本文鏈接:http://www.tebozhan.com/showinfo-26-116348-0.html一鍵屏蔽惡意 AI 模型爬蟲機器人,Cloudflare 推出“防扒”網絡工具
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: 倍思全國首家體驗店在深圳開業