Cloudflare(NET.N)，這家上市的雲服務提供商，推出了一款新的免費工具，旨在阻止機器人對其平臺託管的網站進行數據爬取，用於訓練AI模型。

一些AI供應商，包括谷歌(GOOGL.O)、OpenAI和蘋果(AAPL.O)，允許網站所有者通過修改其網站的robots.txt文件來阻止他們用於數據爬取和模型訓練的機器人。但正如Cloudflare在其宣佈防止機器人的工具的帖子中指出的那樣，並非所有的AI爬蟲都遵守這一規則。

公司在其官方博客上寫道：“客戶不希望AI機器人訪問他們的網站，尤其是那些不誠實的機器人。我們擔心，一些企圖規避規則獲取內容的AI公司將持續調整以逃避機器人檢測。”

因此，爲了解決這個問題，Cloudflare分析了AI機器人和網絡爬蟲的流量，優化了自動機器人檢測模型。這些模型考慮了多種因素，包括AI機器人是否試圖通過模仿使用Web瀏覽器的外觀和行爲來規避檢測。

Cloudflare表示：“當惡意行爲者試圖大規模爬取網站時，他們通常使用我們可以指紋識別的工具和框架。基於這些信號，我們的模型能夠適當地標記來自規避型AI機器人的流量。”

Cloudflare已設置了一個表單，供主機報告涉嫌的AI機器人和網絡爬蟲，並表示將繼續逐步加入黑名單。

隨著生成式AI的繁榮推動模型訓練數據的需求，AI機器人的問題變得尤爲突出。

許多網站對AI供應商未經通知或補償就對其內容進行模型訓練感到警惕，選擇封鎖AI爬蟲和網絡爬蟲。據一項研究顯示，全球排名前1000的網站中約有26%封鎖了OpenAI的機器人；另一項研究發現，超過600家新聞出版商已封鎖了這種機器人。

然而，封鎖並非百分之百有效的保護措施。正如前文所述，一些供應商似乎在忽略標準的機器人排除規則，以在AI競賽中獲得競爭優勢。AI搜索引擎Perplexity最近被指控冒充合法訪問者從網站爬取內容，而OpenAI和Anthropic據稱有時也忽略robots.txt規則。

在上個月寫給出版商的一封信中，內容許可創業公司TollBit表示，事實上，他們看到“許多AI代理”都在無視robots.txt標準。

像Cloudflare這樣的工具可能會有所幫助，但前提是它們能夠準確檢測祕密操作的AI機器人。它們並不能解決發佈者面臨的更難解決的問題，即如果封鎖了特定的AI爬蟲，可能會犧牲來自像谷歌AI概覽這樣的工具的轉介流量。