ChatGPT「剋星」來了,文章作者是人是 AI 幾秒就現形!

ChatGPT「剋星」來了,文章作者是人是 AI 幾秒就現形!

你說 ChatGPT,它寫的東西逼真到傻傻分不清

沒關係!

現在,它的“剋星”來了 ——

有人專門搞了這麼一個網站,專門鑑別文字到底是出自於 AI 還是人類

你只需要把相應的內容粘進去,幾秒內就能分析出結果。如此神器一出,可謂迅速俘獲大家的芳心。

ChatGPT「剋星」來了,文章作者是人是 AI 幾秒就現形!

結果,直接把伺服器都給擠崩嘍(好在還有個備用的)。

ChatGPT「剋星」來了,文章作者是人是 AI 幾秒就現形!

這下,那些用 ChatGPT 寫作業的人都要慘啦?

是人還是 ChatGPT?GPTZero:看我的

這個網站名叫 GPTZero

它主要靠“perplexity”,即文字的“困惑度”作為指標來判斷所給內容到底是誰寫的。

NLP 領域的朋友們都知道,這個指標就是用來評價一個語言模型的好壞的。

在這裡,每當你喂給 GPTZero 一段測試內容,它就會分別計算出:

1、文字總困惑度

這個值越高,就越可能出自人類之手。

ChatGPT「剋星」來了,文章作者是人是 AI 幾秒就現形!

2、所有句子的平均困惑度

句子越長,這個值通常就越低。

ChatGPT「剋星」來了,文章作者是人是 AI 幾秒就現形!

3、每個句子的困惑度

通過條形圖的方式呈現,滑鼠懸浮到各個方塊就可以查看相應的句子是什麼(這裡就兩塊,因為我此時輸入的測試內容就倆句子)。

ChatGPT「剋星」來了,文章作者是人是 AI 幾秒就現形!

之所以要繪製這樣的條形圖,作者也作出解釋:「根據最新的一些研究:人類書寫的一些句子可能具有較低的困惑度(前面說過,人類的困惑度是比較高的),但隨著繼續寫,困惑度勢必會出現峰值。」

「相反,用機器生成的文字,其困惑度是均勻分佈的,並且總是很低。」

除此之外,GPTZero 還會挑出困惑度最高的那個句子(也就是最像人寫的):

ChatGPT「剋星」來了,文章作者是人是 AI 幾秒就現形!

規則就是這些,接下來實際測一測。

測試 1:成功

首先來一段最新的英文新聞(目前還不支援測中文):

ChatGPT「剋星」來了,文章作者是人是 AI 幾秒就現形!

將它貼上進測試框(需注意每句至少 5 個單詞,建議每段能有 10 個句子,結果會更準一些)。

很快,GPTZero 計算出這段文字的總文字困惑度為 27,句子平均困惑度為 171.2,每條句子的困惑度圖長這樣:

ChatGPT「剋星」來了,文章作者是人是 AI 幾秒就現形!

以及困惑度最高的句子的值為 476。

看這個結果,估計你也猜出了 GPTZero 的答案:是人類寫的。

答對了。

測試 2:失敗

來一段 ChatGPT 的。

ChatGPT「剋星」來了,文章作者是人是 AI 幾秒就現形!

將內容貼上進測試框,得出這段文字的總文字困惑度為 31,句子平均困惑度為 76.67,每條句子的困惑度圖長這樣:

ChatGPT「剋星」來了,文章作者是人是 AI 幾秒就現形!

以及困惑度最高的句子的值為 99。

看起來,每項困惑度值都和上面那段差距都挺大的,應該能猜出來是 AI 寫的吧。

不過遺憾的是,GPTZero 無法給出答案,還希望我們再多加一點文字試試。

ChatGPT「剋星」來了,文章作者是人是 AI 幾秒就現形!

顯然,這段話字數夠多,但句子不夠多,無法讓 GPTZero 一眼識破 ChatGPT 的“偽裝”。

測試 3:成功

那我們再來一段 ChatGPT 的試試。

ChatGPT「剋星」來了,文章作者是人是 AI 幾秒就現形!

這回內容夠長,句子也夠多。

果然沒問題了,GPTZero 直接答對,好像確實摸出來一點門道:

那就是字多的同時,句子數量也一定要多,至少 5 句,好讓 GPTZero 通過直方圖的分佈加碼識別,最後的精準率就可以提高一些。

另外還需要提的是,我們發現在挑戰失敗的情況中,除了上面這種識別不出來的時候,也有直接識別錯誤的 ——

比如把 AI 寫的判斷成人寫的:

ChatGPT「剋星」來了,文章作者是人是 AI 幾秒就現形!

ChatGPT「剋星」來了,文章作者是人是 AI 幾秒就現形!

 

把人寫的新聞判斷成 AI 的:

ChatGPT「剋星」來了,文章作者是人是 AI 幾秒就現形!

ChatGPT「剋星」來了,文章作者是人是 AI 幾秒就現形!

這種情況按照上面所說的竅門,再多加點內容可能就能將結果扳回來。

普林斯頓大四學生作品

建立該網站的,是一個 22 歲的 Edward Tian,來自加拿大多倫多。目前是美國普林斯頓 CS 專業大四學生,輔修認知科學和新聞學,對軟體工程、機器學習等有濃厚的興趣。 

他現在微軟實習,曾在 BBC、貝靈貓等公司撰寫過科技稿件,還曾加入到地圖工具 Representable 的創始團隊。

據他表示,這個應用程式是新年假期在咖啡店完成的。之所以想要開發這款應用程式,簡而言之就是因為有太多 ChatGPT 炒作,人類應該知道有哪些是 AI 寫的文章。

目前仍處於准系統階段,預計在接下來幾週內改進模型和分析。除此之外,他還透露,正在測試由學生撰寫的新聞文章資料集,並希望最終能發表論文。

更多 ChatGPT 殺手

事實上,也不只有這位他看 ChatGPT 不順眼了。還有其他人類組織也相應開發了 AI 文字檢測器,AKA ChatGPT 殺手

大體思路也都差不多,那就是“用魔法打敗魔法”,用 AI 寫的東西來訓練新 AI。

前陣子,OpenAI 自己聯合哈佛等高校機構聯合打造了一款檢測器:GPT-2 Output Detector

ChatGPT「剋星」來了,文章作者是人是 AI 幾秒就現形!

作者們先是發佈了一個“GPT-2 生成內容”和 WebText(專門從國外貼吧 Reddit 上扒下來的)資料集,讓 AI 理解“AI 語言”和“人話”之間的差異。

隨後,用這個資料集對 RoBERTa 模型進行微調,就得到了這個 AI 檢測器。其中人話一律被識別為 True,AI 生成的內容則一律被識別為 Fake。

(RoBERTa 是 BERT 的改進版。原始的 BERT 使用了 13GB 大小的資料集,但 RoBERTa 使用了包含 6300 萬條英文新聞的 160GB 資料集。)

另一位早年代表選手,也因為這次新進展再次被提及。

ChatGPT「剋星」來了,文章作者是人是 AI 幾秒就現形!

 

它就是 MIT-IBM 沃森 AI 實驗室的以及哈佛 NLP 實驗室開發的 GLTR 模型

ChatGPT「剋星」來了,文章作者是人是 AI 幾秒就現形!

它主要通過對文字進行統計分析和可視化,而用來檢測的是最初用來生成文字的相同 or 類似模型。目前主要支援 GPT-2 和 BERT 兩個模型。

由於輸出是模型知道的所有單詞排名,根據排名對文字每個單詞進行顏色編碼,前 10 名是綠色,前 100 名是黃色,前 1000 名是紅色,紫色則是不太可能出現的詞。

如果一段文字黃綠色過多,那麼這段文字主要是由 AI 生成的。

此番 GPTZero 再度亮相,不少網友驚嘆:Incredible work!

ChatGPT「剋星」來了,文章作者是人是 AI 幾秒就現形!

但也有人表示,文字檢測器根本就是一場失敗的軍備競賽,他們的實際效果並不好。也阻擋不了 ChatGPT 的發展。

與此同時,還有網友探討起關於「文章是否需要明確指示由 AI 還是人類編寫」的必要性。

有位詞曲創作者認為,這是有必要的,就像在看雜誌時會標註“廣告”,這應該是一個簡單的要求。

但有網友立即表示反對,為什麼要設定障礙?這就跟使用 PS 然後加上 Adobe 水印,對產品沒有任何益處。 

試玩連結:

https://etedward-gptzero-main-zqgfwb.streamlit.app/

參考連結:

 

Qbitai
作者

量子位(Qbitai)專注於人工智慧及前沿科技領域,提供技術研發趨勢、科技企業動態、新創公司報道等最新資訊,以及機器學習入門資源、電腦科學最新研究論文、開源程式碼和工具的相關報導。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則