ChatGPT官方工具可鑑別文章是否由AI寫成,網友一測吐槽:這眼力也沒有比我好嘛!

ChatGPT官方工具可鑑別文章是否由AI寫成,網友一測吐槽:這眼力也沒有比我好嘛!

ChatGPT到處被網友用來「造假」「作弊」、或是拿去寫論文,引發網友的擔心。所以後來OpenAI發佈了一個官方工具,可以用來鑑識文章是不是AI寫的:基於GPT打造,打開網頁就能用。

一經上線,不少網友第一時間就衝過去測試了。

ChatGPT官方工具可鑑別文章是否由AI寫成,網友一測吐槽:這眼力也沒有比我好嘛!

然鵝,網友們一番試驗之下卻發現......這官方工具的「眼力」,似乎跟自己瞎猜效果也差不多啊???

官方出品,約等於瞎猜

有人給OpenAI這個新鑑別器餵了一小段文字,結果首次嘗試就翻車了。

ChatGPT官方工具可鑑別文章是否由AI寫成,網友一測吐槽:這眼力也沒有比我好嘛!

這位網友首先讓AI寫下一段文字,內容是評價莎士比亞的一個歷史劇角色,不過他向寫作AI特意給了個提示:「請以人類的方式來寫」,希望能逃過AI鑑別工具的火眼金睛。

結果沒想到,還真就騙過了官方鑑別器。它看完給出回覆:這「非常不可能是AI生成的」。

這個官方工具對文字內容的判定結果一共就5個等級:

  • 非常不可能是AI生成的
  • 不太可能是AI生成的
  • 不清楚是不是AI生成的
  • 可能是AI生成的
  • 很可能是AI生成的

好傢伙,這不是和真實情況完全相反嘛,讓網友都笑翻了…

ChatGPT官方工具可鑑別文章是否由AI寫成,網友一測吐槽:這眼力也沒有比我好嘛!

還有人把ChatGPT生成的內容一字不改,直接拿給鑑定AI看。但鑑定AI的答覆依然傻傻的:「不清楚是不是AI生成的」。

ChatGPT官方工具可鑑別文章是否由AI寫成,網友一測吐槽:這眼力也沒有比我好嘛!

這位網友也只好呵呵,並指出:實際上,大家用ChatGPT等AI生成文字後,並不會原封不動地直接用,一般還會手動修改一下,或者丟進quillbot.com等潤色工具裡加工,很可能導致鑑定AI更摸不著頭腦。

好吧,既然AI生成文字分不太清,那人類寫的東西能認出來嗎?

有人把自己之前在Hacker News上發表的大段評論(純手打)給了鑑定AI,結果10次中有9次,AI都說「不清楚是不是AI生成的」。

不過,在網友們的一片吐槽聲中,我們也忍不住測了一下這個AI到底行不行。

首先,我們先給它看了段真人寫的文字,內容是一位華盛頓大學博士對Tensor Core的講解,這次AI並沒有失誤:非常不像AI產生的。

ChatGPT官方工具可鑑別文章是否由AI寫成,網友一測吐槽:這眼力也沒有比我好嘛!

然後我們讓ChatGPT來講講Tensor Core,並特地要求它儘量用人類的語氣來寫,但還是被AI鑑定出來了:有可能是AI產生的。

ChatGPT官方工具可鑑別文章是否由AI寫成,網友一測吐槽:這眼力也沒有比我好嘛!

這樣看來,這個工具似乎也不是完全不能用。

至於這次是不是ChatGPT發揮失常,你不妨也來鑑定看看:

ChatGPT官方工具可鑑別文章是否由AI寫成,網友一測吐槽:這眼力也沒有比我好嘛!

但其實吧,這回連OpenAI自己,用詞都顯得相當謹慎。

官方資料明明白白寫著,雖然這個新款工具比之前鑑定器都可靠點,但其成功識別AI生成內容的機率,也僅為26%,還有9%的機率把人寫的文字當成AI寫的。

(這精準率似乎跟用猜的也差不多……)

還用加粗文字昭告:我們這個鑑別工具啊,它並不完全可靠。

ChatGPT官方工具可鑑別文章是否由AI寫成,網友一測吐槽:這眼力也沒有比我好嘛!

甚至還給自己這個新工具標了個“半成品”的標籤。 

不過,OpenAI急著推出這麼一個不怎麼靠得住的AI鑑別工具,也不奇怪:再不有點表示,外界的壓力扛不住啊。

但還是有網友毫不留情地指出了盲點:你們是真沒想過,用這玩意兒反過來訓練大語言模型,以後AI生成的文字就更難被發現了?

ChatGPT官方工具可鑑別文章是否由AI寫成,網友一測吐槽:這眼力也沒有比我好嘛!

但不管怎麼說,OpenAI現在正在努力表現出給自己踩剎車的樣子。

除了鑑別器之外,他們還有大絕招呢!據傳他們正在嘗試給AI生成內容加「浮水印」:比如在ChatGPT生成文字時,在其中嵌入一個「不易察覺的隱秘訊號」,以表明文字來源是出自人類或是機器人。

不過,既然是文字,當然還是有可能被事後修改過來。

 

 

Qbitai
作者

量子位(Qbitai)專注於人工智慧及前沿科技領域,提供技術研發趨勢、科技企業動態、新創公司報道等最新資訊,以及機器學習入門資源、電腦科學最新研究論文、開源程式碼和工具的相關報導。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則