擔心的事情還是發生了:用AI寫出來的假留言,你根本分不出來是人還是機器

擔心的事情還是發生了:用AI寫出來的假留言,你根本分不出來是人還是機器

無論是中國還是美國,很多人在選擇餐館或者飯店的時候,主要依靠網上的評論。某種程度上,網路口碑已經成為不少企業的命脈,變成服務和產品品質的永久記錄。與此同時,不公平或者假的留言評論也讓企業憂心忡忡,而這些假評論,有可能來自憤怒的顧客,也可能來自競爭對手。

 不過,某些評論當然有可能是被廠商請工讀生、行銷公司所做的作假評論。但是長期以來我們也習慣了,可以從中憑感覺過濾掉那些看似為工讀生留下的假評論,還是可以勉強判斷這個餐廳到底是好還是不好。

現在AI也開始加入假評論這一行,當起工讀生來了。這對於整個依靠社群來行銷的企業或是公司卻不見得是好事。如果 AI 創造的假評論氾濫,最終將導致全部網路評論的可信度急劇下降。 

「這對整個社會是一個巨大的威脅,不但會讓依靠網路評論的用戶失望,而且會動搖人類對於真實和虛假的信念,我認為後者更讓人擔心」,芝加哥大學電腦科學教授趙燕斌(Ben Y. Zhao)說。 

以假亂真

《線上評論系統中的自動眾包攻擊和防禦》是趙燕斌等芝加哥大學研究人員發佈的一篇論文。他們的研究說明,人工智慧可以被用來製造複雜的網路留言評論。這些虛假的評論不僅機器無法檢測出來,就連人類也分辨不出來。

這篇論文今年晚些時候會在電腦安全頂級會議 ACM CCS 上展示。

所謂複雜的評論,大概是這個樣子:「我喜歡這個地方。我跟我哥一起去的,我們在這裡點了素食意大利麵,很好吃。啤酒不錯,服務也很棒。推薦這個地方,是個吃早餐的好去處。地方雖然小了點,但是東西不錯」。

乍一看這個評論沒有什麼奇怪的,裡面包含一些具體的建議和具有可信度的描述,整體來說就是一段普通人的評論。

實際上,這句話是一種透過稱為 RNN(循環神經網路)的深度學習技術生成的。這個 RNN 網路使用了上千條真實線上的評論訓練而成。

研究人員表示,AI 生成的評論已經做到了「以假亂真」,有600個參與人員的調查顯示,這些假的評論不僅能逃過人類的法眼,而且還被用戶認為「有用」。

「有用」是更可怕的事情:這表明假的評論已經可以對人類造成影響。

反抄襲軟體也對這些假評論無能為力,因為AI所產生的這些評論是逐字生成的,而不是簡單的替換已有留言中的單詞。所以,如果使用反抄襲軟體來檢測,不但很難檢測出假評論,而且會「誤傷」一大批真實的評論。

擔心的事情還是發生了:用AI寫出來的假留言,你根本分不出來是人還是機器

人類寫手面臨失業

人類手寫的假評論,已經是一個興盛的地下產業。只要有錢,你就能找到人幫你的產品寫下正面的評論,或是給對手寫下負面的評價。

現在,這所謂的「水軍」業,未來可能也要被 AI 取代了。

美國市場上,一段品質好的 Yelp 評論,價格能到10美元。不過一旦有了AI的幫助,居心叵測的人可以一分錢不用就生成上千條假評論,而且一起放出以免引起懷疑。

好消息是,現在還沒有 AI 在現實世界中寫出惡意假評論的案例。

壞消息是,構建一個這樣的人工智慧系統,並不需要太長的時間,所需硬體市面上都能買到,所需的評論數據庫,可以在網上輕易獲得。

擔心的事情還是發生了:用AI寫出來的假留言,你根本分不出來是人還是機器

仍有對策

如果有人開始大規模生產這種假評論,Yelp 這樣的網站恐怕就沒有好日子過了,畢竟,它們的招牌就是來自用戶的真實評論,如果每一條都可能是假的,誰又會繼續相信它們呢?

接下來淪陷的,會是淘寶、亞馬遜之類的電商,雖然至少它們還能限制只有買過該商品的用戶才能評論,但情況也不容樂觀。

不過,也有好消息。

研究者們說,這種假評論也不是完全沒法防範,人類覺得它們能以假亂真,但機器不見得這麼看。用電腦去分析字句的分佈等特徵,他們就會發現真假評論之間存在著細微的差異。

假評論是從真實評論裡學出來的,在這個過程中,難免會有一些資訊的流失。假評論注重的是流暢、可信,但像字句分布這種平時沒人關注的特徵,就做得不那麼好了。

「在訓練過程中發生的資訊遺失,會傳遞到生成出的內容中,」研究者們在論文中寫道,「因此生成內容和人類所寫的內容在基本的字距排列的分佈上,有著統計上可檢測的差異。」

當然,攻擊者也可以騙過檢測,換好一點的硬體,做更複雜一點的神經網路就行。但這種檢測的意義在於至少提高了攻擊的門檻,為他們設置了一些障礙。

如果攻擊的成本高到一定程度,大部分沒那麼執著的攻擊者也就收手了。趙燕斌說:「這就是一種勝利,所有的安全工作都是這樣,提高攻擊的門檻。你永遠沒辦法阻止那種目標堅定、身手老練的攻擊者。」

在一份郵件聲明中, Yelp 發言人 Rachel Youngblade 說他們「很欣賞這份研究指出了隨著欺騙評論系統的方法持續進化,越來越複雜,Yelp 這類大型用戶評論網站在保障內容真實性上面臨著重大挑戰。十年來,Yelp 一直有保護內容的系統,而正因為欺騙手段越來越複雜,我們也持續更新這些系統,來識別假評論,以及偏頗、沒有幫助的內容。這份研究的作者們以 Yelp 系統作為『真實』的代表,並承認它的有效性,我們非常感激。」

「不過,這份研究創造的僅僅是看起來真實的點評文本,Yelp 的推薦軟體工具使用了更整體的方法,除了文本之外,還使用了很多其他因素來決定是否推薦一條評論。如果某條評論沒有價值或有失偏頗,就算它是人類做出的,我們也不會推薦。」

擔心的事情還是發生了:用AI寫出來的假留言,你根本分不出來是人還是機器

 

趙燕斌說他想傳遞的訊息很「簡單」:「我希望人們能關注這類攻擊途徑,把它們看做真實、迫切的威脅,」如果 Yelp、亞馬遜這些網站的工程師們還沒有開始考慮如何抵禦,他希望他們立刻開始思考。

教授希望「我們希望能吸引更多注意,不僅為了設計出能防禦這類攻擊的系統,還想讓更多人從平凡的視角,看到 AI帶來的威脅。」

「我認為,那麼多人都在關注奇點、天網這些引人注目的 AI 威脅,但是那些很好很好的 AI,能帶來很多更實際的、有顯示影響的威脅,而這只是冰山一角。」

他補充說:「所以,我以希望安全界的人能和我一起,關注這類問題,這樣我們才有希望趕上。我認為,AI 以驚人的速度和加速度在發展,如果我們不立刻開始研究如何抵禦,可能永遠都趕不上了。」

擔心的事情還是發生了:用AI寫出來的假留言,你根本分不出來是人還是機器

是真是假?

最後,來個小測驗吧。

這有六個案例,其中有一些是神經網路生成的假評論,其他的是真實的人類評論。你看看是否能分辨出來是真是假。

1、我最喜歡去的意大利餐廳。超喜歡這家的菜,一切都很棒。我推薦生牛肉配蘆筍。可惜現在名氣太大了,越來越難在黃金時間預定到座位。

2、我們全家都是這間餐廳的超級粉絲。工作人員非常NICE,食物很棒。雞肉非常好吃,蒜汁堪稱完美。上面配有水果的冰淇淋也很美味。強烈推薦!

3、每年聖誕節我都來,最愛意大利麵!物有所值!

4、非常好的披薩、烤寬麵條以及最好吃的扇貝之一。甜品很大很美味。

5、這裡的食物好吃得驚人,份量也很大。起司百吉餅做得非常完美,新鮮又美味!服務很快。毫無疑問是我們最愛的地方!我們還會回來的!

6、我來這吃飯已經一年半了,除了好吃我無話可說。我總是點披薩,意大利牛肉也很好,給我留下深刻印象。服務非常出色。是我見過的服務最好的餐廳。強烈推薦。

你看出哪些評論有問題了嗎?

36Kr
作者

36氪(36Kr.com)累計發表超過10.8萬條包含圖文、音訊、影片在內的優質內容。氪原創內容體系涵蓋新創公司、大公司、投資機構、地方產業與二級市場等內容模組,設置有快訊、深度商業報導

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則