2萬間美國學校用的「Edgenuity」考試系統,有個所有學生都知道怎麼拿高分的Bug

2萬間美國學校用的「Edgenuity」考試系統,有個所有學生都知道怎麼拿高分的Bug

美國越來越多學校開始採用AI線上閱卷系統,來協助老師打分數。不過,最近爆出這個系統有個可以輕易拿高分的漏洞,而且只有學生知道、家長老師多半都不知道,成為學生們「不能說的秘密」 。

Dana Simmons是一名歷史教授,上週一她發現她12歲的兒子Lazare淚流滿面。因為他在學校的線上平臺Edgenuity上完成了七年級歷史課的第一項作業,結果他得到了50分(滿分100分)。

起初,她試圖安慰她的兒子。「我當時就想,好吧,你知道,有些老師一開始打分真的很嚴厲。」但她兒子表示,老師根本不可能有看他的答案,因為他在提交答案後,送出去不到一秒鐘就收到了成績。

Simmons瞭解了,她的兒子的分數,是被演算法決定的。

Simmons看著兒子完成了更多的作業,她看著Edgenuity在評分後給他的正確答案。她猜測,Edgenuity的AI應該是掃描特定的關鍵字,來判斷成績。

所以,她試著來實驗看看。

她讓兒子在回答簡答題的時候,先寫出兩個長句子,然後後面跟著一個不連貫的關鍵字清單。

比方說這個問題:「君士坦丁堡的地理位置對拜占庭帝國的力量有什麼優勢?」

她讓兒子聯想這個問題的相關關鍵字會是什麼?「財富、大篷車、船、印度、中國、中東......」然後他讓兒子把這些關鍵字就直接寫入答案。

2萬間美國學校用的「AI閱卷系統」被學生發現漏洞, 不用認真答題只要複製原文「關鍵詞」就得高分

事實證明了,這種「關鍵字」答題法,足以讓任何學生在任何的簡答題類型的題目中,得到滿分。

為什麼這種方法可以奏效?其實可以從Edgenuity對於簡答題的線上說明來理解,根據他們的說明,如果簡答題的答案不包含關鍵字的話,則該題分數為0。如果包括至少一個關鍵字,則可以獲得一定的百分比。

因此,當你輸入了夠多的關鍵字,就可以得到超過100%的分數,也就是該題獲得滿分。 

 

線上學習平台的評分問題

由於新冠肺炎的疫情,美國各地的學校將教學全部轉移到線上,或採用實體與線上混合的模式來教學。而在這個過程中,發展一套包括教學以及評分系統是必須的,很多學校當然不想自己開發,所以就會外包給虛擬教育平台。

Edgenuity就是這樣的教育平台。為初中和高中學生提供了300多門線上課程,涵蓋了從數學到社會研究、本科課程到選修課等各個科目。課程內容包括有視訊教學以及線上作業、線上測試等等的內容。

回到Simmons的12歲兒子Lazare,他所在的學區為洛杉磯聯合學區,因為疫情的影響,採用了完全線上授課的模式。自從Simmons幫助讓他「腦洞大開」之後,他的課業表現的確好了很多。

當然,簡答題並不是影響Edgenuity成績的唯一因素,Lazare的課程還有很多其他形式,包括多項選擇題和單字輸入。因此,簡答題只佔測驗的少數。不過,這種策略確實影響了Lazare的課堂表現,至少他現在每次作業都能拿到100分。

 

學生各有本事 

Lazare並不是唯一一個在系統中找到漏洞的人。

The Verge找到另外兩名與他來自不同高中的學生,表示他們找到了類似的作弊方式。而這些人用的方法更簡單,他們經常直接複製問題的內容,然後粘貼到答案欄中。

他們這麼做的想法是,假設問題本身,可能就已經包含了所有相關的關鍵字。其中一個同學表示,他在上學期一直使用這招,「幾乎每次都能獲得滿分」。

另一位高中生,表示他幾年前使用過Edgenuity,他說他有時會在對於答案「完全沒有頭緒」的時候,嘗試提交一批與問題相關的單詞,這個方法「經常奏效」。

另一名學生表示,如果沒有這個漏洞,他根本不可能通過他的代數課,他說他已經練就可以找到簡答題所需的確切關鍵字,他表示你可以在網路上找到「十分之九」的關鍵字。不過,他並不會全部都放上來,而是只會在每個簡答題中加入三個關鍵字。

「因為任何一個好的作弊者,不會追求滿分。這樣才能走的長久。」他表示。

 

學校老師怎麼看待這件事?

教師確實有資格可以審查學生提交的任何內容,並且可以覆蓋Edgenuity的指定成績。根據採訪到的學生表示,他的確聽說有些學生被抓到了關鍵字拼寫。

不過,根據the verge採訪的大多數學生表示,他們從未見過老師改變Edgenuity分配給他們的成績。

「如果老師們有在看答案,但他們並不關心,」一名學生說。

對於一些學校來說,採用Edgenuity平台的這段時間可能只是短暫的,有些地區的家長也正在抗議,聲稱無數的「技術問題」影響了他們孩子的成績。

至於Simmons,則是對Lazare如何學會了理解演算法而感到高興,因為這當然是一項有用的技能。

但她也承認,他在課堂上得到更好的成績,並不能反映出他對課程材料有更好的理解,她擔心這樣的利用演算法,只會加劇學生之間的不平等。

「他得到A+是因為他的父母對技術有興趣,」她說。「否則他仍然會得到F。這說明了什麼......這個線上學習環境中的數位鴻溝?」

 

作弊任何時代都有,只是欺騙的對象不同

事實上,在很久以前,就有學生在Reddit上開始討論,如何利用Edgenuity作弊。

2萬間美國學校用的「AI閱卷系統」有個家長老師不知道、所有學生都知道怎麼拿高分的Bug

在這個討論帖下方聚集了很多同學評論,分享線上作弊技巧。其中一位學生表示,幾乎他每一次Edgenuity平台考試都會作弊。對這些同學來說,就像是在討論什麼遊戲的秘技一樣。

其實不管在什麼時代,只要有考試,就會有作弊的現象產生。

只是,在過去人力監考的時代,學生作弊要欺騙的是監考官,或是在現代考場上,要欺騙的可能還包括監控系統。

但是,當線上測驗的時代,學生要欺騙的就變成了演算法或是大數據,這也是一種時代的進化。

 

 

 

 

janus
作者

PC home雜誌、T客邦產業編輯,曾為多家科技雜誌撰寫專題文章,主要負責作業系統、軟體、電商、資安、A以及大數據、IT領域的取材以及報導,以及軟體相關教學報導。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則