DeepFake換臉詐騙要怎麼破解?叫他「向左向右~轉」

DeepFake換臉詐騙要怎麼破解?叫他「向左向右~轉」

ADVERTISEMENT

DeepFake被應用到了電信詐騙要怎麼破解?讓他轉過頭,看看他的側臉就好了。 

DeepFake換臉詐騙要怎麼破解?叫他「向左向右~轉」

DeepFake一直以來都存在著這樣一個漏洞:當偽造的人臉完全側著(轉90°)時,真實性就會急劇下降。

為什麼會出現這樣的結果呢? 有這麼一篇文章,解析了為什麼在側臉的情況下,臉部偽造的效果大打折扣。

側臉失真的原因

橫向限制

使用DeepFake換臉,當人臉是側角度時,真實性會急劇下降。這是因為大多數基於2D的臉部對齊演算法,捕捉到側視圖的特徵點數量僅為主視圖的50%-60%。 

以「Joint Multi-view Face Alignment in the Wild」中的Multi-view Hourglass臉部對齊模型為例。透過從臉部辨識特徵點,以此為學習資料來訓練模型。 從圖中可以看出,正面對齊時辨識到68個特徵點數量,而在側面對齊時,僅僅辨識到39個特徵點數量。

DeepFake換臉詐騙要怎麼破解?叫他「向左向右~轉」

側面輪廓視圖隱藏了50%特徵點,這不僅會妨礙辨識,還會干擾訓練的準確性以及後續人臉的合成。 

DeepFake專家Siwei Lyu博士表示: 

對於當前的DeepFake技術來說,側臉確實是一個大問題。臉部對齊網路(facial alignment network)對於正面效果非常好,但對於側面效果不太好。

這些演算法有一個基本的限制:如果你只覆蓋你的臉的一部分,對齊機制就可以很好地工作,並且在這種情況下非常強大,但是當你轉身時,超過一半的特徵點丟失了。

普通人影像資料「沙漠」

換臉要達到比較逼真的效果,還得經過大量的訓練,這意味著需要有足夠的訓練資料。有人透過訓練大量的資料,將傑瑞·賽恩菲爾德人臉替換到到《低俗小說》(1994) 中的場景中。 

獲得的側臉圖像也很難看出破綻:

DeepFake換臉詐騙要怎麼破解?叫他「向左向右~轉」

但是達到如此逼真的效果,是經過了大量資料的訓練,在上述這個例子中,電視節目「Seinfeld」就為此次訓練提供了長達66個小時的可用鏡頭。 

而相比之下,除了電影演員之外,普通人的影像資料都少之又少,並且在平時拍照記錄時,很少有人會記錄完全呈90°的側臉照。因此,透過DeepFake偽造的人臉很輕易就在側臉時露出破綻。 

也有網友在Hacker News上調侃道:

最近去一家不知名的銀行辦了張卡,竟然需要我的側身照,當時我還很疑惑,現在我終於知道為什麼了。

用手在面前晃動也可以辨識偽造的臉

視訊通話時判斷對方是不是DeepFake偽造的,除了透過側臉判斷,還有一個小方法:用手在面前晃動。 

如果是偽造的人臉,手與臉部圖像的疊加可能會出現錯亂,並且手在晃動過程中會出現延遲現象。  

即時的DeepFake都會面臨這樣一個問題:需要將真實的遮擋物疊加到不真實的臉部圖像上,一般稱這個操作為「遮罩」或「去背」。 並且,即時DeepFake模型需要能夠根據要求隨意執行去背,達到可令人信服的水準。 

但往往也會有很多混淆的遮擋物來影響「去背」的過程,比如說具有人臉特徵的遮擋物會給模型造成「困擾」,使其「去背」過程很難進行。 

用手在偽造的臉前晃動,遮擋物的快速移動會給「去背」帶來很大的困難,進而造成很大的延遲,並且會影響疊加的品質。 

One More Thing

換臉犯罪時有所聞,已經有媒體報導過有嫌疑犯透過DeepFake換臉進行IT工作的遠端面試,以試圖侵入公司,獲取他們的客戶或財務資料,以及企業IT資料和專業資訊等。

DeepFake換臉詐騙要怎麼破解?叫他「向左向右~轉」

美國聯邦調查局(FBI)曾致函其網路犯罪投訴中心,稱收到過多起投訴,有人利用竊取的資訊和深度偽造的影片、語音申請遠端技術工作。 

在聯邦機構5月份報告中描述的案例中,一些換臉嫌疑人透過幾層空殼公司進行操作,這使得辨識他們的身份變得更加困難。 

參考連結:

使用 Facebook 留言

發表回應

謹慎發言,尊重彼此。按此展開留言規則