RetroArch萬用模擬器語音朗讀功能再進化,自動翻譯呼之欲出

RetroArch萬用模擬器語音朗讀功能再進化,自動翻譯呼之欲出

ADVERTISEMENT

先前筆者曾介紹過RetroArch將透過光學文字系統(OCR)自動辨識遊戲字幕,並透過語音引擎將文字唸出來的功能,別急,這個功能還在開發中,不過從進度更新中,我們可以看到朗讀的流暢度明顯提升,而且官方也表示將會整合翻譯功能,協助玩家跨越語言隔閡。

OCR辨識立大功

OCR由Optical Character Recognition縮寫而來,中文翻譯為光學字元辨識,指的是將圖像中的字辨識成電腦的文字檔,舉例來說用掃瞄器掃瞄文件後,再將文件圖檔轉換成文字檔,就是利用這種技術。

而RetroArch的作法則是在模擬遊戲的過程中,辨識畫面中出現的字,並將這些字以圖檔的型式送到辨識系統,再轉換成文字檔。有了文字檔之後,我們就能輕鬆處理這些遊戲中出現的字,比方將它們送到語音合成系統、翻譯系統,將文字朗讀出來或翻譯成其他語言。

先前RetroArch開發團隊所展示的開發進度,需要在遊戲執行過程中不斷暫停,等待系統完成辨識,才會朗讀文字並繼續遊戲,這樣會大幅影響遊戲的流暢度。而在這次的進度更新中,可以看到辨識的效率大幅提升,雖然語音會比字幕晚幾秒出現,沒辦法達到即時朗讀的理想目標,但已經不需暫停遊戲,能讓玩家在不受干擾的情況下享受遊戲內容。

▲從影片中可以看到,系統不需暫停遊戲也能將文字朗讀出來。

在《雷神之鎚》中,系統可以辨識並朗讀出現於畫面中央與左上的文字,而且不需中斷遊戲。

《洛克人4》的開場動畫也能朗讀。

《聖劍傳說3》的字幕也通過辨識考驗。

《惡魔城傳說》開場動畫中的字幕會不斷向上捲動,系統也能成功辨識並朗讀。

還能外掛翻譯軟體

先前筆者就曾推測RetroArch在加入OCR功能後,下一步應該就是劍指翻譯功能,在這次的更新中,RetroArch開發團隊證實了這個猜測。

開發團隊表示正在研究將VGTranslate輕量級翻譯伺服器導入RetroArch,玩家可以在Windows或Linux電腦上架設伺服器,並透過網路將RetroArch擷取的文字資料送至伺服器,以達到翻譯遊戲內文字的效果。

這樣做的好處是可以將翻譯過程的運算需求與資料庫,從執行RetroArch的裝置轉移到另1台電腦,如此一來即便是Raspberry Pi等效能相對貧弱的單板電腦,也能享受翻譯功能。

RetroArch開發團隊也正著手整合翻譯功能。(圖像僅為示意)

然而開發團隊也提到OCR的困難之處,比方OCR引擎難以辨識遊戲標題畫面中的標誌(通常都是圖像化的特殊字體),而且如果日文遊戲的文字框採用半透明設計的話,在辨識日文字的時候就容易受到背景圖像干擾,產業準確度不理想的問題。

從目前的開發進度來看,這個功能已經可以在許多遊戲中正常運作,但有些遊戲的效果則受文字顯示方式影響而比較不理想。即便如此,開發團對仍表示會持續改善,並提升OCR、翻譯功能的相容性。

國寶大師 李文恩
作者

電腦王特約作者,專門負責硬派內容,從處理器、主機板到開發板、零組件,尖端科技都一手包辦,最近的研究計畫則包括Windows 98復活與AI圖像生成。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則