480p動畫秒變1080p!新的開源演算法任何畫質即時變成4k,延時僅3毫秒

480p動畫秒變1080p!新的開源演算法任何畫質即時變成4k,延時僅3毫秒

有個名叫Anime4K的開源演算法,能在動畫播放中,即時把畫面變成4k,延時低至3毫秒。能把720p/1080p變成2160p,也能把480p變成1080p。

看動畫的時候,總會覺得畫質不夠好,就算已經有1080p,還是會感到不夠清晰。

所以,這個世界十分需要一套拯救解析度的魔法。

如今,有個名叫Anime4K的開源演算法,能在動畫播放中,即時把畫面變成4k,延時低至3毫秒。

能把720p/1080p變成2160p,也能把480p變成1080p。

告別AV畫質:實時把動畫變成4k高清,延時僅3毫秒,登上GitHub趨勢榜

團隊說,這是當下最強 (State-of-the-Art)的動畫即時超解析度成像方法,可以拿任何編程語言實現。

現在,項目已經在GitHub摘下3700多顆星,並一度登上了趨勢榜。

那麼,這個演算法究竟是如何造福人類的?

只做動畫

團隊在論文裡感慨道:

傳統超解析度成像演算法(如Bicubic) ,結果不怎麼好,因為它們根本不是為了動畫而生的。

傳統的去模糊(Unblurring)或銳化(Sharpening)方式,在靠近物體邊緣的時候會發生過衝 (Overshoot) ,分散觀眾注意力,降低圖像的感知品質(Perceptual Quality) 。

而機器學習方法(如waifu2x)又太慢,完全不能即時(<30毫秒) ,尤其是需要超高解析的時候。
△ waifu2x

而Anime4K,只處理動畫就夠了,不考慮其他影片類型。這一點很重要。

動畫沒有真實影片那麼多紋理(Textures) ,基本都是用平直著色法(Flat Shading) 處理的物體和線條。

只要畫質變好一點點,觀眾也看得出。所以團隊機智地想到,不用做整張的畫質提升,專注於細化邊緣就可以了,紋理之類的細節不重要。

具體怎樣做,要從超解析度成像的原理開始講:

告別AV畫質:實時把動畫變成4k高清,延時僅3毫秒,登上GitHub趨勢榜

首先,一張圖可以分為兩部分:

一是低頻分量,就是一張模糊的低解析度圖。二是高頻殘差,代表兩種解析度之間的差別(Difference) 。

輸入一張低解析度圖,把它變成一個更低解析度的版本,就能得出一個殘差。

把殘差變薄 (Thin) 、銳化 (Sharpen) ,再加到低解析度圖上,就能得到一張高解析度圖。

但殘差稍稍有點錯誤,就會造成振鈴和過衝,影響效果。這也是前輩的缺陷所在。

於是,團隊找到了一種新方法:

首先把殘差厚度最小化當做目標,這個沒有問題。
但直接把隨意變換(Arbitrarily Transformed)得到的殘差,用到一張低解析度圖上是不行的。低解析度圖要做出相應改變,才能與殘差和平相處,得出理想的超解析度成像結果。
所以,當輸入一張圖和它的殘差之後,「push」殘差的像素,讓殘差線變細;
同時,每做一個push,都要在彩色的低解析度圖上,執行一個相同的操作。

這樣,既能把模糊最小化,也不會出現振鈴和過衝,這兩個降低畫質的現象。

比一比吧

這場比賽,Anime4K (最右)的對手有:來自madVR的不開源演算法NGU前輩(左二) ,以及開源的機器學習演算法waifu2x前輩(左三) 。

第一題,眼睛:

告別AV畫質:實時把動畫變成4k高清,延時僅3毫秒,登上GitHub趨勢榜

告別AV畫質:實時把動畫變成4k高清,延時僅3毫秒,登上GitHub趨勢榜

第二題,耳朵:

告別AV畫質:實時把動畫變成4k高清,延時僅3毫秒,登上GitHub趨勢榜

第三題,手:

告別AV畫質:實時把動畫變成4k高清,延時僅3毫秒,登上GitHub趨勢榜

第四題,全臉:

告別AV畫質:實時把動畫變成4k高清,延時僅3毫秒,登上GitHub趨勢榜

waifu2x前輩的效果,明顯不及Anime4K,常見虛影。速度也有明顯缺陷,每張圖耗時超過1秒。

NGU前輩生成的畫質,與Anime4K相近,但也常常被Anime4K打敗。

不止如此,NGU每張耗時~6毫秒,Anime4K只要~3毫秒,快了一倍,更加適應即時生成的需求了。

效果相近的話,為啥不直接用NGU?因為不開源。

如果,你覺得720p/1080p的動畫,沒必要變成4K這麼奢侈,那還可以把480p拯救到1080p啊:

告別AV畫質:實時把動畫變成4k高清,延時僅3毫秒,登上GitHub趨勢榜

告別AV畫質:實時把動畫變成4k高清,延時僅3毫秒,登上GitHub趨勢榜

依然,Anime4K和沒開源的NGU不相上下。

最後,儘管已經獲得了精湛的畫質提陞技能,團隊也沒有就此拋棄機器學習的力量。

因為在拯救靜止畫作(而非動畫)的時候,Anime4K的短板顯現了。這時候,讓機器學習選手waifu2x和它並肩作戰,更加成功一些:

告別AV畫質:實時把動畫變成4k高清,延時僅3毫秒,登上GitHub趨勢榜

告別AV畫質:實時把動畫變成4k高清,延時僅3毫秒,登上GitHub趨勢榜

需要即時為動畫提升解析度,還是只用Anime4K吧。

反正也已經開源了。

Qbitai
作者

量子位(Qbitai)專注於人工智慧及前沿科技領域,提供技術研發趨勢、科技企業動態、新創公司報道等最新資訊,以及機器學習入門資源、電腦科學最新研究論文、開源程式碼和工具的相關報導。

使用 Facebook 留言

Haza
2.  Haza (發表於 2019年10月11日 09:08)
因為不開源就不用到底是什麼鬼理由?你有因為不開源就沒有用windows跟photoshop嗎?說到底好用與否跟效果有沒有比現有的工具好才是重點吧╮(╯_╰)╭

發表回應

謹慎發言,尊重彼此。按此展開留言規則