康乃爾大學提出RAISR技術,透過機器學習提升照片圖像銳利度

康乃爾大學提出RAISR技術,透過機器學習提升照片圖像銳利度

在我們日常生活中,許多數位的圖片檔案都經過縮放處理,無論是照片後製、裁切,還是在顯示時配合螢幕尺寸進行調整,都會改變圖片尺寸。然而要將小圖放大的時候,往往會產生許多鋸斷或模糊等狀況,為了要讓增加圖像的品質,研發團隊利用機械學習改善處理流程,讓放大後的圖像更加清晰銳利。

快又精準地提升圖像品質

RAISR的全名是Rapid and Accurate Image Super-Resolution,意思是「快速、精確的超解析度」技術,其用途為能夠在放大圖像的過程中維持清晰度。該技術由美國康乃爾大學(Cornell University)的Yaniv Romano、John Isidoro、Peyman Milanfar等人提出,完整的論文以從這邊下載

該篇論文提到,我們都希望能在放大圖片的過程中,讓圖像能夠具有更大的尺寸、更多的像素,以呈現更高的畫質,但如果只是使用一般的濾鏡處理,可能會讓圖像便成充滿馬賽克或是模糊不清。

RAISR的做法是提供電腦充足的訓練資料,例如成對的高畫質與低畫質圖片,就能瞭解運用哪些濾鏡的組合,能夠帶來更好的放大品質。在電腦「學會」如何放大圖片之後,就能將成果套用於訓練資料以外的其他圖片。

更棒的是根據研發團隊表示,使用RAISR處理圖片的速度,比現今最理想的處理方式約快上10到100倍,而且能夠得到差不多或是更好的圖像品質,也就是說這種技術相當適合應用在智慧型手機、平板電腦等運算效能較低的裝置。

康乃爾大學提出RAISR技術,透過機器學習提升照片圖像銳利度

▲左圖為使用雙線性(Bilinear)濾鏡,放大後的圖像顯得相當模糊。中央為RAISR在學習階段產生的圖像,右方為學習完成的圖像,可以看到圖像比較清晰。(圖片來源:RAISR: Rapid and Accurate Image Super Resolution,下同)

康乃爾大學提出RAISR技術,透過機器學習提升照片圖像銳利度

▲圖為另一組範例,左方的圖a為原始圖片,右方圖b為使用雙三線性(Bicubic)放大的圖片。

康乃爾大學提出RAISR技術,透過機器學習提升照片圖像銳利度

▲左方的圖c為使用RAISR、無進行銳化學習,右方圖d為使用RAISR、有進行銳化學習。

康乃爾大學提出RAISR技術,透過機器學習提升照片圖像銳利度

▲左方為混用圖b與c的成果,右方則為混用圖b與d,可以看到放大後的圖像仍能維持銳利、無鋸齒且不模糊的高品質。

2種不同訓練方式

RAISR具有2種不同的學習模式,第一種是直接學習模式,系統會直接在低畫質圖片上套用各種濾鏡,並與高畫質圖片相互比對,看看在什麼樣的組合之下會得到最好的法大品質。

至於第二種方式則是間接學習模式,系統會先對低畫質圖片進行效能需求較低的升頻(即放大圖片尺寸),然後在將濾鏡套用至升頻後的圖片,最後才與高畫質圖片進行比對。相較起來,直接模式的處理速度比較快,間接模式雖然比較慢,但是能夠處理非整數倍放大的圖片。

無論使用哪種模式,RAISR都會根據圖像中亮暗梯度、色彩梯度、紋理等等邊緣的特徵進行學習,例如邊緣呈現的角度、強度(Strength,銳利的邊緣具有較高的強度)與一致性。

RAISR可以在約1小時內,完成10,000組配對圖片的學習,並得知最適合的慮鏡應用組合。相較於使用線性(Linear)、雙三線性(Bicubic)、Lancos等濾鏡放大圖片,RAISR可以保留更多細節並提供更清晰的圖像,有助於在縮放圖片的時候,降低運算效能需求,並提升圖像品質。

康乃爾大學提出RAISR技術,透過機器學習提升照片圖像銳利度

▲從另一組RAISR範例中可以看到,左方為原始圖像,中央為使用雙三線性濾鏡,圖像較為模糊,右方為使用RAISR,圖像清晰許多。(圖片來源:Google,下同)

康乃爾大學提出RAISR技術,透過機器學習提升照片圖像銳利度

▲上方為原始圖像,下方為使用2倍RAISR放大,毛髮細節更加清楚。

康乃爾大學提出RAISR技術,透過機器學習提升照片圖像銳利度

▲左方為原始圖像,右方為使用3倍RAISR放大,從背景的樹葉可以看出明顯差異。

康乃爾大學提出RAISR技術,透過機器學習提升照片圖像銳利度

▲左方為原始圖像,具有嚴重的混疊(Aliasing),右方使用RAISR處理,能夠消除不正常的紋路。

國寶大師 李文恩
作者

電腦王特約作者,專門負責硬派內容,從處理器、主機板到開發板、零組件,尖端科技都一手包辦,最近的研究計畫則包括Windows 98復活與AI圖像生成。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則