相關文章

B051790e00d89500fdd688b4cfd88da6 長久以來數位變焦都不是太受歡迎的相機功能,拍攝出來的效果也無法與光學變焦相比,所以就衍生出大型相機上的複雜光學與機械系統,是無法被輕巧的行動裝置取代的印象。但是Pixel 3就透過聰明的Super Res Zoom技術與演算法強化拍攝品質,讓智慧型手機能夠拍出更加清晰的照片。

數位變焦的挑戰

Google的軟體工程師Bartlomiej Wronski與數位影像研究人員Peyman Milanfar、Lead Scientist在Google AI部落格發表文章,詳細說明Pixel 3所使用的Super Res Zoom技術。

說穿了Super Res Zoom就是強化版的數位變焦,數位變焦指的是透過重建在取樣過程中遺失的細節的方式,將解析度比較低的照片升頻為解析度比較高的版本,以白話來解釋,就是將小圖片放大產生大圖片。

重建細節的困難之處,在於原始小圖片資料的不完整,造成在放大的過程中該如何填補新產生的空缺像素,就是個棘手的問題。如果單純放大而不處理,大圖片就會有很多馬賽克鋸齒,如果使用傳統常見的線性內插法(也稱為補差點,可以理解為將臨近像素取平均,填入新像素),則會讓大圖片變的模糊。如果需要進一步提升品質,就需仰賴如研發團隊先前提出的RAISR演算法 (可參考筆者先前的文章),在放大圖片時,透過機械學習的協助重建圖片的邊緣、紋理的銳利度。

Pixel 3如何透過Super Res Zoom技術,不需變焦鏡頭就能拍出清晰照片

紅、綠、藍三色分離與合成也是痛點

數位變焦的另一大挑戰,就是現在的數位相機大多採用拜爾濾色鏡將紅、綠、藍等三原色過濾後,再投射到感光元件上,讓感光元件的每個像素都只會接觸到固定的1種顏色,如此一來運作時感光元件只需測量光線的強度,而不需分辨光線的顏色。

由於人眼對綠色比較敏感,所以典型的拜爾濾色鏡是以2 x 2像素為基本單位,其中包含2個綠色與紅、藍各1。

現在問題來了,因為要將透過拜爾濾色鏡感應到的光線訊號,回復成連貫的彩色資訊,就需經過去馬賽克(Demosaicing)的手續,而過程也會遇到臨近像素缺乏各色訊號的問題。例如紅色濾色鏡周圍的區域就無法感應紅色訊號,需要透過內插法或其他更複雜演算法推測空缺的區域的訊號。

由於大型相機的感光元件可以捕捉更多訊號,所以重建各色資訊的品質會比較好,但對於智慧型手機來說,重建品質就不會太理想,如果再搭配以數位變焦的方式放大照片,最終的照片品質可想而知不會太好,

Pixel 3如何透過Super Res Zoom技術,不需變焦鏡頭就能拍出清晰照片

Pixel 3如何透過Super Res Zoom技術,不需變焦鏡頭就能拍出清晰照片

Pixel 3如何透過Super Res Zoom技術,不需變焦鏡頭就能拍出清晰照片

(下頁還有的如何解決拜爾濾色鏡問題的方式)

使用 Facebook 留言

發表回應

謹慎發言,尊重彼此。按此展開留言規則