Google如何融合4種工法,為Pixel 2、Pixel 2 XL帶來更強大的防手震功能

Google如何融合4種工法,為Pixel 2、Pixel 2 XL帶來更強大的防手震功能

ADVERTISEMENT

智慧型手機已經成為我們日常生活中最常使用的攝影器材,無論男女老少都隨時以照片或影片記錄生活點滴。廠商為了避免拍攝影片的時候,因晃動而造成影像模糊的情況,都會在手機上加入光學或是電子防手震功能,而Google在Pixel 2、Pixel 2 XL全新的融合式影像穩定器,能帶來更優異的穩定效果。

4種典型手震狀況

攝影最基本的要訣,就是要平穩的拿著相機,如此一來才能拍下清晰的影像,但是許多人在使用智慧型手機拍照時,都是單手拿著手機,而且手機的造型也不如相機容易握緊,所以往往造成照片、影片模糊不清的問題。

最常見的手震就是「手部晃動」,指拍攝時無法平穩持握手機,即便我們輕輕吐氣或閉氣,雙手還是無法像三腳架一樣完全不晃動,然而當我們在行走或跑動中拍攝時,晃動的情況就會更加明顯,以至於幾乎看不清楚影像。

另一種手震的情況稱為「動態模糊」,如果在影像曝光期間手機或物件有所移動的話,拍出來的影像就會相當模糊,通常會造成的結果就是拍出來的影片時而銳利、時而模糊,棘手的是即便手機處於平穩狀況,這個問題還是可能會產生(肇因於外部物體移動,如飛行中的鳥),而且每個畫格之間情況都會有所不同,所以處理起來比較麻煩。

如果在拍攝影片的過程中,有多個物體在遠近間交替出現,使得對焦系統需要不斷重新對焦時,就會產生「失焦呼吸」狀況,也會讓畫面在銳利與模糊之間跳動,造成觀看的不適。

最後的狀況稱為「轉動鬼影」(Rolling Shutter),由於CMOS感光元件每次只會擷取1個橫排的像素(稱為掃描線),並以幾微秒的速度切換至下排像素,當感光元件從頂到底擷取1輪後,就能拼出完整的畫面,這期間內的任何晃動或移動、轉動都會造成影像變形,而移動幅度越大造成的情況會越明顯。

▲手震顧名思義就是拍攝時無法平穩持握手機,造成錄下的影像有所晃動。

▲動態模糊的典型案例就是影片時而銳利、時而模糊。

▲失焦呼吸是不斷變換焦距所致,會讓畫面如呼吸的節奏般在銳利與模糊間變化。

▲轉動鬼影會讓畫面中物體變形,產生不自然的抖動狀況。

手機內建光學與電子防手震

手震的影響對於拍攝影片更為明顯,比較專業的攝影師可能會搭配機械式三軸穩定器,降低畫面晃動的狀況,但是這些設備的價格並不便宜,而且相對於手機來說比較笨重,攜帶上不是很方便,所以接受度並不是很高,因此智慧型手機主要就是透過內建的光學與電子防手震功能,來對付這個問題。

光學防手震(Optical Image Stabilization,OIS)的運作原理與汽車的避震器有點類似,它是靠著彈簧與電磁鐵作為懸吊系統,透過機械運動的方式抵消鏡頭模組晃動,由於光學防手震系統能夠快速對手機的晃動做出反應,所以對改善因晃動造成的模糊有著顯著的效果,但它的缺點就是能夠修正的範圍比較有限,大約只能消除1至2度左右的晃動情況,對於消除行進間拍攝的晃動還不太足夠,而且也無法修正特定模式的晃動,例如當手機前後晃動時,反而會讓畫面產生果凍狀抖動。

至於電子防手震(Electronic Image Stabilization,EIS)則是透過感應器偵測手機的晃動狀況,並透過演算法消除晃動的部分,並重新組合出平穩的影像。通常來說,以軟體方式運作的電子防手震系統,使用彈性會比以硬體方式運作的光學防手震系統大,能夠應付更多種晃動模式,但是它的限制就是為了消除晃動,必需裁切一部分的畫面,會讓影片解析度有所犧牲,另一方面,電子防手震的運作完全仰賴演算法,因此演算法本身的優劣,以及裝置的運算能力(這對效能與電力有限的手機來講是個致命傷)都會影響整體效果。

▲當手機前後晃動時,反而會讓光學防手震系統產生果凍狀抖動。 

結合各家之長

Google研發的融合式影像穩定器(Fused Video Stabilization)結合了光學與電子防手震的長處,並分成3階段處理影像。

第一階段是動態分析,系統會透過陀螺儀以每秒200次的頻率偵測手機的晃動狀態(旋轉、俯仰、偏向),以及鏡頭光學防手震與對焦模組移動的狀態(X、Y、Z軸平移),並透過演算法計算每條掃描線的動態,以消除轉動鬼影。

接下來的第二階段為動態過濾,系統會將真實拍攝到的影像修正,並暫存為「虛擬影像」,以利後續處理。這時候系統還會在機器學習的協助下分析影像訊號,以預測使用者的未來移動、晃動模式,並進行前瞻動態過濾(Lookahead Motion Filtering),進一步降低虛擬影像的晃動。

在最後的階段中,系統將影像切成許多小格,分別消除每區塊中的轉動鬼影,以及將動態分析取得的資料與曝光的起迄時間比對,找出失焦呼吸的精準時間點,再透過機器學習演算法以清晰的影像取代模糊的影像,並在處理完成後合成、輸出最終畫面。

Google如何融合4種工法,為Pixel 2、Pixel 2 XL帶來更強大的防手震功能

▲融合式影像穩定器會以3階段步驟降低影像晃動情況。(圖片來源:Google

▲轉動鬼影也可以透過融合式影像穩定器消除。

▲失焦呼吸則是以影片中清晰的部分取代模糊的部分來強化畫質。

▲融合式影像穩定器的效果展示,可以看到開啟功能的右半部影片的晃動情況獲得明顯改善。

▲即便在跑動中拍攝影片,影像依然相當清晰。

手機也能輸出4K畫質

融合式影像穩定器結合了光學與電子防手震機制的優點,能夠大幅提升輸出影像的穩定性,並改善原本畫面中模糊的部分,而且以Pixel 2智慧型手機的效能,就足夠處理解析度為4K、每秒60格的影片,讓手機也能享受出色的防手震效果。

國寶大師 李文恩
作者

電腦王特約作者,專門負責硬派內容,從處理器、主機板到開發板、零組件,尖端科技都一手包辦,最近的研究計畫則包括Windows 98復活與AI圖像生成。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則