Google Pixel 2動態照片背後的技術,利用光學穩定器與演算法讓影像不晃動

Google Pixel 2動態照片背後的技術,利用光學穩定器與演算法讓影像不晃動

ADVERTISEMENT

隨著智慧型手機的相機功能與攝影品質越來越精進,雖然在品質部分可能還無法完全取代數位相機,但是因為方便考量,許多使用者已經捨棄數位相機,全以智慧型手機記錄生活大小事。廠商也無不致力於強化智慧型手機的拍照功能,不但搭載更強悍的光學元件,也透過演算法強化防手震效果。

透過極短片記錄生活

有許多智慧型手機搭載動態照片功能(Motion Photo),可以拍攝長度為3秒的短片,如此一來使用者就不必在要拍攝照片或影片之間抉擇。然而影片與照片之間的差異除了動態與靜態之外,另一個問題在於拍攝影片時若是一面走動,或是沒有將手機拿穩,就會發生畫面晃動的狀況。

為了改善這個情況,Google開發了Android平台Motion Stills技術與App,強化防手震效果。它是透過分析影片的每個畫格,計算每個物件的動態向量,並分辨這些向量屬於前景或背景物件。這種以純軟體運作的方式,雖然能適用於多數Android裝置,但是整體效果還是有所限制。

▲Motion Stills App中有許多功能,影像穩定也包含其中。

結合軟、硬體功能降低晃動

在Pixel 2智慧型手機上,Google的研發團隊結合了以軟體為基礎的影像辨識追蹤,以及以硬體為基礎的動態感應偵測,開發了新的動態預估以及混合式影像穩定技術,有助於提供比Motion Stills或是純硬體技術更穩定的拍攝成果。

每當使用者按下快門的時候,系統就會擷取1張靜態照片以及3秒的動態影片,而在拍下的影片時,也會將拍攝當時陀螺儀以及光學影片穩定器記錄的動態資訊(手機移動、晃動的情況)一併保留下來,做為影像調整與穩定化的參考數據。

由於Motion Stills只能透過影像辨識來判斷晃動情況,難免會發生誤判的情況,而混合式影像穩定技術則可在影像辨識過成中納入動態資訊,提升判斷的精準度。

在系統能夠準確預估影片中背景晃動狀態後,就能透過影像處理的方式,將背景「貼齊」在固定位置,受益於混合式影像穩定技術,即便影片的場景很複雜、有多種不同距離的景物,或是前景的物件佔據大半畫面,都能有效降低晃動的情況,

Google Pixel 2動態照片背後的技術,利用光學穩定器與演算法讓影像不晃動

Google Pixel 2動態照片背後的技術,利用光學穩定器與演算法讓影像不晃動

▲即便在移動中拍攝,穩定效果也有不錯的表現。(點我看Gif動態圖檔,檔案尺寸約4.2MB)

Google Pixel 2動態照片背後的技術,利用光學穩定器與演算法讓影像不晃動

Google Pixel 2動態照片背後的技術,利用光學穩定器與演算法讓影像不晃動

使用Pixel 2拍攝動態短片時,系統只會儲存原始影片以及容量很小的附加資訊,並在播放影片的當下,透過繪圖處理器的著色器(GPU Shader)即時處理影像。如果使用者想要分享穩定的影像也不是問題,只要透過Google Photos,就能將原始影片轉換成穩定的影片或Gif動態圖檔,並上傳至社群網站或傳送給朋友,如此一來其他裝置也能看到穩定處理後的影片。

國寶大師 李文恩
作者

電腦王特約作者,專門負責硬派內容,從處理器、主機板到開發板、零組件,尖端科技都一手包辦,最近的研究計畫則包括Windows 98復活與AI圖像生成。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則