Google Pixel 4手機如何拍下美麗星空?全新Night Sight技術大解析

Google Pixel 4手機如何拍下美麗星空?全新Night Sight技術大解析

ADVERTISEMENT

天文攝影是Google Pixel 4智慧型手機最大的創新功能之一,讓使用者可以利用手機拍下閃爍耀眼的星空照片,我們先前也曾實際測試過這個功能。然而使用智慧型手機拍攝星空會遇到什麼難題,研發團隊又是怎麼克服這些挑戰,就讓Google的軟體工程師為大家解說吧。

手機夜拍再突破

Google Research的軟體工程師Florian Kainz和Kiran Murthy在官方部落格說明了Night Sight功能的運作原理。他們提到在這之前天文攝影都是單眼相機等大型器材的天下,攝影師需要攜帶笨重的設備,並透過繁雜的後處理、修圖,才能呈現理想的圖像品質。

Google在去年於Pixel 3系列智慧型手機推出的Night Sight夜拍功能,能讓手機在低光源的環境下拍出亮麗的照片,而不像一般手機會有顆粒狀雜點、嚴重曝光不足的問題。讀者可以參考筆者先前撰寫的《深入研究Pixel 3 Night Sight神夜拍,疊圖技法立大功》,或《Pixel 3相機系列文章》。

而到了2019年,研發團隊推出新版Night Sight,再次突破透過手機相機在低光源環境攝影的極限,藉由在Pixel 4上最多曝光4分鐘,或在Pixel 3和3a上最多曝光1分鐘,達到在沒有任何人造光的情況下,拍攝清晰夜空照片的效果。

以Pixel 4在夏威夷哈萊亞卡拉火山所拍攝的星空,照片中的細節遠遠超過肉眼所能看見的範圍。(圖片來源:Google,標題圖與下同)

疊圖取代長曝光

相機的感光元件在運作的過程中,原本就有一些稱為散粒雜訊(Shot Noise)的不確定性,會讓拍攝出來的照片看起來比較粗糙,而散粒雜訊會隨著光通量(相機捕捉到的光線總量)的增加而下降,所以為了要增加圖像的細膩度,需要盡可能讓更多光線進入相機。

我們有2種方式可以增加光通量,第1種方式就是加大相機的感光元件或光圈,然而這些變因屬於硬體規格的限制,只能透過更換設備的方式達成,而第2種方式為增加快門時間,透過延長曝光時間以增加捕獲的總光線量,然而增加快門時間的副作用,就是會讓移動中的物品留下殘影(比方拍攝夜間車燈的光軌就是用這個方式),或是因為手震讓照片變得模糊。

為了解決這個問題,Night Sight會將整個曝光時間拆分為多段,拍下多張曝光時間較短的照片,以減輕每張照片的模糊狀況,然後再修正各張照片因物品移動與手震造成的模糊,並將所有照片對齊、疊加在一起,然後仔細處理無法完美對齊的區域,讓相對模糊的多張照片合成1張清晰的照片。

開發團隊也提到,在初代Night Sight發表後,他們便開始嘗試在黑暗的室外環境拍攝星空,但也注意到需要數分鐘的曝光時間才能產生高品品質的照片,因此不適合用於手持手機拍攝,需要以三腳架固定手機,或將手機放在石頭或其他可以固定手機的地方。

值得注意的是,即便用三腳架固定手機,Night Sight的長曝光時間也會因場景中樹木隨風搖曳、雲朵飄蕩、月落日升等物品移動的狀況而留下殘影。然而我們可以忍受樹枝和雲朵有些模糊,確無法忍受星星呈現線條的形狀。因此在實驗後,開發團隊發現拍攝夜空照片時,各段曝光時間不應超過16秒,這樣能讓星星看起來像光點。

然而考慮到拍攝照片所需的時間,開發團隊認為很少願意為1張照片等上4分鐘,因此將Night Sight攝影的上限訂為最多可以疊加15張圖片,每張圖片曝光16秒,以在等待時間與照片品質間取得平衡。

Google Pixel 4手機如何拍下美麗星空?全新Night Sight技術大解析

▲如果曝光時間太長,星星看起來就會像模糊的線條,而非清晰的光點。

克服暗電流雜訊

暗電流(Dark Current)是指感光元件沒有受到光線照射時,還是會隨機產生微小電流,這讓拍攝光線量本來就很低的星空倍受挑戰,因為暗電流雜訊的比重可能跟星星的光線訊號強度差不多,當曝光時間很短時,這種影響可以忽略不計,但是對於長時間曝光而言,影響就變得更加明顯。

暗電流的肇因為感光元件晶圓製程無法避免的瑕疵,而感光元件的某些像素可能也會因其他瑕疵而在至照片中形成亮點,我們能做的是透過比較同張圖片與連續拍攝多張圖片中相鄰像素,找出異常的亮點,並將亮點移除後用周圍像素的平均值取代,雖然這樣會損失原始像素資料,但實際上這不會對整體圖像品質造成顯著影響。

加長曝光時間會加劇暗電流產生如左圖的雜訊,右圖則是消除異常雜點後的效果,可以看到包括微弱燈光等細節都被保留下來。

(下頁還有更多技術說明)

國寶大師 李文恩
作者

電腦王特約作者,專門負責硬派內容,從處理器、主機板到開發板、零組件,尖端科技都一手包辦,最近的研究計畫則包括Windows 98復活與AI圖像生成。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則