Marc Levoy，一個用演算法改變了Android手機攝影發展方向的男人

與 Google 相遇

Levoy 原本就是一位攝影愛好者，在他的個人網站上還能看到不少他拍攝的照片。而他和 Google 的相遇則要從史丹佛大學說起。1990 年，Levoy 進入史丹佛大學電腦科學系，主要教授電腦圖形學、數位攝影、藝術科學等課程。

▲ Marc Levoy

1993 年，Levoy 借了一些磁碟給博士生 David Filo 和 Jerry Yang，他們用這些磁碟建立了一個 Internet 目錄網站，這個網站之後被稱為 Yahoo。同為博士研究生的拉里・佩奇（Larry Page）和謝爾蓋・布林（Sergey Brin）則在離 Levoy 辦公室兩扇門遠的地方研究Internet索引，後來他們創立了一個搜索網站——Google。

▲ Google 創始人拉里・佩奇和謝爾蓋・布林

拉里・佩奇和 Levoy 的研究生共用一個辦公室，而謝爾蓋・布林則是 Levoy 的電腦圖形課上的學生。在史丹佛，Levoy 幾乎是目睹了整個網路最重要的時代在他眼前崛起，而由於他和 Google 創始人的師生關係，漸漸與 Google 有了越來越多的聯繫。

拉里・佩奇和謝爾蓋・布林離開史丹佛創立 Google 後，很快投資了一個由 Levoy 主導的研究計畫 CityBlock ，透過拍攝影片並將其複製到圖片中，再透過計算處理等方式復原實際情境，也就是後來被 Google 商業化的 Google 街景計畫。

Levoy 在運算攝影領域上的深厚造詣令 Google 團隊十分欽佩，以至於 Google X 實驗室遇到問題時第一時間想到了這位史丹佛教師。當時 Google X 正在研究一個名為 Google Glass 的產品，旨在推出一款可穿戴的「電腦」，而這台電腦將以眼鏡的形式出現。

據 Google X 實驗室發佈的部落格文章，由於 Google X 選擇了眼鏡這種可穿戴式的產品形態，對硬體的要求極高，就算是手機中常見的微縮型相機硬體模組，應用到 Google Glass 上還要保持較好的拍攝效果，也並非一件簡單的事。

▲ 早期的 Google Glass 原型

既然透過硬體實現很難、或者說幾乎不可能，是不是應該換一種思路，用軟體來解決呢。就這樣，Google X 找到了運算攝影領域的專家 Levoy 幫忙一起解決這個問題。

最終 Levoy 和 Google X 團隊研究出了一種名為 HDR 成像的演算法，即快速拍攝多張圖片，並透過計算處理合成出高品質的圖片。多張合成的方式可以更好的渲染暗部細節，同時又能保證高光處保持更高的清晰度。

與 Google X 合作期間，Levoy 自己還製作了一個 App——SynthCam，同樣是透過合成計算的方式，讓使用微縮相機模組的手機也能模擬單眼，實現拍攝主體之外內容逐漸模糊的效果。

▲ Levoy 用自制軟體 SynthCam 拍攝的圖片

儘管以現在的眼光來看，效果並不算特別好，但在當時已經是手機攝影領域的一次新突破了。

對於對運算攝影極強的興趣，也促進了 Levoy 從史丹佛退休後加入 Google 。

Pixel 系列，運算攝影的新起點

2014 年，Marc Levoy 從史丹佛退休，進入 Google 成為全職員工，並擔任了 Google 內部最具影響力的部門之一 Google Research 的領導人，主要負責研究運算攝影領域相關的事項。

在和 Google X 實驗室合作時，Levoy 就意識到了 HDR 演算法能應用在智慧型手機上，畢竟 Google Glass 和智慧型手機都是行動終端，便攜性是優勢。

就這樣，Levoy 帶領團隊在 Nexus 系列上嘗試應用 HDR 演算法，不過效果一直不算太突出，Nexus 系列最後一款機型 Nexus 6P，就算使用上 Levoy 團隊研發出的升級款 HDR+ 演算法， DxOMark 分數也只有僅僅 73 分，和當時的主流旗艦還有一段距離。

直到 Google CEO Sundar Pichai在 2016 年提出由「移動為先」轉為「AI 為先」的口號，Pixel 系列正是在這樣環境下誕生的。

整個公司的策略轉向，也讓專精於軟體計算領域的 Levoy 獲得更多的靈活度與資源，他成為了 Google 首款自研智慧型手機——Pixel 系列的相機團隊負責人，而相機正是 Pixel 系列的核心。

得益於 Pixel 用上了新的處理器驍龍 821，處理能力有不少提升，Levoy 能讓 HDR+ 演算法更舒暢自由的發揮，至少採集圖片和合成計算的速度提升了不少，不會出現 Nexus 系列上開啟 HDR 演算法一會後手機就會過熱，按下快門鍵後需要等待一會才能完成拍攝的情況。

2016 年 10 月 4 日，Google 正式發佈了 Pixel，它的相機模組和 Nexus 6P 相比並沒有太大變化，都是 1230 萬像素和 1.55 μm 的單像素尺寸，只多了一個相位對焦功能。

但 Pixel 卻讓整個業界為之震驚，它超越了同期旗艦 iPhone 7 Plus 和三星 S7 登頂了 DxOMark 榜單。硬體幾乎沒有太大變化，但拍照能力卻獲得了質變，可見 Levoy 帶領團隊開發的 HDR+ 演算法是有多強。

2017 年，Levoy 又嘗試將自己在 2011 年左右開發的 App SynthCam 的技術拓展應用在 Pixel 2 上，同樣是透過採集多張照片進行計算合成。不過，為了不出現之前 Nexus 系列上硬體拖後腿的現象，Pixel 團隊特別為 Pixel 2 加入了一顆名為「Pixel Visual Core」的定製圖像處理單元，以加速圖像採集速度和計算速度。

有了硬體支援，Levoy 也更好發揮了，這次他在 Pixel 2 上加入了 AI（神經網路），用來判斷物體的相對位置，進而推出「人像模式」，實現人物主體清晰，人像後的背景卻逐漸模糊的效果。

不出意外，Pixel 2 再次超越同期旗艦三星 Galaxy Note 8 和 iPhone 8 Plus，登頂 DxOMark 榜首。

兩次都是使用單鏡頭，兩次都是硬體普通甚至算落後（同期旗艦都用上了雙鏡頭），但 Pixel 卻兩次登頂，超越所有的對手，這讓 Levoy 成為業界炙手可熱的人物，甚至被稱為是重新發明了「運算攝影」。

運算攝影，改變了潮水的方向

Pixel 系列的成功並沒有讓 Levoy 沉溺於其中，相反他又將目光轉向了攝影領域的另一座高峰——夜間攝影，在 Pixel 推出的同一年，Levoy 在做極端低光源條件下的拍攝實驗。

要知道夜間攝影的光照條件可比不上白天，而且智慧型手機作為行動便攜設備，相機模組並不大，導致進光亮極少，不開閃光燈的話，想拍清楚是極難的一件事。

Levoy 對計算攝影的強大信念讓他成功堅持了下來，正如他在極端極光拍攝實驗影片中所說的：我認為，當我們從硬體主導的攝影轉向軟體定義的運算攝影的新領域時，這個領域才剛剛開始令人興奮。

結果，現在我們都已經知道了， Levoy 登上了夜間攝影這座山的山巔。2018 年 10 月，Google 推出了 Pixel 3，這款新機最大的亮點正是 Levoy 帶領團隊開發的 Night Sight 夜景模式，即使是在晚上手機也能拍出精細度、亮度極高的照片。

▲ Night Sight 效果樣張 . 圖片來源 Google

和以往一樣， Levoy 的解決辦法還是老一套，採集圖片加合成計算，只不過和我們直覺相反的是，Night Sight 夜景模式並非採集不同曝光度圖片或是採集明亮而模糊的照片進行合成計算，而是選擇捕捉大量昏暗而銳利的圖片，進行合成計算，最終輸出一張清晰的照片。

而在 Pixel 4 上，Levoy 在攝影領域的突破是天文攝影。

▲ 圖片來源：Google

Pixel 系列，做到了以往硬體主導的攝影所做不到的事，無論是 HDR+、人像模式，還是 Night Sight 夜景模式、天文攝影，無不是對以往的突破。由軟體定義的計算攝影，幾乎啟發了整個智慧型手機行業。

蘋果、三星、華為等手機廠商在運算攝影上的投入越來越多，夜間模式幾乎成為了高階旗艦手機的標配，AI 拍照加持從高階旗艦普及到中低階產品中，成為一個基礎宣傳點。

Marc Levoy ，改變了潮水的方向。

• 本文授權轉載自：ifanr（愛范兒）