AI可以在一張A4的影印紙上放電影，紙張彎曲時還可以即時改變圖片的視角和光照

隨意彎曲、任意抖動，絲毫不影響在紙上看《龍貓》。這不是什麼黑科技的新螢幕技術，而是AI合成的影像。

▲ 來自香港中文-商湯聯合實驗室、浙江大學、NVIDIA的研究人員，用AI將圖片影片投影到即時彎曲的紙面上，還可以改變圖片的視角、光照條件。

AI可以在紙上放電影

那麼這是怎麼做到的呢？簡單來說，就是透過預測光流來替換影片中的圖片。

以梵谷的名畫《星空》為例。

第一步，將這幅畫列印在A4紙上，然後錄製影片。在不同角度、光照、抖動情況下捕捉紙張，並從中提取影格。

第二步，也是最為關鍵的一步。

用LIFE單獨預測《星空》在影片畫面中的流動，然後將其替換成其他的圖片or影片。

這裡的LIFE，是研究人員提出的弱監督框架，該框架只需要將整個圖像的相機姿勢變換作為弱監督。

用這一框架來訓練神經網路，來預估圖像對之間的不變光流。

透過運動結構（Structure-from-Motion，SfM）技術，可以很容易地估計出視角變化大、光照變化大的圖像對之間的相機姿勢。

稀疏對應關係通常是通過特徵匹配和指定圖像來建立的。

然鵝，在跨圖像特徵匹配時候，指定圖像會出現一些差錯，阻礙了下游任務的進行。

下面這兩個樣本，就有種去夜店跳舞的感覺~

而用LIFE來指導特徵匹配，利用圖像對中豐富的上下文訊息來解決模糊匹配的問題。

就如圓圈中特徵點，正是LIFE預測下找到與原圖像最匹配的點。

最終，LIFE在各種場景下，都分優於目前最先進的光流估計方法。

來看看下真正的效果~

比如，隨意彎曲。

以及在不同視角的變換。

即便是在黑暗的場景下，也能清晰的看到圖像。

▲ Flow comparison on the KITTI ▲ Image warping via predicted flows