相關文章

Ead6a8ff959dadfb6449b8e90e3960b9 VR除了透過頭戴式顯示器以及動態感應,讓使用者能夠隨時「看到」虛擬實境世界,創造出身歷其境的體驗之外,音效也在其中扮演了相當重要的角色,出色的環繞音效能帶給我們更生動的沉浸感,進而提升VR的使用者體驗。Google為了協助開發者強化環繞音效,推出Resonance Audio開發工具。

我們也透過聲音認識環境

人類對於環境的感知能力除了透過視覺之外,聽覺也是建立環境感的重要因素之一,當我們身處於不同環境之中,聲音都會有不同的表現,例如在繁忙的大街上,可能會有數百種聲音從四面八方傳來,到了安靜的森林,就能聽見遠方溪流的聲音?,而在空曠的美術館,則能聽見腳步聲的迴音。

即便是2D畫面的電影,都具有5.1、7.1聲道或是更細膩的環繞音效,讓我們能更投入電影的世界,所以當我們在使用VR或AR等裝置的時候,更需要透過逼真的環繞音效,創造更加有感染力的虛擬空間,強化使用者身歷其境的感受。

▲在Resonance Audio的展示影片中,可以感受到音效對於沉浸感營造的重要性。如果有DaydreamSteamVR相容裝置的話,就能進一步體驗VR音效效果。

功能強大的跨平台開發工具

Google為了達到這個目標,推出的全新的Resonance Audio空間音效軟體開發套件,它是款以Google VR Audio為基礎的SDK,能夠支援Unity、Unreal、FMOD、Wwise、Web、Digital Audio Workstation (DAW) 、Android、iOS等平台,將環繞音效帶到電腦與各式行動裝置。

然而要在創造出色環繞音效的過程中降低運算資源消耗,就成了Resonance Audio的挑戰之一,尤其在效能較為低落的行動裝置更是如此,往往無法在複雜環境中,同時提供多個高傳真的3D音源。

為了解決這個問題,Resonance Audio採用高度最佳化的高階Ambisonics演算法,以利在不減損音質的情況下,同時處理數百個3D音源,此外Resonance Audio也會引用Unity提供的預先運算功能,利用於預先運算的混音效果,來模擬逼真的聲傳遞特性,並降低播放過程的處理器使用率。

重現聲音傳到耳朵的過程

在真實世界中,聲音在經過環境傳遞的過程中,會產生許多變化,並且到達耳朵時,也會與耳殼產生互動,我們就是利用這種特性來分辨音源的水平位置與高度。Resonance Audio主要的運作原理,就是模擬聲音在環境中傳遞,並進入到耳朵的過程,以創造擬真的環繞音效聽覺感受。

人類分辨聲音方向的第一個要素,就是左右耳聽到聲音的兩耳時間差(Interaural Time Difference,ITD)。當不同水平位置的低頻音源到達耳朵時,會因為左右耳距離差異,而有些微的時間差,人腦可以透過這個差異分辨音源的方向。

高頻音源的水平位置,就無法透過ITD來分辨,取而代之的因素稱為兩耳水平差(Interaural Level Differences,ILD),這是由於我們的頭部會改變聲音傳遞到2耳的音量與頻率,聽覺神經就能藉此分辨音源方向。

至於音源的高度差異的方式,則是藉由聲音接觸到耳殼的反射,會因角度不同而形成不同的頻率變化,人腦就能透過這些細微的變化,分辨聲音是來自高處還是低處。

 

(下一頁還有更多運作原理說明)

使用 Facebook 留言

發表回應

謹慎發言,尊重彼此。按此展開留言規則