用晶片模仿大腦整合資料流的方式,讓你在 VR 裡感覺身臨其境

用晶片模仿大腦整合資料流的方式,讓你在 VR 裡感覺身臨其境

據連線雜誌報導,瑞士神經科學公司MindMaze創辦人兼首席執行長特吉·塔迪(Tej Tadi),已經找到利用虛擬現實(VR)技術修復中風患者受損大腦的方法。現在,他正研發一種微晶片,可以復製大腦並行處理大量資料的方式。

用晶片模仿大腦整合資料流的方式,讓你在 VR 裡感覺身臨其境

2011年3月的一個寒冷的早晨。一般情況下,在每年的這個時候,美國加州超級摩托車學校(California Superbike School)英國分部的46歲主任安迪·艾博特(Andy Ibbot)會出現在停機坪上,駕駛著學校的亮藍色雅馬哈R6s在銀石賽道上迂迴前進。不過那天,他躺在北安普頓總醫院超急性中風病房的病床上。

艾博特的臉本來被曬成棕色,現在卻和周圍的牆壁一樣呈現灰白色。自從接受頸部手術引發嚴重的中風以來,已經過了72小時了,這使得艾博特的左側頸動脈向大腦供血不足。醫生預測,艾博特可能活不過三天。由於細胞缺氧,中風對他大腦左半球的神經元造成了廣泛的損害,導致他身體右側的神經癱瘓。

大腦的連接方式並不是與生俱來的。當神經元經常聚集在一起時,它們之間的聯繫就會增強。這種機制被稱為神經可塑性,激發一個神經元更有可能觸發另一個神經元被激發,從而促進了相關想法的快速回憶,或者是在共同運動中平穩執行肌肉的收縮模式。簡而言之,神經可塑性是我們學習的基礎機制。當我們年輕的時候,這些聯繫是非常靈活的,但隨著年齡的增長,它們會變得更加牢固。20歲以後,學習新的語言或新的身體技能就變得困難得多。

中風已經撕裂了艾博特的神經元網路,使他失去了說話和走路的能力。然而,中風也會帶來一種常見的、但尚未完全被理解的現象,它使這些神經元變得更加靈活,使艾博特有短暫的機會修復部分損傷。在他受損的大腦再次恢復到完全成熟狀態之前,他有六個星期的青春柔韌性週期來嘗試和改造這些神經連接,重新學習如何移動身體。

透過物理治療,鼓勵中風患者嘗試使用受損的大腦區域來控制相應的肌肉群,這有助於觸發這些神經元,進而為受損的神經重新建立連接。換句話說,利用神經可塑性可以教會大腦如何讓身體運動。為了使腦血管意外後可塑性的短暫窗口發揮最大潛力,英國皇家醫學院建議患者每天至少進行45分鐘的物理治療。在英國,剛剛有半數醫院達到了這個目標。

用晶片模仿大腦整合資料流的方式,讓你在 VR 裡感覺身臨其境

2011年9月,當艾博特出院時,一切看起來已經太遲了。六個月過去了,他的可塑性增強窗口早已消失,他的大腦也進入了中風後狀態。醫生建議艾博特適應新的生活,他的說話或吞嚥能力有限,右側身體幾乎無法移動,需要拐杖支撐才能移動。不過,艾博特有其他想法。就在中風前兩個月,他開始參加撒哈拉沙漠馬拉松(Marathon des Sables) 訓練,即穿越撒哈拉沙漠的6天超級馬拉松比賽。

艾博特知道,中風後參加馬拉松跑賽的想法是個不切實際的目標。不過,他想,為什麼不能步行完成呢?艾博特的家在安普頓郡的Long Buckby,那裡距離名為Physiofunction的神經物理治療公司只有十分鐘的路程。而Physiofunction碰巧是歐洲最早試驗名為MindMotion Go的新技術的公司之一。

由瑞士神經科技初創公司MindMaze開發的MindMotion Go,採用微軟(Microsoft)的Kinect動作捕捉鏡頭,為使用者提供了全套專為鼓勵正確身體動作而定旅的遊戲。有些遊戲需要你移動手臂去賽車,傾斜身體去駕駛飛機,或者握緊拳頭去操作起重機。這吸引了艾博特的競爭天性。6年後,艾博特的手臂恢復了運動能力,隨後語言能力也大大增強。

隨著練習的持續,他先是可以在拐杖支撐下走路,最後甚至拋掉了拐杖。2017年4月7日,艾博特發現自己站在了他最初計劃於2012年回歸的地方:摩洛哥沙丘中,即撒哈拉沙漠馬拉松賽的起點。艾博特說:「我的目標只是為了到達起跑線,在那之後的任何事情都是額外的獎勵。」

9小時11分鐘後,艾博特跑過了前30.3公里階段的終點線,在10小時有效截止時間之內。接下來的39公里需要在11個半小時以內完成。第二天上午9點30分,伴隨著《Highway to Hell》的曲調,艾博特和其他參賽者一起從營地大步走出來。

用晶片模仿大腦整合資料流的方式,讓你在 VR 裡感覺身臨其境

2017年8月,MindMaze創辦人兼首席執行長特吉·塔迪(Tej Tadi)在公司的瑞士洛桑總部接受記者採訪。該公司總部佔據了一棟辦公樓的七、八層。從他辦公桌後的窗戶,可以看到令人震撼的景觀——瑞士阿爾卑斯山的白色冰川,它與洛桑本身的炎熱和潮濕形成了鮮明的對比。36歲的塔迪是瑞士最成功的企業家之一。2016年,他的神經科學公司MindMaze成為該國第一家達到10億美元估值的初創公司,這要歸功於印度企業Hinduja Group的1億美元投資。

這筆投資被用於開發MindMotion Pro,也就是艾博特使用的最初醫學級系統。它使用專有的動作捕捉鏡頭和虛擬化身,自動完成那種通常需要訓練有素的理療師持續指導的物理治療。塔迪在印度海得拉巴長大,對在醫療保健領域工作從來不感興趣,即使他的父母都是醫生。在取得電氣工程大學學位後,塔迪決定學習特效技能。他說:「這是一種創造性的衝動,我想找到讓模擬爆炸或火焰爆發在螢幕上看起來更真實的方法。」

2004年,塔迪加入瑞士洛桑聯邦理工學院(EFPL),開始攻讀VR電腦圖形學碩士學位。他的第一個專案是在虛擬化身中開發更真實的行走動作。該專案需要了解人腦是如何控制運動的,因此他經常到附近的醫院去研究患有運動障礙的人,比如帕金森症患者。塔迪解釋說:「透過研究受傷的大腦,以及它是如何運作的,這真的有助於你更好地了解健康大腦。」

塔迪記得一個19歲的男孩,他在一次事故中失去了雙臂。和80%以上的截肢者一樣,這名男孩也患有幻肢疼痛,即截肢者手臂所在部位疼痛難忍。雖然人們對幻肢疼痛背後的機制知之甚少,但有一種理論認為,這是大腦在看到失去手臂時做出的反應。它與從肢體的其餘部分發出的持續訊號相矛盾,後者顯示整個手臂仍然​​存在。

塔迪的想法是引入虛擬肢體來解決這種衝突。他為病人設置了腦電圖(EEG)帽,它可以透過頭骨檢測腦電波,並以此來對他面前螢幕上顯示的一對手臂進行粗略的控制。這些不過是人類四肢的漫畫罷了,它們的動作和男孩的想法之間的同步足以解決他的大腦內部衝突,進而減輕慢性疼痛。事實上,塔迪遇到了一種新的錯覺。它不依賴於圖形的逼真度,而是更基本的、與身體聯繫更密切的東西,即被稱為「具體化錯覺」的神經科學技巧,它不僅改變了一個人看待周圍世界的方式,還改變了他們在其中感受自己身體的方式。

用晶片模仿大腦整合資料流的方式,讓你在 VR 裡感覺身臨其境

2012年,塔迪開始在瑞士洛桑聯邦理工學院(EFPL)神經科學家奧拉夫·布蘭科(Olaf Blanke)的實驗室攻讀博士學位,研究這些錯覺背後的機制,以及如何利用它們來幫助患者康復。布蘭科的實驗室專門研究多感官整合機制,研究某個人的神經系統是如何將他從身體觸覺、聽覺、視覺、嗅覺和其他感官接收到的所有輸入訊息結合起來,並形成統一體驗的。例如,我們的大腦是如何利用喵喵的聲音、皮毛的觸覺感覺和貓形的視覺,並將所有這些感官輸入結合在一起,讓它們意識到一隻活的、有呼吸的貓。

當時,布蘭科剛剛開始調查鬼魂,這是一系列精神疾病的症狀,比如精神分裂症,它讓病人感到房間裡還有其他看不見的存在。布蘭科已經意識到,他研究的每個病人都有一個共同點,那就是大腦中負責整合多感官訊號的區域受到了損害。布蘭科表示:「想想我們的四肢在大腦中的表現,它們不止是虛像,你會有本體感覺,你的手臂在空間的位置感覺。你可以看到它;當它撞到什麼東西時,你可以聽到它的聲音;你可以移動它,你的大腦會預測當你這樣做時,其他的輸入會發生什麼變化。在僅僅涉及理解左臂時,大腦就需要動用四個不同的部分。」

正是大腦將這些輸入成功地結合在一起,才讓你覺得手臂是自己身體的一部分。當這種機制失敗時,當你的大腦處理手臂視覺的時機與本體感受系統對其位置感覺不相匹配時,你就會發現自己患上布蘭科病人的症狀。他們會有「身體不屬於自己而是屬於別人的」感覺。改變不同感官輸入之間的同步可以擾亂人們對自己身體的識別。塔迪和布蘭科開始想,這種機制是否也能被積極利用。

在某種意義上,這是以前就做過的。1998年,匹茲堡大學的研究人員發現了一種叫做「橡膠手錯覺」的效應。首先,實驗者把志願者的手藏在桌子下面。然後,他們把橡膠手放在桌子上面,同時用畫筆在看不見的真手和看不見的假手之間劃來劃去。僅僅是這種觸覺和視覺輸入之間的同步就足以讓參與者覺得,就像可觀察到的橡膠手是他們自己的手一樣。當實驗者突然試圖用錘子砸橡膠手時,他們驚慌失措的反應可以戲劇性地說明這種影響。

塔迪想知道,用今天的虛擬現實技術是否能做得更多?所以2006年,在布蘭科的指導下,塔迪做了個頭戴式顯示器,並試圖將橡膠手的效果延伸到整個身體。志願者在觀看虛擬化身的串流影片時被拍了一下,這個化身似乎在他們面前幾公尺遠的地方,但他們卻有背部同時受到碰觸的感覺。

有幾個志願者表示有不舒服的感覺,但是對於所有的參與者來說,他們的位置感有了漂移,感覺在遠離他們自己的身體,並進入化身中。這是第一次證明同步刺激可以用來欺騙大腦,使它不僅接受一個新的身體部位,而且能接受全新的身體。塔迪想知道,這對神經恢復和虛擬現實意味著什麼。因此,2012年,塔迪創立了MindMaze公司。他希望將其了解的有關欺騙大腦對自身身體感知的知識,再結合神經可塑性原理,鼓勵受損的大腦重新連接自己,就像艾博特的大腦那樣。

MindMaze的首款產品MindMotion Pro於2015年推出。與艾博特使用的MindMotion Go系統中的Kinect攝影鏡頭不同,MindMotion Pro的攝影鏡頭在2017年5月獲得了美國食品和藥物管理局(FDA)的許可,可在病人躺在病床上一動不動時檢測到他們的手臂。然後在放在病人床邊的便攜式螢幕上呈現一個簡單的卡通人物。透過移動真正的手臂,病人可以控制這些虛擬化身,以便執行一系列的任務,比如把虛擬盤子放到虛擬托盤上。隨著他們的康復取得更大進展,還可以執行更複雜的挑戰。

這一原理與傳統的康復理療相似,即重複做些正常的動作,比如抬起手臂,以加強所涉及的受損神經連接,就像反復運動可以增強肌肉一樣。但與傳統的腦血管意外後治療不同的是,MindMotion Pro可以調整虛擬手臂的運動,讓患者看起來比以前取得更大成功。這意味著它可以透過利用大腦區域控制特定運動的方式來加速康復,不僅是當患者本人執行這個動作的時候,在他們觀看同樣動作的時候也會產生效果。

用晶片模仿大腦整合資料流的方式,讓你在 VR 裡感覺身臨其境

MindMaze神經科學部門的負責人安德里亞·塞里諾(Andrea Serino)解釋道:「對於中風後無法移動手臂進行任何訓練的患者,我們只需要他們移動另一隻手,並向虛擬化身展示動作,就好像是正在運動仿形手臂一樣。即使只是看到這個動作,就可以激發那隻手臂受損的馬達迴路。」

除了欺騙無意識的大腦機制之外,適應具有挑戰性任務的能力會產生更明顯的影響,即它使康復經歷變得更愉快。塔迪稱:「利用神經可塑性需要很多的重複動作。不過隨著康復取得進展,這使患者更有動力去練習,即使理療師不在場監督。」塔迪的下個目標,以及開發更便宜、與Kinect兼容的MindMotion Go的動機,是支持患者長期堅持這種療法,而不需要定期去醫院。

在中風後的神經可塑性階段,雖然早期的物理治療對康復的成功有著最大影響,但研究越來越多顯示,完全成熟的成人大腦畢竟不是那麼僵化。除了維持功能,出院後的持續練習甚至在中風後的幾年裡都可以繼續提高病人的能力,就像艾博特所做的那樣。塔迪表示:「當你現在出院的時候,問題是你接下來要做什麼?隨著MindMotion Go的出現,像艾博特這樣的病人不需要經常去診所,他們可以在家裡經常練習,且不需要專家的監督。」

然而,塔迪已經意識到,無論顯示器的逼真程度如何,僅僅欺騙眼睛是不夠的,這不足以讓一個人相信他們看到的是真實的。沒有任何一種被動的虛擬現實電影能讓艾博特相信,他是在穿越撒哈拉沙漠而不是躺在醫院的病床上。畢竟,不只是視覺刺激可以讓他感覺到皮膚的乾熱,柔軟的沙子就踩在他的腳下。

身體是我們經歷現實的關鍵。當你戴上VR頭盔時,儘管你的眼睛在看另一個世界,但你身體其他部分仍然牢牢地停留在這個世界上。添加雙耳音訊來複製虛擬世界的空間音景,它會讓人感覺虛擬世界更加有形。但是,駕駛虛擬賽車在虛擬的彎道上行駛,引導前庭系統運動體驗的內耳液體形成的微小湖泊,將會依然保持平靜。你可以轉動頭部四處看看,但除非你使用的是高階的全房間追蹤系統,嘗試著蹲下,跳起來甚至走路,否則什麼都不會發生。

用晶片模仿大腦整合資料流的方式,讓你在 VR 裡感覺身臨其境

MindMaze公司的神經康復工作只是塔迪為該公司計劃的第一步。多年來,塔迪一直致力於讓混亂的大腦重新與身體連接,他從未失去對VR和特效的熱情,以便讓普通人的大腦脫離他們的身體現實。最終,MindMaze的目的是將這些關於如何欺騙大腦體感的知識與開發用於神經康復的動作捕捉系統經驗結合起來,開始解決創建真正互動的、多感官的、虛擬現實面臨的問題。他說:「這將在僅僅把電視貼到你的臉上和建立實際通往另一個世界門戶之間產生差別。」

2015年3月,塔迪在舊金山遊戲開發者大會上展示了未來藍圖——MindLeap頭盔。其面向前方的運動追蹤攝影鏡頭監控使用者的手部位置,而腦電圖(EEG)帽透過頭骨接收神經活動,以評估使用者的情緒。虛擬的火焰圍繞著他們的虛擬手指,根據它們察覺到的情緒(從平靜到焦慮)改變顏色。後一項功能聽起來就像昂貴的情緒戒指。但它建立在研究的基礎上,研究表明,將生理訊號(比如心跳頻率)轉換到虛擬肢體上,就會加強觀看者對虛擬肢體的識別能力,就像把原始的橡膠手錯覺同步到全身那樣。

今年6月份,為了幫助更精確地追蹤攝影鏡頭視野之外的身體部位,MindMaze公司收購了另一家EFPL剝離的運動分析公司Gait Up。Gait Up是世界上最小運動感應器的發明者,這種傳感器名為Droplet,只是2×3公分的小結節。塔迪解釋稱:「Gait Up已經在超過6000個對像上微調了它的演算法,所以它們可以探測到非常具體的動作。」

為了捕捉臉部動作,MindMaze公司開發了一種泡沫帶,它位於帶著電極的面罩外面,這個面罩被稱為Mask。它可以檢測到發送到臉部8個部位(如前額和臉頰)啟動肌肉的電訊號到來。然後,這些訊號可以被提前用來識別特定的表情,進而消除虛擬化身的反應延遲。塔迪說:「很明顯,我們需要探索VR的社會層面。但如果沒有表情或情感,你就不能指望真正的社交,Mask能以一種非常直觀的方式讓人產生這種感覺。」

用晶片模仿大腦整合資料流的方式,讓你在 VR 裡感覺身臨其境

Mask不會直接向消費者發售,但MindMaze目前正在研究與主要VR頭盔生產商進行合作。塔迪說,目前Mask可以識別10種表情,包括眨眼、微笑和做鬼臉,準確率達96%。MindMaze公司正致力於將這個數字增加到30個,添加更微妙的表達形式,比如咆哮或退縮。這是MindMaze第一個非保健產品,塔迪非常渴望展示它。不過該團隊承認,它仍然有些問題,比如在某些臉型上工作得更好。

儘管如此,不管MindMaze能夠透過運動捕捉鏡頭、肌肉啟動檢測電極和Gait Up的運動傳感器多麼精確地追蹤人體的位置,但塔迪在攻讀博士學位期間發現的虛擬化身錯覺的關鍵並不僅僅是準確性,而是更好地把握時機。具體地說,就是在這個傳感器陣列檢測到的真實身體運動與虛擬身體相應動作之間保持完美的同步。

當大腦自身協調這些不同感覺流的訊息同步能力失靈時,你就會得到布蘭科病人描述的那種身體外體驗和幽靈般的存在感。當這種協調在虛擬世界中失敗時,這個世界就讓人感到不再真實。想想看,電影的視覺和聽覺軌跡之間哪怕只有幾毫秒的不同步,也會讓演員的演講感覺異常做作。在如此廣泛的不同傳感器之間協調這種同步,對於當前的運算技術來說是不切實際的。這是塔迪在他的博士項目中第一次理解VR誘導的全身錯覺,這個項目需要20部獨立的電腦來協調所有不同的元素。

為了跟上大腦的運算速度,有幾個獨立處理核心的傳統晶片無法勝任這項工作。為此,塔迪意識到,需要像大腦一樣的硬體,一種能夠並行處理多個模擬資料流的處理架構。有傳言稱,MindMaze將推出整合所有功能的新產品,並投資3000萬美元開發了一款晶片,這款晶片設計主要針對硬體層面,模仿大腦整合來自多個傳感器資料流的方式。這種晶片能夠同時處理和協調所有連續資料流,包括前置鏡頭、慣性運動傳感器、肌肉或神經活動腦電圖讀數,並將它們整合到統一的虛擬身體中。

塔迪聲稱,這款晶片名為CogniChip,它一直是MindMaze的終極目標。但他也承認,作為一名尋求數億啟動資金的年輕研究員,他不能只告訴人們這些。他說:「如果我直截了當地說,我們將用能像人一樣思考的晶片來模擬現實,那可能讓人覺得十分荒謬。」

用晶片模仿大腦整合資料流的方式,讓你在 VR 裡感覺身臨其境

多年來醉心於研究,然後開發可稱為醫療行業標準的新技術,對於塔迪來說,最要的不僅是他學到了什麼,而是給他談論這種目標時樹立的信心,並讓即使沒有神經科學背景的他,也能成為快速發展的神經領域創業者。塔迪表示,他很快將發起名為Neuro Initiative的聯盟,倡導一種更現實的方法來整合神經科學、技術和創業精神。他說:「這是我的一個激情項目,它將匯集世界上頂尖的學術、科學和技術人才,為神經技術的未來鋪設一條雄心勃勃卻看似合理的道路。」

伊隆·馬斯克(Elon Musk)的腦機連接埠初創公司Neuralink提供的招聘清單上面,直截了當地寫道「不需要任何神經科學經驗」。對此,塔迪表示:「現在是時候讓我們更清楚地了解什麼是現實可行的,什麼仍然是幻想。令我煩惱的是,這些異想天開的想法不斷被提出,污染了我們對不可思議的事情的集體理解。當然,作為一名企業家,我不想批評夢想家。」

資料來源:The struggle to create a microchip that can mimic the human brain and open a portal to another world

本文授權轉載自網易科技

NetEase
作者

網易科技,有態度的科技門戶!關注微信公眾號(tech_163),看有態度的深度內容。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則