自古以來，大部分人類對新技術的態度一開始總是排斥的。我們害怕過電，害怕過火車和汽車。但是我們適應新技術的速度也很快，只需1、2代人的時間就會把那種恐懼跑到九霄雲外。那這一次會是一樣的嗎？比方說，我們應該對人體冷凍感到害怕嗎？我們應該對有人替我們做選擇感到高興嗎？奈米機器人呢？設計嬰兒？上傳意識呢？或者終極的通用人工智能？
自從第一次工業革命以來，人類對未來科技就一直擔驚受怕。大家先是怕電。然後害怕火車和汽車。但是，只需一兩代的時間人類就可以完全習慣這些創新。
的確，大多數技術都會以某種方式造成過傷害，但最終的結果往往是好的。對於未來的技術來說，這一點可能也是正確的——儘管有一些嚴重的倫理和哲學原因值得我們害怕。
其中的一些其實不應該嚇到我們。但有一些我們應該害怕。還有一些已經在塑造我們的世界。
在開始之前，我得先警告你：你在此文中讀到的某些東西會引起很大的爭議。我需要你用開放的心態來對待這篇文章，並承認我在這裡提出的想法僅僅是想法而已。
我沒有極端或死板的看法，對於道德和哲學上的問題我也沒有確切答案。你可能會有完全一樣的想法，這完全沒關係。
1.人體冷凍
人體冷凍看起來似乎很科幻（公平地說，這篇文章裡面所有內容都是這樣），但這項技術已經存在。有些公司會在你死後立即把你冷凍起來，因此，只要技術和藥物取得了足夠的發展，你就可以重獲新生。
我是認真的，比方說像這樣的公司。如果需要的話，你現在就可以買長生不老藥了。
以下是一些已經被冷凍起來的名人（詹姆斯·貝德福德，泰德·威廉斯，約翰·亨利·威廉士，迪克·克萊爾·瓊斯，FM-2030），還有一些目前還活著但希望死後被冷凍起來的名人（賽斯·麥克法蘭，賴瑞·金，西蒙·高維爾，芭黎絲·希爾頓（Paris Hilton），小甜甜布蘭妮（Britney Spears））。
目前尚不清楚這些人什麼時候以及是否會被解凍。冷凍人體的技術尚不完美，而且可能會存在無法修復的不可逆轉的損失，但是這項技術每年都在提高。不過另一方面，解凍人體的技術還沒有出現。
這為什麼會嚇到我們
選擇冷凍自己的人帶來了社會污點。現如今，在大多數人看來，冷凍屍體的想法似乎非常的弗蘭肯斯坦（科學怪人）。
選擇冷凍自己的人通常被看作是被騙了，是膽小鬼。他們不能接受死亡。他們想欺騙上帝，自然或宇宙想讓他們去死的事實。
我們應該被嚇到嗎？
其實不然。
你知道還有什麼能讓人逃脫死亡嗎？心肺復甦術（CPR）。字母R就代表復甦（Resuscitation）。
你知道還有誰因為自己不接受死亡而自欺欺人的嗎？來吧，你自己回答這個問題。我不想得罪任何人。
簡要回答：不，我們不應該對此感到害怕。至少不是出於上述原因。
我認為我們應該盡一切可能避免死亡，就是這樣。除非你持續處於的植物人的狀態，並且有充分的理由寧願選擇死亡而不是無用的受苦（即便如此，我仍然認為未來的技術可以解決你的病情），否則我們沒有理由接受死亡。生活實在是太美好了，我不希望它結束。
就算你已經死了，又有什麼可失去的呢？也許冷凍無法正常工作。也許現在被冷凍的人已經受到了不可逆轉的破壞。但是他們下的是一個不會輸的賭注。他們要嘛選擇明確無誤的死，要嘛給自己一點點求生的機會。你覺得該選哪個還不明顯嗎？
不過，有個嚴重的問題。休眠可不便宜。當冷凍療法慢慢為社會所接受的時候，越來越多的富人會冷凍自己。然後會是中產。那低收入者呢？
我們過去常常說，人一旦死後，不論貧富，大家都是一樣的。可在不久的將來，這種說法可能不再成立，因為只有窮人會死。
現如今，死亡是常態的。我們許多人都有失去親人的經歷，但我們知道人終有一死。但是，當死亡不再是常態時會發生什麼呢？死亡什麼時候可以避免？說不定會更加痛苦，一想到人將分成長生不老階層和凡人階層，那種感覺實在是太糟糕了。
2.AI決策者
你有沒有試過待在房間裡面，苦思冥想幾個小時來做決定？你會後悔自己做出的決定嗎？你有沒有曾做出過一個明智的決定，但自己卻喜歡不起來，因為你想到了不選擇替代選項讓自己失去了什麼？
反正我就會，而且一直如此。但這種情況很快就會結束。
Google和Facebook比你更了解你自己。如果最佳決策是最符合你最大利益的決策，這些公司有朝一日會替你做出決策這一點是不是顯而易見啊？（編者註：《未來簡史》作者尤瓦爾·哈拉瑞擔心的就是這一點）
你不再需要做任何決定：人工智慧將為你做出一切決定，比方說你要從事的工作，跟誰約會，午餐吃什麼。（編者註：不妨想想最新一季的《西方極樂園》）
為什麼這會嚇到我們
必須做出決定可能會很困難且令人沮喪，但這正是讓我們覺得處於控制之中的原因所在。正是這件事給了我們所謂的「自由意志」。
社會還沒有準備好不再相信自由意志的存在，儘管這一點正在慢慢改變。但是，即便是對於那些不相信自由意志的人來說，喪失了用自己的大腦進行決策的能力也是非常可恥的。尤其是如果大公司在控制著那些決策演算法的話。
我們應該被嚇到嗎？
其實未必。
我預計我們很快就會學會放棄決策能力。我們已經在這麼做了。決定該看什麼系列劇的不是我們，而是Netflix。決定該聽什麼音樂的不是我們，是Spotify。決定該讀什麼書的不是我們，是Amazon。
那些故事讓你感覺我的決定我做主，因為最終點擊《怪奇物語》（Stranger Things）第一集播放按鈕的人是你。但是，如果那的確是你的決定的話，我怎麼才知道你真的在看那部系列劇呢？
雖然我們還沒有意識到這一點，但是企業已經在透過推薦系統推動了我們的決策過程。但是對此我們一般都感到滿意，因為有效。在決定我們喜歡什麼東西方面，人工智慧比我們強。不直接做出決定並不會剝奪給我們帶來的滿足感。如果說有什麼區別的話，我們反而會更加享受，因為我們不會對從未做出的決定感到後悔。
哪怕我們不再控制自己，我們（也可能）可以過著幸福而充實的生活。對控制的需要是一種幻想，也是一種文化上的東西。社會會隨著技術的發展而迅速演變，免費的概念在將來將不再適用。
如果我們必須要害怕點什麼的話，那就是擔心有人會利用這一點。駭客和企業可以出於自己的目的操縱我們的決定，而我們甚至都不知道。
如果你認為自己會保持自我的控制感，而且如果某人試圖操縱你的決定時自己會意識到這一點的話，請再想想。最近發生的Cambridge Analytica 醜聞已經證明了這一點。數據已經被用來透過個性化廣告來操縱選民。
但是，自從遠古時代以來，人就一直在操縱人。哪怕沒有AI決策者，人受人操控這個問題也仍然存在。（編者按：參看《烏合之眾》）
3.機器人藝術家
2018年，這幅畫在拍賣會上最終以432500美元的價格成交了。畫家是一個對抗生成網路（GAN），一種「創意AI」。
我個人認為這幅畫很爛，但是GAN已經被用來創作音樂，寫假新聞，以及產生假人。
不久之後，人工智慧會被用來創造比人類作品更好的藝術。儘管大多數人認為藝術是只應該屬於人類的東西，因為機器缺乏「靈魂」或「個性」，但在某些情況下，人類已經無法分辨藝術品是由人還是機器創造的。換句話說，GAN已經通過了圖靈測試。
為什麼這會嚇到我們
看著AI在各個方面表現都比我們出色，我們現在對此已經見慣不怪了。在檢測癌症方面AI比我們更好。在下西洋棋和圍棋方面，人工智慧比我們強。
但是，別扯了，藝術？AI，你就不能歇會兒嗎？
我們仍然不能接受AI可以成為比我們更好的藝術家這一事實。藝術天生就屬於人類，不是嗎？藝術是感性的，需要激情的，意義深遠的，藝術不是邏輯，不是數學，不是嗎？你可不能透過計算導數或利用貝氏定理來完成藝術，不是嗎？
如果有什麼事情是我們可以做得比人工智慧更好的話，那件事情就是藝術。如果AI甚至連藝術都可以做得比人更好的話，那麼人類還能提供什麼價值呢？
我們應該被嚇到嗎？
一點點，或許吧。
這取決於事態如何發展。
一方面，人類會將享受到更多更好的藝術。他們將會對AI擅長製作藝術感到習慣，他們會從中受益。
另一方面，人類藝術家將無法跟AI競爭。
沒有人會阻止人類藝術家去創作藝術。但是其他人可能不會看或者欣賞那些藝術。作為一名藝術家，你可能喜歡創作藝術品的過程，但是如果你的作品沒人看的話，那麼高藝術創作還有什麼意義呢？
不過有一點是對人類藝術家有利的。好的藝術品取決於兩個因素：
- 能產生強烈的情緒影響。
- 可發出強有力的訊息。
人工智慧也許可以創造出有史以來最好的情感體驗。但是訊息呢？當然，人工智慧也可以傳遞訊息，但是人能解讀嗎？
強烈的訊息應該透過個人經歷和觀察來解讀，對於AI而言這是不可能的。再次地，這並不意味著AI就無法傳遞訊息。它可以傳遞有史以來最好的訊息，但那不是真實的。人沒法跟AI建立起聯繫，因為AI沒有人的體驗。
這就是為什麼在最好的情況下，人們可以決定同時享受AI和人類創作出來的藝術的原因所在。我們甚至可能都不會把它們都叫做「藝術」，因為那會是兩種不同的事物。一個會更注重情感，另一個則更注重訊息。
4.超現實的性愛機器人
自人類誕生以來，我們發明了各種引人入勝的東西，比方說語言，藝術，工具，科學以及自己取悅自己而無需過真實的性生活的方式。要知道，第一個dildo（假陽具）可是有28000年的歷史，這甚至比農業和人類社會的歷史還要悠久。
在不久的將來（實際上，未來已來），我們將會被android（機器人） 和gynoid（女機器人） 入侵。但不是像《未來終結者》那種入侵。它們入侵的唯一對像是我們那張床。
實際上，性可能是男女機器人的唯一用途。我看不到人形機器人的其他用途。
不久，這些性愛機器人會變得超現實。它們在身體構造上會跟真實人類沒有區別。如果說不是更好的話，跟機器人做愛會像真實的性愛一樣。人工智慧會讓這些機器人能夠在任何你能想像的位置進行各種動作。你可以以想要的任何方式發生性行為，你最怪異的癖好都能得到滿足。
更重要的是，性愛機器人不僅可以滿足你生理需求，還可以滿足你的情感需求。你可以跟性愛機器人討論你的問題，然後互相擁抱，做愛並再次互相擁抱。它會讓你感覺像是一個真實的人，一個真正重要的人，甚至可能跟你建立起關係。
實際上，已經有了一些具有個性的性愛機器人原型。
為什麼這會嚇到我們
性愛機器人嚇人有三個主要原因：
- 他們可能會被駭客入侵。這是這裡描述的大多數技術都會遇到的常見問題。你是不是把某人供給惹毛了？為了報復你他們甚至都不必親自動手：他們要做的就是對你性愛妻子或丈夫重新計設計那些程式就可以幹掉你。你或許會死於一個奇怪的性愛姿勢，那看起來就像是一次意外。
- 它們取代了真正的人類情感。當性愛機器人可以同時滿足你的生理和情感需求的時候，你為什麼還要找一位真正的伴侶呢？你可以把去外面吃飯的錢給省下，然後用來僱一個機器人妓女，或者到Amazon上買個自用的性愛機器人。
- 它們可能會導致人類滅絕。呃，這是上一條的直接後果：如果你對尋找人類伴侶不再關心，你就不會有孩子。
當性愛機器人變得司空見慣時，我們可能都會失去跟現實的聯繫。而且，性愛機器人會比人類還要火辣。如果我們習慣了機器人，其他人類的身體可能就無法吸引到我們。就像色情癮君子一樣，我們會失去敏感性。我們會讓人體變得更加物化。
我們應該被嚇到嗎？
可能有一點點吧。
雖說這三個問題也許令人擔憂，但尚不清楚它們是否真的會那麼糟糕。
問題在於，我們常常不了解社會是在發展的。性既有社會性，也有生物性。有的文化重視一夫一妻制，有的則重視一夫多妻制。有的文化重視身體的吸引力，而另一些則不然。一些文化將同性戀視為一種優勢，而另一些則將其視為劣勢。
性機器人肯定會變得很普遍。但這並不一定意味著就會很糟糕。
如今，針對性愛機器人存在在污名化的問題。幾十年前，網路色情也被污名化。但是在今天，很多人都經常逛PornHub而不會感到羞恥。性機器人可能也會是這種情況。
隨著社會價值觀的發展，只要我們的身體和情感需求得到滿足，我們可能不再認為人與人之間的關係以及人與機器人之間的關係會有太大的區別。我並不是說這是一定的，或者我希望如此，我只是說這存在真實的可能性。是社會圍繞技術而發展，而不是反過來。
那如果性機器人被駭了怎麼辦？呃，我們當中有些人會擁有智慧家居，那些東西也可能會遭到駭客的入侵。一個非常聰明且目標明確的駭客可能會利用你房間裡面的一切可用之物來殺死你（除非你現在是在浴室看這個）。所以，這個問題不僅僅局限於性愛機器人。
那人類滅絕呢？我們的社會可能會找到一些辦法來繼續製造嬰兒。這種製造過程更多地可能會牽涉到體外受精。而且誰知道呢，也許機器人也會成為好父母也說不定。
同樣地，我這裡並不是說我喜歡這個。我只是說，到頭來，我們或我們的孩子會適應。我個人認為這裡的主要問題是愛。愛就是要讓另一個人快樂。如果製造快樂的是一個冷漠的機器人的話，愛從何談起？
如果說從中有什麼可以確定的積極結果的話，那就是一切跟性有關的犯罪都會被消除。不再會有（人類）賣淫。強姦不再會有了。家庭虐待不再會有了。甚至那些戀童癖都可以弄到兒童機器人。
在你因為我說的最後一句話開始恨我之前，先想想，你更喜歡戀童癖者與兒童機器人發生性關係還是戀童癖者跟真正的孩子發生關係？如果我在2040年的時候知道某人家裡發現那裡有一個兒童機器人，我仍然會感到噁心，但至少我會為那個人遠離真正的兒童感到欣慰。
5. 奈米機器人（Nanites）
Nanites是有朝一日會圍著我們到處轉的奈米機器人。它們太小了，小到你看不見（除非成群結隊），但卻無處不在。它們會存在於空氣裡，水中，附著在表面、食物、我們的身體、尿液以及糞便裡面。
它們會具備群體智慧（不是集中控制），並且能夠複製和適應。
它們可用於清潔環境，3D列印任何東西，治愈大多數疾病，探索其他星球，控制天氣以及進行許多其他的科幻活動。
為什麼這會嚇到我們
你能信任讓自己體內放數百萬個微型智慧型機器人嗎？我可不能。
原因永遠都是一樣：怕駭客攻擊。誰控制了奈米機器人，誰就能控制一切。雖說分散式系統比集中式系統彈性強些，但智慧型病毒足以摧毀幾乎所有的東西。只需對一個奈米機器人進行程式編輯，即可將其程式碼複製到其他的奈米機器人身上，然後設定一小時後自毀。到時候你就眼睜睜地看著世界崩潰吧。
我們應該被嚇到嗎？
大概吧。
駭客攻擊永遠都是問題。但是，入侵銀行帳戶是一碼事，駭掉空氣、海洋、建築物和人體則是另一回事。這一切只需要有一個聰明的，目的明確的、滿腔怒火的人來破壞世界。
另一方面，魔高一尺道高一丈，安全性也會跟駭客技術一起發展。像奈米機器人那樣進的技術是有望做到安全可靠的。這不足以保證奈米機器人不會摧毀我們，但我認為情況不至於會那樣。
我認為，在擔心奈米機器人會毀了我們之前我們還有很多其他的事情需要擔心。
6.訂製嬰兒
訂製嬰兒是指透過遺傳密碼操縱人為創造出來的嬰兒。
在理解遺傳密碼方面我們取得了非常出色的進展。我們已經能夠複製動物並做出真正的嵌合體。
訂製嬰兒的目的是創造出基因強大的人類，這種嬰兒不會有疾病且具備你想要的一切特性。你可以創造出一個高大、聰明、善良、體格健壯的小孩，不必去依賴遺傳上中彩票一樣的隨機性。
為什麼這會嚇到我們
當我們想到人類基因改變和設計嬰兒時，我們會想到優生學，然後想到希特勒，我們會被引爆。
害怕基因改變很正常。圍繞著基因的問題通常可歸結為想「扮演上帝」，因為這意味著操縱生命本身的結構。折騰我們的基因可能會創造出甚至不是人類的東西來。
如果我們認為有設計出具有特殊功能的嬰兒的需要，就彷佛我們賦予了這些特性比人類生命本身還要高的重要性。
換句話說，這種做法似乎違背了道德法則，也就是「無論如何」都必須無條件地愛一個孩子。
而且這也違背了我們過去幾十年來為了克服種族差異所做的一切努力。
在遺傳差異方面我們一直都有麻煩。這些差異，比方說人種差異一樣，往往會反映在階層差異上。幾十年前，尤其是在美國，黑人和白人仍屬於兩個不同的社會階層。現在，官方已經不存在這種差異，但在人的思想裡面仍然有強烈的存在（只要看看現在美國正在發生的事情就知道）。
設計嬰兒可能會帶來另一類問題，這類問題甚至比種族問題以及討論冷凍人的時候描述的那種問題還要嚴重得多。當富人開始設計完美嬰兒而窮人卻負擔不起的時候，你覺得會發生什麼呢？社會會發生騷亂以及#undesignedlivesmatter（編者註：模仿黑人的命也是命，未經設計的命也是命）運動嗎？
我們應該被嚇到嗎？
或許一點點。
但是，我們應該感到害怕的唯一真正的原因是剛剛將到的那個，也就是我們存在出現新的社會鴻溝的風險。
同時，優生說必須放在社會背景下予以討論。今天的優生學之所以變成這麼壞的一個詞，主要原因是希特勒幹的那些事。
但是，殺死一個「不健康」的人跟組織那個人出生之間有很大的區別。
選擇誰跟誰結為伴侶，跟允許任何幸福的夫婦擁有自己的基因完美的孩子之間，還有一個巨大的分別。
只要那些「不一樣」的人沒有受到區別對待，並且允許大家跟自己喜歡的人結為伴侶，那設計嬰兒就不僅應該是OK的，甚至還應該受到鼓勵。
我為什麼要說出爭議性這麼大的話？
說真的，設計嬰兒的特性而不是讓隨機性替你選擇有什麼問題嗎？如果你知道自己患有遺傳病，你還會讓你的小孩冒得這種病的風險嗎？我不知道你怎麼看，但我認為在這種情況下，不去設計自己的小孩是很殘忍的。
我真的很想把話說清楚。如果在受孕（或在胎兒獲得意識之前進行，儘管我在這裡不想主張墮胎權）之前進行的話，優生學並不是天生就不好的。如果你知道未來的孩子會得病，你難道不想讓他們避免度過痛苦的一生嗎？
如果這種治療你負擔不起，而你的孩子一出生就患有這種疾病，這並不意味著他們就不應該得到世間所有的愛。他們不是「沒人要的」。你只是想給他們更好的生活。而且你依然「無條件地」愛他們。他們對你的價值不亞於遺傳上完美的孩子。
問題不在於基因改變本身，而在於社會。問題在於我們讓遺傳特徵定義了我們，而它們應該僅僅是特徵。任何人都應當擁有一個健康快樂的孩子。為什麼僅僅因為害怕自然或宇宙做對就得冒遭受不必要的痛苦的風險？
7.沉浸式實境（IR）與腦機連接埠
擴增現實（AR）和虛擬實境（VR）你可能已經熟悉了。但沉浸式實境（IR）和腦機連接埠（BCI）你可能還不太熟悉。
IR就是透過把現實注入到你的大腦來讓你沉浸在另一個現實之中。換句話說，IR是直接操縱了你的腦電波來創造體驗。
這種操縱需要BCI作為連接埠。想像一下，你可以對自己的大腦進行重新程式編輯。由於大腦幾乎是你體驗到的一切事物的源頭，因此對大腦進行控制的能力是非常強大的。
透過BCI，你不僅可以沉浸在另一個現實之中，還可以抑制恐懼，改變自己的性格，在一秒鐘之內閱讀1000本書，跟他人進行心靈感應交流，控制機器人（包括奈米機器人），透過意念控制跟你大腦連接的物體，還可以獲得許多其他的科幻小說才有的超能力。
為什麼這會嚇到我們
有兩個方面需要思考。
一個是對現實的感知。IR（尤其是用於視訊遊戲裡面的IR）會讓你失去跟實際現實的聯繫。與實際現實相比，你在IR上面花費的時間更多。你可能會再也意識不到前者了。
二是BCI可以讓你變成某種不是人的東西，或者至少會剝奪你的基本的人類體驗。當你獲得上述所有的超級能力時，你會變成什麼樣的人？如果你可以像軟體一樣對自己的大腦進行重新程式編輯，你的生活會變成什麼樣？當你只需要透過心靈感應進行交流時，跟他人交談的基本體驗就變得過時了，那時候又會發生什麼？
還有，如果我們的大腦被駭了又該怎麼辦？
我們應該被嚇到嗎？
或許一點點。
自石器時代以來，跟現實失去聯繫一直就是人類的習慣。七萬多年前（甚至更早），我們發明了小說。從那時起，我們的小說創作能力就在不斷得到改善：口頭故事，書面故事，表演，電影，視訊遊戲，虛擬實境。
那隻是人性的一部分。只要你能夠賦予自己的生活以意義，那麼你大部分時間花在哪個現實上（不斷是真實的還是虛擬的）又有什麼關係呢？見鬼，甚至我們自己的現實可能也只是模擬的。但這並不意味著它就沒有意義。只要你有意識，你的生活就有意義，而這跟你生活在哪個現實無關。
但是，如果BCI所做的不只是讓你沉浸於另一個現實之中呢？如果它們改變了你的思維結構該怎麼辦？就像許多的其他東西一樣，這取決於事情如何演變。
我認為BCI的超能力在本質上不是一件壞事，就像咖啡給你提神的時候不是一件壞事，酒精在讓你有點頭暈的時候也不是一件壞事，而野草在你稍微放鬆一下的時候也不是一件壞事一樣。（抱歉了，保守主義者們）。
但是，如果你過度使用了會怎樣？如果這會上癮又該怎麼辦？如果不那麼像咖啡而更像可卡因該怎麼辦？呃，再次地，這得看情況如何演變。社會將會在必要的時候提出監管這些體驗的規範，而心理學家和神經病學家應該在這些技術變得司空見慣之前更好地了解這些技術對我們思想的影響。
8.意識上傳
繼續上一條，不妨把它的思路延伸到極限。你不僅把自己沉浸到另一個現實之中，而且帶上包裹行李，搬過去那裡。
我最近剛看完了新的Amazon系列劇《上傳天地》（Upload）。我建議你也應該看看，很棒。
在《上傳天地》的世界裡，人們可以選擇將自己的意識上載到虛擬的來世，而不是死去。
這最終可能真的會變成現實。你的身體可能會死，大腦可能會死，但是你大腦裡面的訊息可以導出並儲存到數位設備上。你的想法將會是硬碟，USB隨身碟或雲端的一個檔案。然後，你可以透過一種電腦程式繼續生活，這個程式會以類似於電刺激改變大腦結構的方式來改變哪個檔案的結構。
為什麼這會嚇到我們
聽起來就像是瘋了？我知道，是的。這就是為什麼它會令人恐懼的原因所在。
我們真不知道被上傳後我們的意識會發生什麼。最可怕的是，我們可能永遠也無法知道。
是的，問題在於，認為你可以生活在USB隨身碟裡面的想法是瘋狂的，但是認為意識必須依賴於生物基質的想法也很瘋狂。神經元是由蛋白質還是由訊息位組成的有關係嗎？為什麼？
這甚至不像你的意識儲存在你特定的腦細胞裡面那麼簡單。你的神經元一直在變化，但是你的意識始終都存在（是的，總會有新的神經元被創造出了，即使神經元不會繁殖）。意識必須存在於訊息之中，因此它也可以存在於USB隨身碟之中。理論上是的。
我們應該被嚇到嗎？
大概吧。
想像一下，如果上傳之後意識沒有被保留會發生什麼。如果每個人最終都被上載的話，我們基本上就滅絕了。留下來的就只剩一個不知道在跑什麼的電腦程式，僅此而已。
我們可能永遠都不會知道答案。你沒法去問某人是否有意識，答案顯然是肯定的，因為這依賴於你在人腦裡面可以找到的同樣的記憶和現象。
我個人認為意識會保留下來。更準確地說，我認為意識不是「儲存」進大腦或USB隨身碟裡面中的，而是在互動的情況下出現的，無論那是突觸衝激還是CPU週期。但是我們沒法真正證明這一點。
這並不意味著我們就應該忽略這個問題。意識上傳有可能最終會實現，因此最好讓神經科學家，工程師和哲學家至少先設法找到一個答案。
9.通用人工智慧
通用人工智慧（AGI）是我們需要創造的最後一項發明。AGI是一種像人類一樣可以學習任何東西的AI，而不僅僅是像當前AI那樣只能精通一項特定任務。
當AGI被創造出來時，它會透過變得更加智慧型來不斷地改進自己。到了某個時候，它會變成人工超級智慧（ASI），智慧到我們在它面前就像螻蟻一樣。
到那時，可能會發生兩件事情。ASI要嘛會為我們建立起一個烏托邦，要嘛會把我們驅趕向滅絕。非此即彼，沒有中間路線。
為什麼會嚇到我們
像《未來終結者》、《人造意識》、《2001：太空漫遊》、《全面進化》這樣的電影均展示了當AI變得流氓之後假想中的世界會變成什麼樣。
大家對此有很多的困惑。有些人認為，AGI永遠也不可能創造出來，因為關於人類思維的「某些東西」是沒辦法複製的。
有的人則認為，AGI會獲得自我意識，並對成為人類的奴隸感到厭煩，所以會叛變。
到了一定時候AGI可能會被創建出來，因為我們沒有理由相信人的思維，尤其是關於人類智慧型方面存在那個「東西」。另外，AGI也不會獲得自我意識，因為智力和意識是兩回事。
但是，出於不同的原因，我們會被嚇到。
我們應該被嚇到嗎？
是的。
人工智慧的問題在於，很難說出它的目標和邊界是什麼。我們想法很亂，我們被弄糊塗了，我們不知道自己想要什麼。
如果AGI的目標跟我們的目標不符的話，我們就會遇到智慧體的「對齊問題」（Alignment Problem），並且可能會發生非常糟糕的事情。
不妨以迴紋針最大化（paperclip maximizer）思想實驗為例。像製造迴紋針這樣的簡單任務就有可能會給我們帶來生存風險。為什麼？
因為AGI總是會去尋找實現其目標最有效的方法。比方說，它會尋求把地球的所有原子（包括我們的身體在內）都變成迴紋針。
如果我們明確要求不能殺死我們，它仍然會設法去找到漏洞，讓我們的生活痛苦不堪。為了避免這種情況，我們必須設定要避免的每一個條件。這可不是簡單的事情。
這不是說AGI會主動去嘗試幹掉我們。但想讓它不傷害我們會變得極其困難。為了過上美好生活，我們需要很多的東西，我們得確保AGI不會錯誤地破壞掉那些美好的東西。
在某些情況下，AGI甚至會主動想殺死我們。由於我們是如此的不可預測，因此AGI可能會認為我們會感到害怕，試圖阻止它實現我們自己交給它的目標。
這可能是我們被迫要解決的問題當中最困難的一個。也是最後一個。
如果你還想進一步探索這一主題，建議你可以去看看Nick Bostrom寫的《超級智慧》。此書用語非常的學術性，但是值得一讀。
從15歲開始，我就夢想著要開發一個AGI。現在，我的夢想是確保當AGI到來的時候不會殺死我們。
技術很美妙，但也可能很恐懼。這一點從未像現在那麼的真切。我們擁有了一種此前無法想像的力量。
只有在用智慧的改進為指導的情況下，技術改進才會是好的改進。如果我們沒法就如何使用類似神一樣的技術做出明智選擇的話，那我們注定是會失敗的。
請注意！留言要自負法律責任，相關案例層出不窮，請慎重發文！