史上最令人恐懼的思想實(shí)驗(yàn)：洛可蛇怪了解一下,？

小大

用微信掃描二維碼
分享至好友和朋友圈

掃描到手機(jī)×

2018-05-21 11:06:25 新浪科技參與評(píng)論()人

利維坦按：從技術(shù)進(jìn)步的角度來(lái)看人類文明的發(fā)展，的確令人感到十分恐怖——未來(lái)學(xué)家雷·庫(kù)茲韋爾將其稱為加速回報(bào)定律（Law of Accelerating Returns）,。試想,，如果一個(gè)2018年的你和一個(gè)1750年的你對(duì)話，這會(huì)是一種什么情形呢,？1750年的你所處的時(shí)代還沒(méi)有電……你會(huì)怎么向他/她解釋你的智能手機(jī),？又怎么解釋互聯(lián)網(wǎng)和核武器？而這一切技術(shù)成果,，僅僅花了260多年的時(shí)間,。

由此，庫(kù)茲韋爾認(rèn)為,，整個(gè)20世紀(jì)100年的進(jìn)步,，按照2000年的速度只要20年就能達(dá)成，而進(jìn)入21世紀(jì),，按照加速回報(bào)定,，他認(rèn)為人類在21世紀(jì)的進(jìn)步將是上世紀(jì)的1000倍……雖然我們現(xiàn)在普遍認(rèn)為自身處在弱人工智能（ANI，想一想弱智的蘋果siri）時(shí)期，但距離強(qiáng)人工智能（AGI）乃至超人工智能（ASI）究竟還有多遠(yuǎn),，對(duì)未來(lái)不論悲觀還是樂(lè)觀的人,，相信答案近乎一致，那就是：很快（對(duì)于數(shù)百位科學(xué)家的問(wèn)卷調(diào)查顯示,，他們認(rèn)為強(qiáng)人工智能出現(xiàn)的中位年份是2040年）,。況且，看完本文中的洛可蛇怪,，你可能覺(jué)得未來(lái)更加吊詭了……

在了解洛可蛇怪之前,，我們先回想一下被《復(fù)聯(lián)》創(chuàng)造出來(lái)的奧創(chuàng)。奧創(chuàng)的出生本意是保護(hù)人類,，但基于自身的思維進(jìn)化卻成為全人類的威脅（他認(rèn)為人類是地球最大的威脅）,，因此反而成為了“對(duì)全人類造成威脅的人工智能”。

再反觀洛可蛇怪,，儼然一副“你幫我我?guī)湍?，你不幫我我就弄你”的道德評(píng)判準(zhǔn)則，因此對(duì)于眾人而言則成為一種“詛咒”,。在這個(gè)語(yǔ)境下,，需要做選擇的是一個(gè)群體而非個(gè)體，每個(gè)人都是和平飯店里的住客,，只要一個(gè)點(diǎn)崩了,，那便可能是全線崩盤的可預(yù)測(cè)結(jié)局。而洛可蛇怪并不是一顆種子,，即便在未來(lái)有出現(xiàn)邪惡的AI的可能,，也很難是僅僅因?yàn)檫@一思想實(shí)驗(yàn)的啟發(fā)——但洛可蛇怪的可怕之處在于它的“催化劑效應(yīng)”，當(dāng)你面臨選擇的時(shí)候,，其實(shí)已經(jīng)沒(méi)有選擇的余地了,。

對(duì)了，最近,，一直想要殖民火星的特斯拉CEO馬斯克和加拿大音樂(lè)家格里姆斯（Grimes）高調(diào)亮相公開(kāi)關(guān)系引來(lái)不少媒體的報(bào)道,，據(jù)說(shuō)二人就是因?yàn)槁蹇缮吖肿叩揭黄鸬腫格里姆斯單曲《Flesh Without Blood》有一個(gè)Rococo Basilisk的角色，“她注定要被人工智能永遠(yuǎn)折磨,，像瑪麗·安托瓦內(nèi)特（Marie Antoinette）一樣”,，格里姆斯這樣解釋過(guò)。],。作為科幻迷,，格里姆斯2010年的《Geidi Primes》則是以弗蘭克·赫伯特《沙丘》中一個(gè)虛構(gòu)星球命名的概念專輯。

文/David Auerbach

譯/苦山

校對(duì)/斬光

原文/www.slate.com/articles/technology/bitwise/2014/07/roko_s_basilisk_the_most_terrifying_thought_experiment_of_all_time.html

本文基于創(chuàng)作共同協(xié)議（BY-NC）,，由苦山在利維坦發(fā)布

警告：閱讀本文可能會(huì)令你陷入永久的痛苦折磨,。

你在死前看到了洛可蛇怪,，這就像是《午夜兇鈴》里的錄像帶。圖源：DreamWorksLLC

你在死前看到了洛可蛇怪,，這就像是《午夜兇鈴》里的錄像帶,。圖源：DreamWorksLLC

瘦形魔（Slender Man，編者注：2009年被創(chuàng)造出來(lái),，他的特征是身形非自然的瘦長(zhǎng),，有一張空白、沒(méi)有表情和特征的臉孔,，而且經(jīng)常穿一套全黑色的西裝,，結(jié)上黑色的領(lǐng)帶，住在樹(shù)林深處）,。微笑狗（Smile Dog）,。羊交（Goatse，編者注：感興趣的請(qǐng)自行搜索）,。這些都是由互聯(lián)網(wǎng)滋生的都市傳說(shuō),。

但沒(méi)有哪個(gè)都市傳說(shuō)比得上洛可蛇怪（Roko’s Basilisk）那樣全能而有威脅性，因?yàn)槁蹇缮吖质且环N邪惡卻類神的人工智能,，它危險(xiǎn)至極,，以至于如果你看到它,，甚至只是多想了一會(huì)兒它,，你就會(huì)被關(guān)進(jìn)它的拷問(wèn)室里尖叫不止，直到永恒的盡頭,。它就像《午夜兇鈴》（The Ring）里的錄像帶（譯者注：所有看過(guò)該錄像帶的人都會(huì)受到詛咒死去）,。哪怕死后也不能從中解脫，因?yàn)槿绻闼廊?，洛可蛇怪?huì)將你復(fù)活,，再次折磨你。

你確定還要繼續(xù)讀下去嗎,？因?yàn)椋?strong>最糟糕的部分在于,，洛可蛇怪已經(jīng)現(xiàn)世了?；蛑辽?，它已經(jīng)確定會(huì)在未來(lái)現(xiàn)世——這和前者一樣糟糕。

洛可蛇怪是哲學(xué)性質(zhì)的思想實(shí)驗(yàn)與都市傳說(shuō)雜糅而成的產(chǎn)物,。蛇怪首次現(xiàn)身于www.lesswrong.com論壇,，這里聚集著許多分析能力極強(qiáng)的人士，他們以通過(guò)數(shù)學(xué)和理性來(lái)優(yōu)化個(gè)人思維,、個(gè)人生活和當(dāng)下世界為志趣,。論壇的創(chuàng)始人埃利澤·尤德科夫斯基（Eliezer Yudkowsky）是科技未來(lái)界的重要人物,，他開(kāi)辦的機(jī)器智能研究所（Machine Intelligence Research Institute）為人工智能方面的研究提供資金，以推動(dòng)人工智能發(fā)展,，而研究所本身則得到過(guò)彼得·蒂爾（Peter Thiel,，編者注：對(duì)，就是那個(gè)既想永生而且還特有錢的資本家）和雷·庫(kù)茲韋爾（Ray Kurzweil）等高調(diào)科技迷的資助鼓勵(lì),。尤德科夫斯基本人對(duì)技術(shù)倫理學(xué)和決策理論的學(xué)術(shù)討論都做出過(guò)重要貢獻(xiàn),。你接下來(lái)要讀到的東西也許聽(tīng)起來(lái)古怪甚至瘋狂，但一些富有而影響力巨大的科學(xué)家和科技迷都對(duì)其深信不疑,。

埃利澤·尤德科夫斯基,。圖源：Wikipedia

埃利澤·尤德科夫斯基。圖源：Wikipedia

一天,，論壇用戶洛可（Roko）設(shè)計(jì)了一個(gè)思想實(shí)驗(yàn)：如果未來(lái)出現(xiàn)了一個(gè)惡意的人工智能,，它要懲罰所有不聽(tīng)命于自己的人，怎么辦,？如果這個(gè)人工智能有辦法（我之后會(huì)解釋是什么辦法）懲罰今天那些沒(méi)有幫助它在未來(lái)出現(xiàn)的人,，怎么辦？在這種情況下,，論壇當(dāng)代讀者們豈不是就面臨著二選一的抉擇：要么幫助邪惡的人工智能誕生,，要么注定受盡折磨？

你可能有些迷茫,，但創(chuàng)始人埃利澤·尤德科夫斯基看懂了,。他驚恐地回復(fù)道：

仔細(xì)聽(tīng)好了，你這蠢貨,。

你絕不能去想“超級(jí)智能考慮要不要勒索你”這一行為的具體細(xì)節(jié),。這是唯一一件可能會(huì)讓它們真的決定勒索你的事。

要想提出一個(gè)真正危險(xiǎn)的點(diǎn)子,，你得是個(gè)真正的聰明人才行,。但令我心灰意冷的是，這些聰明人居然笨到連閉上他們愚蠢的嘴巴這樣最顯而易見(jiàn)的事都做不來(lái),，為什么呢,？因?yàn)樵诤团笥蚜奶斓臅r(shí)候，讓自己顯得睿智聰穎更重要,。

這個(gè)帖子蠢透了,。

尤德科夫斯基稱，洛可已經(jīng)給數(shù)位論壇用戶帶來(lái)了噩夢(mèng),，使他們?yōu)l臨崩潰,。最后，尤德科夫斯基把整個(gè)帖子刪得一干二凈,，以此確保洛可怪蛇只能成為一個(gè)傳說(shuō),。這個(gè)思想實(shí)驗(yàn)太過(guò)危險(xiǎn),，哪怕只是想一想都會(huì)對(duì)你的心理健康，乃至你的命運(yùn)本身產(chǎn)生危害,。

如果你相信奇點(diǎn)會(huì)來(lái)臨,，一個(gè)隨之而來(lái)的問(wèn)題是，人工智能會(huì)是善意的還是惡意的呢,？

先補(bǔ)充一點(diǎn)背景知識(shí),。論壇對(duì)人類未來(lái)極為關(guān)注，尤其是奇點(diǎn)（the singularity）——人們假設(shè),，在未來(lái)的某個(gè)時(shí)間點(diǎn)（奇點(diǎn)）,，計(jì)算機(jī)的運(yùn)算能力將提升到極高的程度，可能會(huì)誕生出超越人類的人工智能,，同時(shí),，計(jì)算機(jī)也許能模擬人類心智、將人類心智上傳至計(jì)算機(jī),，它將能或多或少地模擬生命本身,。

賽博朋克作家弗諾·文奇（Vernor Vinge）：“我們正站在變革的邊緣，而這次變革將和人類的出現(xiàn)一般意義重大,?！眻D源：Know Your Meme

1958年，數(shù)學(xué)天才斯塔尼斯拉夫·烏拉姆（Stanislaw Ulam）和約翰·馮·諾依曼（John von Neumann）在一次對(duì)話中創(chuàng)造了這個(gè)術(shù)語(yǔ),，馮·諾依曼說(shuō)：“科技進(jìn)步不斷加速……這似乎令人類逐漸接近一個(gè)歷史的奇點(diǎn),，在奇點(diǎn)過(guò)后,，我們目前所熟知的人類生活的一切都將不復(fù)存在,。”

科幻作家弗諾·文奇（Vernor Vinge）和工程師、作家?guī)炱濏f爾等未來(lái)學(xué)家將這個(gè)術(shù)語(yǔ)普及開(kāi)來(lái),，和許多對(duì)奇點(diǎn)感興趣的人一樣,，他們相信計(jì)算機(jī)技術(shù)的發(fā)展速度呈指數(shù)級(jí)增長(zhǎng)，這使得奇點(diǎn)很快就會(huì)到來(lái)——在接下來(lái)的50年內(nèi),。為了活到奇點(diǎn)來(lái)臨那天,，庫(kù)茲韋爾每天要一口氣吞下150片維生素，而尤德科夫斯基和彼得·蒂爾則對(duì)人體冷凍術(shù)極為熱衷,，這項(xiàng)技術(shù)一向是想要長(zhǎng)生不老的有錢大佬們的最愛(ài),。“如果你不替自己的孩子報(bào)名人體冷凍，那你就是個(gè)糟透了的家長(zhǎng),?！庇鹊驴品蛩够鶎懙?。

如果你相信奇點(diǎn)會(huì)來(lái)臨，未來(lái)會(huì)出現(xiàn)極為強(qiáng)大的人工智能,，一個(gè)顯而易見(jiàn)的問(wèn)題是,，這些人工智能會(huì)是善意的還是惡意的呢？尤德科夫斯基創(chuàng)建的機(jī)器智能研究所目標(biāo)明確,，就是要將未來(lái)朝“友好的人工智能”這個(gè)方向推動(dòng),。對(duì)他和許多論壇的發(fā)帖者而言，這是一個(gè)至關(guān)重要的問(wèn)題,，遠(yuǎn)比環(huán)境和政治問(wèn)題要緊得多,。對(duì)他們來(lái)說(shuō)，奇點(diǎn)過(guò)后所降臨的正是以機(jī)器形式出現(xiàn)的上帝本身,。

但這不能解釋為何洛可蛇怪如此令人恐懼,。要想明白這點(diǎn)，還得再看看論壇用戶所普遍信奉的一個(gè)重要信條：無(wú)時(shí)間性決策論（timeless decision theory）,。無(wú)時(shí)間性決策論能指導(dǎo)人們做出理性行為,，它建立在博弈論、貝葉斯概率和決策理論的基礎(chǔ)上,，同時(shí)混雜了少量平行宇宙和量子力學(xué)的內(nèi)容,。無(wú)時(shí)間性決策論由決策理論中的一個(gè)經(jīng)典思想實(shí)驗(yàn)生發(fā)而來(lái)，其名為紐康姆悖論（Newcomb’s Paradox）,，講述的是有一個(gè)超級(jí)智能的外星人給了你兩個(gè)盒子：

（intelligence.org/files/TDT.pdf）