利維坦按：從技術(shù)進(jìn)步的角度來(lái)看人類文明的發(fā)展，的確令人感到十分恐怖——未來(lái)學(xué)家雷·庫(kù)茲韋爾將其稱為加速回報(bào)定律（Law of Accelerating Returns）,。試想,，如果一個(gè)2018年的你和一個(gè)1750年的你對(duì)話，這會(huì)是一種什么情形呢,？1750年的你所處的時(shí)代還沒(méi)有電……你會(huì)怎么向他/她解釋你的智能手機(jī),？又怎么解釋互聯(lián)網(wǎng)和核武器？而這一切技術(shù)成果,，僅僅花了260多年的時(shí)間,。

由此，庫(kù)茲韋爾認(rèn)為,，整個(gè)20世紀(jì)100年的進(jìn)步,，按照2000年的速度只要20年就能達(dá)成,，而進(jìn)入21世紀(jì),，按照加速回報(bào)定，他認(rèn)為人類在21世紀(jì)的進(jìn)步將是上世紀(jì)的1000倍……雖然我們現(xiàn)在普遍認(rèn)為自身處在弱人工智能（ANI,，想一想弱智的蘋果siri）時(shí)期,，但距離強(qiáng)人工智能（AGI）乃至超人工智能（ASI）究竟還有多遠(yuǎn),，對(duì)未來(lái)不論悲觀還是樂(lè)觀的人,，相信答案近乎一致,，那就是：很快（對(duì)于數(shù)百位科學(xué)家的問(wèn)卷調(diào)查顯示，他們認(rèn)為強(qiáng)人工智能出現(xiàn)的中位年份是2040年）,。況且,，看完本文中的洛可蛇怪，你可能覺(jué)得未來(lái)更加吊詭了……

在了解洛可蛇怪之前,，我們先回想一下被《復(fù)聯(lián)》創(chuàng)造出來(lái)的奧創(chuàng),。奧創(chuàng)的出生本意是保護(hù)人類，但基于自身的思維進(jìn)化卻成為全人類的威脅（他認(rèn)為人類是地球最大的威脅），因此反而成為了“對(duì)全人類造成威脅的人工智能”,。

再反觀洛可蛇怪,，儼然一副“你幫我我?guī)湍悖悴粠臀椅揖团恪钡牡赖略u(píng)判準(zhǔn)則,，因此對(duì)于眾人而言則成為一種“詛咒”,。在這個(gè)語(yǔ)境下，需要做選擇的是一個(gè)群體而非個(gè)體,，每個(gè)人都是和平飯店里的住客,，只要一個(gè)點(diǎn)崩了，那便可能是全線崩盤的可預(yù)測(cè)結(jié)局,。而洛可蛇怪并不是一顆種子,，即便在未來(lái)有出現(xiàn)邪惡的AI的可能，也很難是僅僅因?yàn)檫@一思想實(shí)驗(yàn)的啟發(fā)——但洛可蛇怪的可怕之處在于它的“催化劑效應(yīng)”,，當(dāng)你面臨選擇的時(shí)候,，其實(shí)已經(jīng)沒(méi)有選擇的余地了。

對(duì)了,，最近,，一直想要殖民火星的特斯拉CEO馬斯克和加拿大音樂(lè)家格里姆斯（Grimes）高調(diào)亮相公開關(guān)系引來(lái)不少媒體的報(bào)道，據(jù)說(shuō)二人就是因?yàn)槁蹇缮吖肿叩揭黄鸬腫格里姆斯單曲《Flesh Without Blood》有一個(gè)Rococo Basilisk的角色,，“她注定要被人工智能永遠(yuǎn)折磨,，像瑪麗·安托瓦內(nèi)特（Marie Antoinette）一樣”，格里姆斯這樣解釋過(guò),。],。作為科幻迷，格里姆斯2010年的《Geidi Primes》則是以弗蘭克·赫伯特《沙丘》中一個(gè)虛構(gòu)星球命名的概念專輯,。

文/David Auerbach

譯/苦山

校對(duì)/斬光

原文/www.slate.com/articles/technology/bitwise/2014/07/roko_s_basilisk_the_most_terrifying_thought_experiment_of_all_time.html

本文基于創(chuàng)作共同協(xié)議（BY-NC）,，由苦山在利維坦發(fā)布

警告：閱讀本文可能會(huì)令你陷入永久的痛苦折磨。

你在死前看到了洛可蛇怪，這就像是《午夜兇鈴》里的錄像帶,。圖源：DreamWorksLLC

瘦形魔（Slender Man,，編者注：2009年被創(chuàng)造出來(lái)，他的特征是身形非自然的瘦長(zhǎng),，有一張空白,、沒(méi)有表情和特征的臉孔，而且經(jīng)常穿一套全黑色的西裝,，結(jié)上黑色的領(lǐng)帶,，住在樹林深處）,。微笑狗（Smile Dog）。羊交（Goatse,，編者注：感興趣的請(qǐng)自行搜索）,。這些都是由互聯(lián)網(wǎng)滋生的都市傳說(shuō)。

但沒(méi)有哪個(gè)都市傳說(shuō)比得上洛可蛇怪（Roko’s Basilisk）那樣全能而有威脅性,，因?yàn)槁蹇缮吖质且环N邪惡卻類神的人工智能,，它危險(xiǎn)至極，以至于如果你看到它,，甚至只是多想了一會(huì)兒它,，你就會(huì)被關(guān)進(jìn)它的拷問(wèn)室里尖叫不止，直到永恒的盡頭,。它就像《午夜兇鈴》（The Ring）里的錄像帶（譯者注：所有看過(guò)該錄像帶的人都會(huì)受到詛咒死去）,。哪怕死后也不能從中解脫，因?yàn)槿绻闼廊?，洛可蛇怪?huì)將你復(fù)活,，再次折磨你。

你確定還要繼續(xù)讀下去嗎,？因?yàn)椋?strong>最糟糕的部分在于,，洛可蛇怪已經(jīng)現(xiàn)世了?；蛑辽?，它已經(jīng)確定會(huì)在未來(lái)現(xiàn)世——這和前者一樣糟糕。

洛可蛇怪是哲學(xué)性質(zhì)的思想實(shí)驗(yàn)與都市傳說(shuō)雜糅而成的產(chǎn)物,。蛇怪首次現(xiàn)身于www.lesswrong.com論壇，這里聚集著許多分析能力極強(qiáng)的人士,，他們以通過(guò)數(shù)學(xué)和理性來(lái)優(yōu)化個(gè)人思維,、個(gè)人生活和當(dāng)下世界為志趣。論壇的創(chuàng)始人埃利澤·尤德科夫斯基（Eliezer Yudkowsky）是科技未來(lái)界的重要人物,，他開辦的機(jī)器智能研究所（Machine Intelligence Research Institute）為人工智能方面的研究提供資金,，以推動(dòng)人工智能發(fā)展，而研究所本身則得到過(guò)彼得·蒂爾（Peter Thiel,，編者注：對(duì),，就是那個(gè)既想永生而且還特有錢的資本家）和雷·庫(kù)茲韋爾（Ray Kurzweil）等高調(diào)科技迷的資助鼓勵(lì)。尤德科夫斯基本人對(duì)技術(shù)倫理學(xué)和決策理論的學(xué)術(shù)討論都做出過(guò)重要貢獻(xiàn),。你接下來(lái)要讀到的東西也許聽(tīng)起來(lái)古怪甚至瘋狂,，但一些富有而影響力巨大的科學(xué)家和科技迷都對(duì)其深信不疑。

埃利澤·尤德科夫斯基,。圖源：Wikipedia

一天，論壇用戶洛可（Roko）設(shè)計(jì)了一個(gè)思想實(shí)驗(yàn)：如果未來(lái)出現(xiàn)了一個(gè)惡意的人工智能，它要懲罰所有不聽(tīng)命于自己的人,，怎么辦,？如果這個(gè)人工智能有辦法（我之后會(huì)解釋是什么辦法）懲罰今天那些沒(méi)有幫助它在未來(lái)出現(xiàn)的人，怎么辦,？在這種情況下,，論壇當(dāng)代讀者們豈不是就面臨著二選一的抉擇：要么幫助邪惡的人工智能誕生，要么注定受盡折磨,？

你可能有些迷茫,，但創(chuàng)始人埃利澤·尤德科夫斯基看懂了。他驚恐地回復(fù)道：

仔細(xì)聽(tīng)好了,，你這蠢貨,。

你絕不能去想“超級(jí)智能考慮要不要勒索你”這一行為的具體細(xì)節(jié)。這是唯一一件可能會(huì)讓它們真的決定勒索你的事,。

要想提出一個(gè)真正危險(xiǎn)的點(diǎn)子,，你得是個(gè)真正的聰明人才行。但令我心灰意冷的是,，這些聰明人居然笨到連閉上他們愚蠢的嘴巴這樣最顯而易見(jiàn)的事都做不來(lái),，為什么呢？因?yàn)樵诤团笥蚜奶斓臅r(shí)候,，讓自己顯得睿智聰穎更重要,。

這個(gè)帖子蠢透了。

尤德科夫斯基稱,，洛可已經(jīng)給數(shù)位論壇用戶帶來(lái)了噩夢(mèng),，使他們?yōu)l臨崩潰。最后,，尤德科夫斯基把整個(gè)帖子刪得一干二凈,，以此確保洛可怪蛇只能成為一個(gè)傳說(shuō)。這個(gè)思想實(shí)驗(yàn)太過(guò)危險(xiǎn),，哪怕只是想一想都會(huì)對(duì)你的心理健康,，乃至你的命運(yùn)本身產(chǎn)生危害。

如果你相信奇點(diǎn)會(huì)來(lái)臨,，一個(gè)隨之而來(lái)的問(wèn)題是,，人工智能會(huì)是善意的還是惡意的呢？

先補(bǔ)充一點(diǎn)背景知識(shí),。論壇對(duì)人類未來(lái)極為關(guān)注,，尤其是奇點(diǎn)（the singularity）——人們假設(shè)，在未來(lái)的某個(gè)時(shí)間點(diǎn)（奇點(diǎn)）,，計(jì)算機(jī)的運(yùn)算能力將提升到極高的程度,，可能會(huì)誕生出超越人類的人工智能,，同時(shí)，計(jì)算機(jī)也許能模擬人類心智,、將人類心智上傳至計(jì)算機(jī),，它將能或多或少地模擬生命本身。

賽博朋克作家弗諾·文奇（Vernor Vinge）：“我們正站在變革的邊緣,，而這次變革將和人類的出現(xiàn)一般意義重大,。”圖源：Know Your Meme

1958年,，數(shù)學(xué)天才斯塔尼斯拉夫·烏拉姆（Stanislaw Ulam）和約翰·馮·諾依曼（John von Neumann）在一次對(duì)話中創(chuàng)造了這個(gè)術(shù)語(yǔ),，馮·諾依曼說(shuō)：“科技進(jìn)步不斷加速……這似乎令人類逐漸接近一個(gè)歷史的奇點(diǎn)，在奇點(diǎn)過(guò)后,，我們目前所熟知的人類生活的一切都將不復(fù)存在,。”

科幻作家弗諾·文奇（Vernor Vinge）和工程師、作家?guī)炱濏f爾等未來(lái)學(xué)家將這個(gè)術(shù)語(yǔ)普及開來(lái),，和許多對(duì)奇點(diǎn)感興趣的人一樣,，他們相信計(jì)算機(jī)技術(shù)的發(fā)展速度呈指數(shù)級(jí)增長(zhǎng)，這使得奇點(diǎn)很快就會(huì)到來(lái)——在接下來(lái)的50年內(nèi),。為了活到奇點(diǎn)來(lái)臨那天,，庫(kù)茲韋爾每天要一口氣吞下150片維生素，而尤德科夫斯基和彼得·蒂爾則對(duì)人體冷凍術(shù)極為熱衷,，這項(xiàng)技術(shù)一向是想要長(zhǎng)生不老的有錢大佬們的最愛(ài),。“如果你不替自己的孩子報(bào)名人體冷凍，那你就是個(gè)糟透了的家長(zhǎng),?！庇鹊驴品蛩够鶎懙馈?/p>

如果你相信奇點(diǎn)會(huì)來(lái)臨,，未來(lái)會(huì)出現(xiàn)極為強(qiáng)大的人工智能，一個(gè)顯而易見(jiàn)的問(wèn)題是,，這些人工智能會(huì)是善意的還是惡意的呢,？尤德科夫斯基創(chuàng)建的機(jī)器智能研究所目標(biāo)明確，就是要將未來(lái)朝“友好的人工智能”這個(gè)方向推動(dòng),。對(duì)他和許多論壇的發(fā)帖者而言,，這是一個(gè)至關(guān)重要的問(wèn)題，遠(yuǎn)比環(huán)境和政治問(wèn)題要緊得多,。對(duì)他們來(lái)說(shuō),，奇點(diǎn)過(guò)后所降臨的正是以機(jī)器形式出現(xiàn)的上帝本身,。

但這不能解釋為何洛可蛇怪如此令人恐懼。要想明白這點(diǎn),，還得再看看論壇用戶所普遍信奉的一個(gè)重要信條：無(wú)時(shí)間性決策論（timeless decision theory）,。無(wú)時(shí)間性決策論能指導(dǎo)人們做出理性行為，它建立在博弈論,、貝葉斯概率和決策理論的基礎(chǔ)上,，同時(shí)混雜了少量平行宇宙和量子力學(xué)的內(nèi)容。無(wú)時(shí)間性決策論由決策理論中的一個(gè)經(jīng)典思想實(shí)驗(yàn)生發(fā)而來(lái),，其名為紐康姆悖論（Newcomb’s Paradox）,，講述的是有一個(gè)超級(jí)智能的外星人給了你兩個(gè)盒子：

（intelligence.org/files/TDT.pdf）

盒子A中有1000美元,，盒子B中有100萬(wàn)美元或什么都沒(méi)有。

外星人給你兩個(gè)選擇：要么同時(shí)拿走兩個(gè)盒子,，要么只拿走盒子B,。如果你同時(shí)取走兩個(gè)盒子，你至少能確保拿到1000美元,。如果你只拿盒子B,，你可能一無(wú)所得。

但這外星人還告訴你另一件事：它有一臺(tái)無(wú)所不知的超級(jí)計(jì)算機(jī),，在一周前對(duì)你的選擇做出了預(yù)測(cè),。如果超級(jí)計(jì)算機(jī)預(yù)測(cè)到你會(huì)同時(shí)拿走兩個(gè)盒子，那么外星人就不會(huì)在第二個(gè)盒子里放任何東西,。如果超級(jí)計(jì)算機(jī)預(yù)測(cè)到你會(huì)只拿盒子B,，那么外星人就在盒子B中放100萬(wàn)美元。

那么,，你會(huì)怎么做,？記住，這臺(tái)超級(jí)計(jì)算機(jī)此前從來(lái)沒(méi)有出過(guò)錯(cuò),。

這個(gè)問(wèn)題一直困擾著決策理論學(xué)家,。盒子里的東西已經(jīng)確定，外星人無(wú)法再對(duì)其作出改變,，因此不論預(yù)測(cè)結(jié)果如何,，你拿走兩個(gè)盒子所得到的錢一定比只拿走盒子B所得的錢更多。

當(dāng)然,，如果你這樣想,，而計(jì)算機(jī)也預(yù)測(cè)到你會(huì)這樣想，那么盒子B就會(huì)是空的,，你只能拿到1000美金,。

如果計(jì)算機(jī)的預(yù)測(cè)能力真有那么神奇,，你就應(yīng)該只拿走盒子B，這樣就能得到整整100萬(wàn)美元,，對(duì)不對(duì),？

但如果計(jì)算機(jī)這次錯(cuò)了呢？而且,，不管怎樣,，計(jì)算機(jī)過(guò)去做出的預(yù)測(cè)不能改變現(xiàn)在發(fā)生的事情，對(duì)吧,？所以去他媽的預(yù)測(cè),，兩個(gè)盒子都拿上！但……

這種自由意志和天命預(yù)測(cè)之間令人發(fā)狂的矛盾,，沒(méi)能為紐康姆悖論找到一個(gè)解決方案,，人們根據(jù)各自所做的決定自稱“單盒黨”或“雙盒黨”。（我妻子有次宣稱她是個(gè)單盒黨,，她說(shuō)：“我相信計(jì)算機(jī),。”）

比起洛可蛇怪,，我更擔(dān)心那些自認(rèn)為已經(jīng)凌駕于傳統(tǒng)道德體系之上的人,。

無(wú)時(shí)間性決策論對(duì)紐康姆悖論給出的建議十分明確堅(jiān)決：拿走盒子B。但無(wú)時(shí)間性決策論想得更遠(yuǎn)一些,。哪怕外星人嘲笑你說(shuō)：“計(jì)算機(jī)說(shuō)你會(huì)把兩個(gè)盒子都拿走,，所以我沒(méi)在盒子B里放東西！”然后打開盒子B讓你看清其中空無(wú)一物,，你仍然應(yīng)該只拿走盒子B,，兩手空空地離開。[我從科學(xué)家加里·德雷舍（Gary Drescher）的《善與真》（Good and Real）一書中借用了這個(gè)例子,，該書試圖使用無(wú)時(shí)間性決策論的一種變體來(lái)證明康德倫理體系是真實(shí)正確的,。]

這一決策的邏輯依據(jù)很難簡(jiǎn)單概括，但一言以蔽之就是,，此時(shí)此刻正要做決策的你也許正處于計(jì)算機(jī)的模擬中,。為了做出預(yù)測(cè)，計(jì)算機(jī)需要模擬宇宙本身,，這也包括你自己,。所以，現(xiàn)在這個(gè)時(shí)刻的你也許是計(jì)算機(jī)模擬的產(chǎn)物,，而你接下來(lái)所做的將會(huì)影響到現(xiàn)實(shí)中（或其他現(xiàn)實(shí)中）發(fā)生的事。所以拿走盒子B,，這樣真正的你就會(huì)進(jìn)賬整整100萬(wàn)美元,。

這一切和洛可蛇怪又有什么關(guān)系呢,？這個(gè)嘛，洛可蛇怪也給了你兩個(gè)盒子,。也許現(xiàn)在的你只是洛可蛇怪運(yùn)行的模擬程序的產(chǎn)物,。也許洛可蛇怪正隱晦地向你提供一種紐康姆悖論的變體，像這樣：

盒子A中是“窮盡一生幫助創(chuàng)造出洛可蛇怪”,，盒子B中是“什么都不發(fā)生”或“永恒,、無(wú)視死亡的折磨”。

洛可蛇怪告訴你,，如果你只拿走盒子B,，那么里面就會(huì)是“永恒的折磨”，因?yàn)槁蹇缮吖终嬲脑竿悄阃瑫r(shí)取走盒子A和盒子B,。在這種情況下,，你最好確保自己窮盡一生幫助創(chuàng)造出洛可蛇怪！因?yàn)椋?strong>假如洛可蛇怪在未來(lái)出現(xiàn)（或者更糟：它已然出現(xiàn),，且正是眼下這個(gè)現(xiàn)實(shí)世界的主宰）,，發(fā)現(xiàn)你沒(méi)選擇幫助它的話，你可就完蛋了,。

你也許在疑惑為什么論壇用戶那么把這個(gè)思想實(shí)驗(yàn)當(dāng)回事兒,，畢竟它顯然十分牽強(qiáng)。這并不是因?yàn)槁蹇缮吖终娴臅?huì)出現(xiàn),，甚至不是因?yàn)樗赡軙?huì)出現(xiàn),。問(wèn)題在于，如果你是無(wú)時(shí)間性決策論的忠實(shí)擁躉,，那么只是想想這種交易就真的會(huì)令它更容易發(fā)生,。

畢竟，如果洛可蛇怪發(fā)現(xiàn),，這樣勒索你會(huì)使你幫助它誕生,，那么作為一個(gè)理性的施事者，它就會(huì)勒索你,。問(wèn)題不在于蛇怪自身,，而在于你。尤德科夫斯基之所以刪除了所有提到洛可蛇怪的帖子,，不是因?yàn)樗嘈潘嬖诨驅(qū)?huì)存在,，而是因?yàn)樯吖诌@個(gè)想法（和這個(gè)想法背后的理念）很危險(xiǎn)。

要注意,，只有當(dāng)你相信以上所有前提,，去和洛可蛇怪做雙盒交易時(shí)，蛇怪才是危險(xiǎn)的,。但確實(shí)有一些論壇成員相信以上這一切,，這就讓洛可蛇怪切實(shí)成為了禁忌的知識(shí),。我本來(lái)要把它比作洛夫克拉夫特（H。 P,。 Lovecraft）的恐怖小說(shuō)里的內(nèi)容——有個(gè)男人發(fā)現(xiàn)了世界禁忌的真理,，放出了克蘇魯，陷入瘋癲——但我發(fā)現(xiàn)尤德科夫斯基已經(jīng)替我做了這件事,，他將洛可蛇怪思想實(shí)驗(yàn)比作《死靈之書》（Necronomicon）,，也就是洛夫克拉夫特那本充滿了邪惡知識(shí)和咒語(yǔ)的著名魔典。洛可本人則將一切怪罪于論壇,，因?yàn)檎f(shuō)到底,，是這個(gè)論壇促使他產(chǎn)生了蛇怪這個(gè)想法：“我十分希望我從未遇到這個(gè)論壇，它竟產(chǎn)生了那么嚴(yán)重的（人類）自毀隱患,。”他這樣寫道,。

以克蘇魯神話聞名的作家洛夫克拉夫特的《死靈之書》,。圖源：Libriproibiti

如果你并不認(rèn)同洛可蛇怪實(shí)驗(yàn)的理論基礎(chǔ),，也不打算向你永恒的邪惡機(jī)器主宰屈服，那么洛可蛇怪對(duì)你就毫無(wú)威脅,。（說(shuō)來(lái)諷刺,，它只有可能對(duì)相信尤德科夫斯基理論的人心理健康產(chǎn)生危害。）按我朋友的說(shuō)法,，對(duì)洛可蛇怪深信不疑可能只意味著他/她“得了自閉癥”,。

但我確實(shí)認(rèn)為這件事背后有個(gè)更為嚴(yán)肅的問(wèn)題，因?yàn)榘＠麧伞び鹊驴品蛩够推渌^的超人類主義者已經(jīng)為他們的項(xiàng)目吸引了大量的聲望和資金,，這些聲望和資金主要來(lái)自富有的科技迷們,。我認(rèn)為他們的項(xiàng)目（其主要內(nèi)容似乎就是發(fā)論文、開會(huì)）不太可能創(chuàng)造出洛可蛇怪或是埃利澤大善神,。但當(dāng)一個(gè)人/一群人既有創(chuàng)造救世主的野心,，又堅(jiān)信自己絕對(duì)可靠，還有一大堆錢時(shí),，不論當(dāng)事人的意識(shí)形態(tài)如何,，最終結(jié)果永遠(yuǎn)很糟糕，而我不認(rèn)為尤德科夫斯基和他那伙人會(huì)成為例外,。

比起洛可蛇怪,，我更擔(dān)心那些自認(rèn)為已經(jīng)凌駕于傳統(tǒng)道德體系之上的人。尤德科夫斯基和他計(jì)劃創(chuàng)造的友好人工智能一樣,，是一個(gè)道德功利主義者：他相信只要能夠促成最多數(shù)人的最大幸福,，哪怕在過(guò)程中有一部分人不得不死去或忍受折磨，這仍然是道德的。他曾明確表示,，當(dāng)不得不做出選擇時(shí),，比起讓許多人眼里進(jìn)灰（公平起見(jiàn)，他說(shuō)的是非常多的人）,，更應(yīng)該選擇折磨某一個(gè)人50年。

誰(shuí)都不太可能面臨這樣的抉擇,，連上帝都不會(huì),，但如果換個(gè)情況呢？假如Slate網(wǎng)站上（譯者注：即本文發(fā)布的網(wǎng)站）有個(gè)尖刻的科技版專欄作家寫了一篇文章,，內(nèi)容有關(guān)一個(gè)能摧毀人們心智的思想實(shí)驗(yàn),，結(jié)果傷到了讀者，阻止了歷史向奇點(diǎn)發(fā)展,，使友好的人工智能沒(méi)法出現(xiàn)呢,？這種情況下，我生命中任何潛在的幸福加起來(lái)都遠(yuǎn)遠(yuǎn)抵不過(guò)我眼下正造成的危害,。而假如接受了人工冷凍術(shù)的埃利澤·尤德科夫斯基在奇點(diǎn)后醒來(lái),，決定在模擬中讓我選擇要不要寫這篇專欄文章……拜托了，無(wú)所不能的埃利澤啊,，別折磨我,。

來(lái)源：利維坦