汽車自動(dòng)行駛在我們的街道上，飛機(jī)在我們的天空中飛行，醫(yī)療技術(shù)診斷疾病，推薦治療計(jì)劃，拯救生命。

人工智能系統(tǒng)已經(jīng)存在于我們生活之中，而且已經(jīng)存在了一段時(shí)間。然而，世界還沒有看到一個(gè)超級(jí)人工智能(ASI)，它的認(rèn)知能力超越了我們自己的所有相關(guān)指標(biāo)。但技術(shù)正在迅速發(fā)展，許多人工智能研究人員認(rèn)為，超級(jí)人工智能的時(shí)代可能正在迅速來(lái)臨，一旦它到來(lái)，研究人員和政治家都無(wú)法預(yù)測(cè)會(huì)發(fā)生什么。幸運(yùn)的是，許多人已經(jīng)在努力確保這種人工智能的興起不會(huì)導(dǎo)致人類的墮落。

全球?yàn)?zāi)難風(fēng)險(xiǎn)研究所是一個(gè)致力于防止全球文明毀滅的智囊團(tuán)。全球?yàn)?zāi)難風(fēng)險(xiǎn)研究所關(guān)注的是一系列威脅，這些威脅使我們?nèi)祟惖纳嫣幱谖ｋU(xiǎn)之中。從氣候變化到核戰(zhàn)爭(zhēng)，從外星智慧到人工智能-全球?yàn)?zāi)難風(fēng)險(xiǎn)研究所涵蓋了這一切。全球?yàn)?zāi)難風(fēng)險(xiǎn)研究所正在致力于“開發(fā)結(jié)構(gòu)化風(fēng)險(xiǎn)模型，以幫助人們了解哪些風(fēng)險(xiǎn)可能存在，以及減少這種風(fēng)險(xiǎn)的一些最佳機(jī)會(huì)在哪里，這項(xiàng)任務(wù)并不容易。

根本問題源于這樣一個(gè)事實(shí)：與更常見的威脅(如死于車禍的風(fēng)險(xiǎn)或患癌癥的風(fēng)險(xiǎn))不同，從事超級(jí)人工智能風(fēng)險(xiǎn)分析的研究人員在進(jìn)行模型和預(yù)測(cè)時(shí)，沒有可靠的案例研究可供使用。因?yàn)橛?jì)算機(jī)從來(lái)沒有占領(lǐng)過世界，也沒有殺死過所有人。這意味著我們不能只看數(shù)據(jù)，而這正是我們應(yīng)對(duì)許多其他風(fēng)險(xiǎn)的方式。這不僅是以前從未發(fā)生過的，而且這種技術(shù)甚至還不存在。如果它建成了，我們也不知道它將如何建成。

那么，研究人員不知道人工智能會(huì)是什么樣子，又沒有真正的數(shù)據(jù)可供研究，他們?nèi)绾尾拍艽_定人工智能所帶來(lái)的風(fēng)險(xiǎn)呢?。

幸運(yùn)的是，談到人工智能超智能，人工智能專家并不完全在未知領(lǐng)域。還是存有有一些想法和一些相關(guān)的證據(jù)，但這些東西是分散的。為了解決這個(gè)問題，全球?yàn)?zāi)難風(fēng)險(xiǎn)研究所創(chuàng)建了模型。他們獲取現(xiàn)有的信息，對(duì)其進(jìn)行組織，然后以有組織的方式發(fā)布結(jié)果，以便研究人員能夠更好地理解主題，以及可能影響當(dāng)前問題結(jié)果的各種因素，并最終更好地了解與超級(jí)人工智能相關(guān)的各種風(fēng)險(xiǎn)。

例如，當(dāng)試圖找出設(shè)計(jì)一個(gè)人工智能以使其安全運(yùn)行是多么容易時(shí)，需要建模的子細(xì)節(jié)之一是，人類是否能夠在人工智能失控之前觀察并測(cè)試它。這一次，我們需要對(duì)人工智能進(jìn)行建模。換句話說，人工智能研究人員是否能夠識(shí)別出人工智能有危險(xiǎn)的設(shè)計(jì)并將其關(guān)閉。為了模擬這個(gè)場(chǎng)景并確定什么是風(fēng)險(xiǎn)和最可能的場(chǎng)景，全球?yàn)?zāi)難風(fēng)險(xiǎn)研究所利用現(xiàn)有的信息-人工智能研究人員的觀點(diǎn)和觀點(diǎn)、關(guān)于AI技術(shù)的已有知識(shí)和它的功能等等-并通過構(gòu)造上述信息以及參數(shù)或數(shù)據(jù)集中的任何不確定性來(lái)建模主題。

這種建模和風(fēng)險(xiǎn)分析最終使團(tuán)隊(duì)能夠更好地理解問題的范圍，并通過清晰地組織信息，推進(jìn)超級(jí)情報(bào)研究社區(qū)中正在進(jìn)行的對(duì)話。這個(gè)模型并不能讓我們對(duì)未來(lái)發(fā)生的事情有一個(gè)完整的了解，但它確實(shí)讓我們能夠更好地理解我們?cè)诔?jí)人工智能興起時(shí)所面臨的風(fēng)險(xiǎn)、可能發(fā)生的事件和結(jié)果，以及決策者和人工智能研究人員為確保ASI造福于人類而應(yīng)該采取的具體步驟。

當(dāng)然，當(dāng)涉及到人工超智能的風(fēng)險(xiǎn)時(shí)，我們是否能夠觀察和測(cè)試我們的人工智能只是一個(gè)更大模型的一小部分。

模擬災(zāi)難，為了了解怎樣才能帶來(lái)ASI的天啟，以及我們?nèi)绾尾拍茏柚顾?，全球?yàn)?zāi)難風(fēng)險(xiǎn)研究所已經(jīng)創(chuàng)建了一個(gè)模型，從一些有利的角度來(lái)研究以下的問題：

第一步：是否有可能建立一個(gè)人工智能?

第二步：人類會(huì)建立超智能嗎?

第三步：人類會(huì)失去對(duì)超智能的控制嗎?

這個(gè)模型的前半部分集中在如何構(gòu)建ASI的具體細(xì)節(jié)上。模型的后半部分深入分析了與創(chuàng)建有害的ASI有關(guān)的風(fēng)險(xiǎn)分析，并研究了以下內(nèi)容：

第一步：人類會(huì)設(shè)計(jì)出有害的人工智能嗎?

第二步：超級(jí)智能會(huì)自行發(fā)展出有害的行為嗎?

第三步：是否有什么東西阻止超智能的行為是有害的(如另一個(gè)人工智能或一些人類的行動(dòng))?

每一步都建模了許多不同的可能性，以揭示我們面臨的各種風(fēng)險(xiǎn)，以及這些威脅的重要性和可能性。雖然模型仍在改進(jìn)中，但已經(jīng)取得了很大的進(jìn)展。這種風(fēng)險(xiǎn)開始有意義了，我們開始清楚地看到，要看到這樣的災(zāi)難，需要付出什么樣的代價(jià)。然而，這項(xiàng)研究還太年輕，這些研究超智能及其所有風(fēng)險(xiǎn)和政策方面的人，我們不能確切地確定我們現(xiàn)在想要什么政策。現(xiàn)在發(fā)生的事情更多的是關(guān)于人工智能的通用對(duì)話。它承認(rèn)這樣一個(gè)事實(shí)，即人工智能不僅僅是一個(gè)技術(shù)和經(jīng)濟(jì)機(jī)會(huì)，它還涉及風(fēng)險(xiǎn)和困難的倫理問題。