目前賦予人類比其他物種更大優(yōu)勢的特性是智慧，人類在推理和機智方面的優(yōu)勢使我們得以茁壯成長，然而，情況并非總是如此。盡管超級人工智能系統(tǒng)可能還需要幾十年的時間，但現(xiàn)在就開始研究這項技術是明智的，科學家和研究人員需要準備的時間越多，這個系統(tǒng)最終可能會比我們更聰明，就越好。

一個比人類更智能的人工智能系統(tǒng)有可能開發(fā)出人類所需的工具，同時，高性能的人工智能系統(tǒng)可能不具備人類的公平感、同情心或保守主義。因此，人工智能系統(tǒng)一心一意地追求其編程目標可能導致它欺騙程序員，試圖奪取資源，或以其他方式表現(xiàn)出敵對行為。

研究人員必須確保人工智能的行為方式符合人類的利益，然而，即使是高度可靠的代理編程也不能保證產生積極的影響;系統(tǒng)的效果仍然取決于它是否追求人類認可的目標。超級人工智能系統(tǒng)可能會找到一些聰明的、意外的方法來實現(xiàn)它所設定的特定目標。

例如，設想一個超級人工智能系統(tǒng)設計用于治療癌癥而不做任何壞事，這一目標植根于文化背景和共享人類知識。人工智能可能并不完全理解什么是“壞的”。因此，它可能試圖通過竊取資源、以生物圈為代價擴散機器人實驗室、綁架試驗對象或以上所有方法來治愈癌癥。

如果一個現(xiàn)有的人工智能系統(tǒng)失去控制，研究人員只需關閉它，并修改它的源代碼。然而，修改超級人工智能系統(tǒng)可能會更加困難。一個系統(tǒng)可以獲得新的硬件，改變其軟件，或采取其他行動，使原來的程序員只有可疑的控制代理。而且，如果系統(tǒng)保持運行并繼續(xù)追求其目標，而不是停用或更改其目標，則大多數(shù)規(guī)劃目標都能更好地實現(xiàn)，因此，系統(tǒng)自然會傾向于抵制關閉和抵制對其目標的修改。

為了確保超級人工智能的發(fā)展對世界產生積極影響，它必須以一種易于糾正的方式構建，即使它有能力防止或避免糾正。我們的目標不是設計那些在試圖欺騙程序員時失敗的系統(tǒng);目標是理解具有缺陷的目標的高度智能和通用推理器是如何被構建成從一開始就沒有欺騙程序員的動機的。相反，我們的意圖是讓第一個高性能的系統(tǒng)成為可補救的，也就是說，讓它們認識到它們的目標和其他功能正在進行中，并與程序員一起識別和修復錯誤。

人們對這類系統(tǒng)的設計或實現(xiàn)細節(jié)知之甚少，因為在這一點上，一切都是假設的還不存在超級人工智能系統(tǒng)。對此的積極研究主要集中在小型“玩具”問題和可替代代理的模型上，希望從中獲得的見解能夠應用于更現(xiàn)實、更復雜的問題版本?？茖W家試圖用這些模型闡明人工智能的關鍵困難，一個這樣的玩具問題是“關機問題”，它涉及設計一組偏好，激勵代理在按下按鈕時關閉，而不鼓勵代理導致或阻止該按鈕的按壓。這將告訴研究人員，是否可以指定一個效用函數(shù)，使用該函數(shù)的代理人在沒有動機導致或阻止切換的情況下，按需切換他們的偏好。

在這種形式的邏輯環(huán)境中研究模型已經導致了部分解決方案，并且進一步的研究推動了邏輯不確定性下推理方法的發(fā)展，這可能會繼續(xù)下去。

到目前為止，這個研究項目的最大成果是“邏輯歸納法”，它是一種新的演繹有限推理模型，我們在數(shù)學問題上的不確定性，對我們來說太難了，在這個時刻，我們很難用正確的方法來解決，這就是邏輯上的不確定性。

而且，沒有人有足夠的計算資源在合理的時間內解決這個問題。盡管如此，數(shù)學家們仍然有很多關于數(shù)學猜想有多可能成立的理論。因此，他們必須使用某種標準，可以用來判斷一個數(shù)學陳述的概率是真的還是假的。這種“邏輯歸納法”證明了可計算邏輯電感的存在(產生滿足邏輯歸納法的概率賦值的算法)。

這個框架很有可能為元數(shù)學、決策理論、博弈論和計算反思等長期以來似乎難以解決的問題開辟新的研究途徑。他們也“謹慎樂觀”地認為，他們將提高我們對決策理論和反事實推理的理解，以及其他與人工智能價值比對相關的問題。

設計更智能、更安全、更可靠的系統(tǒng)的任務可以委托給早期的比人類更智能的系統(tǒng)。不過，只要人工智能所做的研究是可信的，這種情況就不會發(fā)生。重要的是，在做出比人類系統(tǒng)更智能的設計決策之前，發(fā)展對AI人工智能比對的正式理解，通過及早開始這項工作，人類不可避免地面臨著這樣一種風險，即使最終可能變得無關緊要，然而，如果沒有做好準備，情況可能會更糟。