風險原則： 人工智能系統(tǒng)帶來的風險，特別是災(zāi)難性或存在風險，必須受到與其預(yù)期影響相稱的規(guī)劃和減緩努力。

我們不知道人工智能的未來會是什么樣子，雖然有些人可能會做出有根據(jù)的猜測，但未來還不清楚。人工智能可以像所有其他技術(shù)一樣繼續(xù)發(fā)展，幫助我們從一個時代過渡到一個新時代。大部分人工智能研究人員希望它可以幫助我們轉(zhuǎn)變?yōu)橐粋€更健康，更智能，更和平的社會。但重要的是要記住ai人工智能只是一種工具，因此，本質(zhì)上不是好的或壞的，與任何其他技術(shù)或工具一樣，可能會產(chǎn)生意想不到的后果。

值得關(guān)注的是，隨著技術(shù)的進步，它可以影響更多的人。揮動不好的錘子很可能只會傷害持釘子的人，車禍可能會傷害乘客和駕駛員以及行人，飛機失事可以殺死數(shù)百人?，F(xiàn)在，自動化威脅著數(shù)以百萬計的就業(yè)機會，雖然大概沒有生命會因為直接的結(jié)果而喪失，但大規(guī)模失業(yè)會帶來毀滅性的后果。

工作自動化只是一個開始，當人工智能變得非常普遍且非常強大時，將其與人類利益相結(jié)合將是一項挑戰(zhàn)。如果我們失敗了，人工智能可能會成為威脅人類存在的風險。鑒于人們期望先進的人工智能將遠遠超過迄今為止所見的任何技術(shù)，甚至可能超越人類的智慧，我們?nèi)绾晤A(yù)測并為人類面臨的風險做好準備?

非零概率

考慮高級人工智能風險的一個重要方面是認識到風險存在，應(yīng)該加以考慮。即使存在風險的可能性很小，一旦成倍增加就會產(chǎn)生影響。沒有比避免滅絕人類更重要的了。直接風險是代理商產(chǎn)生不必要的，令人驚訝的行為，即使我們計劃好好使用人工智能，事情也可能出錯，正是因為我們不善于為人工智能代理商指定目標和約束，他們的解決方案往往不是我們想到的。

考慮其他風險

我們應(yīng)該忽視任何技術(shù)的風險而不采取預(yù)防措施嗎?當然不是，解決人工智能的長期風險，應(yīng)采取更為細致入微的方法。但這確實讓我感到不安，因為再次隱含的前提是人工智能系統(tǒng)極有可能造成存在風險。

我們希望更多的討論是可解釋的機器學習，由于機器學習幾乎是每個人工智能成功案例的核心，因此能夠理解機器學到的東西對我們來說非常重要。當然，對于深度神經(jīng)網(wǎng)絡(luò)，很難理解他們學到了什么。我認為開發(fā)技術(shù)對我們來說非常重要，因此機器可以解釋他們學到了什么，這樣人類就可以驗證這種理解。......當然，在我們可以信任AGI之前我們需要解釋，但是在我們實現(xiàn)一般情報之前很久就需要解釋，因為我們部署了更多有限的智能系統(tǒng)。例如，如果醫(yī)學專家系統(tǒng)推薦治療，我們希望能夠問“為什么?”

愚蠢地部署的狹窄人工智能系統(tǒng)可能是災(zāi)難性的，我認為直接風險不是系統(tǒng)智能的函數(shù)，而是系統(tǒng)自治的功能，特別是其效應(yīng)器的功效和對其行為的約束類型。

開放給解釋

原則聽起來很棒，但你需要解決它。例如，可能存在這種災(zāi)難性風險會影響世界上的每個人，它可能是人工智能或小行星或其他東西，但它會影響每個人。但是概率很小，比如說0.000001%。現(xiàn)在，如果您進行預(yù)期的效用計算，這些大數(shù)字將每次都破壞公式?？赡艽嬖谝恍┱嬲秊?zāi)難性的人工智能風險，但如果進行預(yù)期的效用計算，則可能會被數(shù)字誤導(dǎo)。

科學家認為我們?nèi)绾味x相稱的比較重要，我們在看概率嗎?我們在看損害程度嗎?或者我們正在考慮預(yù)期效用?您對風險的不同看法可能會為您指出不同的結(jié)論。我們可以想象來自人工智能或機器人或基因工程的各種災(zāi)難性風險，但如果可能性很小，并且您仍然希望堅持這個預(yù)期的實用程序框架，那么這些大數(shù)字可能會破壞數(shù)學。并不總是清楚正確的方法是考慮風險和對風險做出適當?shù)姆磻?yīng)。

但這個原則似乎太模糊了，也許我最關(guān)心的是它遺漏了易處理性的問題：我們對風險的關(guān)注實際上不應(yīng)該與風險的預(yù)期影響成正比;它應(yīng)該與注意力的預(yù)期有用性成比例。在某些情況下，我們應(yīng)該更多地關(guān)注較小的風險而不是較大的風險，因為較大的風險并不是我們可以取得很大進展的事實。(還有兩個單獨的和額外的主張，即'我們也應(yīng)該盡可能避免采取具有明顯存在風險的行動'和'用于設(shè)計跨域領(lǐng)域超人能力的人工智能系統(tǒng)的許多方法(包括默認方法)學習，推理和規(guī)劃會帶來明顯的存在風險。

如果處理不當，開發(fā)具有同等人或更高能力的機器來學習和規(guī)劃許多不同的現(xiàn)實領(lǐng)域，會帶來巨大的全球事故風險。因此，開發(fā)這項技術(shù)的任務(wù)需要特別小心，我們應(yīng)該盡我們所能來確保人工智能研究界的各個部門之間的關(guān)系是穩(wěn)定的，協(xié)作的和高度信任的，這樣研究人員就不會感到有壓力在安全和保障工作上匆忙或偷工減料。