重要原則：先進的人工智能可代表地球生命歷史上的深刻變化，應(yīng)以相應(yīng)的關(guān)懷和資源加以規(guī)劃和管理。

在人類進步的歷史上，有幾件事特別具有革命性：有意識地使用火、發(fā)明農(nóng)業(yè)、工業(yè)革命，可能還發(fā)明了計算機和互聯(lián)網(wǎng)。但許多人預(yù)計，先進人工智能系統(tǒng)的創(chuàng)造將超越這些成就。

有ai人工智能教授曾經(jīng)說過人工智能是我們未來最重要的話題，或者，正如那樣，人類級人工智能的設(shè)計將是人類歷史上最具影響力的事件，我們再怎么準備也不過分。重要性原則鼓勵我們?yōu)榭赡苁恰吧鼩v史上最大的變化”做好計劃。但我們到底準備做什么呢?更先進的人工智能對社會意味著什么?

社會福利

隨著人工智能的發(fā)展，它也將幫助人類進步，為了支持這一原則，我認為這可以追溯到進化。從進化的角度來看，人類已經(jīng)達到了他們目前對世界的權(quán)力和控制水平，這是因為智力的作用。人工智能是一種增強的智能，它是人類和人工智能的結(jié)合。這將產(chǎn)生一個比自主人工智能更有生產(chǎn)力和更現(xiàn)實的未來，后者離我們太遠了。在可預(yù)見的將來，增強的人工智能，人工智能與人類合作，將改變地球上的生活。它將幫助我們解決與環(huán)境、健康和教育有關(guān)的重大問題。

也許地球上并不是每個人都關(guān)心這個問題，但科學家們應(yīng)該對這些問題進行討論，并制定出與價值觀一致工作的安全指南。最終，我們研究人工智能是因為我們相信它能對世界產(chǎn)生強大的積極影響。但是，技術(shù)越有能力，就越容易誤用-或者說，誤用它的影響會變得更加嚴重。這就是為什么在我們?nèi)〉眠M展的時候，開始更強烈地思考人工智能將發(fā)揮什么作用是如此重要的原因。

短期關(guān)注

盡管“重要性原則”特別提到了先進的人工智能，但我采訪的一些研究人員指出，近期的人工智能也會對人類產(chǎn)生巨大的影響。我相信人工智能甚至在‘先進’之前就會產(chǎn)生深刻的變化，因此我們需要規(guī)劃和管理技術(shù)的發(fā)展，作為人類，我們不擅長長期規(guī)劃，因為我們的民事制度不鼓勵長期規(guī)劃，然而，在這一領(lǐng)域，我們必須發(fā)展自己的能力，以確保在人與機器之間建立負責任和有益的伙伴關(guān)系。

從經(jīng)驗中學習

盡管先進的人工智能可能是革命性的，但我們?nèi)匀豢梢詮囊郧暗募夹g(shù)革命中吸取經(jīng)驗教訓(xùn)，為未來的變化做好準備。通過回顧這些以前的革命性技術(shù)并了解它們的影響，也許我們可以洞察到我們?nèi)绾尾拍転橄冗M的人工智能提前做好計劃。

隨著人工智能能力的提高，我們必須后退一步，問問自己：我們解決了正確的問題嗎?是否有更好的問題定義，更有可能給人類帶來好處?例如，我們一直將人工智能代理定義為理性的。這意味著他們最大限度地提高了預(yù)期效用。

到目前為止，假定效用是已知的。但是，如果你想一想，沒有福音指定效用。我們假設(shè)某個地方會確切地知道為他們的代理指定什么實用程序。事實證明，我們并不是這樣工作的：包括人工智能專家在內(nèi)的人們很難指定效用函數(shù)。我們盡了最大的努力，但是當系統(tǒng)繼續(xù)進行并優(yōu)化我們輸入的內(nèi)容時，結(jié)果有時是令人驚訝的，而且不是有利的方面。

這表明我們對人工智能代理的定義是基于一個錯誤的假設(shè)，我們已經(jīng)開始在機器人技術(shù)中看到這一點-機器人應(yīng)該如何移動的定義沒有考慮到人，機器人應(yīng)該如何從演示中學習的定義等等，我想我們會越來越多地在整個人工智能中看到這一點。我們必須停止對人工智能的人和最終用戶進行含蓄的假設(shè)，并對此進行嚴格的正面處理，將人們納入這一方程。

你怎么認為?

人工智能的發(fā)展將對人類進步產(chǎn)生什么樣的影響?我們怎樣才能為這些潛在的巨大變化做好準備呢?我們能準備一下嗎?作為一個社會，我們還需要問什么其他問題?