能力警告原則：沒有達成共識，我們應該避免對未來ai人工智能能力的上限做出強有力的假設(shè)。

在社會的每個組成部分，會在一個未知的時間尺度上發(fā)生重大的變化，并且在這個過渡中發(fā)揮作用的人們有很大的責任和機會來塑造它，什么會引發(fā)這種變化?當然是人工智能。

23個Asilomar 人工智能原則提供了一個框架，以幫助人工智能系統(tǒng)盡可能多的人受益。但是，正如人工智能專家Toby Walsh所說的那樣，“原則代表了對話的開始，現(xiàn)在我們需要跟進對每個原則的廣泛討論，這僅僅只是一個開始。

能力警告

人工智能研究人員面臨的最大問題之一是：人工智能能夠變得多么聰明和有能力?

近年來，人工智能的發(fā)展突飛猛進。DeepMind的AlphaGo在具有挑戰(zhàn)性的復雜Go游戲中超越了人類表現(xiàn)，該公司已經(jīng)創(chuàng)建了人工智能，可以快速學會玩Atari視頻游戲。我們也看到了語言翻譯，自動駕駛汽車，甚至是新藥用分子的創(chuàng)新方面的突破和進步。

但人工智能會變得多么先進?它是否會繼續(xù)僅在狹隘的任務中表現(xiàn)出色，還是會發(fā)展出更廣泛的學習技能，使大多數(shù)任務中的人工智能能夠勝過人類?我們?nèi)绾螢槿斯ぶ悄茏龊脺蕚浔任覀兿胂蟮母斆?

一些專家認為人工智能可以在幾十年內(nèi)的發(fā)展而超越人類，而有些人認為沒有人會完成這一壯舉。能力警告原則認為，在我們有確鑿的證據(jù)確認人工智能有朝一日可以實現(xiàn)的目標之前，假設(shè)沒有上限是更安全的，也就是說，目前任何事情都是可能的，我們需要相應地制定計劃。

專家意見

能力謹慎原則引起了專家的共識和不同意見。斯坦福大學的助理教授斯特凡諾·埃爾蒙和路易斯維爾大學的副教授羅曼·揚波爾斯基都采用了一種更安全而不是抱歉的方法。

Ermon轉(zhuǎn)向歷史，提醒人們未來的預測是多么困難。他解釋說，“總是很難預測未來，想一想人們在一百年前的想象，關(guān)于未來會是什么樣子。我認為他們很難想象我們今天擁有的東西，我們應該采取類似的，非常謹慎的觀點來預測未來，如果它非常難，那么最好安全地進行研究。”

Yampolskiy考慮了當前的技術(shù)安全政策，稱“在計算機科學的許多領(lǐng)域，如復雜性或加密技術(shù)，默認假設(shè)是我們處理最壞的情況。同樣，在人工智能Safety中，我們應該假設(shè)人工智能將具備最大的能力并做出相應的準備。如果我們錯了，我們?nèi)詫⑻幱诹己脿顟B(tài)?！?

華盛頓大學教授丹·韋爾德對這一原則說：“我同意!作為一名科學家，我反對對任何事情作出強烈或不合理的假設(shè)，所以當然我同意。“

但盡管他同意這一原則背后的基本思想，但韋爾德也有所保留?！斑@個原則困擾著我，”韋爾德解釋道，“因為它似乎含蓄地說，人工智能將立即成為超人類，一般很快就會很聰明，我們需要擔心這個問題。這種說法讓我感到擔憂，因為我認為這會分散對可能更大，更重要，更近期，可能具有破壞性的問題的注意力。我比擔心天網(wǎng)更擔心失業(yè)和需要某種有保障的醫(yī)療保健，教育和基本收入。而且我更擔心一些恐怖分子采取人工智能系統(tǒng)并試圖對其進行編程以殺死所有人，而不是我關(guān)于人工智能系統(tǒng)突然醒來并決定它應該自行完成。”

我認為人工智能對于人類達到我們的全部能力是必要的，我們也不想承擔上限。我認為在增強人類智能的空間中，人工智能在創(chuàng)造個人和職業(yè)生活方面確實存在巨大潛力。每個人都好多了。我不認為在這方面未來的人工智能能力有上限。我認為越來越多的人工智能系統(tǒng)與人類一起將增強我們的智能，這是對機器所具有的智能的補充，并將幫助我們做出更好的決策，更好地生活，并解決我們不知道的問題現(xiàn)在該如何解決。

你怎么看?

人工智能有上限嗎?人工智能可以達到上限嗎?實現(xiàn)不斷提高的高級人工智能需要多長時間?我們?nèi)绾斡眠@種不確定性來規(guī)劃未來?整個社會如何解決這些問題?我們還應該詢問有關(guān)人工智能功能的其他問題?