當(dāng)蘋(píng)果在2011年發(fā)布其軟件應(yīng)用Siri時(shí)，iPhone用戶對(duì)他們的智能個(gè)人助理抱有很高的期望。然而，盡管Siri的性能令人印象深刻且不斷增長(zhǎng)，但它經(jīng)常犯錯(cuò)誤。該軟件的不完善突出了當(dāng)前人工智能的明顯局限性：當(dāng)今的機(jī)器智能無(wú)法理解人類生活中變化多樣的需求和偏好。

然而，隨著人工智能系統(tǒng)的發(fā)展，專家們相信智能機(jī)器最終并且很快將比人類更好地了解這個(gè)世界。雖然很容易理解Siri是如何以及為什么會(huì)犯錯(cuò)的，但要弄清楚為什么一個(gè)超級(jí)人工智能做出了這樣的決定，將是一項(xiàng)更大的挑戰(zhàn)。

如果人類不能理解和評(píng)估這些機(jī)器，他們將如何控制它們?

保羅·克里斯蒂是加州大學(xué)伯克利分校計(jì)算機(jī)科學(xué)專業(yè)的博士生，他一直致力于解決這個(gè)問(wèn)題。他相信，為了確保ai人工智能的安全和有益，研究人員和操作人員必須學(xué)會(huì)衡量智能機(jī)器在多大程度上做著人類想要做的事情，即使這些機(jī)器超越了人類智能。

半監(jiān)督學(xué)習(xí)

監(jiān)督人工智能系統(tǒng)發(fā)展的最明顯，最恰當(dāng)并且最艱難的方法，正如克里斯蒂亞諾解釋的那樣：“人類交流自己想要的東西的一種方式，就是花大量時(shí)間深入研究(人工智能)做出的一些小決定，并嘗試評(píng)估這個(gè)決定有多好?！?

但是，盡管這在理論上是可能的，但人類研究人員永遠(yuǎn)沒(méi)有時(shí)間或資源來(lái)評(píng)估人工智能做出的每一個(gè)決定?！叭绻阆胱鲆粋€(gè)好的評(píng)估，你可以花幾個(gè)小時(shí)分析機(jī)器在一秒內(nèi)做出的決定，”克里斯蒂亞諾說(shuō)。

對(duì)研究者來(lái)說(shuō)，幸運(yùn)的是，他們不需要評(píng)估人工智能做出的每一個(gè)決定，就能對(duì)它的行為充滿信心。相反，研究人員可以選擇機(jī)器上最有趣和信息最豐富的決定，在這些決定中獲得反饋將最大限度地減少我們的不確定性。

主動(dòng)學(xué)習(xí)過(guò)程是人類訓(xùn)練人工智能的有效方法，但是當(dāng)人類需要評(píng)估超出人類智力的人工智能時(shí)會(huì)發(fā)生什么呢?

試想一臺(tái)掌握國(guó)際象棋的電腦，如果一個(gè)人還沒(méi)有掌握國(guó)際象棋，他怎么能給計(jì)算機(jī)適當(dāng)?shù)姆答伳?人可能會(huì)批評(píng)計(jì)算機(jī)的一個(gè)舉動(dòng)，但后來(lái)才意識(shí)到機(jī)器是正確的。隨著智能手機(jī)和電腦的日益普及，類似的問(wèn)題肯定會(huì)出現(xiàn)。最終，我們需要處理人工智能系統(tǒng)在幾乎所有方面都超越人類性能的情況。

使用認(rèn)可機(jī)構(gòu)評(píng)估更智能的人工智能S

當(dāng)用戶撥打電話時(shí)，用戶對(duì)這一決定的反應(yīng)對(duì)于確定該電話是否會(huì)在未來(lái)的電話通話中斷用戶至關(guān)重要。但是，如果一臺(tái)更先進(jìn)的機(jī)器比人類用戶更能理解中斷的后果，那么問(wèn)人類‘手機(jī)是否應(yīng)該立即打斷你’可能是個(gè)壞主意。人可能會(huì)對(duì)中斷表示惱怒，但機(jī)器可能會(huì)更清楚地認(rèn)識(shí)到，為了使用戶的生活平穩(wěn)地運(yùn)行，這種煩惱是必要的。

在這種情況下，建議人類評(píng)價(jià)者使用其他智能機(jī)器來(lái)完成評(píng)估人工智能決策的繁重工作。實(shí)際上，能力較弱的系統(tǒng)1負(fù)責(zé)評(píng)估能力較強(qiáng)的系統(tǒng)2盡管系統(tǒng)2更聰明，但系統(tǒng)1可以快速處理大量信息，并且可以理解系統(tǒng)2應(yīng)該如何修改其行為。人力培訓(xùn)員仍將提供投入并監(jiān)督這一過(guò)程，但他們的作用將是有限的。

這一培訓(xùn)過(guò)程將幫助谷歌了解如何創(chuàng)建一個(gè)更安全和更智能的人工智能系統(tǒng)3，然后人類研究人員可以使用系統(tǒng)2進(jìn)行培訓(xùn)。這些智能機(jī)器就像為人類執(zhí)行任務(wù)的小代理一樣，Siri已經(jīng)有了這種有限的能力來(lái)接受人類的輸入并弄清楚人類想要什么，但隨著人工智能技術(shù)的進(jìn)步，機(jī)器將學(xué)會(huì)執(zhí)行人類無(wú)法完全理解的復(fù)雜任務(wù)。

我們能確保人工智能擁有人類的價(jià)值嗎?

隨著谷歌和其他科技公司在每次評(píng)估中不斷改進(jìn)智能機(jī)器，人力培訓(xùn)師將發(fā)揮更小的作用。理想情況下，每次你建立一個(gè)更強(qiáng)大的機(jī)器，它有效地模擬了人類的價(jià)值，并做了人類想要的，但當(dāng)這些機(jī)器超越人類智慧時(shí)，它們可能會(huì)偏離人類的價(jià)值觀。用人類的話來(lái)說(shuō)：一個(gè)復(fù)雜的智能機(jī)器就像一個(gè)龐大的人類組織。如果組織所做的任務(wù)太復(fù)雜，任何人都無(wú)法理解，那么它就可能追求人類不喜歡的目標(biāo)。

為了解決這些控制問(wèn)題，克里斯蒂亞諾正致力于“對(duì)這種機(jī)器學(xué)習(xí)過(guò)程的端到端描述，充實(shí)似乎最相關(guān)的關(guān)鍵技術(shù)問(wèn)題”。他的研究將有助于加深對(duì)人類如何使用人工智能系統(tǒng)來(lái)評(píng)估更先進(jìn)的人工智能系統(tǒng)行為的理解。如果他的研究成功，這將是在建立可信賴的人工智能方面邁出的重要一步。