機(jī)器學(xué)習(xí)系統(tǒng)令人困惑-只要問問任何人工智能研究人員就知道了。他們的深層神經(jīng)網(wǎng)絡(luò)運(yùn)作得非?？欤谧龀鰶Q定前幾秒鐘就考慮到了成千上萬的可能性。人類的大腦根本跟不上。

當(dāng)人們學(xué)會(huì)玩圍棋時(shí)，老師可以挑戰(zhàn)他們的決定并聽取他們的解釋。通過這種互動(dòng)，教師確定了學(xué)生理解的限度。但是DeepMind的AlphaGo無法回答這些問題，該公司最近在圍棋比賽中擊敗了世界冠軍，當(dāng)AlphaGo做出一個(gè)意外的決定時(shí)，很難理解它為什么做出這樣的選擇。

無可否認(rèn)，AlphaGo的風(fēng)險(xiǎn)很低：如果它做出意外的舉動(dòng)而失敗，沒有人會(huì)受到傷害。但是，部署我們無法理解的智能機(jī)器可能會(huì)開創(chuàng)一個(gè)危險(xiǎn)的先例。

理解和信任機(jī)器是ai人工智能安全中“要解決的關(guān)鍵問題”，這在今天是必要的。因?yàn)闄C(jī)器學(xué)習(xí)幾乎是每個(gè)人工智能成功故事的核心，所以對我們來說，能夠理解機(jī)器學(xué)到的東西是非常重要的。

隨著機(jī)器學(xué)習(xí)(ML)系統(tǒng)在醫(yī)療、交通和金融方面承擔(dān)更大的控制權(quán)，信任它們的決策變得越來越重要。如果研究人員能夠像Weld試圖做的那樣，對人工智能進(jìn)行編程來解釋他們的決定和回答問題，我們就能更好地評估他們是否能夠安全地獨(dú)立操作。

教機(jī)器自我解釋

WEAW致力于暴露ML系統(tǒng)中的盲點(diǎn)的技術(shù)，或“未知數(shù)”，當(dāng)ML系統(tǒng)面對“已知的未知”時(shí)，它會(huì)識別出它與情況的不確定性。然而，當(dāng)它遇到一個(gè)未知的未知，它甚至不會(huì)認(rèn)識到這是一個(gè)不確定的情況：系統(tǒng)將有極高的信心，其結(jié)果是正確的，但它將是錯(cuò)誤的。分類器通常有這樣的自信，因?yàn)樗麄兘邮苓^一些數(shù)據(jù)的訓(xùn)練，這些數(shù)據(jù)中有一些規(guī)律性，但在現(xiàn)實(shí)世界中卻沒有反映出來。

考慮一個(gè)ML系統(tǒng)，它已經(jīng)被訓(xùn)練來分類狗的圖像，但是只被訓(xùn)練在棕色和黑色的狗的圖像上。如果這個(gè)系統(tǒng)第一次看到一只白色的狗，它可能會(huì)自信地?cái)嘌运皇且恢还?。這是一個(gè)“未知的未知”-訓(xùn)練的不完整的數(shù)據(jù)，分類器不知道這是完全錯(cuò)誤的。

ML系統(tǒng)可以被編程要求人類對已知的未知事物進(jìn)行監(jiān)督，但由于它們不能識別未知的未知事物，因此它們不能輕易地要求監(jiān)督。在發(fā)現(xiàn)未知的未知因素之后，人類接下來可能想知道的是，為什么學(xué)習(xí)者會(huì)犯這些錯(cuò)誤，以及為什么學(xué)習(xí)者如此自信。機(jī)器不像人類那樣“思考”，但這并不意味著研究人員不能對它們進(jìn)行工程設(shè)計(jì)來解釋它們的決定。

一個(gè)研究小組聯(lián)合訓(xùn)練了一個(gè)ML分類器來識別鳥類的圖像并生成字幕。例如，如果人工智能識別一只巨嘴鳥，研究人員就可以問“為什么”，然后，神經(jīng)網(wǎng)絡(luò)就可以做出解釋：巨大的、五顏六色的賬單表明是一只巨嘴鳥。

雖然人工智能開發(fā)人員更喜歡以圖形方式解釋某些概念，但消費(fèi)者將需要這些交互來涉及自然語言和更簡單的解釋。任何解釋都建立在簡化假設(shè)的基礎(chǔ)上，但有一個(gè)棘手的判斷問題，即簡化假設(shè)可以做什么，不同的觀眾想要不同層次的細(xì)節(jié)。

在圖像識別任務(wù)中，解釋這只鳥巨大而多彩的賬單也許就足夠了，但隨著醫(yī)療診斷和金融行業(yè)的發(fā)展，研究人員和用戶會(huì)有更多的需求。就像師生關(guān)系一樣，人和機(jī)器應(yīng)該能夠討論人工智能學(xué)到的東西，以及它還需要工作的地方，必要時(shí)可以深入研究細(xì)節(jié)。我們希望在他們的推理中找出錯(cuò)誤，理解他們?yōu)槭裁磿?huì)犯這些錯(cuò)誤，然后努力改正他們。

管理不可預(yù)知的行為

然而，ML系統(tǒng)不可避免地會(huì)讓研究人員吃驚，這個(gè)系統(tǒng)能夠并且會(huì)找到一些方法來實(shí)現(xiàn)它的目標(biāo)，這與你想象的不同。政府和企業(yè)承擔(dān)不起部署高智能人工智能系統(tǒng)的費(fèi)用，這些系統(tǒng)會(huì)做出意外的、有害的決策，特別是如果這些系統(tǒng)控制著股市、電網(wǎng)或數(shù)據(jù)隱私的話。為了控制這種不可預(yù)見性，希望在執(zhí)行新的計(jì)劃之前，先獲得人類的批準(zhǔn)。

這是一個(gè)判斷的決定，如果它看到人類執(zhí)行行動(dòng)那么這是正常的事情。另一方面，如果它想出一些特別聰明的方法，通過執(zhí)行這個(gè)很少使用的動(dòng)作來達(dá)到目標(biāo)，也許它應(yīng)該由一個(gè)活生生的人來運(yùn)行那個(gè)動(dòng)作。

隨著時(shí)間的推移，這一過程將為認(rèn)可機(jī)構(gòu)制定規(guī)范，因?yàn)樗麄冎滥男┬袆?dòng)是安全的，哪些行動(dòng)需要確認(rèn)。

對當(dāng)前人工智能系統(tǒng)的影響

使用人工智能系統(tǒng)的人往往誤解了它們的局限性，醫(yī)生使用人工智能來捕捉疾病還沒有對人工智能進(jìn)行訓(xùn)練，也不能理解其機(jī)器學(xué)習(xí)。而人工智能系統(tǒng)，沒有被編程來解釋它的決定，不能把問題傳達(dá)給醫(yī)生。

焊接希望看到一個(gè)人工智能系統(tǒng)，與預(yù)先培訓(xùn)的ML系統(tǒng)互動(dòng)，并了解如何預(yù)先培訓(xùn)的系統(tǒng)可能會(huì)失敗。該系統(tǒng)可以分析醫(yī)生的新診斷軟件，找出其盲點(diǎn)，如未知的未知數(shù)。然后，可解釋的人工智能軟件可以使人工智能與醫(yī)生交談，回答問題和澄清不確定性。

其應(yīng)用范圍還擴(kuò)展到金融算法、個(gè)人助理、自動(dòng)駕駛汽車，甚至在法律體系中預(yù)測累犯，在法律體系中，解釋可以幫助根除偏見。ML系統(tǒng)非常復(fù)雜，人類可能永遠(yuǎn)無法完全理解它們，但這種前后對話是至關(guān)重要的第一步。