我們的人工智能系統(tǒng)在封閉的世界里工作得非常好，這是因?yàn)檫@些環(huán)境包含了一定數(shù)量的變量，使世界變得完全可知和完全可預(yù)測(cè)。在這些微環(huán)境中，機(jī)器只會(huì)遇到熟悉的物體。因此，他們總是知道自己應(yīng)該如何行動(dòng)和回應(yīng)。不幸的是，當(dāng)這些系統(tǒng)被部署到現(xiàn)實(shí)世界中時(shí)，它們很快就會(huì)變得混亂起來(lái)，因?yàn)樗鼈儗?duì)許多對(duì)象并不熟悉。這不是一個(gè)小問(wèn)題，因?yàn)楫?dāng)AI人工智能系統(tǒng)變得混亂時(shí)，結(jié)果可能是致命的。

例如，假設(shè)一輛自動(dòng)駕駛汽車遇到了一個(gè)新奇的物體，它是應(yīng)該加速呢，還是應(yīng)該減速呢?或者考慮一個(gè)能看到異常的自動(dòng)武器系統(tǒng)，它應(yīng)該攻擊，還是應(yīng)該關(guān)閉電源?每一個(gè)例子都涉及生死攸關(guān)的決定，如果我們要在現(xiàn)實(shí)環(huán)境中部署先進(jìn)的人工智能系統(tǒng)，我們必須確信，當(dāng)它們遇到不熟悉的物體時(shí)，它們的行為會(huì)是正確的。

要解決這個(gè)識(shí)別問(wèn)題，首先要確保我們的人工智能系統(tǒng)遇到外來(lái)物體時(shí)，它們會(huì)識(shí)別出來(lái)，并且不會(huì)把它誤認(rèn)為是它們熟悉的東西。為了實(shí)現(xiàn)這一點(diǎn)，我們必須擺脫(或至少大幅度修改)目前主導(dǎo)人工智能研究的歧視性訓(xùn)練方法。然而，要做到這一點(diǎn)，我們必須首先解決開(kāi)放類別問(wèn)題。

理解開(kāi)放范疇問(wèn)題

當(dāng)我們沿著這條路行駛的時(shí)候，我們會(huì)遇到幾乎無(wú)限多的異?，F(xiàn)象。也許一場(chǎng)猛烈的風(fēng)暴即將來(lái)臨，冰雹將開(kāi)始降下，也許我們的視力會(huì)因?yàn)闊熿F或過(guò)多的霧而受阻。雖然這些遭遇可能是意外的，但人類的大腦能夠很容易地分析新的信息，并決定采取適當(dāng)?shù)男袆?dòng)，而不是突然砰的一聲停車。

因?yàn)樗鼈兊木幊谭绞剑覀兊挠?jì)算機(jī)系統(tǒng)不能做同樣的事情

如今，我們使用機(jī)器學(xué)習(xí)來(lái)創(chuàng)建人工智能系統(tǒng)和軟件的方式，通常使用的是一種叫做區(qū)別性訓(xùn)練的東西，它隱含著假設(shè)世界只由一千種不同的物體組成的假設(shè)。這意味著，如果一臺(tái)機(jī)器遇到了一個(gè)新的物體，它將假定它一定是它訓(xùn)練過(guò)的一千件東西中的一件。結(jié)果，這些系統(tǒng)對(duì)所有外來(lái)物體進(jìn)行了錯(cuò)誤分類。

從實(shí)用的角度來(lái)看，這意味著創(chuàng)建一個(gè)異常檢測(cè)算法，為人工智能系統(tǒng)檢測(cè)到的每個(gè)對(duì)象分配一個(gè)異常分?jǐn)?shù)。必須將該分?jǐn)?shù)與設(shè)定的閾值進(jìn)行比較，如果異常分?jǐn)?shù)超過(guò)閾值，系統(tǒng)將需要發(fā)出警報(bào)。作為對(duì)這一警報(bào)的反應(yīng)，人工智能系統(tǒng)應(yīng)該采取預(yù)先確定的安全措施，例如，一輛自動(dòng)駕駛汽車檢測(cè)到異常情況，可能會(huì)減速并停到路邊。

創(chuàng)造安全的理論保障

要使這種方法發(fā)揮作用，有兩個(gè)挑戰(zhàn)。首先，我們需要良好的異常檢測(cè)算法。在此之前，為了確定哪些算法運(yùn)行良好，我們比較了八種最先進(jìn)的異常檢測(cè)算法在大量基準(zhǔn)問(wèn)題上的性能。

第二個(gè)挑戰(zhàn)是設(shè)置報(bào)警閾值，以保證人工智能系統(tǒng)能夠檢測(cè)到所需的部分外來(lái)物體，為這一界限設(shè)定一個(gè)可靠的設(shè)定是最具挑戰(zhàn)性的研究問(wèn)題之一，因?yàn)橛锌赡艽嬖跓o(wú)限種的外星物體。問(wèn)題是，我們不可能把所有外來(lái)物的訓(xùn)練數(shù)據(jù)都貼上標(biāo)簽。如果我們有這樣的數(shù)據(jù)，我們只需對(duì)有標(biāo)簽的數(shù)據(jù)進(jìn)行識(shí)別分類器的訓(xùn)練。

為了避開(kāi)這個(gè)標(biāo)簽問(wèn)題，可以假設(shè)鑒別分類器可以訪問(wèn)反映更大統(tǒng)計(jì)總體的代表性“查詢對(duì)象”樣本。例如，可以通過(guò)收集世界各地高速公路上行駛的汽車的數(shù)據(jù)來(lái)獲得這樣的樣本。此示例將包含部分未知對(duì)象，其余對(duì)象屬于已知對(duì)象類別。

值得注意的是，樣本中的數(shù)據(jù)沒(méi)有標(biāo)記，相反，人工智能系統(tǒng)給出了樣本中外來(lái)物所占比例的估計(jì)值。并且通過(guò)將樣本中的信息與用于訓(xùn)練判別分類器的標(biāo)記訓(xùn)練數(shù)據(jù)相結(jié)合，新的算法可以選擇一個(gè)好的報(bào)警閾值。如果已知外來(lái)物的估計(jì)分?jǐn)?shù)是真實(shí)分?jǐn)?shù)的過(guò)高估計(jì)，那么所選擇的閾值就可以保證檢測(cè)出目標(biāo)的外來(lái)物百分比。

在下一階段的研究中，開(kāi)始在更復(fù)雜的環(huán)境中測(cè)試算法。到目前為止，主要關(guān)注的是分類，即系統(tǒng)觀察圖像并對(duì)其進(jìn)行分類。接下來(lái)，計(jì)劃轉(zhuǎn)移到控制代理人，像自動(dòng)駕駛汽車的機(jī)器人。在每個(gè)時(shí)間點(diǎn)上，為了決定選擇什么行動(dòng)，我們的系統(tǒng)將根據(jù)對(duì)Agent行為及其環(huán)境的學(xué)習(xí)模型進(jìn)行前瞻性搜索。