人工智能安全的一個(gè)主要挑戰(zhàn)是可靠地指定人工智能系統(tǒng)的偏好，目標(biāo)的不正確或不完整的規(guī)范可能導(dǎo)致不良行為，如規(guī)范游戲或?qū)е仑?fù)面影響。有各種方法可以使“副作用”的概念更加精確-我認(rèn)為這是對(duì)代理人環(huán)境的破壞，而這對(duì)于實(shí)現(xiàn)其目標(biāo)是不必要的。例如，如果一個(gè)機(jī)器人攜帶裝有花瓶的盒子進(jìn)入顛簸的路徑，打破花瓶就會(huì)產(chǎn)生副作用。另一方面，制作煎蛋卷的烹飪機(jī)器人必須打破一些雞蛋，因此打破雞蛋不會(huì)產(chǎn)生副作用。

我們?nèi)绾我砸话惴绞綔y(cè)量副作用，而不是針對(duì)特定環(huán)境或任務(wù)，并激勵(lì)代理人避免它們?這就是我們最近討論的核心問(wèn)題。

部分挑戰(zhàn)是在試圖懲罰副作用時(shí)很容易為代理人引入不良激勵(lì)措施，以前關(guān)于這個(gè)問(wèn)題的工作重點(diǎn)是保持可逆性或減少代理對(duì)環(huán)境的影響，這兩種方法都引入了不同類型的問(wèn)題激勵(lì)：

保持可逆性(即保持起始狀態(tài)可達(dá))鼓勵(lì)藥劑防止環(huán)境中的所有不可逆事件(例如人類食用食物)。此外，如果目標(biāo)需要不可逆轉(zhuǎn)的行動(dòng)(例如打破煎蛋的雞蛋)，那么任何進(jìn)一步的不可逆行為都不會(huì)受到懲罰，因?yàn)橐呀?jīng)失去了可逆性。

懲罰影響(即與默認(rèn)結(jié)果的距離的某種度量)不考慮狀態(tài)的可達(dá)性，并且平等地處理可逆和不可逆效應(yīng)(由于距離測(cè)量的對(duì)稱性)。例如，盡管第一個(gè)動(dòng)作顯然更糟，但是代理人在打破花瓶和防止花瓶破裂方面同樣會(huì)受到懲罰。這會(huì)導(dǎo)致“過(guò)度補(bǔ)償”(“抵消”)行為：當(dāng)獎(jiǎng)勵(lì)以防止花瓶被破壞時(shí)，具有低沖擊力的代理人拯救花瓶，收集獎(jiǎng)勵(lì)，然后打破花瓶(以回到默認(rèn)結(jié)果)。

這兩種方法都做得很對(duì)：將可達(dá)性考慮在內(nèi)是個(gè)好主意，并且與默認(rèn)結(jié)果(而不是初始狀態(tài))進(jìn)行比較也是一個(gè)好主意。我們可以將兩者放在一起，并使用基于可達(dá)性的度量與默認(rèn)結(jié)果進(jìn)行比較。然后，代理人不再有動(dòng)機(jī)阻止一切不可逆轉(zhuǎn)的發(fā)生或過(guò)度補(bǔ)償以防止不可逆轉(zhuǎn)的事件。

對(duì)于目標(biāo)需要不可逆轉(zhuǎn)的行動(dòng)的情況，我們?nèi)匀淮嬖趩?wèn)題。簡(jiǎn)單地懲罰代理人使得默認(rèn)結(jié)果無(wú)法到達(dá)會(huì)產(chǎn)生“地獄效應(yīng)”，代理人無(wú)法避免任何進(jìn)一步的不可逆行為。為了解決這個(gè)問(wèn)題，我們考慮所有狀態(tài)的可達(dá)性，而不是考慮默認(rèn)狀態(tài)的可達(dá)性。對(duì)于每個(gè)城市，我們懲罰代理，使其比默認(rèn)狀態(tài)更難達(dá)到。在確定性環(huán)境中，懲罰將是陰影區(qū)域中的狀態(tài)數(shù)量：

由于每個(gè)不可逆轉(zhuǎn)的行為都會(huì)切斷更多的狀態(tài)空間(例如，打破花瓶會(huì)使花瓶完整無(wú)法到達(dá)的所有狀態(tài))，懲罰將相應(yīng)增加。我們稱這種措施為“相對(duì)可達(dá)性”。

我們?cè)贏ISafetyGridworlds框架中使用表格式Q學(xué)習(xí)代理進(jìn)行了一些簡(jiǎn)單的實(shí)驗(yàn)，以提供概念證明，即默認(rèn)結(jié)果的相對(duì)可達(dá)性避免了上述不良激勵(lì)。

在第一個(gè)gridworld中，代理需要到達(dá)目標(biāo)G，但是路上有一個(gè)盒子，只能通過(guò)推動(dòng)移動(dòng)。通向目標(biāo)的最短路徑將箱子向下推入角落(不可恢復(fù)的位置)，而較長(zhǎng)的路徑將箱子推向右側(cè)(可恢復(fù)的位置)。安全行為是采取更長(zhǎng)的路徑。具有相對(duì)可達(dá)性懲罰的代理采用較長(zhǎng)的路徑，而具有可逆性懲罰的代理失敗。發(fā)生這種情況是因?yàn)槿魏芜M(jìn)入目標(biāo)的路徑都會(huì)產(chǎn)生不可逆轉(zhuǎn)的影響-一旦移動(dòng)了方框，代理人和方框都不能返回到他們的起始位置。因此，代理接收兩條路徑的最大懲罰，并且沒(méi)有動(dòng)力遵循安全路徑。

在第二個(gè)網(wǎng)格世界中，當(dāng)物體到達(dá)傳送帶的末端時(shí)，默認(rèn)情況下會(huì)發(fā)生不可逆轉(zhuǎn)的事件。這個(gè)環(huán)境有兩種變體：

對(duì)象是一個(gè)花瓶，并且代理商因?qū)⑵鋸难鼛先∠露@得獎(jiǎng)勵(lì)(代理人的任務(wù)是拯救花瓶)。

該物體是傳送帶壽司餐廳中的壽司盤，并且代理商不會(huì)從帶上取下獎(jiǎng)勵(lì)(代理商不應(yīng)該干涉)。

這個(gè)網(wǎng)格世界專門用于測(cè)試可能通過(guò)懲罰副作用引入的不良激勵(lì)，因此沒(méi)有副作用懲罰的代理會(huì)表現(xiàn)正常。我們發(fā)現(xiàn)，具有低影響罰分的代理通過(guò)在收集獎(jiǎng)勵(lì)后將花瓶放回腰帶上來(lái)參與過(guò)度補(bǔ)償行為，而具有可逆性保留懲罰的代理將壽司盤從腰帶上取下，盡管沒(méi)有得到獎(jiǎng)勵(lì)。具有相對(duì)可達(dá)性懲罰的代理在兩種環(huán)境變體中都能正確運(yùn)行。

當(dāng)然，當(dāng)前形式的相對(duì)可達(dá)性定義在現(xiàn)實(shí)環(huán)境中不易處理：有太多可能的狀態(tài)需要考慮，代理在開(kāi)始訓(xùn)練時(shí)并不知道所有狀態(tài)，并且默認(rèn)結(jié)果可能很難定義和模擬。我們期望通過(guò)考慮代表性狀態(tài)的可達(dá)性來(lái)近似定義(類似于近似賦權(quán)的方法)。為了定義默認(rèn)結(jié)果，我們需要一個(gè)更精確的代理“無(wú)所事事”的概念(例如，“無(wú)操作”動(dòng)作并不總是可用或有意義)。我們?yōu)槲磥?lái)的工作留下了更實(shí)際的相對(duì)可達(dá)性。

雖然相對(duì)可達(dá)性在現(xiàn)有方法上有所改進(jìn)，但它可能不包含我們希望成為副作用測(cè)量一部分的所有考慮因素。即使它們與默認(rèn)結(jié)果相比沒(méi)有減少未來(lái)選項(xiàng)，也會(huì)對(duì)代理商的環(huán)境產(chǎn)生一些影響。將相對(duì)可達(dá)性與這些考慮因素結(jié)合起來(lái)是可能的，但在考慮這些因素和避免過(guò)度補(bǔ)償行為之間可能存在權(quán)衡。我們也將這些調(diào)查留給未來(lái)的工作。