安全原則：人工智能系統(tǒng)在其整個運行壽命期間應是安全可靠的，并在適用和可行的情況下以可核查的方式做到這一點。

當一輛新車被介紹到世界各地時，它必須通過各種安全測試，不僅要滿足政府的規(guī)定，還要滿足公眾的期望。事實上，安全已成為購車者的最大賣點。不僅僅是汽車，無論是從電器到飛機，制造商都知道，消費者希望他們的產(chǎn)品從頭到尾都是安全的。

人工智能也不例外，顯然，對于一個ai人工智能產(chǎn)品來說，傷害其所有者或其他人并不符合任何人的最佳利益，但是，這一原理要復雜得多。當一個系統(tǒng)變得越來越智能時，我們是否有能力驗證它是否可信，這一點并不確定。在一定的智能水平上，人工智能將能夠重寫自己的代碼，而使用超級智能系統(tǒng)，我們甚至可能無法從一開始就理解程序。

什么是人工智能安全?

這一原則觸及了人工智能安全研究倡議的核心：我們?nèi)绾未_保一項旨在學習如何修改自身行為的技術(shù)的安全?

人工智能的設(shè)計使它能夠從與周圍環(huán)境的交互中學習，并相應地改變其行為，從而為人類提供難以置信的好處。因為人工智能能夠比人類更有效地解決許多問題，所以它在改善每個人的健康和福祉方面有著巨大的潛力。

微軟的聊天機器人泰伊(Tay)是人工智能如何從環(huán)境中學習負面行為的最新例子，產(chǎn)生的結(jié)果與創(chuàng)建者的想法完全相反。與此同時，特斯拉汽車事故中，車輛誤認為一輛白色的卡車為晴空，提供了一個例子，人工智能誤解其周圍，并采取致命行動的結(jié)果。

研究人員可以嘗試從誤入歧途的人工智能中學習，但目前的設(shè)計往往缺乏透明度，而且當今的人工智能基本上都是一個黑盒子。AI開發(fā)人員不能總是弄清楚AI是如何或為什么會采取各種行動，而這很可能只會隨著AI變得更加復雜而變得更具挑戰(zhàn)性。

將傳統(tǒng)的安全技術(shù)應用到人工智能中，給我們提供了一條實現(xiàn)人工智能安全的具體途徑。如果我們能夠設(shè)計一種方法，防止惡意攻擊者導致AI采取不可取的行為，那么AI就更不可能獨立地選擇不受歡迎的行為。人工智能的安全可能是一個挑戰(zhàn)，但沒有理由相信它是不可戰(zhàn)勝的。

安全與價值對準

對人工智能安全的任何考慮還必須包括價值調(diào)整：我們?nèi)绾卧O(shè)計能夠與人類價值的全球多樣性相一致的人工智能，特別是考慮到我們所要求的往往不一定是我們想要的?

安全不僅僅是一個技術(shù)問題，如果你只是讓人工智能與你設(shè)定的任何值完美地結(jié)合起來，那么問題是，人們可以有一系列的值，其中一些是壞的。僅僅是匹配AI，將它與您指定的值進行匹配，我認為還不夠好。這是一個良好的開端，是一個讓人工智能安全的宏偉目標，技術(shù)因素也是其中的一個重要部分;但我再次認為，安全也意味著政策和規(guī)范的制定。當人工智能越來越接近于滿足甚至超越人類智能時，價值匹配問題就變得更加安全了。

以日本為老年人開發(fā)的機器人為例，他們并不聰明，現(xiàn)在的重點是外表和運動技能。但是想象一下，當這些機器人中的一個實際從事老年護理工作時，…它必須同時執(zhí)行多項任務，并表現(xiàn)出認知靈活性?！@就增加了對家庭助理員(AGI)的需求。一旦你達到了人工智能的水平，就很難控制機器了。我們甚至不能確保人類同胞有正確的目標;為什么我們要認為AGI會有與我們一致的價值觀，更不用說超級智能會有這樣的價值觀了。

定義安全

但或許是時候重新考慮安全的定義了，這意味著我們需要把定義從“身體安全”擴大到“提供更多的幸?！?。我們都希望我們的系統(tǒng)是安全的。此外，隨著人工智能的發(fā)展，可能會不太清楚這些約束應該是什么，我們需要重新思考我們所說的“安全”是什么意思，也許是從一開始就在安全中建設(shè)，而不是設(shè)計一個有能力的系統(tǒng)，然后增加安全性。