人工智能研究的哪些方面應(yīng)該是開(kāi)放的，哪些方面應(yīng)該是封閉的，以保證人工智能系統(tǒng)的安全和有益于人類?

在過(guò)去的一年里，關(guān)于ai人工智能研究的開(kāi)放程度已經(jīng)有了很多的討論，在這個(gè)問(wèn)題上，無(wú)論是在人工智能安全團(tuán)體內(nèi)部還是外部，都存在分歧。許多人有理由害怕集中力量創(chuàng)建AGI并決定它的價(jià)值的權(quán)利在一個(gè)公司或組織手中。許多其他人擔(dān)心開(kāi)源AGI的信息危害以及由此產(chǎn)生的誤用的可能性。我認(rèn)為在公開(kāi)和保密之間做出某種妥協(xié)是必要的，因?yàn)橥耆Ｃ芎屯耆_(kāi)的兩個(gè)極端似乎都是非常糟糕的，沒(méi)有單一的開(kāi)放和保密軸心，我們可以對(duì)AGI開(kāi)發(fā)的不同方面做出單獨(dú)的判斷，并制定一套指導(dǎo)方針。

有關(guān)人工智能開(kāi)發(fā)的信息可以大致分為兩類，技術(shù)和戰(zhàn)略。技術(shù)信息包括研究論文、數(shù)據(jù)、源代碼(用于算法、目標(biāo)函數(shù))等。戰(zhàn)略信息包括目標(biāo)、預(yù)測(cè)和時(shí)限、道德操守委員會(huì)的組成等。對(duì)戰(zhàn)略信息的開(kāi)放無(wú)論在短期還是長(zhǎng)期影響上都可能是有益的，而技術(shù)信息的開(kāi)放在短期內(nèi)是好的，但從長(zhǎng)期來(lái)看可能是不好的，這是由于種族狀況的加劇。我們需要進(jìn)一步考慮發(fā)布不同類型技術(shù)信息的權(quán)衡。

共享論文和數(shù)據(jù)對(duì)研究過(guò)程更為重要，也比共享代碼更具有潛在的危險(xiǎn)性，因?yàn)閮H從這些信息中很難重構(gòu)代碼。例如，考慮到調(diào)整超參數(shù)的困難和計(jì)算體系結(jié)構(gòu)之間的差異，基于研究論文的神經(jīng)網(wǎng)絡(luò)算法的結(jié)果很難重現(xiàn)。

發(fā)布運(yùn)行AGI所需的所有代碼，特別是在它被廣泛調(diào)試、測(cè)試和防范壞角色之前，將是極其不安全的。任何有足夠計(jì)算能力的人都可以運(yùn)行代碼，并且很難關(guān)閉程序或防止它在互聯(lián)網(wǎng)上復(fù)制自己。

然而，不發(fā)布任何源代碼也是一個(gè)壞主意，這在目前是不切實(shí)際的，因?yàn)槿斯ぶ悄苎芯咳藛T有很強(qiáng)的動(dòng)機(jī)分享至少部分代碼，以獲得認(rèn)可和可復(fù)制性。它也將是次優(yōu)的，因?yàn)楣蚕泶a的某些部分可能有助于安全。例如，在不使用優(yōu)化代碼的情況下，將目標(biāo)函數(shù)代碼開(kāi)源是有意義的，因?yàn)閮?yōu)化代碼可以揭示出優(yōu)化的目的是什么，而不是如何優(yōu)化。這樣就有可能核實(shí)這一目標(biāo)是否充分代表了社會(huì)的價(jià)值觀，無(wú)論如何，這個(gè)制度中對(duì)公眾來(lái)說(shuō)是最可以理解和最重要的部分。

要核實(shí)一家公司或組織在多大程度上共享有關(guān)人工智能開(kāi)發(fā)的技術(shù)信息，并強(qiáng)制實(shí)行完全公開(kāi)或保密，是相當(dāng)困難的。對(duì)于期望共享的內(nèi)容和不共享的內(nèi)容，指定指導(dǎo)方針并沒(méi)有多大的壞處。對(duì)于當(dāng)今領(lǐng)先的人工智能公司來(lái)說(shuō)，制定一套短期和長(zhǎng)期的聯(lián)合開(kāi)放指導(dǎo)方針將是一項(xiàng)有價(jià)值的努力。