編者按：

2019年7月24日下午，中央深改委召開第九次會(huì)議，審議通過《國(guó)家科技倫理委員會(huì)組建方案》。這表明國(guó)家對(duì)構(gòu)建科技倫理治理體系前所未有的高度重視，而人工智能倫理是科技倫理中重要的內(nèi)容。

在此背景下，我國(guó)人工智能企業(yè)成立倫理委員會(huì)正當(dāng)其時(shí)。但人工智能企業(yè)怎么組建倫理委員會(huì)也成為一大現(xiàn)實(shí)難題。昨天我們發(fā)文討論了組建國(guó)家科技倫理委員會(huì)釋放了什么信號(hào)？今天，新京報(bào)智慧城市研究院特別刊登中國(guó)人民大學(xué)法學(xué)院副教授，未來法治研究院社會(huì)責(zé)任和治理研究中心主任郭銳、中國(guó)人民大學(xué)法學(xué)碩士李依及劉雅潔的深度長(zhǎng)文，為企業(yè)和大眾進(jìn)一步解答人工智能企業(yè)的倫理委員會(huì)應(yīng)當(dāng)如何組成。

文 |郭銳、李依、劉雅潔

人工智能技術(shù)的開發(fā)和應(yīng)用深刻地改變著人類的生活，滲透交通出行、金融科技、教育培訓(xùn)、資訊平臺(tái)等方方面面。日益廣闊的應(yīng)用場(chǎng)景，讓一個(gè)共識(shí)逐漸明晰：人工智能對(duì)倫理秩序沖擊的深度和廣度，可能是任何現(xiàn)代科技都難以比擬的。而掌握最前沿技術(shù)、擔(dān)負(fù)著技術(shù)落地執(zhí)行者角色的科技公司們，尤其應(yīng)該有明確的倫理意識(shí)，并將對(duì)倫理的考量貫穿始終。這其中尤為重要的方式之一便是設(shè)立倫理委員會(huì)。

AI倫理委員會(huì)在實(shí)踐中有多種稱謂，常見的有“倫理道德委員會(huì)”“倫理審查委員會(huì)”“倫理風(fēng)險(xiǎn)委員會(huì)”等。而設(shè)置倫理委員會(huì)的目的，從這些大同小異的名稱中也可見一斑：一是讓AI倫理“成為問題”：讓合倫理性在AI產(chǎn)品開發(fā)的諸多考量因素中占據(jù)一席之地；二是讓AI倫理的審查盡可能專業(yè)、獨(dú)立：與其讓一線研發(fā)人員在技術(shù)和倫理的不同標(biāo)準(zhǔn)中無所適從，不如將倫理部分剝離出來，交由專門機(jī)構(gòu)集中應(yīng)對(duì)。

許多科技公司面臨的一個(gè)困境是，盡管算法歧視等AI倫理風(fēng)險(xiǎn)普遍存在，但程序員缺乏對(duì)倫理進(jìn)行準(zhǔn)確判斷的專業(yè)知識(shí)，也難以承擔(dān)諸如“自動(dòng)駕駛汽車應(yīng)優(yōu)先保護(hù)車內(nèi)乘客還是車外行人”等關(guān)鍵倫理選擇的責(zé)任。因此，相對(duì)獨(dú)立集中且成員具備多元背景的倫理委員會(huì)，更適于對(duì)這些倫理問題進(jìn)行判斷。

其實(shí)，這一嘗試在國(guó)外早已有之。目前、Google、Lucid AI、微軟等多家大型科技公司已經(jīng)設(shè)立了倫理審查委員會(huì)。審查委員會(huì)一般由具有不同知識(shí)背景和經(jīng)驗(yàn)的專家組成，在審查時(shí)參考一定的行業(yè)標(biāo)準(zhǔn)，并最大限度地考慮安全和倫理問題。如微軟成立了“倫理道德委員會(huì)”，由產(chǎn)品開發(fā)、研究員、法律事務(wù)、人力資源等部門的負(fù)責(zé)人組成。

倫理委員會(huì)應(yīng)當(dāng)具備哪些職能？

從機(jī)構(gòu)定位上看，倫理風(fēng)險(xiǎn)管理委員會(huì)應(yīng)當(dāng)作為倫理風(fēng)險(xiǎn)管理的領(lǐng)導(dǎo)機(jī)構(gòu)，組成人員可以包括主要人工智能研發(fā)部門的負(fù)責(zé)人、企業(yè)法務(wù)和/或合規(guī)部負(fù)責(zé)人以及處理倫理風(fēng)險(xiǎn)問題的協(xié)調(diào)專員。主要職能可以包括制定企業(yè)內(nèi)部倫理風(fēng)險(xiǎn)管理政策、對(duì)倫理風(fēng)險(xiǎn)管理的相關(guān)問題做出決策、進(jìn)行算法審計(jì)及質(zhì)量審查工作以及協(xié)調(diào)企業(yè)內(nèi)部各部門的倫理風(fēng)險(xiǎn)應(yīng)對(duì)工作。

尤應(yīng)注意的是，倫理委員會(huì)并不是企業(yè)在構(gòu)建AI倫理風(fēng)險(xiǎn)治理機(jī)制時(shí)唯一依賴的機(jī)構(gòu)，企業(yè)不能奢望將所有倫理問題委由倫理委員會(huì)一攬子解決，而不提供配套的執(zhí)行機(jī)制。從委員會(huì)的性質(zhì)上看，成員將主要負(fù)責(zé)評(píng)估和風(fēng)險(xiǎn)決策的制定，但難以作為執(zhí)行機(jī)構(gòu)將具體決定落到實(shí)處。

因此，倫理委員會(huì)可領(lǐng)導(dǎo)整個(gè)風(fēng)險(xiǎn)管理流程的實(shí)施及監(jiān)督，并交由各業(yè)務(wù)部門的具體倫理風(fēng)險(xiǎn)管理小組具體實(shí)施相關(guān)決策，并定期將成果匯報(bào)至倫理委員會(huì)。

一般意義上的AI風(fēng)險(xiǎn)管理流程（白底框）和人工智能倫理委員會(huì)職能（藍(lán)底框）的對(duì)應(yīng)關(guān)系大致如下圖所示：

具體而言，企業(yè)內(nèi)部設(shè)立的人工智能倫理委員會(huì)應(yīng)當(dāng)具備如下職能：

1. 領(lǐng)導(dǎo)AI倫理風(fēng)險(xiǎn)控制流程的實(shí)施及監(jiān)督。此外，為管理人工智能可能產(chǎn)生的倫理風(fēng)險(xiǎn)，委員會(huì)可以建立相應(yīng)的內(nèi)部制度對(duì)風(fēng)險(xiǎn)進(jìn)行識(shí)別、評(píng)估、處理、監(jiān)控及匯報(bào)，以管理相關(guān)風(fēng)險(xiǎn)。對(duì)于倫理風(fēng)險(xiǎn)的管理應(yīng)從人工智能產(chǎn)品或服務(wù)的設(shè)計(jì)階段開始，并貫穿于產(chǎn)品或服務(wù)的整個(gè)生命周期。

2. 參與AI的倫理風(fēng)險(xiǎn)評(píng)估。委員會(huì)可以定期進(jìn)行倫理風(fēng)險(xiǎn)評(píng)估，對(duì)企業(yè)總體可能涉及的倫理風(fēng)險(xiǎn)進(jìn)行識(shí)別，評(píng)估一段時(shí)間內(nèi)相關(guān)倫理風(fēng)險(xiǎn)應(yīng)對(duì)措施是否適當(dāng)且有效。委員會(huì)可以根據(jù)相關(guān)法律法規(guī)以及政府及行業(yè)標(biāo)準(zhǔn)的規(guī)定，具體評(píng)估本企業(yè)所面臨的風(fēng)險(xiǎn)，并記錄評(píng)估內(nèi)容及結(jié)果。還可以視情況聘請(qǐng)外部專家參與評(píng)估，確保評(píng)估的有效性。

3. 審查倫理評(píng)價(jià)結(jié)果。對(duì)于某項(xiàng)具體的人工智能產(chǎn)品或服務(wù)而言，企業(yè)可采用相關(guān)手段識(shí)別可能涉及的倫理風(fēng)險(xiǎn)，對(duì)該倫理風(fēng)險(xiǎn)的性質(zhì)和特征進(jìn)行分析并進(jìn)行風(fēng)險(xiǎn)評(píng)價(jià)，記錄評(píng)價(jià)結(jié)果并交由倫理風(fēng)險(xiǎn)管理委員會(huì)進(jìn)行審查。風(fēng)險(xiǎn)分析的目的是理解包括風(fēng)險(xiǎn)水平在內(nèi)的風(fēng)險(xiǎn)性質(zhì)和特征。

此外，一項(xiàng)AI產(chǎn)品的倫理風(fēng)險(xiǎn)不是不變的。在基于算法的深度學(xué)習(xí)過程中，算法模型會(huì)根據(jù)數(shù)據(jù)庫的樣本不斷更新，并可能帶來新的倫理問題或逐漸消除原有的倫理風(fēng)險(xiǎn)。因此，常態(tài)化的委員會(huì)可以定期對(duì)以往的倫理評(píng)價(jià)進(jìn)行二次審查，確保倫理評(píng)價(jià)結(jié)果的適時(shí)性。

4. 定期審查決策執(zhí)行情況。如前所述，在倫理委員會(huì)之下，還有承接決定執(zhí)行的倫理風(fēng)險(xiǎn)管理小組。小組對(duì)委員會(huì)決策的執(zhí)行情況，自然也需要定期的審查和監(jiān)督。

有專家指出，對(duì)人工智能的倫理審查存在一個(gè)悖論：如何為自己尚未完全理解的問題設(shè)計(jì)解決方案？因此，委員會(huì)起初作出的決策并不一定實(shí)際可行，具體效果要通過實(shí)踐檢驗(yàn)。而風(fēng)險(xiǎn)管理小組便可承擔(dān)向委員會(huì)匯報(bào)并反饋實(shí)踐結(jié)果的職能。

谷歌倫理委員會(huì)的火速解散，留下了什么啟示？

繼2018年公布谷歌人工智能原則后，3月26日，Google全球事務(wù)高級(jí)副總裁Kent Walker在Google博客中發(fā)文宣布，為了貫徹落實(shí)Google AI七原則，完善相關(guān)的內(nèi)部治理結(jié)構(gòu)和流程，成立先進(jìn)技術(shù)外部咨詢委員會(huì)（Advanced Technology External Advisory Council , ATEAC）。

谷歌成立的這個(gè)人工智能委員會(huì)旨在檢查公司的決策，定期開會(huì)并制作有關(guān)該領(lǐng)域和谷歌技術(shù)進(jìn)展的報(bào)告。Kent在博客中寫道：“該委員會(huì)不具有否決權(quán)，但意在為我們的工作提供多樣化視角?！?

該委員會(huì)是幫助解決谷歌在其公布的引導(dǎo)其研究和產(chǎn)品的發(fā)展和使用的人工智能原則中出現(xiàn)的一些挑戰(zhàn)。比如像人臉識(shí)別，機(jī)器學(xué)習(xí)中一些令人不安的因素。一個(gè)值得注意的點(diǎn)是，委員會(huì)的設(shè)立是為了從多個(gè)角度分析與人工智能倫理相關(guān)的問題，而委員會(huì)的成員是非Google員工的具有多樣化背景的外部人員：

Alessandro Acquisti，行為經(jīng)濟(jì)學(xué)家，隱私問題研究者，卡耐基梅隆大學(xué)信息技術(shù)與公共政策教授。

Bubacarr Bah，應(yīng)用和計(jì)算數(shù)學(xué)家，高級(jí)研究員，南非非洲數(shù)學(xué)科學(xué)研究所（AIMS）數(shù)據(jù)科學(xué)專業(yè)的德國(guó)研究主席。

吳德愷，音樂技術(shù)和機(jī)器學(xué)習(xí)專家，港科大計(jì)算機(jī)科學(xué)與工程教授，伯克利國(guó)際計(jì)算機(jī)科學(xué)研究所杰出研究者。

Dyan Gibbens，工業(yè)工程和無人系統(tǒng)專家，Trumbull Unmanned公司CEO，該公司專注于自動(dòng)化、數(shù)據(jù)、能源和防御的環(huán)境恢復(fù)能力。

Joanna Bryson，心理學(xué)和人工智能倫理學(xué)專家，巴斯大學(xué)計(jì)算機(jī)系副教授，多家人工智能公司的顧問。

Kay Coles James，美國(guó)傳統(tǒng)基金會(huì)主席，曾在美國(guó)各級(jí)政府擔(dān)任公共政策專家。

Luciano Floridi，哲學(xué)家，數(shù)字倫理專家，牛津大學(xué)哲學(xué)和信息倫理教授，指導(dǎo)牛津互聯(lián)網(wǎng)研究所的數(shù)字倫理實(shí)驗(yàn)室，艾倫圖靈研究院數(shù)字倫理小組主席。

William Joseph Burns，外交政策專家，美國(guó)前副國(guó)務(wù)卿，卡內(nèi)基國(guó)際和平基金會(huì)主席。

委員會(huì)的組成人員來自學(xué)界、企業(yè)、和政界的不同背景。谷歌原本的計(jì)劃是，第一屆的8位成員從4月開始舉行四次會(huì)議，直到2019年年底屆滿。但是早在2019年3月31日，Alessandro Acquisti在Twitter上公開表示退出ATEAC，認(rèn)為討論AI倫理這種重大事項(xiàng)，這個(gè)機(jī)構(gòu)不合適。2019年4月4日，該委員會(huì)宣布解散。

谷歌成立倫理委員會(huì)到解散倫理委員會(huì)的經(jīng)歷雖然時(shí)間不長(zhǎng)，但是其中仍然有幾點(diǎn)值得我們思考。首先，倫理委員會(huì)是否應(yīng)當(dāng)由企業(yè)外部人員構(gòu)成？第二，倫理委員會(huì)的組成應(yīng)當(dāng)怎樣選擇？第三，有哪些議題需要倫理委員會(huì)來討論？第四，倫理委員會(huì)做出的決定效力如何，企業(yè)是應(yīng)當(dāng)直接落實(shí)還是加以借鑒？第五，如何保證倫理委員會(huì)討論的透明性？

谷歌倫理委員會(huì)的火速解散，也給后來者一個(gè)思考，企業(yè)成立這樣的倫理委員會(huì)是否能夠真的實(shí)現(xiàn)其設(shè)立的初衷？其將怎樣改變企業(yè)的行為模式？

從用戶到企業(yè)，倫理委員會(huì)意義幾何？

考慮到人工智能倫理問題的復(fù)雜性，中國(guó)人工智能企業(yè)，尤其是一些掌握大量個(gè)人數(shù)據(jù)的企業(yè)，可以考慮設(shè)置專門的人工智能倫理委員會(huì)，以協(xié)助企業(yè)在面對(duì)倫理問題時(shí)做出更加正確的選擇。設(shè)置人工智能企業(yè)的倫理委員會(huì)能夠更好地規(guī)范相關(guān)企業(yè)，促進(jìn)良性發(fā)展。

目前，世界上確實(shí)很多企業(yè)和機(jī)構(gòu)都在著手制定相關(guān)的人工智能倫理政策，但從效果來看，很多政策操之過急，大部分的人工智能倫理原則都是宣誓性或者紙上談兵，缺乏在企業(yè)相應(yīng)制度框架下的思考，無法實(shí)際解決企業(yè)發(fā)展中遇到的問題，或是缺乏前瞻性的考慮，無法排除將來發(fā)展中可能遇到的障礙。

而設(shè)置人工智能倫理委員會(huì)，系統(tǒng)地從企業(yè)發(fā)展的角度對(duì)于倫理問題作出分析和安排，可以從制度的層面幫助相應(yīng)的人工智能倫理政策更好的落實(shí)，并幫助確定未來的發(fā)展方向。

從實(shí)踐的角度看，不僅是谷歌，很多國(guó)外企業(yè)都建立了相應(yīng)的人工智能委員會(huì)。谷歌旗下的人工智能公司Deep,ind設(shè)立了倫理和安全委員會(huì)，但是DeepMind沒有向外界透露委員會(huì)的組成成員、討論的議題，甚至是他們是否有過正式的見面等問題。

微軟有自己的人工智能原則，并在2018年成立了人工智能倫理委員會(huì)Microsoft’sAI and Ethics in Engineering and Research (AETHER) Committee，該委員會(huì)由公司內(nèi)部的高管組成，積極制定內(nèi)部政策，并決定怎樣負(fù)責(zé)任地處理出現(xiàn)的問題。亞馬遜資助了美國(guó)國(guó)家科學(xué)基金會(huì)“人工智能中的公平”的研究，F(xiàn)acebook則與慕尼黑工業(yè)大學(xué)共同組建了人工智能倫理的研究中心。

人工智能倫理委員會(huì)應(yīng)當(dāng)包括科學(xué)家、企業(yè)領(lǐng)袖和倫理/法律界人士。實(shí)踐中與此最相近的做法是，今日頭條于2018年成立的“技術(shù)戰(zhàn)略委員會(huì)”，這一委員會(huì)實(shí)質(zhì)上也包括了上述部分倫理委員會(huì)承擔(dān)的職能，其目的是“更好地讓今日頭條的人工智能技術(shù)最終造福人類，同時(shí)應(yīng)對(duì)人工智能技術(shù)發(fā)展帶來的挑戰(zhàn)”，首批委員包括，圖靈獎(jiǎng)得主JohnE.Hopcroft教授，中國(guó)工程院院士、國(guó)家自然科學(xué)基金委員會(huì)副主任高文教授和中國(guó)科學(xué)院院士張鈸教授等。

從企業(yè)的角度來說，設(shè)置企業(yè)人工智能倫理委員會(huì)，可以協(xié)助企業(yè)對(duì)數(shù)據(jù)的收集、處理和使用作出規(guī)制，以此保護(hù)用戶權(quán)益，并降低合規(guī)風(fēng)險(xiǎn)、保護(hù)企業(yè)利益。具體而言，對(duì)于信息從用戶傳輸?shù)较到y(tǒng)的過程中，應(yīng)當(dāng)規(guī)范對(duì)于信息的收集，包括可以收集哪些信息，怎樣進(jìn)行收集等。

對(duì)于在此過程中的對(duì)用戶權(quán)利義務(wù)的告知、同意以及是否能再次轉(zhuǎn)讓等問題。組成企業(yè)人工智能倫理委員會(huì)可以幫助改進(jìn)隱私政策，包括規(guī)范彈窗及授權(quán)內(nèi)容，資助相應(yīng)研究，推出相應(yīng)的隱私保護(hù)白皮書等。

從用戶的角度來說，企業(yè)設(shè)置專門的人工智能倫理委員會(huì)，也是為了更好地保護(hù)用戶對(duì)于個(gè)人數(shù)據(jù)的知情權(quán)和自決權(quán)。用戶有理由擔(dān)心企業(yè)如何處理用戶數(shù)據(jù)，尤其是敏感信息與隱私數(shù)據(jù)。

而人工智能倫理委員會(huì)的設(shè)立能夠幫助企業(yè)進(jìn)行人工智能倫理決策時(shí)多進(jìn)行道德上的考慮，并符合與時(shí)俱進(jìn)的法律法規(guī)，通過規(guī)范和約束企業(yè)的行為，加強(qiáng)個(gè)人數(shù)據(jù)的保護(hù)。

郭銳（中國(guó)人民大學(xué)法學(xué)院副教授，未來法治研究院社會(huì)責(zé)任和治理研究中心主任）；李依（中國(guó)人民大學(xué)法學(xué)碩士）；劉雅潔（中國(guó)人民大學(xué)法學(xué)碩士）