“隨著深度學習應用越來越廣泛，越來越多的人工智能安全問題也開始暴露出來。”南京理工大學計算機學院教授李千目說，深度學習框架中的軟件實現(xiàn)漏洞、對抗機器學習的惡意樣本生成、訓練數(shù)據的污染等都可能導致人工智能所驅動的識別系統(tǒng)出現(xiàn)混亂，形成漏判、誤判，甚至導致系統(tǒng)崩潰或被劫持，并可以使智能設備變成僵尸攻擊工具。

對于人工智能潛在的造假“作惡”，由李千目帶領的研究團隊所開展的“面向人工智能對抗性惡意樣本的監(jiān)測技術”，可以有效提高在對抗環(huán)境中對惡意軟件監(jiān)測的可靠性和安全性，讓攻擊仿佛打在“棉花”上一樣綿軟無力。這項研究成果已在人工智能國際學術會議AAAI2019上發(fā)表，算法及其實驗獲得大會“挑戰(zhàn)問題贏家”獎，這也是中國信息安全學者首次獲得該獎項。

在李千目看來，人工智能系統(tǒng)的攻擊技術主要包含對抗性輸入、數(shù)據中毒攻擊及模型竊取技術三個方面。他說，對抗性輸入攻擊是一種專門設計的輸入，確保被誤分類以躲避檢測。當前，這一手段已被大量使用在專門用來躲避防病毒程序的惡意文檔、試圖逃避垃圾郵件過濾器的電子郵件等多種場景。數(shù)據中毒攻擊涉及向分類器輸入對抗性訓練數(shù)據，最常見的攻擊類型是模型偏斜，攻擊者以這種方式污染訓練數(shù)據，使得分類器在歸類好數(shù)據和壞數(shù)據時向自己的偏好傾斜。模型竊取攻擊則是通過黑盒來探測/竊取（即復制）模型或恢復訓練數(shù)據身份，比如，可以用來竊取某股市預測模型或者某垃圾郵件過濾模型。

李千目指出，對抗攻擊的理論基礎是神經網絡的兩個“bug”：一是高維神經網絡的神經元并不是代表著某一個特征，而是所有特征混雜在所有神經元中；二是在原樣本點上加上一些針對性的、不易察覺的擾動，從而導致神經網絡的分類錯誤。

針對典型智能算法訓練過程中存在的數(shù)據來源未知和算法參數(shù)被污染的安全風險，李千目團隊開始研究對抗性攻擊樣本生成模型，并設計相應的對抗性樣本算法，來實現(xiàn)對抗性攻擊樣本生成。“我們嘗試增強深度學習模型，主要利用人工智能分類器對惡意軟件進行分類，以惡意軟件為輸入樣本，分為訓練數(shù)據集和測試數(shù)據集兩部分?！彼榻B說，在訓練階段，訓練多個人工智能分類器的集合，在每個分類器上都將所提出的原則系統(tǒng)化地加以運用；在測試階段，將樣本輸入至每個分類器，最后根據所有分類器的投票結果確定樣本是否為對抗性惡意軟件。

李千目介紹，該領域的研究在國內外都處于起步階段，相信在兩年內會有突破性成果出現(xiàn)，“就目前來說，我們的研究處于國際同類研究的先進水平。比如，可用于規(guī)范工業(yè)互聯(lián)網、智能無人系統(tǒng)等領域的頂層安全設計，通過統(tǒng)一智能系統(tǒng)的安全體系架構，增強無人系統(tǒng)等智能系統(tǒng)的安全互聯(lián)互通互操作能力，提升智能系統(tǒng)的信息防御能力；也可用于指導智能平臺、工業(yè)互聯(lián)網的產品安全研制，通過通用化、標準化、組件化，使得各種安全功能構件可重用、可替換，大量減少采購費用等。”

“不過，這項研究和其他研究不同，即便是階段性成果，也可以在領域里面進行應用?！崩钋空f，因為惡意監(jiān)測就像醫(yī)生治病一樣，一個醫(yī)生不可能治愈所有疾病，但擁有一種有效治療手段就可以將其用于臨床?！澳壳?，我們正牽頭制定某項工業(yè)互聯(lián)網安全的標準，其中就涉及部分研究成果，同時我們也在某示范項目中推動了該成果的應用?！?