近日，昇思MindSpore正式通過SGS Brightsight實(shí)驗室的安全評估，獲得了AI框架領(lǐng)域的首份CC EAL2+證書。

作為全球最大的獨(dú)立認(rèn)證機(jī)構(gòu)，SGS Brightsight可以說是全球為數(shù)不多被廣泛認(rèn)可的安全實(shí)驗室。同時CC認(rèn)證也是目前全球認(rèn)可度和權(quán)威性最高的IT產(chǎn)品安全認(rèn)證，主要用于評估產(chǎn)品的安全性、可靠性以及對信息隱私的保護(hù)。

在過去很長一段時間里，AI框架和CC認(rèn)證很少被同時提及，其中的原因離不開AI框架的開源屬性，加上人工智能的產(chǎn)業(yè)應(yīng)用才剛剛起步，業(yè)界的焦點(diǎn)常常是準(zhǔn)確性和易用性，安全性的課題被選擇性忽略?？蔀楹螘N思MindSpore主動送測SGS Brightsight實(shí)驗室，并深度參與了人工智能框架安全目標(biāo)的制定？

隱藏在首份CC EAL2+證書背后的，其實(shí)是人工智能的新潮向。

01 AI框架的險灘和暗礁

經(jīng)歷了Theano、Caffe等早期框架的探路，TensorFlow和PyTorch在全球范圍內(nèi)的風(fēng)靡，再到飛槳、昇思MindSpore等國產(chǎn)框架的崛起，AI框架在第三次人工智能浪潮中扮演的角色早已深入人心。

比如“操作系統(tǒng)”的比喻，AI框架在技術(shù)體系中有著承上啟下的作用，向下調(diào)用底層的計算資源，向上承接算法模型的搭建，開發(fā)者無需關(guān)注底層的邏輯和細(xì)節(jié)，可以直接在框架下構(gòu)建或調(diào)用算法模型并進(jìn)行訓(xùn)練部署，極大地提高了開發(fā)效率。

如果說AI框架撬動了人工智能產(chǎn)業(yè)化的“大航?！?，看似平靜的水面下卻有著不可小覷的安全盲點(diǎn)。

一種是容易被察覺的“險灘”，典型的例子就是框架及其模型庫中的安全漏洞。根據(jù)開源軟件社區(qū)GitHub公布的數(shù)據(jù)，TensorFlow自2020年以來被曝出的安全漏洞已經(jīng)有百余個；國內(nèi)的360團(tuán)隊曾對市場上的主流AI框架進(jìn)行安全性評測，發(fā)現(xiàn)了150多個漏洞；騰訊安全團(tuán)隊公開了TensorFlow組件中存在的重大漏洞，如果開發(fā)者編寫機(jī)器人程序時使用了該組件，黑客可通過漏洞控制機(jī)器人……

另一種是難以洞察的“暗礁”，譬如普遍存在的算法黑箱、數(shù)據(jù)泄露等問題。由于算法模型和復(fù)雜性和不確定性，人們無法直觀解釋結(jié)果背后的原因，一旦訓(xùn)練數(shù)據(jù)中存在偏見，可能會直接影響訓(xùn)練結(jié)果。甚至有一些開發(fā)者利用算法模型的復(fù)雜性，人為植入了一些隱蔽的“后門”，可以在近乎無感的情況下進(jìn)行攻擊，或是竊取開發(fā)者上傳的敏感數(shù)據(jù)，或是利用對抗樣本等方式干擾模型的判斷結(jié)果。

當(dāng)人工智能的應(yīng)用進(jìn)入到深水區(qū)，落地場景逐漸呈現(xiàn)出指數(shù)級增長的態(tài)勢，對應(yīng)的安全風(fēng)險也將被指數(shù)級放大。特別是AI框架已經(jīng)被越來越多企業(yè)和開發(fā)者依賴，倘若不能扎緊安全口袋，代價可能是雪崩級的災(zāi)難。

傳統(tǒng)的安全保障像是塔防游戲，黑客尋找攻擊的缺口，開發(fā)者則努力堵住每一個漏洞，但在人工智能的語境里，假如黑客選擇AI框架或者算法模型為攻擊點(diǎn)，相當(dāng)于在城內(nèi)“空投”了一個個木馬，直接破防層層安全機(jī)制，以一種悄無聲息的方式進(jìn)行系統(tǒng)級攻擊，產(chǎn)生無法估量的損失。

這大抵就是昇思MindSpore深耕安全的原因，人工智能產(chǎn)業(yè)想要行穩(wěn)致遠(yuǎn)，勢必要在源頭上消除任何可能的安全風(fēng)險。

02 昇思MindSpore的解法

某種程度上說，人工智能的安全焦慮并不是什么新話題。早在2017年就出現(xiàn)了可信人工智能的概念，2020年相關(guān)論文的研究數(shù)量已經(jīng)有上千篇，一些科技大廠也推出了驗證算法模型安全性的工具包。

可大多數(shù)討論僅僅局限在“討論”的范疇，缺少系統(tǒng)性的方法指引，也未能形成約束性的落地機(jī)制。個別公司或開發(fā)者開源的工具包，多半是“打補(bǔ)丁式”的解決思路，所能解決的問題比較單一，缺少體系化的方法論和行之有效的策略。

深諳其中癥結(jié)的昇思MindSpore團(tuán)隊，儼然意識到了AI框架的特殊性，進(jìn)而圍繞AI生命周期構(gòu)建了一系列的技術(shù)能力：

針對算法模型的潛在風(fēng)險，昇思MindSpore引入了魯棒性評測、對抗測評、對抗訓(xùn)練、模型加密等技術(shù)，幫助客戶提升模型的安全性。

比如一些自研或者開源的第三方模型缺少魯棒性評測，昇思MindSpore給出了基于黑白盒對抗樣本、自然擾動等技術(shù)的評測方案，幫助客戶識別模型的脆弱點(diǎn)，并通過對抗樣本檢測、數(shù)據(jù)增強(qiáng)訓(xùn)練等提升魯棒性；再比如為了防止模型在部署時被竊取，昇思MindSpore提供了模型混淆和元數(shù)據(jù)加密的輕量級方案，保障模型安全的同時在效率上比全量加密有著10+倍的提升。

針對數(shù)據(jù)泄露的行業(yè)頑疾，昇思MindSpore構(gòu)建了隱私評估、差分隱私訓(xùn)練、聯(lián)邦學(xué)習(xí)在內(nèi)的數(shù)據(jù)隱私保障機(jī)制。

以爭議性最大的個人隱私保護(hù)為例，區(qū)別于上云集中式訓(xùn)練的做法，昇思MindSpore基于安全多方計算、差分隱私等技術(shù)，解決了聯(lián)邦學(xué)習(xí)中的隱私泄露問題。同時考慮到一些圖像數(shù)據(jù)中存在涉及用戶隱私的敏感數(shù)據(jù)，昇思MindSpore集成了隱私內(nèi)容檢測、隱私知識構(gòu)建、隱私消除等一整套能力，可以自動對敏感信息進(jìn)行消除、填充、替換等處理，確保用戶隱私不被泄露。

針對AI可解釋性的質(zhì)疑，昇思MindSpore的答案是通過原創(chuàng)語義級可解釋技術(shù)、可解釋方法工具集等對癥下藥。

這也是人工智能頻頻被挑戰(zhàn)的誘因所在，畢竟現(xiàn)階段模型訓(xùn)練的過程往往不可見、模型推理的結(jié)果難以解釋，再加上數(shù)據(jù)分布不均勻、多樣性不足等問題，導(dǎo)致模型的決策結(jié)果可能出現(xiàn)偏差或傾向性。昇思MindSpore正在通過數(shù)據(jù)清洗、模型容錯性評估、提供模型決策的解釋等提升數(shù)據(jù)的公平性、模型的可解釋性，繼而讓用戶更理解、信任并有效地使用模型。

也就是說，相較于從倫理層面呼吁人工智能的道德準(zhǔn)則，昇思MindSpore已經(jīng)在框架層面打造了覆蓋模型訓(xùn)練、評估、部署的全流程安全可信，為企業(yè)和行業(yè)提供了源頭可信的系統(tǒng)性方案。

03 推開可信AI的大門

有理由相信，SGS Brightsight實(shí)驗室對昇思MindSpore進(jìn)行安全評估時，除了框架本身的安全性，昇思MindSpore在模型安全、隱私保護(hù)、可解釋性方面的工作，同樣在評估標(biāo)準(zhǔn)中占了相當(dāng)大的比重。

站在行業(yè)的立場上，全球首份人工智能框架的CC EAL2+證書，所承載的價值不單單是填補(bǔ)了市場空白，還為人工智能框架的安全可信提供了重要參照與標(biāo)準(zhǔn)，有望為整個人工智能產(chǎn)業(yè)的可信化進(jìn)程按下加速鍵。

即使從2015年AlphaGo和李世石的圍棋大戰(zhàn)算起，人工智能的產(chǎn)業(yè)化也不過才七個年頭，可一場信任危機(jī)卻在蔓延中。

無論是特斯拉等多次上演的自動駕駛事故、部分電商平臺的大數(shù)據(jù)殺熟現(xiàn)象、資訊平臺算法推薦的內(nèi)容同質(zhì)化風(fēng)波，還是“外賣小哥困在系統(tǒng)里”的現(xiàn)象級報道、圍繞個性化推薦權(quán)利的社會性討論，都預(yù)示著公眾對于人工智能的態(tài)度正在從樂觀好奇趨于謹(jǐn)慎質(zhì)疑，不無制約人工智能產(chǎn)業(yè)化滲透的可能。

就昇思MindSpore在安全方面的努力來看，人工智能的信任危機(jī)并非無可挽回。直接的例子就是算法推薦，在外界對算法偏見問題群情激奮時，某銀行在昇思MindSpore上巧妙規(guī)避了潛在風(fēng)險，通過基于LIME的推薦解釋解決了有無解釋的問題，利用基于KG的原創(chuàng)可解釋推薦網(wǎng)絡(luò)TB-Net獲得了語義級解釋能力，既解決了理財推薦結(jié)果難解釋的困局，又提升了推薦效率和轉(zhuǎn)化成功率。

值得一提的是，不只是SGS Brightsight實(shí)驗室的CC認(rèn)證，昇思MindSpore還通過了云計算開源產(chǎn)業(yè)聯(lián)盟的評估，融合國內(nèi)首批《可信開源社區(qū)評估體系》認(rèn)證，并且支撐華為云的OCR服務(wù)通過了獨(dú)立機(jī)構(gòu)BSI的AI C4審計認(rèn)證……可信人工智能正在逐步成為整個行業(yè)的理性共識。

再來思考昇思MindSpore獲得全球首個CC EAL2+證書的時代意義，正在從根源上制約人工智能應(yīng)用的弊端，為企業(yè)打通了強(qiáng)化隱私保護(hù)、穩(wěn)定性、可解釋性、公平性的路徑，有力地推開了可信AI的大門。