2023年11月26日 ，美國(guó)、英國(guó)、澳大利亞等18個(gè)國(guó)家的網(wǎng)絡(luò)安全監(jiān)管部門聯(lián)合發(fā)布了全球首份《AI系統(tǒng)安全開發(fā)準(zhǔn)則》，旨在實(shí)現(xiàn)保護(hù)人工智能模型不被惡意篡改，并敦促人工智能公司在開發(fā)或使用人工智能模型時(shí)更加關(guān)注“設(shè)計(jì)安全”。
作為這份準(zhǔn)則制定的主要參與方，美國(guó)網(wǎng)絡(luò)安全和基礎(chǔ)設(shè)施安全局（CISA）表示：世界正處于AI技術(shù)快速發(fā)展的拐點(diǎn)，AI很可能是如今最具影響力的技術(shù)，但充分保障網(wǎng)絡(luò)安全是建立安全、可靠和值得信賴AI系統(tǒng)的關(guān)鍵。因此，我們聯(lián)合了多個(gè)國(guó)家的網(wǎng)絡(luò)安全監(jiān)管部門，并與谷歌、亞馬遜、OpenAI和微軟等公司的技術(shù)專家合作，共同編寫發(fā)布了這份準(zhǔn)則，旨在提高AI技術(shù)應(yīng)用的安全性。
據(jù)了解，這份準(zhǔn)則是全球第一份由官方機(jī)構(gòu)發(fā)布的針對(duì)AI系統(tǒng)開發(fā)安全的指導(dǎo)文件。準(zhǔn)則明確要求AI企業(yè)必須優(yōu)先考慮為客戶確保安全結(jié)果，積極倡導(dǎo)AI應(yīng)用的透明度和問責(zé)機(jī)制，并以保障安全設(shè)計(jì)為首要任務(wù)來(lái)構(gòu)建組織的管理結(jié)構(gòu)。準(zhǔn)則旨在提高AI的網(wǎng)絡(luò)安全性，有助于確保安全地設(shè)計(jì)、開發(fā)和部署AI技術(shù)。
此外，依托美國(guó)政府一貫以來(lái)在管理網(wǎng)絡(luò)安全風(fēng)險(xiǎn)方面的工作經(jīng)驗(yàn)，準(zhǔn)則要求所有AI研發(fā)公司在新的AI工具公開發(fā)布之前要經(jīng)過(guò)充分測(cè)試，確保已實(shí)施安全護(hù)欄以最大程度消除社會(huì)危害（比如偏見和歧視）和隱私問題。準(zhǔn)則還要求AI研發(fā)公司承諾：通過(guò)漏洞懸賞系統(tǒng)，方便第三方發(fā)現(xiàn)和報(bào)告其AI系統(tǒng)中的漏洞，從而迅速發(fā)現(xiàn)和修復(fù)漏洞。
具體而言，此次發(fā)布的準(zhǔn)則為AI系統(tǒng)安全開發(fā)提出了4大方面的監(jiān)管要求：
01、要優(yōu)先考慮“設(shè)計(jì)安全”和“默認(rèn)安全”
在準(zhǔn)則中，多次強(qiáng)調(diào)了“設(shè)計(jì)安全”和“默認(rèn)安全”原則，即AI開發(fā)公司應(yīng)該主動(dòng)保護(hù)AI產(chǎn)品免受攻擊的方法。起草者敦促AI開發(fā)人員在決策過(guò)程中優(yōu)先考慮安全，而不單單注重功能和性能。準(zhǔn)則還建議產(chǎn)品提供設(shè)置為最安全的默認(rèn)應(yīng)用選項(xiàng)，并向用戶清楚地傳達(dá)替代該默認(rèn)配置的風(fēng)險(xiǎn)。根據(jù)準(zhǔn)則要求，AI系統(tǒng)的開發(fā)人員應(yīng)該為下游的應(yīng)用結(jié)果承擔(dān)責(zé)任，而不是依賴客戶去控制安全。
要求摘錄：“用戶（無(wú)論是‘最終用戶’還是整合外部AI組件的提供商）通常缺乏足夠的可見性及專業(yè)知識(shí)來(lái)充分了解、評(píng)估或解決與他們正在使用的AI系統(tǒng)相關(guān)的風(fēng)險(xiǎn)。因此，根據(jù)‘設(shè)計(jì)安全’原則，AI組件的提供商應(yīng)該對(duì)供應(yīng)鏈下游用戶的安全后果負(fù)責(zé)?！?
02、密切關(guān)注復(fù)雜的供應(yīng)鏈安全
AI工具開發(fā)人員在設(shè)計(jì)自己的產(chǎn)品時(shí)常依賴第三方組件，比如基礎(chǔ)模型、訓(xùn)練數(shù)據(jù)集和API。龐大的供應(yīng)商網(wǎng)絡(luò)會(huì)給AI系統(tǒng)帶來(lái)更大的攻擊面，其中任何一個(gè)薄弱環(huán)節(jié)都可能會(huì)對(duì)產(chǎn)品的安全性產(chǎn)生負(fù)面影響。因此，準(zhǔn)則要求開發(fā)人員在決定引用第三方組件時(shí)，需要充分評(píng)估其中的安全風(fēng)險(xiǎn)。在與第三方合作時(shí)，開發(fā)人員應(yīng)該審查和
監(jiān)控供應(yīng)商的安全狀況，要求供應(yīng)商遵守與自己組織相同的安全標(biāo)準(zhǔn)，并對(duì)導(dǎo)入的第三方代碼實(shí)施掃描和隔離。
要求摘錄：“如果第三方組件未達(dá)到安全標(biāo)準(zhǔn)，開發(fā)者要為關(guān)鍵任務(wù)系統(tǒng)準(zhǔn)備好切換到替代解決方案。企業(yè)可以使用NCSC的《供應(yīng)鏈指南》等資源，以及軟件工件供應(yīng)鏈級(jí)別（SLSA）等資源，用于跟蹤供應(yīng)鏈和軟件開發(fā)生命周期的認(rèn)證。”
03、考慮AI應(yīng)用中面臨的獨(dú)特風(fēng)險(xiǎn)
AI系統(tǒng)應(yīng)用時(shí)會(huì)產(chǎn)生一些特有的威脅（如提示注入攻擊和數(shù)據(jù)中毒），因此開發(fā)者需要充分考慮AI系統(tǒng)獨(dú)特的安全因素。AI系統(tǒng)“設(shè)計(jì)安全”方法的一個(gè)重要組成部分就是為AI模型輸出設(shè)置安全護(hù)欄，以防止敏感數(shù)據(jù)泄露，并限制用于文件編輯等任務(wù)的AI組件的操作。開發(fā)人員應(yīng)該將AI特有的威脅場(chǎng)景納入發(fā)布前的測(cè)試中，并監(jiān)控用戶輸入以判斷是否存在惡意利用系統(tǒng)的企圖。
要求摘錄：“‘對(duì)抗性機(jī)器學(xué)習(xí)’（AML）一詞用于描述利用機(jī)器學(xué)習(xí)組件（包括硬件、軟件、工作流和供應(yīng)鏈）中的安全漏洞。AML使攻擊者能夠在機(jī)器學(xué)習(xí)系統(tǒng)中引發(fā)意想不到的行為，包括：影響模型的分類或回歸性能、允許用戶執(zhí)行未經(jīng)授權(quán)的操作以及提取敏感的模型信息。”
04、AI系統(tǒng)安全開發(fā)應(yīng)該具有持續(xù)性和協(xié)作性
準(zhǔn)則概述了貫穿AI系統(tǒng)設(shè)計(jì)、開發(fā)、部署、操作及維護(hù)等全生命周期階段的最佳安全實(shí)踐，并強(qiáng)調(diào)了要持續(xù)監(jiān)控已部署AI系統(tǒng)的重要性，這樣能夠發(fā)現(xiàn)模型行為方面的變化和可疑的用戶輸入?！霸O(shè)計(jì)安全”原則是任何軟件更新的關(guān)鍵組成部分，準(zhǔn)則建議開發(fā)者在默認(rèn)情況下自動(dòng)更新。最后，則建議開發(fā)人員利用更龐大的AI社區(qū)反饋和信息共享，不斷改進(jìn)系統(tǒng)的安全性。
要求摘錄：“需要時(shí)，AI系統(tǒng)開發(fā)者可以將遇到的安全問題上報(bào)到更龐大的社區(qū)，比如發(fā)布響應(yīng)漏洞披露的公告，包括詳細(xì)而完整的常見漏洞枚舉。當(dāng)發(fā)現(xiàn)安全問題時(shí)，開發(fā)者要采取行動(dòng)，迅速而適當(dāng)?shù)鼐徑夂托迯?fù)問題?！?
