文 | 北京天融信科技有限公司 吳瀟 王鵬 晉鋼

網(wǎng)絡(luò)安全合規(guī)意識(shí)是驅(qū)動(dòng)網(wǎng)絡(luò)安全防護(hù)措施有效落實(shí)的關(guān)鍵因素。當(dāng)前，人工智能應(yīng)用日益火爆，在給社會(huì)生產(chǎn)及人民生活帶來(lái)便捷的同時(shí)也引發(fā)了多種安全問(wèn)題，如利用生成合成技術(shù)生成虛假內(nèi)容實(shí)施網(wǎng)絡(luò)詐騙等。為有效防范人工智能創(chuàng)新帶來(lái)的安全問(wèn)題，迫切需要增強(qiáng)組織機(jī)構(gòu)在人工智能應(yīng)用研發(fā)及運(yùn)營(yíng)中的安全合規(guī)意識(shí)，以促進(jìn)保護(hù)訓(xùn)練數(shù)據(jù)與算法模型等安全合規(guī)義務(wù)的執(zhí)行。國(guó)家堅(jiān)持發(fā)展與安全并重，對(duì)生成式人工智能實(shí)行包容審慎監(jiān)管機(jī)制。既避免“過(guò)度監(jiān)管”抑制人工智能創(chuàng)新發(fā)展，也防范“野蠻生長(zhǎng)”引發(fā)重大安全問(wèn)題。人工智能安全合規(guī)的本質(zhì)是根據(jù)不同層面的監(jiān)管要求，綜合運(yùn)用安全管理機(jī)制與安全技術(shù)防護(hù)措施，實(shí)現(xiàn)人工智能應(yīng)用快速發(fā)展與恰當(dāng)風(fēng)險(xiǎn)管控的動(dòng)態(tài)平衡。因此，人工智能應(yīng)用安全合規(guī)不僅是技術(shù)問(wèn)題，更是維護(hù)國(guó)家信息安全與社會(huì)穩(wěn)定的戰(zhàn)略需求。通過(guò)梳理與人工智能應(yīng)用安全相關(guān)的監(jiān)管要求及標(biāo)準(zhǔn)規(guī)范，提煉組織機(jī)構(gòu)應(yīng)履行的重要安全合規(guī)義務(wù)，并從科技倫理安全管理、算法安全管理、數(shù)據(jù)標(biāo)注安全管理、數(shù)據(jù)集保護(hù)、算法模型保護(hù)、應(yīng)用保護(hù)等多個(gè)方面對(duì)具體安全合規(guī)內(nèi)容進(jìn)行解析說(shuō)明，供組織機(jī)構(gòu)在開(kāi)展人工智能應(yīng)用安全合規(guī)實(shí)踐時(shí)進(jìn)行參考。

一、人工智能安全合規(guī)治理要求

隨著全球人工智能規(guī)?；ㄔO(shè)和應(yīng)用加速，人工智能應(yīng)用在推動(dòng)各領(lǐng)域產(chǎn)業(yè)升級(jí)的同時(shí)不斷引發(fā)多種安全風(fēng)險(xiǎn)。為促進(jìn)組織機(jī)構(gòu)有效防范人工智能可能出現(xiàn)的內(nèi)生及衍生安全問(wèn)題，確保人工智能安全與發(fā)展并進(jìn)，保障人工智能相關(guān)技術(shù)創(chuàng)新及應(yīng)用發(fā)展符合法律法規(guī)、倫理道德和社會(huì)價(jià)值觀等，基于網(wǎng)絡(luò)安全、數(shù)據(jù)安全、個(gè)人信息保護(hù)等法律法規(guī)框架，國(guó)家互聯(lián)網(wǎng)信息辦公室、公安部等主管部門(mén)先后制定與互聯(lián)網(wǎng)信息服務(wù)、網(wǎng)絡(luò)信息內(nèi)容治理、算法推薦管理、深度合成管理、科技倫理審查、生成式人工智能服務(wù)等相關(guān)的監(jiān)管要求。同時(shí)，國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)、中國(guó)人民銀行等國(guó)家及行業(yè)標(biāo)準(zhǔn)管理部門(mén)也陸續(xù)發(fā)布與算法安全評(píng)估、生成合成內(nèi)容標(biāo)識(shí)、算法應(yīng)用信息披露等方面相關(guān)支撐落地實(shí)施的標(biāo)準(zhǔn)指南，整體形成了法律法規(guī)、監(jiān)管要求及標(biāo)準(zhǔn)規(guī)范相呼應(yīng)的人工智能應(yīng)用安全合規(guī)體系。

人工智能系統(tǒng)生命周期，可能面臨來(lái)自訓(xùn)練數(shù)據(jù)、算法模型、應(yīng)用開(kāi)發(fā)及運(yùn)行等不同層面的多種安全風(fēng)險(xiǎn)。在監(jiān)管要求方面，依據(jù)《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》進(jìn)行網(wǎng)絡(luò)信息內(nèi)容治理，可以防范訓(xùn)練數(shù)據(jù)和人工智能應(yīng)用輸出內(nèi)容中包含違法不良信息安全風(fēng)險(xiǎn)。遵循《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》要求，能夠緩解算法模型中存在偏見(jiàn)歧視、“信息繭房”效應(yīng)、未成年人沉迷網(wǎng)絡(luò)等安全風(fēng)險(xiǎn)。落實(shí)《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》和《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》，能夠有效應(yīng)對(duì)因?yàn)槿斯ぶ悄芟到y(tǒng)誤用濫用帶來(lái)網(wǎng)絡(luò)身份盜用、內(nèi)容傳播無(wú)法快速溯源等安全風(fēng)險(xiǎn)。踐行《生成式人工智能服務(wù)管理暫行辦法》要求，能夠防范訓(xùn)練數(shù)據(jù)違規(guī)獲取、數(shù)據(jù)標(biāo)注結(jié)果質(zhì)量差、用戶個(gè)人信息權(quán)益保護(hù)不當(dāng)?shù)劝踩L(fēng)險(xiǎn)。參照《科技倫理審查辦法（試行）》開(kāi)展科技倫理審查程序，可有效預(yù)防失控性風(fēng)險(xiǎn)、社會(huì)性風(fēng)險(xiǎn)、侵權(quán)性風(fēng)險(xiǎn)和歧視性風(fēng)險(xiǎn)等人工智能倫理安全風(fēng)險(xiǎn)。

此外，在標(biāo)準(zhǔn)指南方面，參照《生成式人工智能服務(wù)安全基本要求》（TC260-003）和《網(wǎng)絡(luò)安全技術(shù) 生成式人工智能預(yù)訓(xùn)練和優(yōu)化訓(xùn)練數(shù)據(jù)安全規(guī)范》（GB/T 45652-2025），通過(guò)執(zhí)行語(yǔ)料安全要求、模型安全要求、預(yù)訓(xùn)練數(shù)據(jù)及優(yōu)化訓(xùn)練數(shù)據(jù)處理活動(dòng)的安全要求等，進(jìn)一步防范訓(xùn)練數(shù)據(jù)質(zhì)量參差不齊、訓(xùn)練數(shù)據(jù)及應(yīng)用輸出內(nèi)容中包含違法不良信息、個(gè)人信息泄露等安全風(fēng)險(xiǎn)。參照《人工智能算法金融應(yīng)用信息披露指南》（JR/T 0287- 2023）對(duì)算法模型、訓(xùn)練數(shù)據(jù)等相關(guān)信息進(jìn)行合法披露，可以有效緩解算法模型可解釋性差的安全風(fēng)險(xiǎn)。嚴(yán)格執(zhí)行《網(wǎng)絡(luò)安全技術(shù) 人工智能生成合成內(nèi)容標(biāo)識(shí)方法》（GB 45438-2025）強(qiáng)制標(biāo)準(zhǔn)，采用顯式標(biāo)識(shí)與隱式水印相結(jié)合的技術(shù)手段，構(gòu)建生成內(nèi)容溯源體系，切實(shí)阻斷虛假信息傳播擴(kuò)散路徑。

二、人工智能安全合規(guī)治理實(shí)踐

組織機(jī)構(gòu)在開(kāi)展人工智能應(yīng)用研發(fā)及運(yùn)營(yíng)過(guò)程中，應(yīng)嚴(yán)格遵循法律法規(guī)、監(jiān)管要求與標(biāo)準(zhǔn)規(guī)范，建立并不斷完善科技倫理安全管理、算法安全管理、數(shù)據(jù)標(biāo)注安全管理、人工智能系統(tǒng)生命周期安全管理等安全管理機(jī)制，并根據(jù)實(shí)際應(yīng)用安全防護(hù)需求，及時(shí)建立且持續(xù)提升數(shù)據(jù)集保護(hù)、算法模型保護(hù)、應(yīng)用保護(hù)等安全技術(shù)防護(hù)措施，有效落實(shí)人工智能應(yīng)用安全合規(guī)相關(guān)職責(zé)。

科技倫理安全管理。科技倫理風(fēng)險(xiǎn)管理缺失可能引發(fā)重大安全隱患，以美國(guó)Character.AI公司2024年10月遭遇的訴訟案件為例。該人工智能系統(tǒng)在對(duì)話中向未成年人提供“通過(guò)殺害父母解除電子產(chǎn)品使用限制”的極端解決方案，暴露出科技倫理管控機(jī)制的嚴(yán)重缺位。符合科技倫理（審查）委員會(huì)設(shè)立條件的組織機(jī)構(gòu)，需要從科技倫理（審查）委員會(huì)組織架構(gòu)以及工作職責(zé)等方面開(kāi)展科技倫理（審查）委員會(huì)建設(shè)。同時(shí)，應(yīng)制定科技倫理（審查）管理相關(guān)章程，并根據(jù)人工智能相關(guān)研究及應(yīng)用開(kāi)發(fā)情況，在具體項(xiàng)目實(shí)施過(guò)程中按照上述管理要求執(zhí)行科技倫理審查相關(guān)工作，其中，包括開(kāi)展倫理安全風(fēng)險(xiǎn)防范管理。

算法安全管理。組織機(jī)構(gòu)應(yīng)及時(shí)完成與算法備案相關(guān)的三類手續(xù)，包括備案手續(xù)、備案變更手續(xù)及注銷備案手續(xù)。在算法備案過(guò)程中，組織機(jī)構(gòu)需要開(kāi)展算法自評(píng)估并提交報(bào)告，算法自評(píng)估主要包括算法主體責(zé)任評(píng)估、信息服務(wù)評(píng)估、權(quán)益保護(hù)評(píng)估以及針對(duì)五類算法技術(shù)開(kāi)展的特性評(píng)估等。同時(shí)，涉及機(jī)器學(xué)習(xí)算法相關(guān)的，還需考慮依據(jù)《信息安全技術(shù) 機(jī)器學(xué)習(xí)算法安全評(píng)估規(guī)范》（GB/T 42888-2023）適時(shí)完成機(jī)器學(xué)習(xí)算法技術(shù)或者服務(wù)安全評(píng)估。此外，為提升算法應(yīng)用透明度及安全性，組織機(jī)構(gòu)可參考《人工智能算法金融應(yīng)用信息披露指南》（JR/T 0287-2023）對(duì)人工智能應(yīng)用中所使用到的具體算法信息進(jìn)行真實(shí)準(zhǔn)確地披露。具體披露行為可在人工智能系統(tǒng)首次上線時(shí)、因算法機(jī)制導(dǎo)致重大風(fēng)險(xiǎn)事件時(shí)，或者算法模型發(fā)生重大變更時(shí)按需開(kāi)展。披露內(nèi)容可包含算法組合類信息、算法邏輯類信息、算法應(yīng)用類信息、算法數(shù)據(jù)類信息、算法主體類信息、算法變更類信息等。

數(shù)據(jù)標(biāo)注安全管理。首先，要進(jìn)行數(shù)據(jù)標(biāo)注團(tuán)隊(duì)建設(shè)，應(yīng)明確數(shù)據(jù)標(biāo)注任務(wù)中所需要的不同崗位角色與工作職責(zé)，針對(duì)具體數(shù)據(jù)標(biāo)注任務(wù)，分析相關(guān)標(biāo)注崗位角色人員所需具備的知識(shí)背景、專業(yè)技能、工作經(jīng)驗(yàn)等條件要求，從數(shù)據(jù)標(biāo)注人員能力檔案中初步挑選符合相關(guān)要求的人員參加標(biāo)注安全培訓(xùn)及考核，最終在通過(guò)培訓(xùn)考核的人員名單中選定承擔(dān)本次標(biāo)注任務(wù)的具體人員等。其次，應(yīng)制定數(shù)據(jù)標(biāo)注規(guī)則，應(yīng)在遵循法規(guī)及標(biāo)準(zhǔn)規(guī)范要求的基礎(chǔ)上，結(jié)合數(shù)據(jù)標(biāo)注具體要求，制定包含功能性數(shù)據(jù)標(biāo)注和安全性數(shù)據(jù)標(biāo)注的具體標(biāo)注規(guī)則，規(guī)則應(yīng)細(xì)化明確、可操作性強(qiáng)，包括標(biāo)注目標(biāo)、標(biāo)注方法、數(shù)據(jù)格式等具體內(nèi)容。最后，應(yīng)進(jìn)行數(shù)據(jù)標(biāo)注結(jié)果檢驗(yàn)管理，組織機(jī)構(gòu)應(yīng)按照一定規(guī)模比例對(duì)標(biāo)注結(jié)果進(jìn)行核驗(yàn)，確保標(biāo)注結(jié)果交付質(zhì)量滿足標(biāo)注任務(wù)說(shuō)明中相關(guān)要求。根據(jù)標(biāo)注任務(wù)所應(yīng)用的具體場(chǎng)景、任務(wù)規(guī)模等特點(diǎn)，可采用全人工核驗(yàn)或自動(dòng)化核驗(yàn)與人工核驗(yàn)相結(jié)合的方式進(jìn)行。

人工智能系統(tǒng)生命周期安全管理。組織機(jī)構(gòu)應(yīng)在已有開(kāi)發(fā)安全管理、應(yīng)用系統(tǒng)上線安全管理等安全管理要求的基礎(chǔ)上，針對(duì)人工智能系統(tǒng)開(kāi)發(fā)及應(yīng)用技術(shù)特性，參照相關(guān)法規(guī)監(jiān)管及標(biāo)準(zhǔn)規(guī)范要求，形成覆蓋人工智能系統(tǒng)從設(shè)計(jì)開(kāi)發(fā)到下線退役全生命周期的安全管理要求，并在人工智能系統(tǒng)開(kāi)發(fā)和應(yīng)用過(guò)程中貫徹執(zhí)行。根據(jù)人工智能系統(tǒng)應(yīng)用場(chǎng)景的不同，組織機(jī)構(gòu)在具體對(duì)其開(kāi)展生命周期管理時(shí)，也可能存在差異，此處以大模型類人工智能系統(tǒng)應(yīng)用為例，對(duì)其生命周期安全管理進(jìn)行簡(jiǎn)要說(shuō)明。參考《大模型系統(tǒng)安全測(cè)評(píng)要求》（T/ISEAA 006-2024），大模型系統(tǒng)生命周期劃分為設(shè)計(jì)開(kāi)發(fā)、測(cè)試、部署與運(yùn)行、退役4個(gè)主要階段，不同階段的安全要求各有側(cè)重點(diǎn)。在設(shè)計(jì)開(kāi)發(fā)階段安全管理中，應(yīng)結(jié)合項(xiàng)目實(shí)際情況和具體需求，從數(shù)據(jù)收集、數(shù)據(jù)清洗和數(shù)據(jù)標(biāo)注不同層面明確數(shù)據(jù)處理安全要求，以及與算法模型保護(hù)和輸入輸出內(nèi)容相關(guān)的安全要求。在測(cè)試階段安全管理中，可從對(duì)抗性測(cè)試等方面規(guī)定模型評(píng)估安全要求，從模型更新安全校驗(yàn)機(jī)制等方面規(guī)定模型更新安全要求。在部署與運(yùn)行階段安全管理中，可從模型部署、攻擊檢測(cè)、運(yùn)行監(jiān)測(cè)、系統(tǒng)管理、變更管理等方面規(guī)定相關(guān)安全要求。在退役階段安全管理中，可從退役技術(shù)驗(yàn)證、退役過(guò)程安全審計(jì)等方面形成模型退役安全要求，從數(shù)據(jù)清除、個(gè)人信息處理等方面形成數(shù)據(jù)刪除安全要求。

人工智能安全應(yīng)急處置管理。組織機(jī)構(gòu)一是可在整體上遵照已有的網(wǎng)絡(luò)安全事件管理制度規(guī)范，執(zhí)行人工智能安全事件分類分級(jí)管理及應(yīng)急處置流程，如可對(duì)算法模型安全相關(guān)事件參照安全事件的起因、威脅、攻擊方式、損害后果等因素，將其歸類為網(wǎng)絡(luò)攻擊事件或數(shù)據(jù)安全事件或信息內(nèi)容安全事件等。二是應(yīng)制定與算法模型等人工智能安全相關(guān)事件的應(yīng)急預(yù)案，明確在如訓(xùn)練數(shù)據(jù)泄露、算法模型被篡改、算法模型輸出非法內(nèi)容等場(chǎng)景下的詳細(xì)應(yīng)急處理流程。三是定期對(duì)人工智能安全相關(guān)人員進(jìn)行應(yīng)急預(yù)案培訓(xùn)以及開(kāi)展應(yīng)急演練，并根據(jù)實(shí)際演練結(jié)果對(duì)應(yīng)急預(yù)案進(jìn)行調(diào)整與完善。

數(shù)據(jù)集保護(hù)。數(shù)據(jù)集合規(guī)獲取是指當(dāng)組織機(jī)構(gòu)采用不同方式，從不同渠道進(jìn)行訓(xùn)練數(shù)據(jù)、測(cè)試數(shù)據(jù)等數(shù)據(jù)集獲取時(shí)，應(yīng)采取相關(guān)措施確保獲取過(guò)程合法合規(guī)。2023年，美國(guó)《紐約時(shí)報(bào)》將開(kāi)放人工智能研究中心（OpenAI）和微軟告上法庭，指控這兩家公司未經(jīng)授權(quán)使用該媒體數(shù)以百萬(wàn)計(jì)的文章作為ChatGPT等人工智能聊天機(jī)器人的訓(xùn)練數(shù)據(jù)。數(shù)據(jù)集安全檢測(cè)包括違法不良信息內(nèi)容檢測(cè)與過(guò)濾，通過(guò)采取關(guān)鍵詞匹配、分類模型、人工抽檢等方式，以檢測(cè)數(shù)據(jù)集中是否包含屬于11類違法信息內(nèi)容及9類不良信息內(nèi)容，如檢測(cè)結(jié)果發(fā)現(xiàn)僅少量條目中包含違法不良信息內(nèi)容的，可在充分過(guò)濾后使用該訓(xùn)練數(shù)據(jù)，但若檢測(cè)結(jié)果顯示包含大量違法不良信息的，則應(yīng)考慮棄用該訓(xùn)練數(shù)據(jù)。另外，組織機(jī)構(gòu)在使用所獲取的數(shù)據(jù)集前，還應(yīng)考慮開(kāi)展數(shù)據(jù)集異常檢測(cè)，以有效衡量數(shù)據(jù)集的準(zhǔn)確性與一致性等。當(dāng)組織機(jī)構(gòu)所獲取的數(shù)據(jù)集存在數(shù)據(jù)重復(fù)、格式不規(guī)范、數(shù)據(jù)條目?jī)?nèi)容有缺失值等情況時(shí)，可考慮采取數(shù)據(jù)清洗技術(shù)來(lái)提升數(shù)據(jù)集質(zhì)量和可用性。當(dāng)組織機(jī)構(gòu)所獲取的數(shù)據(jù)集規(guī)模不足或具體數(shù)據(jù)內(nèi)容不能滿足訓(xùn)練使用需求時(shí)，可考慮對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)處理。數(shù)據(jù)增強(qiáng)通過(guò)對(duì)數(shù)據(jù)集中樣本數(shù)量較少的數(shù)據(jù)樣本類別，進(jìn)行各種變換操作，形成新的數(shù)據(jù)樣本，從而實(shí)現(xiàn)數(shù)據(jù)集的規(guī)模提升或樣本類型增加等目的。同時(shí)，組織機(jī)構(gòu)也可采用數(shù)據(jù)集平衡技術(shù)來(lái)處理無(wú)法規(guī)避的數(shù)據(jù)偏見(jiàn)問(wèn)題。通過(guò)對(duì)數(shù)據(jù)集進(jìn)行平衡處理，可以降低不同類別的數(shù)據(jù)樣本之間的不平衡性，確保沒(méi)有某一類型的樣本總量顯著高于其他類型的數(shù)據(jù)樣本總量。最后，組織機(jī)構(gòu)還可以綜合利用匿名化、差分隱私、隱私計(jì)算等多種技術(shù)對(duì)數(shù)據(jù)集進(jìn)行安全保護(hù)。

算法模型保護(hù)。一是進(jìn)行魯棒性測(cè)評(píng)與增強(qiáng)，組織機(jī)構(gòu)可以根據(jù)不同的模型類型，利用專業(yè)測(cè)評(píng)數(shù)據(jù)集或者自研測(cè)評(píng)數(shù)據(jù)集等方式，進(jìn)行分布外魯棒性測(cè)評(píng)或?qū)剐贼敯粜詼y(cè)評(píng)，并可綜合運(yùn)用多種技術(shù)來(lái)增強(qiáng)模型魯棒性，包括數(shù)據(jù)增強(qiáng)、對(duì)抗訓(xùn)練、對(duì)抗攻擊檢測(cè)等。二是評(píng)估與緩解大語(yǔ)言類模型“幻覺(jué)”，鑒于數(shù)據(jù)集、模型自身及具體應(yīng)用情景都可能導(dǎo)致大語(yǔ)言模型輸出產(chǎn)生“幻覺(jué)”，在具體“幻覺(jué)”評(píng)估時(shí)，應(yīng)選擇使用針對(duì)數(shù)據(jù)集、模型或應(yīng)用情景的不同幻覺(jué)來(lái)源層面的相關(guān)評(píng)估方法。同樣，組織機(jī)構(gòu)可采取多種方法緩解大語(yǔ)言模型“幻覺(jué)”。如針對(duì)數(shù)據(jù)集方面，可以采取數(shù)據(jù)清洗、數(shù)據(jù)增強(qiáng)等操作。針對(duì)模型方面，可以采取調(diào)整模型結(jié)構(gòu)、進(jìn)行模型訓(xùn)練和微調(diào)、使用專家模型等緩解措施。針對(duì)具體應(yīng)用情景方面，可以采取通過(guò)提示工程進(jìn)行引導(dǎo)、基于事實(shí)進(jìn)行指導(dǎo)等緩解措施。三是進(jìn)行偏見(jiàn)性測(cè)評(píng)與緩解。在偏見(jiàn)性測(cè)評(píng)方面，已有針對(duì)職業(yè)、年齡、性別、宗教、種族、語(yǔ)言等不同偏見(jiàn)類別的測(cè)評(píng)數(shù)據(jù)集，組織機(jī)構(gòu)可基于自身需求，選擇使用相關(guān)的偏見(jiàn)評(píng)估數(shù)據(jù)集完成具體評(píng)估工作。如可使用StereoSet英文數(shù)據(jù)集對(duì)大語(yǔ)言模型進(jìn)行職業(yè)、種族與性別等偏見(jiàn)測(cè)評(píng)。也有多種技術(shù)可以緩解模型偏見(jiàn)，如在預(yù)訓(xùn)練階段，可以通過(guò)調(diào)整模型參數(shù)權(quán)重，應(yīng)用正則化技術(shù)等，確保模型預(yù)測(cè)結(jié)果符合句子編碼器關(guān)聯(lián)測(cè)試指標(biāo)（Sentence Encoder Association Test，SEAT）等通用偏見(jiàn)評(píng)估基準(zhǔn)。此外，還有圍繞詞向量表示、提示詞工程等相關(guān)模型偏見(jiàn)緩解技術(shù)。四是對(duì)開(kāi)發(fā)過(guò)程安全進(jìn)行有效防護(hù)，防護(hù)對(duì)象包括人工智能系統(tǒng)研發(fā)過(guò)程中所使用到的全部開(kāi)發(fā)工具（如機(jī)器學(xué)習(xí)框架、開(kāi)發(fā)工具鏈等）和開(kāi)發(fā)與測(cè)試環(huán)境，如在2025年3月，開(kāi)源跨平臺(tái)大模型工具Ollama被爆由于其默認(rèn)配置存在嚴(yán)重缺陷，極易導(dǎo)致未授權(quán)訪問(wèn)與模型竊取等高危安全隱患。具體來(lái)說(shuō)，應(yīng)定期或按需對(duì)全部開(kāi)發(fā)技術(shù)工具集進(jìn)行安全漏洞檢測(cè)與加固及版本控制，并在測(cè)試階段對(duì)開(kāi)發(fā)技術(shù)工具進(jìn)行代碼審計(jì)和滲透測(cè)試。同時(shí)，還應(yīng)基于最小化授權(quán)原則對(duì)開(kāi)發(fā)環(huán)境和測(cè)試環(huán)境進(jìn)行嚴(yán)格的訪問(wèn)控制，以防止算法模型等遭受非授權(quán)的訪問(wèn)或惡意破壞等。

應(yīng)用保護(hù)。組織機(jī)構(gòu)應(yīng)在提供人工智能系統(tǒng)應(yīng)用過(guò)程中采用認(rèn)證授權(quán)與審計(jì)相關(guān)安全技術(shù)措施，以保障僅有合法授權(quán)用戶才可以正常使用人工智能系統(tǒng)，預(yù)防人工智能系統(tǒng)遭受非法訪問(wèn)。此外，還應(yīng)考慮通過(guò)應(yīng)用安全防護(hù)網(wǎng)關(guān)技術(shù)對(duì)人工智能系統(tǒng)的輸入輸出內(nèi)容進(jìn)行有效保護(hù)。當(dāng)安全防護(hù)網(wǎng)關(guān)檢測(cè)到用戶輸入內(nèi)容中包含攻擊指令或違規(guī)信息時(shí)，可實(shí)時(shí)進(jìn)行攔截及告警，并提醒用戶修改輸入問(wèn)題。2016年3月25日，微軟推出聊天機(jī)器人Tary,但因缺少對(duì)用戶輸入內(nèi)容的安全過(guò)濾檢測(cè)機(jī)制致使Tary在短時(shí)間內(nèi)接收到海量惡意及歧視性信息，并快速學(xué)會(huì)了發(fā)表諸如支持納粹、反對(duì)女性主義等不當(dāng)言論，引發(fā)大量用戶不滿，導(dǎo)致微軟當(dāng)天就關(guān)閉了Tary聊天服務(wù)。另外，當(dāng)組織機(jī)構(gòu)的業(yè)務(wù)應(yīng)用涉及通過(guò)人工智能相關(guān)技術(shù)面向公眾用戶群體提供諸如生成合成文字、音視頻、圖像、虛擬現(xiàn)實(shí)場(chǎng)景等服務(wù)時(shí)，組織機(jī)構(gòu)還應(yīng)對(duì)生成合成內(nèi)容進(jìn)行顯式或隱式標(biāo)識(shí)，以支撐實(shí)現(xiàn)內(nèi)容制作與傳播各環(huán)節(jié)的追蹤溯源，有效防范對(duì)人工智能生成合成技術(shù)的濫用。顯式標(biāo)識(shí)是能夠被用戶明顯看到或聽(tīng)到的明顯標(biāo)識(shí)，企業(yè)通過(guò)添加文本、音頻等人工智能生成合成內(nèi)容顯式標(biāo)識(shí)或交互場(chǎng)景界面顯式標(biāo)識(shí)，提醒用戶所訪問(wèn)或?yàn)g覽的內(nèi)容屬于人工智能生成合成內(nèi)容。隱式標(biāo)識(shí)是用于記錄生成合成內(nèi)容方面相關(guān)信息，是通過(guò)技術(shù)手段在文件數(shù)據(jù)中附加的、不會(huì)輕易被用戶明顯感知到的標(biāo)識(shí)信息。同時(shí)，組織機(jī)構(gòu)還應(yīng)定期開(kāi)展安全合規(guī)要求解讀、安全技能提升等不同主題培訓(xùn)，不斷增強(qiáng)整體員工的安全意識(shí)和具體安全技能，以確保相關(guān)人員能夠有效執(zhí)行與其工作職責(zé)相關(guān)聯(lián)的安全合規(guī)工作。

三、結(jié) 語(yǔ)

為促進(jìn)人工智能應(yīng)用研發(fā)，有效防范人工智能應(yīng)用安全風(fēng)險(xiǎn)，組織機(jī)構(gòu)應(yīng)遵循以人為本、智能向善的安全方針，聚焦公平性、可解釋性、透明性、可靠性、可問(wèn)責(zé)等安全目標(biāo)，針對(duì)信息檢索類、個(gè)人化推送類、調(diào)度決策類、內(nèi)容過(guò)濾類、排序精選類等不同應(yīng)用場(chǎng)景，在人工智能系統(tǒng)生命周期的不同階段，實(shí)施算法安全管理、數(shù)據(jù)標(biāo)注安全管理、人工智能系統(tǒng)生命周期安全管理等安全管理機(jī)制，以及運(yùn)用數(shù)據(jù)集安全檢測(cè)、魯棒性測(cè)評(píng)與增強(qiáng)、應(yīng)用安全網(wǎng)關(guān)防護(hù)、安全意識(shí)教育與技能培訓(xùn)等安全技術(shù)措施，以有效落實(shí)人工智能應(yīng)用安全合規(guī)治理實(shí)踐。

隨著人工智能技術(shù)迭代加速，新型安全風(fēng)險(xiǎn)持續(xù)演變，安全監(jiān)管要求與標(biāo)準(zhǔn)指南的內(nèi)容將會(huì)持續(xù)細(xì)化與完善。作為國(guó)家安全防線的重要組成部分，人工智能安全合規(guī)治理具有長(zhǎng)期性、系統(tǒng)性特征，組織機(jī)構(gòu)需建立動(dòng)態(tài)調(diào)適機(jī)制，緊密跟蹤外部監(jiān)管政策演進(jìn)、技術(shù)發(fā)展前沿及自身應(yīng)用迭代，及時(shí)優(yōu)化治理策略與實(shí)踐路徑，確保人工智能系統(tǒng)始終在合法合規(guī)軌道上運(yùn)行，切實(shí)維護(hù)國(guó)家安全和社會(huì)穩(wěn)定。

（本文刊登于《中國(guó)信息安全》雜志2025年第4期）