攻擊者還會(huì)利用對(duì)抗性攻擊和數(shù)據(jù)投毒破壞大模型的安全性,。例如，2023年某教育巨頭AI大模型因訓(xùn)練數(shù)據(jù)污染出現(xiàn)“毒教材”內(nèi)容,，導(dǎo)致市值大幅縮水,。在數(shù)據(jù)投毒方面，只需少量成本就能污染大型開源數(shù)據(jù)集,，影響基于這些數(shù)據(jù)訓(xùn)練的大模型行為,。

初創(chuàng)大模型企業(yè)在安全開發(fā)管理、數(shù)據(jù)保護(hù)體系,、安全對(duì)抗能力等方面存在明顯短板，網(wǎng)絡(luò)安全防護(hù)技術(shù)滯后,，傳統(tǒng)防護(hù)系統(tǒng)難以應(yīng)對(duì)復(fù)雜攻擊,。奇安信安全專家建議加強(qiáng)合規(guī)咨詢、安全測(cè)試與評(píng)估,、安全培訓(xùn),、應(yīng)急響應(yīng)、持續(xù)監(jiān)測(cè)等服務(wù)。

除了傳統(tǒng)的網(wǎng)絡(luò)安全和數(shù)據(jù)安全解決方案,，還會(huì)有專門針對(duì)大模型輸入輸出的內(nèi)容過(guò)濾產(chǎn)品,、模型保護(hù)安全產(chǎn)品,、大模型倫理審核產(chǎn)品等,。

Gartner預(yù)測(cè)，到2025年,，生成式AI的采用將導(dǎo)致企業(yè)機(jī)構(gòu)所需的網(wǎng)絡(luò)安全資源激增,，使應(yīng)用和數(shù)據(jù)安全支出增加15%以上。網(wǎng)絡(luò)安全和數(shù)據(jù)安全已成為選擇數(shù)字技術(shù)時(shí)的重要考慮因素,。

訓(xùn)練模型的系統(tǒng)平臺(tái)也存在安全風(fēng)險(xiǎn)隱患,，包括非授權(quán)訪問(wèn),、機(jī)器學(xué)習(xí)框架安全隱患、開發(fā)工具鏈安全風(fēng)險(xiǎn)等,。在業(yè)務(wù)應(yīng)用層面,，大模型可能存在測(cè)試驗(yàn)證數(shù)據(jù)更新不及時(shí)的風(fēng)險(xiǎn)，以及生成違法不良信息,、數(shù)據(jù)泄露,、用戶惡意使用等重點(diǎn)風(fēng)險(xiǎn)。

面對(duì)多樣化的AI攻擊形式,，防御策略也需要相應(yīng)升級(jí),，利用AI驅(qū)動(dòng)的防御手段進(jìn)行攻擊面識(shí)別、網(wǎng)絡(luò)入侵和威脅檢測(cè),。多名安全行業(yè)專家建議建立對(duì)抗性安全運(yùn)營(yíng)體系,，融合產(chǎn)品、人員,、手段和流程,，通過(guò)紅藍(lán)對(duì)抗檢驗(yàn)安全防護(hù)水平，并利用AI大模型應(yīng)對(duì)新型攻擊,。

大模型本身也需要對(duì)外提供服務(wù),，因此傳統(tǒng)的安全防護(hù)措施不可或缺,。比如使用防火墻、入侵檢測(cè),、抗DDoS硬件設(shè)備,，或者采用云抗D、云WAF等云服務(wù)保障大模型在網(wǎng)絡(luò),、數(shù)據(jù)和應(yīng)用層面的安全,。針對(duì)AI大模型特有的安全風(fēng)險(xiǎn)，需要升級(jí)安全防護(hù)手段,，對(duì)prompt內(nèi)容進(jìn)行輸入過(guò)濾與驗(yàn)證,，利用對(duì)抗訓(xùn)練技術(shù)抵抗prompt攻擊，實(shí)時(shí)監(jiān)測(cè)與審查模型輸出內(nèi)容,，及時(shí)攔截有害信息,。

雖然安全措施可能增加計(jì)算成本，但通過(guò)技術(shù)創(chuàng)新可以實(shí)現(xiàn)安全與效率的平衡,。安全問(wèn)題是大模型企業(yè)的關(guān)鍵因素之一,，決定著大模型的上限。傳統(tǒng)互聯(lián)網(wǎng)巨頭在網(wǎng)絡(luò)安全和數(shù)據(jù)安全方面布局較早,，相對(duì)安全體系建設(shè)完善,，而初創(chuàng)公司出于成本考慮或經(jīng)驗(yàn)不足，安全體系建設(shè)相對(duì)落后,。若后續(xù)不能補(bǔ)足安全體系,，即使性能再好的模型產(chǎn)品也可能曇花一現(xiàn)。大模型的安全能力不僅關(guān)乎風(fēng)險(xiǎn)防控,，更是突破應(yīng)用天花板的關(guān)鍵,。