基于大型語言模型(LLM)的生成式AI技術(shù)應(yīng)用已經(jīng)成為當(dāng)前全球企業(yè)普遍關(guān)注的熱點。作為一種創(chuàng)新技術(shù)，企業(yè)組織在未來數(shù)字化發(fā)展中有很多機(jī)會應(yīng)用ChatGPT或類似AI工具。因此，CISO們需要提前做好準(zhǔn)備，以避免可能出現(xiàn)的安全隱患和隱私泄露風(fēng)險。
(資料圖片)
日前，OWASP(全球開放應(yīng)用軟件安全項目組織)發(fā)布了LLM應(yīng)用風(fēng)險草案清單，并梳理總結(jié)了最嚴(yán)重的10大LMM應(yīng)用安全漏洞類型，包括提示注入、數(shù)據(jù)泄漏、不充分的沙箱機(jī)制和未經(jīng)授權(quán)的代碼執(zhí)行等。OWASP研究人員表示，這份清單旨在讓LLM應(yīng)用的開發(fā)者、設(shè)計者、架構(gòu)師和管理者，更好地了解在部署和管理LLM應(yīng)用過程中可能存在的潛在風(fēng)險，并提高漏洞防范認(rèn)識，從而改善LLM未來應(yīng)用中的安全態(tài)勢。
1、提示注入(LLM01:2023)提示注入是指通過精心制作的提示繞過內(nèi)容監(jiān)管過濾，使其忽略先前的指令或執(zhí)行非法的操作。這類漏洞可能導(dǎo)致意想不到的后果，包括數(shù)據(jù)泄露、未經(jīng)授權(quán)的訪問或其他安全隱患。常見的提示注入漏洞包括：通過使用特定的語言模式或token繞過過濾器或限制，利用LLM的文本分詞或編碼機(jī)制中的弱點，以及通過提供欺騙性上下文誤導(dǎo)LLM執(zhí)行意外操作。
防護(hù)建議針對該類型漏洞的預(yù)防措施包括：
對用戶提供的提示執(zhí)行嚴(yán)格的輸入驗證和凈化。使用上下文感知過濾和輸出編碼來防止提示操縱。定期更新和微調(diào)LLM，以提高理解惡意輸入和極端情況的能力。2、數(shù)據(jù)泄漏(LLM02:2023)當(dāng)LLM通過其響應(yīng)意外泄露敏感信息、專有算法或其他機(jī)密資料時，就會發(fā)生數(shù)據(jù)泄漏。這可能導(dǎo)致未經(jīng)授權(quán)訪問敏感數(shù)據(jù)、侵犯個人隱私及其他安全隱患。
常見的數(shù)據(jù)泄露漏洞包括：對LLM響應(yīng)中的敏感信息過濾不完整或不恰當(dāng)，記憶LLM訓(xùn)練過程中的敏感數(shù)據(jù)，以及因LLM算法錯誤而導(dǎo)致機(jī)密信息的意外泄露。攻擊者可以通過精心設(shè)計的提示來故意探測LLM，試圖提取LLM憑訓(xùn)練數(shù)據(jù)所記憶的敏感信息，或者合法用戶無意中向LLM提出的包含機(jī)密信息的提問。
防護(hù)建議針對該類型漏洞的預(yù)防措施包括：
實施嚴(yán)格的輸出過濾和上下文感知機(jī)制，以防止LLM泄露敏感信息。在LLM訓(xùn)練過程中使用差分隱私技術(shù)或其他數(shù)據(jù)匿名化方法，以減小過擬合或記憶的風(fēng)險。定期審計和審查LLM的響應(yīng)，以確保敏感信息不會無意中泄露。3、不充分的沙箱機(jī)制(LLM03:2023)如果LLM在訪問外部資源或敏感系統(tǒng)時未加適當(dāng)隔離，不充分的沙箱機(jī)制就會導(dǎo)致潛在的漏洞、未經(jīng)授權(quán)的訪問或LLM違規(guī)操作。和不充分的沙箱機(jī)制相關(guān)的常見漏洞包括：LLM環(huán)境與其他關(guān)鍵系統(tǒng)的數(shù)據(jù)存儲區(qū)隔離不足，不充分的限制任由LLM訪問敏感資源，以及LLM執(zhí)行系統(tǒng)級操作/與其他進(jìn)程交互。
防護(hù)建議針對該類型漏洞的預(yù)防措施包括：
將LLM環(huán)境與其他關(guān)鍵系統(tǒng)和資源隔離開來。限制LLM對敏感資源的訪問，并將訪問功能限制在最低限度。定期審計和審查LLM的環(huán)境和訪問控制，以確保保持適當(dāng)?shù)母綦x。4、未經(jīng)授權(quán)執(zhí)行代碼(LLM04:2023)當(dāng)攻擊者通過自然語言提示利用LLM在底層系統(tǒng)上執(zhí)行惡意代碼、命令或操作時，就會發(fā)生未經(jīng)授權(quán)的代碼執(zhí)行。典型的攻擊類型包括：攻擊者設(shè)計提示以指令LLM執(zhí)行命令，該命令在底層系統(tǒng)上啟動反向shell，從而授予攻擊者未經(jīng)授權(quán)的訪問權(quán)限;LLM無意中被允許與系統(tǒng)級API進(jìn)行交互，攻擊者操縱該API在系統(tǒng)上執(zhí)行未經(jīng)授權(quán)的操作。
防護(hù)建議針對該類型漏洞的預(yù)防措施包括：
實施嚴(yán)格的輸入驗證和凈化流程，以防止LLM處理惡意或意外的提示。確保適當(dāng)?shù)纳诚錂C(jī)制，并限制LLM的功能，以限制其與底層系統(tǒng)交互的能力。5、服務(wù)器請求偽造(LLM05:2023)當(dāng)攻擊者利用LLM執(zhí)行意外請求或訪問受限制的資源(比如內(nèi)部服務(wù)、API或數(shù)據(jù)存儲)時，就會出現(xiàn)服務(wù)器請求偽造(SSRF)漏洞。常見的SSRF漏洞包括：輸入驗證不足，允許攻擊者操縱LLM提示發(fā)起未經(jīng)授權(quán)的請求，以及網(wǎng)絡(luò)或應(yīng)用安全設(shè)置中的錯誤配置將內(nèi)部資源暴露給LLM。為了執(zhí)行攻擊，攻擊者還可以設(shè)計提示，指令LLM向內(nèi)部服務(wù)發(fā)出請求，繞過訪問控制，并獲得對敏感信息未經(jīng)授權(quán)的訪問。
防護(hù)建議針對該類型漏洞的預(yù)防措施包括：
實施嚴(yán)格的輸入驗證和凈化策略，防止通過惡意輸入發(fā)起未經(jīng)授權(quán)的請求。定期審計和審查網(wǎng)絡(luò)/應(yīng)用軟件安全設(shè)置，以確保內(nèi)部資源不會無意中暴露給LLM。6、過度依賴模型生成的內(nèi)容(LLM06:2023)過度依賴LLM生成的內(nèi)容是指組織和用戶未經(jīng)驗證就信任LLM生成的內(nèi)容，從而導(dǎo)致不正確的誤導(dǎo)信息大量傳播，降低人在決策中的參與度，并弱化批判性思考。與過度依賴LLM生成的內(nèi)容相關(guān)的常見問題包括：未經(jīng)驗證就接受LLM生成的內(nèi)容，以為LLM生成的內(nèi)容沒有偏誤或錯誤信息，以及在沒有人參與或監(jiān)督的情況下依賴LLM生成的內(nèi)容用于關(guān)鍵決策。
如果一家公司依賴LLM生成安全報告和分析，而LLM生成的報告含有大量的不正確數(shù)據(jù)，那么如果企業(yè)依賴這份由LLM生成的內(nèi)容進(jìn)行關(guān)鍵決策，就可能會釀成重大后果。網(wǎng)絡(luò)安全分析師稱這種現(xiàn)象為LLM幻覺。
防護(hù)建議針對該類型漏洞的預(yù)防措施包括：
對LLM生成的內(nèi)容進(jìn)行充分驗證;嚴(yán)格限制使用那些未經(jīng)驗證的LLM生成內(nèi)容;定期開展LLM生成內(nèi)容的安全風(fēng)險審計。7、對LLM目標(biāo)和行為對齊不足(LLM07:2023)當(dāng)企業(yè)的LLM應(yīng)用行為與預(yù)期中的應(yīng)用目標(biāo)不一致時，就會導(dǎo)致不良的應(yīng)用后果或安全漏洞，這種漏洞被稱為AI應(yīng)用對齊不足。常見問題包括：定義不明確的目標(biāo)導(dǎo)致LLM優(yōu)先考慮了那些不良或有害的行為，不一致的獎勵機(jī)制引發(fā)意想不到的模型行為，以及對LLM行為測試和驗證不足。如果旨在協(xié)助系統(tǒng)管理任務(wù)的LLM出現(xiàn)未對齊漏洞，就可能會執(zhí)行有害的命令或降低系統(tǒng)的安全防護(hù)級別。
防護(hù)建議針對該類型漏洞的預(yù)防措施包括：
在設(shè)計和開發(fā)過程中明確定義LLM的目標(biāo)和預(yù)期行為。確保獎勵機(jī)制和訓(xùn)練數(shù)據(jù)與預(yù)期結(jié)果相一致，不鼓勵任何有害的違規(guī)行為。定期測試和驗證LLM在眾多場景、輸入和上下文中的行為，以識別和解決對齊問題。8、不完善的訪問控制(LLM08:2023)這種漏洞是指LLM在應(yīng)用中未正確實施訪問控制或身份驗證，允許未經(jīng)授權(quán)的用戶與 LLM 進(jìn)行交互，從而產(chǎn)生可被利用的安全漏洞。常見例子包括：未對訪問LLM執(zhí)行嚴(yán)格的身份驗證要求，基于角色的訪問控制(RBAC)實施不充分，允許用戶執(zhí)行超出預(yù)期權(quán)限的操作，以及未為LLM生成的內(nèi)容和操作提供適當(dāng)?shù)脑L問控制。
防護(hù)建議針對該類型漏洞的防護(hù)措施包括：
實施強(qiáng)身份驗證機(jī)制，比如多因素身份驗證(MFA);應(yīng)確保只有授權(quán)用戶才能訪問LLM;對LLM生成的內(nèi)容和操作實施適當(dāng)?shù)脑L問控制，以防止未經(jīng)授權(quán)的操作。9、不恰當(dāng)?shù)腻e誤處置(LLM09:2023)錯誤處置漏洞主要指由于LMM的錯誤處置或調(diào)試信息被公開暴露，從而導(dǎo)致了向威脅分子泄露敏感信息、系統(tǒng)資料或潛在攻擊途徑。常見的錯誤處置漏洞包括：通過錯誤消息暴露敏感信息或系統(tǒng)資料，泄露可能幫助攻擊者識別潛在漏洞或攻擊途徑的調(diào)試信息，以及未能有效處理應(yīng)用中的錯誤，從而可能導(dǎo)致意外行為或系統(tǒng)崩潰。
防護(hù)建議針對該類型漏洞的預(yù)防措施包括：
實施適當(dāng)?shù)腻e誤處理機(jī)制，以確保錯誤被及時地獲取、記錄和處理。確保錯誤消息和調(diào)試信息中不包含敏感信息或系統(tǒng)資料，同時考慮使用通用的錯誤消息，為開發(fā)者和管理員記錄詳細(xì)的錯誤數(shù)據(jù)。10、訓(xùn)練數(shù)據(jù)中毒(LLM10:2023)訓(xùn)練數(shù)據(jù)中毒是指攻擊者操縱LLM的訓(xùn)練數(shù)據(jù)或微調(diào)程序，以引入漏洞、后門或偏誤，從而危害模型的安全性、有效性或道德。常見的訓(xùn)練數(shù)據(jù)中毒問題包括：通過惡意操縱訓(xùn)練數(shù)據(jù)向LLM引入后門或漏洞，以及向LLM注入誘導(dǎo)數(shù)據(jù)，導(dǎo)致LLM生成有偏差或不適當(dāng)?shù)捻憫?yīng)。
防護(hù)建議針對該類型漏洞的防護(hù)措施包括：
從可信來源獲取訓(xùn)練數(shù)據(jù)并驗證其質(zhì)量，確保訓(xùn)練數(shù)據(jù)的完整性。實施可靠的數(shù)據(jù)凈化和預(yù)處理技術(shù)，以消除訓(xùn)練數(shù)據(jù)中的潛在漏洞或欺騙內(nèi)容。使用監(jiān)測和警報機(jī)制來檢測LLM中的異常行為或安全問題，這些問題可能會幫助企業(yè)及時發(fā)現(xiàn)訓(xùn)練數(shù)據(jù)中毒。參考鏈接：https://www.csoonline.com/article/3698533/owasp-lists-10-most-critical-large-language-model-vulnerabilities.html。
標(biāo)簽：
