即便沒有ChatGPT和生成式AI的火爆應(yīng)用，人工智能（AI）技術(shù)的應(yīng)用安全威脅都已經(jīng)開始顯現(xiàn)。安全研究人員表示，在AI技術(shù)快速應(yīng)用發(fā)展過程中，其安全性也面臨諸多挑戰(zhàn)。為了防范AI技術(shù)大規(guī)模應(yīng)用的安全風(fēng)險，企業(yè)需要打贏一場“雙線戰(zhàn)爭”，不僅需要能夠阻止對抗性AI攻擊對已部署的AI模型所構(gòu)成的威脅，而且還要面對攻擊者利用AI技術(shù)發(fā)起各種類型的新攻擊。
(資料圖)
攻擊者可以操縱（毒化）AI模型的一小部分輸入數(shù)據(jù)，以破壞其訓(xùn)練數(shù)據(jù)集和準(zhǔn)確性。最常見的投毒形式是后門投毒，即使極少一部分訓(xùn)練數(shù)據(jù)受到影響。在很長時間里，AI模型仍然可以繼續(xù)給出高度準(zhǔn)確的結(jié)果，直到它在接觸特定的觸發(fā)器時被“激活”而功能失靈?！癆I模型投毒”會嚴(yán)重威脅到AI應(yīng)用的完整性和安全性。因此，大型語言模型（LLM）需要接受風(fēng)險和安全研究人員的嚴(yán)格審查，以探索反饋循環(huán)和AI偏見等問題如何使AI輸出不可靠。
2. 武器化的AI模型AI技術(shù)的研究與創(chuàng)新需要高度的團隊協(xié)作和迭代開發(fā)，因此會涉及大量的共享，包括數(shù)據(jù)共享和模型共享，這可能會給AI供應(yīng)鏈帶來重大風(fēng)險。研究人員最新發(fā)現(xiàn)了一種AI攻擊的新模式，攻擊者首先劫持了公共代碼庫上的合法AI模型，再將惡意代碼嵌入到這些預(yù)訓(xùn)練的AI模型中，對其進行惡意制作，一旦用戶重新加載了這些被修改的AI模型，攻擊者就可以實施勒索攻擊等非法活動。
3. 數(shù)據(jù)隱私攻擊圍繞AI的一些最大風(fēng)險實際上是數(shù)據(jù)安全和數(shù)據(jù)隱私威脅。如果AI模型沒有建立足夠的隱私措施，攻擊者就有可能破壞用于訓(xùn)練這些模型數(shù)據(jù)的機密性。對于個人來說，了解企業(yè)如何使用人工智能、人工智能的功能及其對數(shù)據(jù)的影響將變得非常重要。同樣地，攻擊者可能會試圖使用惡意軟件竊取包含信用卡號碼或社會安全號碼等個人信息的敏感數(shù)據(jù)集。企業(yè)組織必須定期進行安全審計，并在人工智能開發(fā)的所有階段實施強有力的數(shù)據(jù)保護實踐。隱私風(fēng)險可能發(fā)生在數(shù)據(jù)生命周期的任何階段，因此為所有利益相關(guān)者制定統(tǒng)一的隱私安全策略非常重要。
4. 模型竊取攻擊攻擊者從AI技術(shù)的應(yīng)用部署中竊取的不僅僅是數(shù)據(jù)，還可以通過各種類型的攻擊手段破解AI模型的運行原理。當(dāng)然，攻擊者可能采取的最直接方法，就是通過網(wǎng)絡(luò)釣魚或密碼攻擊侵入源代碼存儲庫，直接竊取AI模型的實現(xiàn)代碼。此外，研究人員也探索了可能被攻擊者使用的AI模型提取攻擊，在這種攻擊方式中，攻擊者會通過反復(fù)測試模型的輸入和輸出，來觀察模型的反應(yīng)，并總結(jié)AI模型的數(shù)據(jù)分析行為和處理方式。
5. 海綿攻擊在不久前舉辦的RSAC大會上，特別討論了未來幾年企業(yè)組織要重點關(guān)注的AI風(fēng)險和彈性問題。其中，研究人員提出了一種名為“海綿攻擊”（Sponge Attack）的新型AI攻擊。在這種攻擊類型中，攻擊者可以通過特別制作的惡意數(shù)據(jù)輸入來耗盡AI模型的計算資源，從而對AI模型實施拒絕服務(wù)（DoS）攻擊。攻擊者會首先在神經(jīng)網(wǎng)絡(luò)中獲取AI模型的運行參數(shù)，然后利用這些參數(shù)讓模型進行大量的計算，直至使AI系統(tǒng)癱瘓。
6. 提示注入在軟件開發(fā)者領(lǐng)域，有一句格言是“永遠不要相信用戶輸入”。否則的話，可能會引發(fā)SQL注入和跨站點腳本等攻擊。隨著生成式AI的盛行，組織也將不得不擔(dān)心提示注入問題。提示注入是指在生成式AI中使用惡意制作的輸入，以誘導(dǎo)出不正確、不準(zhǔn)確甚至具有破壞性的模型反應(yīng)。當(dāng)開發(fā)人員將ChatGPT和其他大型語言模型（LLM）整合到他們的應(yīng)用程序中時，這些惡意的提示就會被AI模型處理，并觸發(fā)一些不安全的行為動作，比如向網(wǎng)站發(fā)布欺詐內(nèi)容，或者制作可能包含非法的或煽動性信息的電子郵件。
7. 逃逸攻擊逃逸攻擊（Evasion attack）是目前最典型的對抗性AI攻擊之一，攻擊者會在不改變目標(biāo)機器學(xué)習(xí)系統(tǒng)的情況下，通過構(gòu)造特定輸入樣本以完成欺騙目標(biāo)系統(tǒng)的攻擊。例如，攻擊者可以修改一個惡意軟件樣本的非關(guān)鍵特征，使得它被一個反病毒系統(tǒng)判定為良性樣本，從而繞過檢測。攻擊者為實施逃逸攻擊而特意構(gòu)造的樣本通常被稱為“對抗樣本”。只要一個AI模型在判別機制方面存在不足，攻擊者就有可能構(gòu)造對抗樣本用以欺騙AI模型。
8. AI生成的網(wǎng)絡(luò)釣魚惡意行為者不僅會繼續(xù)探索AI的缺陷，同時也在利用AI技術(shù)來提升現(xiàn)有攻擊手段的有效性。研究人員發(fā)現(xiàn)，攻擊者大量使用像ChatGPT這樣的生成式AI技術(shù)來自動創(chuàng)建網(wǎng)絡(luò)釣魚電子郵件。研究數(shù)據(jù)顯示，自從ChatGPT正式發(fā)布以來，網(wǎng)絡(luò)釣魚攻擊的數(shù)量和成功率都有所增加。這一攻擊方式已被網(wǎng)絡(luò)安全研究與培訓(xùn)機構(gòu)SANS列為“2023年最危險的5大網(wǎng)絡(luò)攻擊”。
9. Deepfake BEC騙局ChatGPT的橫空出世，將深度偽造攻擊威脅從理論研究轉(zhuǎn)變到實際攻擊中。盡管模仿公司高級管理人員的欺詐行為目前還并不常見，但它們已被真實的應(yīng)用到BEC欺詐中。組織應(yīng)該努力提高安全意識，幫助所有員工了解語音和視頻等AI生成的數(shù)字化內(nèi)容比以往任何時候都更容易和真實，這會使得冒充CEO或其他高管變得非常容易，加劇了本已在增長的BEC威脅。
10. AI生成的惡意軟件安全研究人員發(fā)現(xiàn)，今天的攻擊者開始越來越多地依靠生成式AI能來幫助他們制作惡意軟件，并快速發(fā)現(xiàn)目標(biāo)系統(tǒng)中的漏洞，從而加速和擴大攻擊規(guī)模，甚至比他們使用其他自動化技術(shù)所做的還要多。這也是SANS列舉的“2023年最危險的5大網(wǎng)絡(luò)攻擊”中的另一大威脅。在RSAC 2023大會上，SANS漏洞研究人員Steven Sims展示了即使是非專業(yè)性的犯罪分子也開始嘗試?yán)肅hatGPT生成勒索軟件代碼，并已經(jīng)在特定代碼段中發(fā)現(xiàn)了由ChatGPT自動生成的零日漏洞。
參考鏈接：https://www.darkreading.com/threat-intelligence/10-types-of-ai-attacks-cisos-should-track
標(biāo)簽：
