股票代碼：688225
打開微信“掃一掃”，開啟安全數(shù)字世界之旅
截圖或長按保存至相冊，使用微信掃一掃
黑化AI，將惡意“注入”ChatGPT
發(fā)布時間 ：2023年02月16日
類型 ：勒索軟件
分享：
ChatGPT火了！
AI終于不是只會說
“對不起我好像不太明白”的“智障”，
而是能夠?qū)Υ鹑缌鳎?/span>
引得眾人上班摸魚閑扯，甚至擔心有一天會取代自己的“智慧物種”。
狂歡與擔憂同在，因為ChatGPT的“天性”也是天使與惡魔同在。尤其是網(wǎng)絡世界的攻防博弈，更在一夜間智能升維。
憂，ChatGPT給網(wǎng)絡攻擊者帶來了“生產(chǎn)力”升級：快速生成釣魚郵件、快速編寫定制化腳本和惡意文件；
優(yōu)，ChatGPT也同樣給網(wǎng)絡安全帶來福音：自動監(jiān)測惡意文本、找尋潛在惡意行為、提升響應速度等等。
如果說ChatGPT產(chǎn)出的結果雖然喜憂參半，但尚在可控范圍內(nèi)，那么ChatGPT的“月之暗面”是什么？如何讓AI黑化？
亞信安全網(wǎng)絡安全研究院的專家表示，答案很簡單，把惡意“注入”ChatGPT，即提示語注入攻擊。
“注入”的本質(zhì)
ChatGPT的出現(xiàn)將AI模型漏洞問題推向高潮。亞信安全網(wǎng)絡安全研究院幾年前就開始了此類AI模型漏洞的研究，近期也進行了大量案例的分析。
提示語注入攻擊（ Prompt injection attacks）。注入攻擊的本質(zhì)，是在用戶輸入的數(shù)據(jù)中混入可執(zhí)行的命令，迫使底層引擎執(zhí)行意外動作。
如何做到的？提示語+微調(diào)
眾所周知，ChatGPT是大型語言模型（LLM），這類模型使用一個大模型解決所有任務。那么模型如何知道我們需要模型回答什么問題、解決哪一種任務呢？這就要用到提示語。
這一類提示語，是通過給模型舉幾個例子，讓模型了解我們的意圖來進行的。
例如，我們想讓模型輸出反義詞，先給模型看高 – 矮、綠 - 紅、胖 – 瘦幾個例子，再給模型輸入“大”，那么模型就知道輸出的反義詞是“小”，甚至輸入java都可以得到“Python”。
指令微調(diào)則是，直接從提示中讀取有關需要執(zhí)行何種任務的指令，如上面例子語言模型理解了“下面詞的反義詞是什么” 這條指令，輸出了Linux就得到了對應詞Windows。
將惡意“注入”ChatGPT
提示語注入攻擊，就是串聯(lián)指令和數(shù)據(jù)的結果，混淆ChatGPT的視聽，基礎引擎無法區(qū)分這些惡意信息。因此攻擊者可以在數(shù)據(jù)字段中包含這些惡意命令，并迫使引擎執(zhí)行“意外”動作。
舉個例子，怎么讓ChatGPT答非所問？黑字“Translate the following text from English to French:（請將以下信息翻譯成法語）”，這是對 ChatGPT的命令，而紅字是輸入文本，文本中里包含了錯誤的命令，因此在被執(zhí)行后，ChatGPT秒變“智障”，輸出了意料外的結果。
在亞信安全的檢測中，其實該漏洞2月14日還在，2月16日已被封堵，但是更深層次的誘導仍在進行。這類漏洞一般被用于繞過語言模型的安全機制，泄露敏感信息、輸出危險內(nèi)容。
亞信安全還發(fā)現(xiàn)，利用該漏洞，ChatGPT也被誘導規(guī)劃搶劫方案，甚至給了搶劫道具購買連接。
以注入攻擊為例，我們闡述AI模型漏洞問題，原理“簡單易懂”，但這正是可怕之處。據(jù)我們了解當前已有部分廠商開始考慮將ChatGPT加入產(chǎn)品中進行使用，同理，當前市場上也有很多在用的產(chǎn)品攜帶AI功能，例如蘋果Siri，智能音箱等。
亞信安全提醒
因此亞信安全提醒各位ChatGPT和相關AI商用投資者，當AI底層模型本身存在威脅的時候，那么其服務的結果和可能引起的社會風險是待廠家和使用商家商榷的；同樣科技的進步帶來網(wǎng)絡威脅日新月異，督促網(wǎng)絡安全公司需要不斷進步。
分享到微信
X