導讀 微軟正在全力推廣生成式AI工具Copilot,如果你想了解即將召开的公司會議,Copilot可以從郵件、Teams聊天記錄、文件中搜集相關資料,給出答案。但有利就有弊,報告顯示,Copilot可能會...
微軟正在全力推廣生成式AI工具Copilot,如果你想了解即將召开的公司會議,Copilot可以從郵件、Teams聊天記錄、文件中搜集相關資料,給出答案。但有利就有弊,報告顯示,Copilot可能會被黑客利用。
在最近舉行的拉斯維加斯黑帽技術大會(BlackHat)會議上,研究人員MichaelBargury展示了5種Copilot被黑客操縱的新方式。例如,利用Copilot給出錯誤的文件引用、竊取私密數據、避开微軟安全防護。
被操縱的Copilot可變成網絡釣魚工具
最讓人擔心的是,MichaelBargury居然可以把Copilot變成網絡釣魚工具。黑客可以進入用戶的工作郵件,用Copilot定期觀察,看你經常給誰發郵件,然後模擬用戶寫作風格進行寫作,甚至模擬用戶經常使用的表情符號,然後將個性化寫作內容發給對方,裏面可能有惡意軟件鏈接。
MichaelBargury說:“只要你和某人對過話,我就可以將類似信息發送給他,我可以代表你發送成百上千的郵件。”
MichaelBargury是安全公司Zenity的聯合創始人、CEO,他公布視頻,證明Copilot完全有可能會被濫用。MichaelBargury還說:“以前一名黑客可能會花幾天時間精心制作郵件,引誘他人點擊,現在他更厲害了,可以在幾分鐘內就生成幾百封這樣的郵件。”
在攻擊時,MichaelBargury用到了大語言模型,但黑客可以添加數據或者指令,達成特定結果。事實證明,現在的AI系統仍面臨挑战,當我們讓系統和企業數據聯系時,如果放入不可信外部數據,它往往難以分辨。
當然,完成操作時黑客先要獲取郵件账戶密碼,一些黑客甚至還可以獲取更敏感的信息,比如受害者的工資是多少,微軟敏感文件防御措施完全失效。即使沒有拿到郵件账戶信息,黑客也可以發起攻擊,它可以先用惡意郵件污染AI數據庫,然後操縱與銀行信息有關的答案。每一次當AI訪問數據時就是一次攻擊機會。
在一次演示中,外部黑客獲取財報會議相關信息,會議即將召开,黑客可以提前得知業績是好還是壞;還有,黑客可以將Copilot變成“惡意內鬼”,它向用戶發送釣魚網站鏈接。
微軟AI事件偵測和響應主管PhillipMisner表示,MichaelBargury發現了產品存在的漏洞,公司十分感謝,微軟正在與MichaelBargury合作解決問題。
PhillipMisner強調:“濫用AI所存在的PCS(Post-Compromisesecurity,後向安全)風險和其它PCS風險是相似的,通過跨環境、跨事件安全預防和監測可以降低惡意行爲的發生,甚至可以阻止該行爲。”
外部數據進入AI系統會帶來安全風險
不論是OpenAI的ChatGPT還是微軟的Copilot,亦或是谷歌Gemini,它們都有可能代替人完成一些工作,比如在线購物、預訂會議。但安全專家警告稱,允許外部數據進入AI系統可能會帶來安全風險。
安全研究員JohannRehberger稱:“到底攻擊者的效率已經提升到了什么程度?我們對此並無清晰認知。我們應該擔心的是,到底大語言模型生成了什么,它又向用戶發送了什么。”
MichaelBargury認爲,微軟花了許多精力保護Copilot系統,防止工具遭到植入式攻擊,但他仍然通過解構系統構造找到了攻擊方法。黑客可以抽取內部系統提示語,然後搞清爲什么AI可以訪問企業資源,背後使用了哪些技術。
MichaelBargury稱:“當你與Copilot對話時,這種對話是有限的,因爲微軟施加了許多控制。但是如果使用一些極少數的魔法式詞匯,系統就會門戶洞开,然後你就可以爲所欲爲。”
有些數據問題與企業的長期問題聯系在一起,比如企業讓太多人訪問文件,沒有在組織內設置好權限。有時Copilot存在的問題恰好處於此問題之上,如果公司的長期問題不解決,Copilot問題也難以解決。
研究人員普遍認爲,我們應該監控AI生成了什么,看看它給用戶發送了什么。AI是如何與環境互動的?它是如何與數據互動的?它是如何代表個人執行任務的?這些問題需要好好思考,裏面有很大的風險。AI代理(Agent)到底代表人類做了什么?我們很有必要搞清楚。
標題:研究人員曝微軟Copilot存在漏洞,可被黑客操縱變爲網絡釣魚工具
地址:https://www.utechfun.com/post/409628.html