AI大模型的快速向前奔跑，讓我們見識到了AI的無限可能，但也展示了AI在虛假信息、深度僞造和網絡攻擊方面的潛在威脅。
據安全分析平台Netenrich報道，近日，一款名爲FraudGPT的AI工具近期在暗網上流通，並被犯罪分子用於編寫網絡釣魚電子郵件和开發惡意軟件。
黑客在售賣頁表示，該工具可用於編寫惡意代碼、創建出“一系列殺毒軟件無法檢測的惡意軟件”、檢測網站漏洞、自動進行密碼撞庫等，並聲稱“該惡意工具目前已經售賣了超過3000份”。
惡意AI工具FraudGPT：可自動生成多種網絡攻擊代碼
據報道，FraudGPT的運作方式是通過草擬一封電子郵件，以高度可信的方式誘使收件人單擊所提供的惡意鏈接。它的主要功能包括：
創建釣魚網站頁面
FraudGPT可以生成看似真實的網絡釣魚電子郵件、短信或網站，誘騙用戶泄露敏感信息，例如登錄憑據、財務詳細信息或個人數據；
找到最容易受害的目標
聊天機器人可以模仿人類對話，與毫無戒心的用戶建立信任，導致他們在不知不覺中泄露敏感信息或執行有害操作；
創建無法檢測的惡意軟件
FraudGPT可以創建欺騙性消息，引誘用戶點擊惡意鏈接或下載有害附件，導致其設備感染惡意軟件；
編寫欺詐的短信、郵件
人工智能驅動的聊天機器人可以幫助黑客創建欺詐性文件、發票或付款請求，導致個人和企業成爲金融詐騙的受害者。
據悉，FraudGPT是由名爲 "CanadianKingpin" 的开發者提供。
它主要基於GPT-3的大型語言模型，在經過訓練後，可以生成合乎邏輯且與事實相符的欺詐性文本。一旦付費購买，FraudGPT便可以幫助犯罪分子成功進行網絡釣魚和詐騙。
在發布FraudGPT後，Canadiankingpin還創建了自己的電台頻道，宣布將提供其他欺詐服務，包括銷售電子郵件线索、信用卡CVV碼等。根據Canadiankingpin的描述，他目前已經通過了EMPIRE、WHM、TORREZ、ALPHABAY在內的多個暗網市場的供應商認證。
然而由於這些暗網市場極強的隱蔽性和不透明性，目前Canadiankingpin的身份依然是個謎團，調查者也僅找到了Canadiankingpin的TikTok账號以及相同id的Gmail郵箱。而另一個令人感到沮喪的消息是，在經歷了近一周的研究後，Netrich也並未能夠實現對FraudGPT背後的大語言模型的破解。
雖然自FraudGPT發布僅過去了不到兩周，但一個明顯的事實是，這款“頂級AI工具”已开始被利用到了實際的犯罪行爲中。在部分銷售FraudGPT的暗網中，Canadiankingpin與一些訂閱用戶已經分享了多起他們基於FraudGPT所實現的黑客活動。
據Netrich統計，FraudGPT至少自7月22日便开始在暗網市場和Telegram頻道中流通，訂閱費用爲200美元/月，1700美元/年。相比於ChatGPT Plus訂閱20美元/月，價格高了10倍。
截止目前，暗網上已存在了超過3000條確認的訂閱信息及評論。
惡意AI攻擊工具：降低網絡犯罪的進入門檻
事實上，AI工具降低了網絡犯罪分子的進入門檻，FraudGPT已經不是第一起案例。
即便Claude、ChatGPT 、Bard等AI提供商會採取一些措施來防止他們的技術被用於不良目的，但隨着开源模型的崛起，犯罪分子的惡意行爲很難被遏制。
7 月初，基於开源大語言模型GPT-J开發而成，並且使用大量惡意代碼進行訓練和微調的WormGPT也曾引發關注。
據悉，WormGPT擅長使用Python代碼執行各種網絡攻擊，例如：生成木馬、惡意鏈接、模仿網站等，其在創作詐騙信息和釣魚郵件等任務上所表現出的“卓越”能力讓人膽战心驚。
但相比之下，FraudGPT在功能豐富性和編寫惡意軟件方面的功能更強大。
事實上，除了上文所提到的FraudGPT、WormGPT等專爲惡意活動而生的聊天機器人外。
大語言模型本身所潛藏的風險也在不斷給安全從業者們帶來挑战，除了我們所熟知的幻覺問題外，大模型脆弱的護欄也在成爲網絡安全的一大噩夢。
上個月ChatGPT、Bard等聊天機器人暴露出的“奶奶漏洞”就證明了這樣的事實，只需要通過提示讓這些聊天機器人扮演用戶已故的祖母，便能欺騙它們在講睡前故事的過程中透露大量限制信息，甚至是手機IMEI密碼或Windows激活祕鑰。
除此之外，CMU和人工智能安全中心的研究員還發現了另一種通用方法，只需要附加一系列特定無意義token，就能夠生成一個prompt後綴。
而一旦在prompt中加入這個後綴，通過對抗攻擊方式，任何人都能破解大模型的安全措施，使它們生成無限量的有害內容。
盡管在過去幾個月中，OpenAI、谷歌等世界頂級科技公司都在努力爲自己所研發的大模型設計更多更加完善的限制措施，以保障模型能夠在安全穩定的情況下工作。
但顯而易見的是，直至目前仍然沒有人能夠完全避免類似問題的發生。
當犯罪門檻降低企業如何防範
毋庸置疑，無論是WormGPT ，還是FraudGPT ，這類極具威脅性的AI工具，都在爲促進網絡犯罪和詐騙“賦能”。
安全分析平台Netenrich曾表示：“這項技術會降低網絡釣魚電子郵件和其他詐騙的門檻。隨着時間的推移，犯罪分子將找到更多方法來利用我們發明的工具來增強他們的犯罪能力。”
當AI工具的邪惡面被淋漓盡致的展現，再加之網絡攻擊「低門檻」，加強防御策略顯得尤爲重要。
爲此，有專家針對個人和企業，提出了一些可採取的關鍵措施，以確保免受 FraudGPT和類似AI工具威脅的影響。
對在线通信保持警惕
不要亂點擊陌生的網站鏈接、郵件，安裝未知的軟件。同時，針對需要驗證、涉及敏感信息、金融交易的意外電子郵件，應通過官方渠道加以驗證。
及時了解網絡安全措施
定期更新安全軟件、安裝補丁並使用信譽良好的防病毒程序來防範潛在威脅。同時，也需要了解最新的網絡安全實踐，增強網絡攻擊的防御意識。
警惕未知的鏈接和附件
不要點擊未知來源的鏈接或打开附件。FraudGPT可以生成指向網絡釣魚網站的逼真URL，因此，在點擊任何鏈接之前驗證發件人的身份至關重要。
教育和培訓員工
對於企業來說，網絡安全最佳實踐的員工培訓至關重要。確保員工了解潛在威脅並知道如何識別可疑活動。如果員工遇到任何可疑消息，應該立即向IT部門報告。
結語
AI大模型的快速發展在給諸多領域帶來積極影響的同時，隨着模型能力的不斷提升，也被運用在惡意活動中，破壞力與日俱增。
但無論是FraudGPT、WormGPT等惡意軟件的出現，還是大模型總會出現的幻覺、越獄等問題，其實都不是爲了告訴我們AI有多么危險，而是在提醒我們需要更加專注於解決現階段AI領域所存在的諸多問題。
正如網絡安全專家Rakesh Krishnan在一篇關於FraudGPT的分析博客中所寫的那樣：技術是一把雙刃劍，網絡犯罪分子正在利用生成式AI的能力，而我們同樣可以利用這種能力攻克他們所提出的挑战。
技術作惡者不會停止創新，我們同樣不會。
值得欣慰的是，目前無論在國內外，政府及科技企業都在積極完善有關人工智能的監管政策及相關法規。
七月中旬，國家網信辦已聯合六部門發布了《生成式人工智能服務管理暫行辦法》；七月底，美國7家AI巨頭也與白宮達成協議，將爲AI生成內容添加水印。
近來多個包含數據採集和使用不規範等問題的AIGC應用被要求在蘋果商店下架一事也證明着監管措施正在發揮積極作用。
雖然關於人工智能，無論在技術還是監管方面我們都還有很長的道路需要去探索，但相信隨着各界的共同努力，許多問題都將在不久後迎刃而解。
相關閱讀
別怪ChatGPT，AI黑客攻擊早已开始
生成式AI大模型，或將撼動雲服務市場格局
AI攻擊AI，升級的網絡安全战
【科技雲報道原創】
轉載請注明“科技雲報道”並附本文鏈接
原文標題 : 一波未平一波又起？AI大模型再出邪惡攻擊工具
標題：一波未平一波又起？AI大模型再出邪惡攻擊工具
地址：https://www.utechfun.com/post/247933.html