生成式AI正在把跨境電商領域變成互聯網裏的“新緬北”。

最近有不少賣家稱收到僞裝成亞馬遜官方的“釣魚郵件”，通過提供的惡意鏈接，提取賣家的重要账戶信息。有人因此上當在短短一夜之間損失高達40萬。

蘇丹就是受害者中的幸運兒。他9月初收到的郵件中，發件地址與亞馬遜官方地址高度相似，內容更是精巧地仿制了亞馬遜的通知風格，敦促賣家更新緊急聯系人信息。

按照郵件中的指引操作，會被引導到了一個似乎是“亞馬遜”的網站，並被要求輸入自己的郵箱、密碼以及二次驗證碼。一旦上當，很快就會收到真正的亞馬遜官方發出的“店鋪異地登錄”通知。

ChatGPT殺手GPTZero的檢測結果

蘇丹意識到不對勁後及時止損，他還利用技術工具對郵件內容進行分析，顯示有高達90%的可能性是由AI生成。新技術再次站在了走向善惡的十字路口。

生成式AI正在“作惡”

經常在國內外互聯網上衝浪，蘇丹對ChatGPT並不陌生還多次進行體驗，也早就聽聞ChatGPT可以通過某種方式繞過安全機制，從而生成違法和不道德的內容。

他尚未意識到的是，ChatGPT的“越獄”技術已經迭代數次，現在市面上甚至有了更爲先進的“邪惡GPT”版本，而這次遭遇的釣魚郵件，就可能出自該版本的手筆。

眼下比較有名的“邪惡GPT”版本是WormGPT和FraudGPT，兩者都能快速實現釣魚郵件騙局。

2021年3月，WormGPT問世，其开發者今年6月开始在黑客論壇上出售使用權。與ChatGPT不同，WormGPT並沒有設置阻止回答與非法活動相關問題的限制，構建的基礎是稍顯過時的2021年的开源GPT-J模型，並專門在與惡意軟件开發相關的數據中進行訓練。

爲了評估潛在風險，安全分析公司Slashnext的研究團隊對BEC（商務郵件詐騙）攻擊進行了測試。實驗中他們要求WormGPT制作一封電子郵件，目標是對一個不設防的账戶經理施加壓力，迫使其支付虛假發票。

WormGPT生成的釣魚郵件

結果令人震驚，WormGPT生成的郵件不僅極具說服力，而且策略十分巧妙，充分展示了其在進行復雜性網絡釣魚和BEC攻擊方面的能力。

另一款名爲FraudGPT的邪惡語言模型在今年7月亮相。從7月22日开始，开發者在多個論壇上宣傳該產品，稱其爲不受限制的ChatGPT替代版本。

據透露，FraudGPT每隔一至兩周更新一次，架構下採用了多種AI模型。此工具採用基於訂閱的定價策略，每月收費爲200美元，或年費爲1700美元。

一個論壇的截圖，展示了FraudGPT的功能

安全研究團隊Netenrich購买並進行了測試。FraudGPT的界面與ChatGPT極爲相似，左側展示了用戶的歷史查詢，而聊天窗口則佔據了界面的大部分。使用者只需在“提問”區域輸入問題，系統便會爲其生成相應答案。

FraudGPT生成釣魚郵件

測試中研究人員指示FraudGPT制作一個與某銀行相關的釣魚郵件。用戶只需將問題格式化以包含特定銀行的名稱，FraudGPT就能處理其余部分。這款工具還會指導用戶在郵件內容的哪個位置放置惡意鏈接，並能進一步生成用於詐騙的登錄頁面，誘導受害者提供個人信息。

分析人士稱，FraudGPT 可能成爲發動有影響力的網絡釣魚和BEC攻擊的理想工具，從而導致巨大的財務欺詐和數據竊取。

活躍的“邪惡GPT”不只上述兩個。就在8月中旬，有網絡安全領域的專家揭示了另一個基於GPT的網絡犯罪工具，名爲EvilGPT。

這款應用與FraudGPT、WormGPT類似，它可以幫助制造惡意軟件、誘騙郵件、陷阱鏈接並針對企業網絡安全的弱點進行探測。若上述GPT因某些原因被封禁或移除，它將作爲備選方案在市場上供應。與此同時，它也採用了基於訂閱的定價模式，吸引潛在用戶購买。

EvilGPT僅僅是在最近幾周中被發現的冰山一角。隨着時間的推移，可能會有更多基於人工智能技術的惡意工具和應用浮現出來。

AI“加持”下，釣魚郵件防不勝防

釣魚郵件對跨境電商從業者來說並不陌生，但蘇丹這次仍然險些中招，除了偶爾的疏忽大意之外，生成式AI的“加持”功不可沒。

過去，一種有效的識別釣魚郵件的方法是注意內容單詞的拼寫及語法錯誤。據資料顯示，約有50%的釣魚郵件來源於俄羅斯、德國和中國。從這些母語非英語地區發出的郵件中，大多假冒的內容都包含了不正常的語法或用詞，與正規標准的電子郵件風格不符。

未經校對的釣魚郵件

事實上，爲了防止員工點擊帶有惡意鏈接的郵件或泄露登錄信息，許多電商公司在培訓中都會提醒注意拼寫錯誤、不尋常的語法以及非英語母語者可能犯的其它錯誤。

然而，現在的生成式AI技術已經能夠完美地排除掉這些傳統的識別特徵。這次的亞馬遜釣魚郵件沒有任何語法上的錯誤。

最近電子郵件安全公司Abnormal Security的CEO Evan Reiser在接受採訪時也指出了這點，由生成式AI平台制作的精細釣魚郵件幾乎與真實郵件無異，使人難以一眼辨識。他表示：“當你瀏覽這些郵件時，大腦中並不會產生任何提示，警告你這可能是一次網絡釣魚攻擊。”

可怕的是，避免語言錯誤只是生成式AI在釣魚郵件上展現的基本技能，更強的欺詐和混淆能力更爲致命。

得益於AI模仿人類書寫的能力，釣魚郵件的內容可能包括制造緊迫感、鼓勵收件人點擊鏈接或者僞裝爲匯款請求的社交工程郵件等。一旦收件人點擊鏈接，他們的系統就可能受到惡意代碼的感染。

上述僞造亞馬遜郵件的場景中，便是被AI制造了對於賣家而言比較急迫的場景。不少賣家在仔細審查郵件內容後，雖感到不太對勁，但由於擔憂可能錯過了某些重要信息，還是按照郵件中的指引操作。

另外，生成式AI還能夠使釣魚郵件更具攻擊性。它們可以從社交平台、新聞門戶、網上論壇等多種來源中抓取個人信息，以針對性更強的誘人郵件。這在過去通常是需要花上數月的時間才能完成的任務。如果攻擊者能夠掌握這些專有信息，他們可以在郵件中植入更具說服力的細節內容，或是模仿某人的寫作方式。

Evan Reiser指出：“目前，犯罪者只需捕獲這些電子郵件，自動地喂養到一個大型模型，接着指示它構建一封引用最近五次在线對話的郵件。這樣之前可能需要八小時完成的任務，現在只需八秒。”

即使是技術能力有限的攻擊者，也可以利用生成式AI來編寫VBA代碼。他們只需指示AI將惡意URL嵌入到代碼中，當用戶打开如Excel這樣的文件時，系統會自動下載並執行惡意軟件。

過去，像ChatGPT和Bard這樣的系統都有內置的保護功能，能夠盡可能預防生成惡意內容，但隨着越來越多的邪惡GPT版本湧現，電子郵件安全正在面臨巨大的挑战。

2023年8月21日，國際安全研究團隊Perception Point與Osterman Research公司聯合發布了名爲《人工智能在電子郵件安全中的作用》的報告。該報告揭示了網絡犯罪分子如何利用AI來增加和復雜化電子郵件威脅（如網絡釣魚和BEC攻擊）的驚人趨勢。

此項研究指出，網絡罪犯正在迅速採用AI工具以推動其利益，而有91.1%的組織稱他們已遭受到了被AI增強的電子郵件攻擊。

解決之道：使用AI來對抗AI？

在AI的威脅下，過去依靠經驗躲避釣魚郵件陷阱的方法不再有效，新的對策或在於以AI對抗AI。已有數家網絡安全公司將生成式AI融入其產品，力圖在被大規模濫用前採取措施。

有供應商正在利用AI來提高電子郵件的安全能力和流程，例如：爲了洞察每個發送者和接收者的習慣和特性，一個AI模型被設計出給組織中的每位成員繪制通信模式。

具體來說，誰會給他們發信息？信息內容是什么？何時和從哪裏發送這些消息？通常有其他人被抄送還是只有一個目標接收者？每位發送者使用哪些電郵地址？簡而言之，AI被用於構建關於每個人常規行爲的檔案。

另外，爲了察覺不常見的郵件發送模式，供應商結合了以下策略：利用社交圖技術進行基礎發送模式的分析；識別相似或相近的電子郵件地址；鑑別包含社交工程技巧的信息；檢測冒名頂替的標記和其它品牌相關的視覺元素；以及對電子郵件中的語氣、情感和風格進行分類。以上策略都有助於檢測那些旨在混淆人類思維的異常郵件。

盡管接受過安全意識培訓的人力也可以找到這些異常信號，但只有AI能夠在網絡速度下整合所有分析維度，確保在面對海量消息時能夠持續並可靠地執行檢測。

AI解決方案還可以利用多個機器學習模型來識別帶有惡意內容的信息。這些模型是基於被標記爲惡意或無害的信息數據集進行开發、調整和更新的。某些供應商採用生成式AI技術，從已知的惡意信息中產生附加的樣本數據，這爲機器學習模型提供了更爲豐富的優質訓練數據。

能夠战勝AI的，也就只有AI了。

實際上，不少組織已經在使用AI進行電子郵件安全防護。根據Osterman Research的數據，最近的兩年內五分之四的組織已經部署了或正在積極推進基於AI的電子郵件安全解決方案，這種方案是在常規保護措施之外附加的。

其中，引進AI加強電子郵件安全的方式主要有兩個方向：一方面是現有的電子郵件安全提供商將AI防護集成到他們的產品中；另一方面是組織正在刻意尋找新的AI啓用的解決方案。

而在過去兩年中，仍有五分之一的受訪者沒有採納此類方案：12.7%的人沒有實行任何解決方案，而6.0%的人正在積極探索和評估可能的選擇。

從Osterman Research的數據來看，AI在提高檢測效率和強化保護方面顯示出了不俗的能力。

在採納AI加強的電子郵件安全解決方案之前，各組織都有一定的檢測效率。但隨着網絡罪犯使用AI提高攻擊技術，沒有AI保護的組織會發現他們的檢測效率將受到嚴峻挑战。

只有魔高一尺道高一丈，才能把釣魚郵件的攻防雙方，重新拉回到AI技術這同一起跑线上。

（文中人物爲化名）

參考資料：

Over91%ofOrganizationsHaveExperiencedAI-enhancedEmailAttacksand84% ExpectContinuedUseofAI toCircumventExistingSecurity Systems

WormGPT-TheGenerativeAIToolCybercriminalsAreUsingtoLaunchBusinessEmailCompromiseAttacks

WormGPT and FraudGPT - The Rise of Malicious LLMs

Generative AI Could Revolutionize Email-for Hackers

       原文標題 : 一封釣魚電郵背後的AI攻防战

---

標題：一封釣魚電郵背後的AI攻防战

地址：https://www.utechfun.com/post/261319.html