隨着AI應用的規模不斷擴大以及大語言模型（LLM）的商品化，开發者越來越多地承擔起將人工智能（AI）和機器學習（ML）模型與軟件更新或新軟件一起打包的任務。雖然AI/ML在創新方面大有可爲，但同時也加劇了人們的擔憂，因爲許多开發人員沒有足夠的帶寬來安全地管理其开發。 

安全漏洞可能無意中將惡意代碼引入 AI/ML 模型，從而使威脅行爲者有了可乘之機，引誘开發者使用开放源碼軟件模型變種，滲透企業網絡並對組織造成進一步損害。甚至還有开發者越來越多地使用生成式AI來創建代碼，卻不知道自己生成的代碼是否受到威脅的情況，這同樣會導致安全威脅長期存在。因此，必須自一开始就對代碼進行適當的審查，以主動降低軟件供應鏈受到損害的威脅。 

由於威脅行爲者會想方設法利用AI/ML 模型，威脅將持續困擾着安全團隊。隨着安全威脅的數量不斷增加，規模不斷擴大，在2024 年开發者將更加重視安全性，並部署必要的保障措施，以確保其企業的彈性。 

开發者的角色演變 

對於开發者來說，在軟件生命周期初始階段就考慮到安全性是一種相對較新的做法。通常情況下，二進制級別的安全性被認爲只是“錦上添花”的存在。而威脅行爲者會利用這種疏忽，尋找將ML模型武器化以對抗組織的途徑，找出將惡意邏輯注入最終二進制文件的方法。 

同樣，許多开發者由於沒有接受過必要的培訓，無法在开發的初始階段就將安全性嵌入到代碼中。由此造成的主要影響在於，由AI生成並在开源存儲庫上訓練的代碼通常沒有經過適當的漏洞審查，且缺乏整體安全控制來保護用戶及其組織免受利用。盡管這可能會節省工作職能中的時間和其他資源，但开發者卻在不知不覺中將其組織暴露在衆多風險之下。一旦這些代碼在AI/ML 模型中實現，這些漏洞利用就會造成更嚴重的影響，而且有可能不會被發現。 

隨着AI的廣泛應用，傳統的开發者角色已不足以應對不斷變化的安全環境。步入 2024 年，开發者也必須成爲安全專業人員，從而鞏固 DevOps 和 DevSecOps 不能再被視爲獨立工作職能的理念。通過從一开始就構建安全解決方案，开發者不僅能確保關鍵工作流的最高效率，還能增強對組織安全性的信心。

通過“左移”，自始就安裝保障措施 

如果安全團隊要在新的一年裏對威脅保持警惕，那么 ML 模型的安全性就必須持續發展演進。然而，隨着AI的大規模應用，團隊不能在軟件生命周期的後期才確定必要的安全措施，因爲到那時，可能就真的爲時已晚了。 

組織內部負責安全方面的高層必須以“左移”的方式進行軟件开發。通過堅持此方法，即能夠自一开始就確保軟件开發生命周期中所有組成部分的安全，並從整體上改善組織的安全情況。當應用到AI/ML時，左移不僅能確認外部AI/ML系統中开發的代碼是否安全，還能確保正在开發的AI/ML模型不含惡意代碼，且符合許可要求。 

展望 2024 年及以後，圍繞AI和 ML 模型的威脅將持續存在。如果團隊要持續抵御來自威脅行爲者的攻擊並保護組織及其客戶，確保自軟件生命周期之始就考慮到安全性將是至關重要的。

（來源：JFrog大中華區總經理董任遠）

       原文標題 : 2024 年亟需解決的AI引擎和軟件开發安全問題

標題：2024 年亟需解決的AI引擎和軟件开發安全問題

地址：https://www.utechfun.com/post/335465.html