隨着世界各個國家／地區紛紛制定人工智能相關法規，設計基於人工智能的系統的工程師必須滿足這些新出台的規範和標准要求。在 2023 年 10 月 30 日，美國白宮也頒布了一項關於人工智能法規的行政命令，強調穩健的驗證和確認（V&V）過程對基於人工智能的系統至關重要。該指令要求人工智能公司報告和測試特定模型，以確保人工智能系統按預期運行並滿足指定要求。
人工智能法規和 V&V 過程將對安全關鍵型系統產生重大影響。人工智能越來越多地用於系統設計，包括汽車和航空航天工業等領域的安全關鍵型應用。
基於人工智能的系統中的驗證和確認
驗證旨在確定人工智能模型是否按照指定的要求設計和开發，而確認則是檢查產品是否符合客戶的要求和預期。通過採用 V&V 方法，工程師可以確保人工智能模型的輸出符合規範，從而實現早期 Bug 檢測並緩解數據偏向的風險。
在安全關鍵型系統中使用人工智能的一項優勢是，人工智能模型可以模擬物理系統並驗證設計。工程師可對基於人工智能的整個系統進行仿真，並使用數據在不同場景中測試系統，包括離群值事件。如果在安全關鍵型場景中執行 V&V，則可確保基於人工智能的安全關鍵型系統能夠在各種情況下保持其性能水平。
大多數开發人工智能增強產品的行業，都要求工程師在產品上市前遵循相關標准。這些認證過程可確保此類產品中融入特定元素。工程師可執行 V&V 來測試這些元素的功能，這使得獲得認證更容易。
在汽車行業中，ISO/CD PAS 8800 是一項擬制標准，旨在說明道路車輛的安全相關屬性和風險因素。在航空航天和國防領域，認證是強制性要求。機載系統和設備認證中的軟件考慮因素（DO178C）等現行標准不一定能直接幫助應對人工智能所帶來的獨特挑战。因此，新的 ARP6983 過程標准正在制定中，旨在爲开發和認證實現人工智能的航空安全相關產品提供規範。
Deep Learning Toolbox™ Verification Library 和 MATLAB® Test™ 可以幫助工程師开發有助於遵循行業標准的軟件，並簡化大型系統中人工智能模型的驗證和測試，從而使他們在航空和汽車領域的 V&V 方面保持領先地位。
航空航天工程團隊使用基於模型的設計來管理和協調復雜的需求，自動生成代碼，並嚴格測試模型和系統。
安全關鍵型系統中的 V&V 人工智能過程
在執行 V&V 時，工程師的目標是確保人工智能組件既能滿足指定的要求，又能在各種工況下都表現出可靠性和安全性，因此可以隨時部署。與人工智能相關的 V&V 過程涉及執行軟件保證活動，其中包括靜態和動態分析、測試、形式化方法和真實運營監控的組合。
各行各業的 V&V 過程可能略有不同，但 V&V 過程的主要步驟都包括：
分析決策過程以解決黑盒問題；
根據有代表性的數據集測試模型；
執行人工智能系統仿真；
確保模型在可接受的範圍內運行。
下述 V&V 過程中的步驟是迭代步驟。隨着工程師收集新數據、獲得新深入信息和集成運行反饋，人工智能系統可以得到不斷完善和改進。
分析決策過程以解決黑盒問題
在使用人工智能模型爲系統添加自動化功能時，工程師會面臨黑盒問題。理解基於人工智能的系統如何作出決策，對於提供透明度至關重要，因爲這使工程師和科學家能夠對模型預測建立信任並理解決策。
特徵重要性分析方法可以幫助工程師確定哪些輸入變量對模型預測的影響最大。這種分析方法的工作方式因模型（如基於樹的模型和线性模型）而異，但是，一般過程會爲每個輸入變量賦予一個特徵重要性分數。重要性分數越高，該特徵對模型決策的影響就越大。對於汽車行業的安全關鍵型系統，變量可能包括環境因素，如降水或其他車輛的存在和行爲。
可解釋性方法有助於深入了解模型行爲。當模型的黑盒性質使我們無法使用其他方法時，這種方法尤其重要。以圖像爲例，這些方法可用於識別圖像中對最終預測貢獻最大的區域。這樣，工程師便可理解模型在做出預測時的主要關注點。
根據有代表性的數據集測試模型
通常，工程師會評估人工智能模型在真實場景中的性能，以確保安全關鍵型系統能夠在這些場景中穩健運行。他們的目標是找出各種限制，以提高模型的准確度和可靠性。工程師首先會收集大量有代表性的真實數據集，並通過清洗數據使其適用於測試。然後，他們會設計測試用例來評估模型的各個方面，例如准確度和可再現性。最後，工程師會將模型應用於數據集，記錄結果並將其與預期輸出進行比較。模型設計將根據數據測試的結果進行改進。
執行人工智能系統仿真
憑借基於人工智能的系統仿真，工程師能夠在受控環境中評估和評價系統的性能。在仿真期間，工程師會創建一個虛擬環境，以在各種條件下對真實系統進行模擬。首先，他們會定義仿真系統所需的輸入和參數，例如初始條件和環境因素。然後，他們使用 Simulink® 等軟件執行仿真，該軟件會輸出系統對建議場景的響應。與數據測試一樣，仿真結果會與預期或已知結果進行比較，以便於模型得到逐步改進。
爲了讓人工智能模型安全可靠地運行，必須建立界限並監控模型的行爲，以確保該模型在這些邊界內運行。如果模型已基於有限的數據集訓練，並在運行時遇到前所未見的數據，則會出現最常見的邊界問題之一。同樣，模型可能不夠穩健，有可能導致不可預測的行爲。
工程師採用緩解數據偏向和增強數據的方法，以確保人工智能模型在可接受的範圍內運行。
緩解數據偏向的一種方法是，讓用於訓練人工智能模型的數據具有多變性，這有助於減少模型對限制其學習的重復模式的依賴。借助數據增強方法，可確保代表不同類別和人群的數據都能得到公平和平等的處理。在自動駕駛汽車場景中，數據增強可能涉及使用不同角度的行人照片來幫助模型檢測行人，而不管這些行人的位姿如何。數據平衡方法通常與數據增強結合使用，包含來自每個數據類的相似樣本。以行人爲例，平衡數據意味着，針對每種不同的行人場景，如不同體型、服裝樣式、光照條件和背景，數據集都必須包含與之對應數量的圖像。這種方法可以最大限度地減少偏向，並提高模型在各種現實情況下的泛化能力。
在安全關鍵型場景中部署神經網絡時，穩健性是首要考慮因素。細微而難以察覺的變化會帶來重大風險，使神經網絡產生誤分類。這些幹擾可能會導致神經網絡輸出不正確或危險的結果。在錯誤可能導致災難的系統中，這種情況尤其令人擔憂。一種解決方案是，將形式化方法納入开發和驗證過程中。形式化方法就是使用嚴格的數學模型來確立和證明神經網絡的正確性屬性。通過應用這些方法，工程師可以提高網絡對某些類型幹擾的抵御能力，從而確保安全關鍵型應用具有更高的穩健性和可靠性。
W 形开發過程是一種非线性 V&V 工作流，旨在確保人工智能模型的准確度和可靠性。
結束語
在基於人工智能的安全關鍵型系統時代，V&V 過程對於獲得行業認證和遵循法律要求將變得至關重要。若要構建和維護值得信賴的系統，工程師需要採用驗證方法，爲運行這些系統的人工智能模型提供可解釋性和透明度。隨着工程師利用人工智能來幫助執行 V&V 過程，他們必須探索各種測試方法來應對人工智能技術所帶來的日益復雜的挑战。在安全關鍵型系統中，這些工作可確保人工智能以負責且透明的方式得到使用。
作者：MathWorks 深度學習首席產品經理 Lucas Garcia 博士
關於 MathWorks
MathWorks 是數學計算軟件領域世界領先的开發商。來自該公司的 MATLAB 被稱爲“科學家和工程師的語言”，是一個集算法开發、數據分析、可視化和數值計算於一體的編程環境。Simulink 則是一個模塊化建模環境，面向多域和嵌入式工程系統的仿真和基於模型的設計。這些產品服務於全球工程師和科學家，幫助他們加快步伐，在汽車、航空航天、通信、電子、工業自動化及其他各行各業更快地實現發明、創新和开發。MATLAB 和 Simulink 產品是全球衆多頂級大學和學術機構的基本教研工具。MathWorks 創建於 1984 年，總部位於美國馬薩諸塞州的內蒂克市（Natick, Massachusetts），在全球擁有 34 個分支機構，共有 6,000 多名員工。
原文標題 : 人工智能安全關鍵型系統中的驗證和確認
標題：人工智能安全關鍵型系統中的驗證和確認
地址：https://www.utechfun.com/post/338969.html