導讀 大型語言模型(LLM)提供商OpenAI和Anthropic日前與美國國家標准與技術研究院(NIST)下屬的美國人工智能安全研究所（AISIC）籤署了一份協議，計劃在包括測試和評估在內的AI安全研究...
大型語言模型(LLM)提供商OpenAI和Anthropic日前與美國國家標准與技術研究院(NIST)下屬的美國人工智能安全研究所（AISIC）籤署了一份協議，計劃在包括測試和評估在內的AI安全研究方面开展合作。
作爲協議的一部分，Anthropic和OpenAI都將在向公衆發布他們的新模型之前與AISIC共享，以便進行安全檢查。
AISIC負責人ElizabethKelly在一份聲明中表示：“有了這些協議，我們期待着與Anthropic和OpenAI开展技術合作，共同推進AI安全科學的發展。”
這些協議是在美國總統喬·拜登通過一項行政命令近一年後達成的，這項命令爲AI的开發和使用制定了一系列全面的標准、安全和隱私保護以及監督措施。
NIST在7月初發布了一個名爲Dioptra的新开源軟件包，允許开發人員確定哪種類型的網絡攻擊會降低AI模型的效率。
此外，NIST還根據行政命令發布了幾份促進AI安全和標准的文件，包括其开發基礎模型的指南初稿“管理兩用基礎模型的濫用風險”，以及作爲NISTAI風險管理框架(AIRMF)和安全軟件开發框架(SSDF)的配套資源，旨在幫助开發人員管理GenAI風險的兩份指導文件。
協議還支持美國與英國AI安全研究所的合作
與LLM提供商達成的協議還包括一項條款，該條款將允許美國安全研究所與英國人工智能安全研究所的合作夥伴合作，並向兩家機構提供有關其模型潛在安全改進的反饋。
美國和英國的政府部門在今年4月初籤署了一項協議，測試支撐AI系統的安全LLM。
該協議由美國商務部長GinaRaimondo和英國科學、創新和技術部部長MichelleDonelan在美國華盛頓籤署，AI安全研究所之間的合作是該協議帶來的直接結果。
美國圍繞AI安全採取的其他措施
OpenAI和Anthropic籤署這份協議正值加州AI安全法案進入成爲法律的最後階段，該法案可能將制定美國最嚴格的AI法規，並爲其他類似的法規鋪平道路。
這項名爲《前沿AI模型安全創新法案》（SB1047）的立法爲AI开發人員提出了嚴格的測試和問責措施，特別是那些創建大型復雜AI模型的开發人員。如果該法案成爲法律，將要求AI公司在向公衆發布之前測試其系統的安全性。
直到8月早些時候，OpenAI還在反對該法案，直到最近才承諾支持該法案。
NIST還採取了其他措施，包括今年2月成立了由AI創建者、用戶、學者組成的AI安全咨詢小組，爲AI的使用和开發設置了一些安全措施。
AISIC咨詢小組的任務是制定AI系統“紅隊”行動指南，這些任務包括評估AI能力、管理風險、確保安全、以及爲AI生成的內容添加水印。OpenAI、Meta、谷歌、微軟、亞馬遜、英特爾和英偉達在內的一些主要科技公司都加入了該聯盟。
標題：美國AI監管最新動向：OpenAI、Anthropic與NIST達成安全檢查協議
地址：https://www.utechfun.com/post/416839.html