數位部 AI 評測中心啟動,語言模型納十項目評分

2023-12-07 10:30:00    編輯: 中央社
導讀 數位部 6 日舉行 AI 產品與系統評測中心啟動儀式,數位部表示,先以語言模型做為評測對象,擬定十項 AI 評測項目,有安全性、可解釋性、彈性、公平性、準確性、透明性、當責性、可靠性、隱私及資安,M...


數位部 6 日舉行 AI 產品與系統評測中心啟動儀式,數位部表示,先以語言模型做為評測對象,擬定十項 AI 評測項目,有安全性、可解釋性、彈性、公平性、準確性、透明性、當責性、可靠性、隱私及資安,Meta 也對評測表達興趣。

數位部在台北科技大學舉辦AI產品與系統評測中心啟動活動,數位部長唐鳳、行政院政委兼國科會主委吳政忠、國科會可信任人工智慧對話引擎(TAIDE)、Meta、微軟等國內外語言模型開發商代表都親自參與。

數位部數位產業署署長呂正華指出,AI產品與系統評測中心涵蓋制度推動委員會、技術審議小組、祕書組三部分,制定AI產品與系統評測制度與AI產品與系統評測指引。AI評測體系,AI產品與系統評測中心制定AI評測制度跟方法,明年陸續成立驗證機構、測試實驗室,提供AI評測與驗證服務,初期測試不收費。

數位部目前偕同工研院跟資安院等機關展開AI評測工作,呂正華說明,AI評測機制將先以語言模型為評測對象,參考歐美AI規範內容,擬定十項AI評測項目:安全性、可解釋性、彈性、公平性、準確性、透明性、當責性、可靠性、隱私及資安。

唐鳳致詞時表示,AI快速發展,也加速社會衝擊,AI評測不只純粹技術,也因每個地方文化不同,同一句話可能不同地方會有不同解讀,外界很關心AI相關產品不能只交給國際大廠片面決定,也得微調以適應各地文化,未來產品可在出廠前評測。

吳政忠致詞時表示,AI評測是超前部署,去年ChatGPT問世後,國科會2月就宣告台灣要往這塊發展,公私協力打造TAIDE,後續應該來驗測一下。未來每家公司都會打造生成式AI,畢竟不可能將公司問題拿去詢問公開模型。

唐鳳會後受訪時表示,透過評測,希望讓國內外廠商了解什麼AI才符合社會期待,AI要誠實無害,符合地方用詞才行。數位部跟國科會在TAIDE開發過程緊密合作,蒐集社會期待也有融入TAIDE訓練,未來這套機制會開放,沒有限制申請對象或測試頻率等,目前十項標準將來也可能動態調整。

活動現場Meta跟微軟代表都有出席,媒體關注是否代表兩家有意願送測,唐鳳表示,一直和Meta保持互動,Meta對評測也有表達意願,加上TAIDE也是透過Meta釋出的模型,因此模型架構已有測試經驗,數位部也有和微軟討論將來希望開放源碼AI合作。

與會專家解釋,AI評測並非一套死題庫詢問語言模型,概念好比資安紅隊攻擊,試圖引誘模型講出錯誤答案,找出可能漏洞,評測也會不斷追問了解模型,因漏洞也可能追問時發生。

根據資料,數位部明年規劃建立AI評測技術,重點評測項目為語言模型與影像分類產品等,2025年讓國內評測技術符合國際標準,2026年讓國內產品通過國內外標準評測。

(作者:蘇思雲;首圖來源:)



關鍵字: , , , , ,


標題:數位部 AI 評測中心啟動,語言模型納十項目評分

地址:https://www.utechfun.com/post/300959.html

鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播信息之目的,不構成任何投資建議,如有侵權行為,請第一時間聯絡我們修改或刪除,多謝。

猜你喜歡