通用人工智慧 (Artificial General Intelligence，AGI) 可望在 5 年內出現，這對人類的影響會是什麼？美國智庫一年多來對 200 多人採訪，包括 AI 公司高層、網路安全研究人員、大規模殺傷性武器專家，以及國家安全官員，專家們擔憂，最先進的 AI 系統在最壞的情況下可能「對人類構成滅絕等級的威脅」，警告美國政府避免災難的時間已經不多。

Gladstone AI 受美國國務院委託撰寫一份新報告，訪問 ChatGPT 所有者 OpenAI、Google DeepMind、Facebook 母公司 Meta 和 Anthropic 的技術和領導團隊等人，警告人們，雖然 AI 已經是一項經濟變革技術，繼續吸引投資者和公眾，但也存在真正的危險。

報告指出，越來越多的證據，包括在世界頂級 AI 會議上發表的實證研究和分析顯示，超過一定的能力閾值，AI 可能會變得不可控。專家們最擔心的是最先進的 AI 系統可以武器化，造成潛在不可逆轉的傷害。其次，AI 實驗室內部存在一些擔憂，專家們擔心在某個時候可能失去對正在開發的系統的控制，可能對全球安全造成毀滅性後果。

釀成災難的是 AGI

然而，監管遠遠跟不上技術開發的速度。Gladstone AI 的報告稱，競爭壓力正促使企業「以犧牲安全為代價」加速 AI 的開發，增加最先進的 AI 系統可能被「竊取」和「武器化」以對抗美國的可能性，如武器化機器人、無人機等等，以及武器化的生物和材料科學，以及無法控制且與人類為敵，尋求權力的 AI 系統。其他災難性的例子包括由 AI 驅動的「大規模」虛假資訊活動，這些活動會破壞社會穩定並削弱對機構的信任。

AGI 是一種假設的人工智慧，能夠以人類水平甚至超越人類的能力處理資訊，能夠學習做人類能做的任何事情，而且不需要編程，就能在任務之間學習並適應新的任務和環境。報告認為，AGI 被視為「失控導致災難性風險的主要驅動因素」，OpenAI、Google DeepMind、Anthropic 和 Nvidia 都公開表示 AGI 可能會在 2028 年實現，其他專家則認為這需要幾十年的時間，無論如何都認為 AGI 是本世紀最大的技術進步。

為 AI 模型訓練技術設立上限

Gladstone AI 報告呼籲採取重大新措施來應對這一威脅，包括成立一個新的 AI 機構、實施「緊急」監管保障措施，以及限制可用於訓練 AI 模型的電腦能力，直指「政府顯然迫切需要進行幹預。」

關於限制可用於訓練 AI 模型的電腦能力，報告認為，應該由一個新的 AI 機構設定，該機構可以將其設定為略高於用於訓練當前尖端模型的運算能力等級。報告補充說，新的 AI 機構應要求頂級 AI 公司獲得政府許可，才能訓練和部署高於閥值的新模型。

報告指出，禁止對超過一定閾值的高級 AI 系統進行訓練，可能會緩和所有 AI 開發人員之間的競爭動態，並降低晶片行業製造更快硬體的速度。一旦尖端模型的安全性證據得到充分證明，AI 機構就可以提高門檻，並允許訓練更先進的 AI 系統。同樣， 如果在現有模型中發現危險功能，政府可以降低安全閾值。

不過，該提案可能會面臨政治困難，目前美國政府的 AI 政策是設定運算閾值，高於該閾值則適用額外的監控和監管要求，但不會限制並指其違法。美國政府智庫戰略與國際研究中心 (CSIS) 稱，美國政府極不可能採納這一建議。

(首圖來源：)