Meta 推出全新模型 Llama 3.1 405B 引發熱議，這可能是第一次任何人都能免費下載 GPT-4 等級的大型語言模型，在特定規格硬體上運行。

Meta 23 日發表新模型 Llama 3.1 405B（4,050 億參數），以及經過改善的 Llama 3.1 70B（700 億參數）和 Llama 3.1 8B（80 億參數）。Meta 執行長祖克柏（Mark Zuckerberg）將 Llama 3.1 405B 稱為 Meta 第一個先進「開源」AI 模型，定位在業界先進模型之列，媲美 OpenAI GPT-4o、Claude 3.5 Sonnet 及 Google Gemini 1.5 Pro。

Meta 使用超過 16,000 個 NVIDIA H100 GPU，並從網路上抓取超過 15 兆 token 的訓練資料（由 Llama 2 進行解析、過濾及註釋）來訓練 Llama 3.1 405B。

Meta 公布的圖表顯示，Llama 3.1 405B 在 MMLU、GSM8K 及 HumanEval 等基準測試中的性能非常接近 GPT-4、GPT-4o 及 Claude 3.5 Sonnet。

▲ Llama 3.1 405B 基準測試結果與其他 AI 模型進行比較。

相對於封閉模型，祖克柏認為 Llama 3.1 405B 不僅具有更好的成本效益，具開放性其成為微調和提煉較小模型的最佳選擇。開發者可在自己的基礎設施以 Llama 3.1 405B 運行推理，在面對使用者的推理任務、甚至是離線任務，成本約是使用 GPT-4o 等封閉模型的一半。

Meta 的「開源」模型

相較於前幾款，Meta 稱 Llama 3.1 405B 是一款「開源」模型。開源將確保世界各地的人能夠獲得 AI 的好處和機會，權力不會集中在少數人手中，而且技術能夠均勻部署、安全跨越整個社會。

祖克柏強調，Llama 需要發展成為一個包含工具、效率改進、晶片最佳化及整合其他的完整生態系，如果 Meta 是唯一一家使用 Llama 的公司，整個生態系統將無法順利擴張。與此同時，出售 AI 模型的存取權限並非 Meta 獲利的商業模式之一。

不過，業界對於祖克柏所說的模型「開源」抱持懷疑態度，認為 Llama 3.1 405B 只是「開放權重」的模型，這意味著任何人都能下載經過訓練的神經網路檔案加以運行，微調成自己的模型；開源應有更嚴謹的定義，認為祖克柏濫用「開源」二字。

▲ 祖克柏發表長文談開源 AI，期望 Llama 成為產業標準。

自從 Meta 4 月透露正在訓練一款超過 4,000 億參數的新模型，外界一直期待 Llama 3 新產品的到來。這次不僅是 Llama 3 系列參數最大的新成員，並且對外開放下載至自己的訓練硬體加以運行，進一步挑戰 OpenAI、Anthropic 等封閉 AI 模型的開發商。

（首圖來源：）

文章看完覺得有幫助，何不給我們一個鼓勵