在大模型开閉源之爭背後,有着幾大核心問題。
文|趙豔秋
編|牛慧
大模型市場已形成了“开源派”和“閉源派”。而當下,在大模型競爭進入市場爭奪的白熱化階段後,企業在开閉源上的交鋒也更爲激烈。
實際上,大模型开源和傳統軟件开源不是一回事。在开源的定義、治理、社區性質、貢獻路徑和企業的开源策略上,都在發生巨大變化。
01
大模型企業开閉源策略各異
今年大模型的开閉源更爲熱鬧,在閉源的企業,有开源的呼聲;在开源的企業,有閉源的動作。
百度內部對大模型开源、閉源的討論非常熱烈。大家都在思考,什么樣的方式能取得更多的競爭優勢。
在BATH幾家大廠中,百度、華爲選擇閉源路线,阿裏、騰訊則推出了开源大模型。
百度對於开閉源大模型的爭論,部分也來自阿裏雲等企業今年在开源上的聲勢和市場動作。
到目前爲止,雖然百度文心一言仍堅持閉源路线,但百度智能雲部門,在其平台上提供了大量性能很強的第三方开源大模型。百度通過閉源文心一言,也通過开源大模型使用的算力、工具和服務,來實現商業上的收益。
在开源上,今年阿裏雲的動作極爲密集。5月在北京舉辦的AI峰會上,阿裏雲CTO周靖人表態,开源是阿裏雲的战略,阿裏雲形成的是一個开源和閉源的整體體系。阿裏雲已开源了參數從5億到千億的數款模型,打法也更爲專業。
業界認爲,阿裏雲大力推廣开源,一方面是爲了加快市場份額的爭奪;另一方面作爲雲計算企業,它可以採用“羊毛出在豬身上”的商業模式,在算力、工具和服務上獲得收益。周靖人在策略會上尤其強調“百煉”平台的服務。而开源還能爲其引流,有些客戶可能升級爲閉源用戶。
與其他大模型企業相比,騰訊开源大模型較晚,今年5月對外开源了混元文生圖大模型。混元相關人士告訴數智前线,由於市場上已有很多开源的大語言模型,因此騰訊這次選擇开源文生圖,應該是第一個中文原生的开源DiT模型,未來還會嘗試參數量更大的模型。由於剛开源幾周,商業化影響仍待觀察。
華爲雲2023年在推出盤古大模型3.0時,就表態採用閉源路线。過去一年,它的重心是在各行業進行聯創,落地大模型,並將技術回饋盤古,不斷迭代,未參與業界开閉源討論。華爲雲在上周也剛剛官宣盤古5.0多模態大模型,發布期間也未涉及开源問題。同時,華爲雲於去年上线“百模千態”專區,提供第三方开源大模型。
最近在項目訂單上活躍的智譜,是國內最早开源大模型的企業。因爲智譜由清華技術成果轉化而來,2022年,它就將开發的雙語千億模型GLM-130B开源,“當時全國懂大模型的研究員加起來也不過百來人”。智譜CEO張鵬稱,开源讓大家知道智譜在做什么,同時可以讓更多人參與推動大模型。此後在2023年3月,智譜將GLM6b开源,該模型在Hugging Face上的下載量超過1600萬。
雖然張鵬認爲开源的初心並不是要去贏得市場或追求商業利益,但ChatGPT爆火後,智譜的GLM开源大模型獲得大量關注,也讓這家2019年才成立的公司,在融資和商業化上受益頗多。張鵬也稱,开源和商業化是整個生態版圖裏很重要的兩塊,這兩塊是有連接的,可以說开源充當着商業化的橋梁。
王小川的百川公司,去年作爲創業的明星公司,發布了Baichuan-7B、13B开源可商用大模型,在業界引發關注。當時有應用开發商告訴數智前线,測試後,他們從Meta的Llmma轉向百川,因爲中文效果更好。
百川开源時,國內大模型开源的還很少。此後,越來越多的大模型公司,包括大廠,开始开源。百川聯合創始人謝劍告訴數智前线,未來還會开源,但不會开源特別大參數的模型,因爲很多人用不起來。
最近快手的文生視頻大模型“可靈”很火爆,不少應用企業“祈盼”可靈开源。但快手相關人士表示,暫不考慮开源,而會逐步开放一些東西在業界討論。
而昆侖萬維最近开源了一個稀疏大型語言模型Skywork-MoE,爲應對大規模密集型大語言模型帶來的挑战。昆侖萬維兼天工智能首席科學家顏水成告訴數智前线,开源大模型幫助學界進行探索性工作,而公司也推出音樂、遊戲等垂類模型,將採用閉源商業模式。
李开復的創業公司零一萬物,是這波大模型獨角獸中最後一家开源的企業。公司开源負責人林旅強非常坦率,認爲开源和閉源是商業設計問題。零一萬物也採取了开源、閉源並進的模式。开源在一定程度上扮演了商業拓展角色。同時,今年零一萬物發布千億參數模型Yi-Large,一些使用了开源模型的客戶有望轉化到該閉源模型上。
02
开源大模型與开源軟件有三大區別
雖然大模型开源如火如荼,但業界一直在詬病它的透明度,質疑爲什么好多信息,企業不公开。實際上,大模型开源和傳統軟件开源不是一回事。
紅帽中國首席架構師張家駒告訴數智前线,軟件开源是指源代碼开源,拿到源代碼,我們就“知其然也知其所以然”,也可以在源代碼基礎上,去修改或增加新功能。
但大模型是一個黑盒子,裏面有很多至今無法解釋的現象,所以對大模型的开源,業界提出了更多維度,有的說需要四部分——權重、數據集、代碼和訓練過程;也有的說需要五部分,還包括了框架。即使是這些定義,業界也有不同意見:爲什么會有這樣的定義?這更像是從傳統开源軟件的思路來考慮的。
有趣的是,只有極少數公司或機構的大模型,同時开源了上述四部分或五部分,比如IBM剛剛开源出來的Granite大語言模型;也有像智源研究院、馬斯克旗下大模型公司xAI ,开源了權重和數據集。比如,根據智源人工智能研究院副院長兼總工程師林詠華的介紹,今年6月,智源最新开源數據集分爲兩類,一類是通用开源指令微調數據集,一類是行業垂類數據集,涵蓋18個行業。
“現在業界的共識是,至少將權重再加上一些推理代碼开源。”零一萬物林旅強說,只有這兩部分开源,其他人才可以將开源大模型使用起來。由此,开源大模型現在的定義,有點像微軟提過的“免費軟件”。所以,谷歌等公司在其官網上稱是开源權重(open weight),而不是开源大模型。
爲什么在开源大模型中,權重如此重要?有業界人士將權重打比方爲“一大堆數字”,一個13B的模型,就有130億個數。這些數字與模型如何處理輸入的數據、如何做出預測和生成文本等相關,代表了一個大模型的智慧。
而在大模型中,代碼分爲預訓練代碼、微調代碼和推理代碼。預訓練代碼是大模型公司的核心;對於微調代碼,市場上已有很多公开方法,而大模型要被用起來,需要推理代碼。至於訓練過程和數據集,往往也是大模型廠商的核心所在。
與傳統軟件不同,在大模型开源上,企業的態度有了微妙的變化。現在大模型的成本太過高昂,訓練一個千億級參數模型,要幾千萬甚至上億,因此,很多公司在开源問題上變得保守。這是一個現實問題,每家公司的开源,必然服務於自己的商業战略。而且,即便將這些核心都开源出來,大多數工程師和企業也沒有那么多資源去復現。
業內人士認爲,开源大模型和开源軟件有三個核心區別:
一是透明度完全不一樣。开源軟件的代碼能說明一切,從而可以形成一套治理體系;大模型當下還是一個黑盒子,內部機理還是未知的。
二是大模型社區的性質發生了變化。之前开源社區講求全球工程師來貢獻;但因爲算力等資源限制,在大模型社區裏,或許90%以上的工程師,無法直接爲大模型貢獻,因此很多社區變成了單向模式,大家只是使用大模型。在HuggingFace上,Meta的Llmma开源大模型,已經有幾千個變種,但彼此之間沒有太多交互,也很難將創新合並。
其三是大模型企業开源策略發生變化。中國信通院知識產權與創新發展中心產業發展研究部主任張俊霞說,因爲大模型的訓練投入特別大,這導致企業在开源策略的選擇上,特別是在一些許可或信息披露上,都有很大不同。“這個問題現在不管是國內還是國際社區,都在非常激烈地討論。”
不過,近期,一些動態正在發生。比如,紅帽在社區貢獻上有了嘗試動作。一方面IBM开源了Granite模型;另一方面,“訓練過程”在另外一個开源項目InstructLab中。由IBM出資建設了一個平台。每過一段時間,就把大家“集”來的數據放在上面“訓”,形成模型的迭代。同時,用戶也可以選擇保留自己的數據,訓練分叉的模型。“客戶不用‘躺平’,可以用他們的場景、經驗參與到調試當中,不斷在變化之中調優。”紅帽大中華區資深市場總監趙文斌告訴數智前线。
而張俊霞認爲,大模型時代,對开源的定義以及未來的治理,不管是從項目層面、企業層面還是從國家層面,也都會發生一些翻天覆地的變化。
03
“开源的目的不是一定要超越閉源”
除了如何定義开源大模型,开源派和閉源派,在开閉源大模型孰強孰弱和安全性上,有着交鋒。
如果在當下這個時間點,OpenAI等的閉源模型比較強。“但不意味着閉源會持續遙遙領先。”零一萬物林旅強說,未來當算力平民化,再加上互聯網協作精神,可能5年、10年,开源大模型就會變得更強。
不過,智源研究院智能評測組負責人楊熙從評測角度看,單純把开源模型和閉源模型放在一起來比較,可能有失公允。因爲閉源大模型可能是一套體系,比如包含了檢索增強等技術,而开源模型是一個單體模型,拿“多對一”,肯定不合理。
而紅帽張家駒認爲,开源的目標不是說一定要超過閉源。“即便之前全球工程師合力做Linux,目標也不是要超過閉源。”开源的價值是更加公开透明,技術上更加平權,不會讓其成爲少數人牟利的手段。“更爲關鍵的是,對於人工智能來說,如果未來走向AGI,开源讓AI的發展走向,更符合全人類的利益,這一點的價值要遠高於在某一方面去超越閉源。”
而开源和閉源大模型誰更安全,業界也有着爭議。开源派認爲,在閉源環境當中,大家不知道有沒有人監督它。开源的好處是一旦出現一些安全問題,整個社區會來共同檢查。
但也有人士認爲“开源也會帶來各種意想不到的問題”。比如,开源可能將大模型交到了“恐怖分子”手裏。“舉個例子,开源大模型的數據集,如果別人加了一些數據,訓練出大模型去幹了違法的事。”一家大模型企業开源負責人對數智前线說,雖然他們也有开源大模型。另外,現在各國都強調數據主權,數據开源後怎么追蹤也是問題。“所以國家鼓勵开源,但不是無限制的开源。”
對於這些觀點交鋒,智源研究院楊熙稱,开源、閉源其實都存在透明性、合規性、安全性的問題,也涉及治理問題。
信通院張俊霞提出,關於治理,其實大模型是一個技術性非常強的領域,所以“技術的問題,一定要依賴技術”。她看到,谷歌發布了一款开源工具Model Explorer,幫助人們理解大模型技術的內部工作機制;IBM、微軟也發布了關於开源大模型或人工智能的倫理和解決手段,非常值得學習參考;今年1月,騰訊發布了安全治理框架,涉及一個模型整個生命周期裏每個階段的安全技術、問題和管理等。
楊熙則強調,开源其實對模型內在機理的刻畫和理解,非常有幫助。“在我看來,开源和閉源是一個硬幣的兩面。”智譜楊熙稱,开源可能促進我們更多的探索性和基礎性工作;閉源更多促進產品化和商業化,推動大模型走進每個人的生活。這兩件事其實不應該是之爭,而是和諧共存。
“現在,什么樣的框架最適合從行業監管角度,既不太過於增加企業的負擔,又能夠實現行業事前、事中、事後的一個完整的監管,其實全球還沒有一個統一的答案,仍然在探索過程中。”張俊霞說。
04
开源閉源,商業化應用如何選擇
在开閉源的選擇上,智譜張鵬認爲,如果只是想做一些實驗和嘗試,可以選擇开源模型,但如果想要在上面做商業化應用,大部分人還是會選擇商業化版本,因爲有保障,能夠提供更好的服務。
這代表了業界、尤其是ToB行業很多人士的觀點。
紅帽張家駒則認爲,無論是开源、閉源,需要優先考慮客戶是否需要本地部署大模型。無論國內外,不少客戶都有自主可控的需求。如果採用公有雲上的模型,比如OpenAI,客戶要考慮數據暴露信息的問題。“這是個很重要的問題。”
值得注意的是,閉源大模型是否能部署到本地,需要獲得允許。开源大模型同樣需要依據一些協議以及合規性。從技術角度來講,很多开源部署到本地是可行的。而开源可以方便地進行微調,打造行業大模型,這是其優勢。
除了本地化部署之外,也有企業需要調用公有雲上的大模型。“大模型的需求一定是开放混合的。”張家駒說。
大模型應用开發商北京可爲是最早在市場監督管理領域,打造、落地行政執法垂直大模型的企業。公司聯合創始人曾明告訴數智前线,他們在开閉源大模型中,最終選擇了开源大模型。一方面,行政執法是比較知識化的應用,去年他們在測試驗證中就發現,當時的开源模型在解決主要場景上,已經符合要求;另一方面,成本是重要的因素之一。同時,這類垂直大模型屬於政務應用,客戶對數據安全要求極高,不能觸碰紅线,需要私有化部署,而开源模型在這方面更爲靈活方便。
“在選擇开源大模型的過程中,我們做了很多驗證,做的最苦的也最有意思的,就是這個過程。”曾明說,他們不斷對不同模型驗證,對自己的訓練策略驗證。“你要教大模型,去還原人類推理和思考的過程。所謂的夠用與不夠用,就看推理的結果是不是能達到要求。”
此外,不少業界人士認爲,目前企業开源的大模型通常是中低版本的,而閉源的模型性能更強,更適合比較高要求的應用,如當下大模型企業與標杆客戶聯合共創的類型。而大多數普通應用場景,开源已能滿足要求。
大模型時代,無論對开源的定義、治理還是社區運營、商業化,目前都處於快速演變之中。上述問題仍在激烈的碰撞和演進中。
原文標題 : 詳解开源閉源之爭,十家大模型廠商的商战策略
標題:詳解开源閉源之爭,十家大模型廠商的商战策略
地址:https://www.utechfun.com/post/389743.html