所謂的“套殼”，並不意味着國產大模型黑暗的前景。
國產大模型套殼，是個被吐槽已久的現象。
最近，前阿裏巴巴副總裁、知名AI框架大牛賈揚清昨日發朋友圈，爆錘國內某大廠套殼大模型LLaMA。
大意是：要改就改吧，但別掩耳盜鈴了，免得小公司做一些多余的適配工作……
針對這條消息，業內不少人士紛紛猜測，賈揚清所說的那個“套殼大廠”，實際上就是前不久剛發布了Yi-34B大模型的零一萬物。
作爲李开復AI團隊的第一個大模型，Yi-34B有34B個參數，也是基於GPT的架構，且在Hugging Face和C-Eval的兩個开源模型排行榜上，都取得了第一的成績。
然而，在模型發布後不久，Hugging Face社區就給零一萬物留了條消息，要求其修改模型張量。
理由是：除了兩個張量被重新命名外，Yi完全使用了Llama的架構。
看到這兒，不少業內人士紛紛皺眉：這是赤裸裸的“套殼”嗎？
如果是的話，爲什么大模型浪潮都已經過去大半年了，這種“歪風邪氣”還是層出不窮呢？
01 怎樣才算“套殼”？
實際上，在該事件傳出後不久，零一萬物就做出了回應，他們承認Yi-34B的結構設計是基於GPT的成熟結構，借鑑了LLaMA的公开成果，但是這是爲了與行業主流保持一致，更有利於適配和迭代。
不過，這種解釋涉及到了個很重要的問題，那就是：到底該怎樣涇渭分明地界定“套殼”和“借鑑”？
在开源模型的基礎上進行修改、調整，究竟算不算一種“套殼”行爲？
從技術層面上來說，判斷一個項目是“借鑑”還是“套殼”，關鍵在於評估所做的改進或優化是否具有實質性和原創性。
在借鑑的過程中，开發者會在原有模型的基礎上做出顯著的增值，例如引入新的數據處理技術、優化算法性能，或者开發特定於某個行業或應用的功能。
同時，在借鑑時，开發者通常會明確指出，他們的改動是基於哪個开源模型，並說明他們所做的改進和創新。這種做法符合开源社區的原則和精神。
相反，如果改動僅限於表面層面，沒有提供任何新的技術見解或實質性的性能改進，則就可以被視爲套殼。
那這次零一萬物的Yi-34B，算套殼嗎？
從已經公布的信息來看，零一萬物公司的做法似乎介於“套殼”和“借鑑”之間。
他們確實在一定程度上依賴了LLaMA的架構，但也在數據處理、訓練方法等方面進行了自己的工作和創新。
例如，其使用了自建的數據管线，從3PB原始數據中精選到3T token的高質量數據，以及在在網絡寬度和深度上測試了不同的Norm方法。
這些改進可能不那么容易從模型的架構或代碼直接觀察到，它們通常在模型的內部，而不是直接體現在模型的基礎架構上。
這種情況下，將其完全歸類爲“套殼”可能有失公允。
但也不能完全視爲獨立的“借鑑”，原因在於其模型架構與LLaMA架構的高度相似性。
當一個新模型在核心架構上，與現有的开源模型高度相似或幾乎一致時，即使在其他方面有所創新和改進，也很難被完全視爲獨立的“借鑑”。
02 時間壓力
盡管零一萬物此次的意外，或許算不上完全的“套殼”，但國產大模型“套殼”的情況，確實由來已久。
國產大模型，爲何屢屢“套殼”？
除了算力、人才和資金方面的短缺，讓部分團隊“另闢蹊徑”外，另一個重要的原因，就是當前大模型創業的時間窗口，已經收得越來越緊了。
畢竟，大模型這股熱潮，已經燃燒了大半年之久，該入局的玩家早已入局，整個行業的格局已經基本形成。
頭部大廠的地位撼動，國外同行又不斷推陳出新，留給模型層團隊的時間，真的不多了。
在市場上同類大模型越來越多的情況下，客戶爲什么要偏偏苦守着一個研發緩慢，前途又不甚明朗的大模型？
市場對於快速解決方案的需求迫在眉睫。客戶的需求不能等。他們需要現在就能用的解決方案，而不是幾年後。
在這樣的壓力下，部分團隊做出了選擇：使用开源模型作爲基礎，對其進行改進和定制，以適應市場的需求。
畢竟，即使擁有頂尖人才，創新和自主研發的過程也是漫長且充滿不確定性的。因爲人工智能領域正在快速發展和變化，市場和技術的不確定性意味着巨大的研發風險。
在今年10月之前，不少國內團隊，都將GPT-4當成“對標”的目標。然而，殊不知你在進，你的對手也在進。
9月底，OpenAI推出了DALL-E3，緊接着又推出了GPT-4V和語音交互功能，在多模態層面更上了一層樓。
而11月初开發者大會的一系列“王炸”更新，則用更長的文本長度、全新的 Assistants API、以及文本轉語音（TTS）技術，扼殺了想在“局部領域”進行突圍的國產模型。
在技術迭代迅速的情況下，許多團隊還在苦苦研發的大模型，也許還沒發布，就已經過時。
對於創業團隊來說，在保持技術創新的同時，也要考慮到商業模型的可行性和市場的接受度。
而有着成熟框架，且得到市場廣泛認可的开源大模型，無疑成了一種可靠的，可以馬上投入使用的方案。
並且，成熟的开源框架通常有一個龐大的社區支持，這意味着團隊在遇到問題時可以獲得更多的幫助。
同時，社區中的其他开發者可能已經解決了一些常見問題，團隊可以直接借鑑這些解決方案，避免重復勞動。
03 套殼大模型，能投嗎？
在國產大模型“套殼”已經成普遍現象，並且將來極有可能成爲常態的情況下，所有投資人都不得不面對一個問題，那就是：
如果硬是要在這些“套殼”的大模型公司裏，物色可投資的企業，那應該怎么選？
在考慮這個問題時，有一個非常重要的因素，即：
這些套殼的大模型公司，究竟是完全依賴於“套殼”，沒有任何自主研發的努力和計劃，還是以“套殼”作爲妥協和過渡手段，但有明確的長期發展計劃，有創新的愿景，有能力最終轉向自主研發？
這兩種情況，需要區別對待。
在對這兩類企業進行考察時，一個十分重要的衡量標准，就是技術和產品路线圖。
因爲一個清晰、具有前瞻性的技術和產品路线圖，直接反映了企業的長期战略意圖和創新能力。它不僅顯示了企業是否有計劃從“套殼”轉向自主研發，還表明了企業未來技術發展的方向和潛在的市場競爭力。
實際上，以類似“套殼”的方式進入市場，最後卻依靠自研產品獲得用戶認可的案例，在商業上並不罕見。
例如移動互聯網時代的小米，就是一個明顯的例子。
起初，小米的智能手機在外界看來，似乎只是模仿了其他品牌（尤其是蘋果）的設計和功能。其早期產品被批評爲缺乏創新，更多地依賴於現有的設計和操作系統（基於Android的MIUI系統）。
然而，小米後來展示了對自身技術和產品路线圖的長期堅持，其不僅在軟件上（MIUI系統）進行了大量的自主創新，還在硬件設計、功能創新以及用戶體驗上進行了顯著的研發。
例如其自主研發的手機芯片Surge S1，就標志着小米在手機核心技術領域的自主創新。
隨着時間的推移，小米憑借更多的創新技術，在市場上獲得了極高的評價和廣泛的用戶基礎。
同樣地，在當前“套殼”的國產大模型企業中，也不排除存在着一些有着長期技術路线的企業。
倘若以這樣的觀點來看，所謂的“套殼”，也並不意味着國產大模型黑暗的前景。
從產業的角度來說，只有更多具有創新潛力的企業，從AI浪潮初期的“大過濾器”中幸存了下來，未來更多的自主創新，才可能相繼出現。
原文標題 : 套殼的大模型，爲何還活着？
標題：套殼的大模型，爲何還活着？
地址：https://www.utechfun.com/post/292630.html