2021年正值科技摩擦之際，我採訪到一位工業機械公司的技術負責人，向他問到：“制造領域有沒有一些“卡脖子”的情況？”
他提到，“工業智能制造的核心要素，可以歸納爲“三軟三硬”。三軟主要是指大數據、人工智能和工業軟件，三硬主要是指核心裝備、制造工具和材料。卡脖子這個問題，在各行各業各個領域都普遍存在”。
“反倒是深度學習框架，現在的情況還好，沒有卡脖子。TensorFlow是开源框架，雖然也是國外的，但目前還沒有封閉，不過也不排除它後期還會封閉。這也是爲什么我們公司選擇國產深度學習框架，一是使用門檻更低，二是防患於未然。客觀地說，國產框架離TensorFlow還有一定的差距，但這個差距在肉眼可見地縮小。”
從傳統的深度學習模型時代，到方興未艾的大模型時代，都離不开AI框架的平台化支撐，其重要性不亞於芯片。但和芯片不同的是，與大模型發展相適配的國產AI框架，基本實現了自保。
這是基礎技術領域一個非常大的進步，也是中國爲什么沒有錯過這一輪大模型AI熱潮的原因之一。
2021-2024的短短數年，從機器學習到大模型，新舊技術“滄海桑田”，科技行業風雲變幻，但AI框架之於產業的重要性，卻從未改變。
如果說，從信息化、數字化到智能化的漫長進程，就像魚類走向陸地的進化變遷，那么AI框架，就處於算力層與應用層的中間地帶，猶如海洋與陸地之間的那道“海岸”，支撐着各行各業與智能浪潮的交融。
那么，究竟什么是大模型所需要的AI框架？AI框架是如何滿足產業鏈需求的？國產AI框架與海外框架的差距或差異又在哪裏？
本文就讓我們深入AI產業鏈的中樞地帶，沿着AI框架的“海岸”一探究竟。
魚要經由海岸，進化成兩棲動物，適應陸地，才能具備在新環境的生存能力，拓寬種群的邊界。同理，AI模型從訓練到推理的全流程落地，开發者也需要一種基礎設施作爲助力，這就是AI框架。
一個底層AI框架，至少具備幾個特質：
1.通用性。AI框架作爲基礎設施，廣泛覆蓋各類模型，同時簡化了AI开發過程，對多種算法進行模塊化封裝，讓开發者不需要“重復造輪子”，可以快速搭建AI模型。比如對多元異構計算硬件的適配兼容，支持大分發多類型任務調度的分布式能力，核心算子庫等，是开發各類算法模型都需要的，都要在框架層去解決。
2.全流程。AI框架集成了模型开發所需要的工具，爲开發人員提供全流程的开發環境。具體來說，訓練、調優、測試和部署的一整個標准化流程中，所需要的相應組件，都能夠在一個平台獲得，進行全流程的項目提升，高效滿足各類場景的定制化建構需求。
3.生態化。從產業鏈全局來看，AI框架下接芯片，上承應用，是芯片廠商、應用开發者、軟件服務商等多個行業主體都匯聚的中樞地帶，形成了非常關鍵的AI生態系統。擁有一個集聚產業鏈的自研AI框架，就如同擁有了一條生態豐富、自主可靠的海岸线，是一企乃至一國守住AI疆域的關鍵。
因此，當ChatGPT代表的大模型爆火之後，焦慮無處不在，“我們沒有大語言模型怎么辦？”“高端算力卡被禁了怎么辦？”“基礎軟件卡脖子怎么辦？”但同樣至關重要的底層AI框架，卻沒有出現“什么時候才能有自己的框架”的焦慮。
試想一下，如果國計民生重點行業的大模型，建立在海外企業的框架上，开源許可證的斷供風險、數據安全風險可想而知。幸好，國產AI框架，早就做好了准備。
目前，國際有兩大主流AI框架TensorFlow（谷歌）、PyTorch（Meta），而中國自研的AI框架，按照其廠商可以分爲三類：
一是以百度爲代表的AI頭部科技企業推出的，如飛槳paddlepaddle，基於先進模型和產業生態積累，布局AI框架，建立智能業務的體系化優勢。
中國軟件產業40年功勳人物、“國家卓越工程師”稱號、百度CTO的王海峰，曾回憶文心一言的开發過程：2023年要在算力需求爆發、供應緊缺的條件下，快速跟上ChatGPT的趨勢，正是基於百度的深度學習框架飛槳paddlepaddle，下遊跟主流的芯片廠商做了適配，任何好的算力，我們都能用得起來，很快完成了大模型訓練。
二是以華爲雲爲代表的AI雲服務廠商推出的，如昇思mindspore，通過AI框架，在雲基礎設施和行業雲用戶之間搭建起橋梁，提供完整的雲端大模型服務。
去年大模型的百花齊放，就是很多ToB企業和軟件公司，利用華爲雲上的AI框架昇思mindspore，以及盤古大模型、昇騰AI雲服務等，支持國內各類开發者、服務商等結合行業應用場景，做出原創模型，支撐了國內多個領域訓練並首發大模型，加速了大模型走向產業化的進程。
三是垂類AI服務商、研究者推出的深度學習框架，具備某些獨特的技術特性或應用場景，比如曠視科技（Megvii）在計算機視覺領域的專長，使其MegEngine框架在圖像處理任務上表現突出；清華大學計算機系推出的Jittor，特別適合於研究和教育領域，便於快速實驗和算法原型开發；騰訊優圖的NCNN框架專爲移動端和嵌入式設備優化，適合資源受限的環境或邊緣計算；一流科技的Oneflow，也是業內完整的深度學習框架類產品。
不同於英偉達基於芯片構建的軟件生態體系，國產AI芯片廠商受限於產品規模，自研軟件配套的應用範圍比較有限，有待發育，就不詳述了。
綜上，面對大模型掀起的這一輪AI浪潮，海外框架平台生態蓬勃，起到了一個“海闊憑魚躍”的作用。國產AI框架也沒有缺席，爲各行各業探索大模型，奠定了基礎，匯聚了力量。
AI框架之所以沒有缺席，是中國產學界人士“板凳甘坐十年冷”，一點一滴地構築而成的。這個過程，遵循了技術領域的“雙漏鬥”規律，是一個從擴散到收斂，從收斂到擴散的過程，其間經由开發者不斷選擇和淘汰，最終演化成了今日格局。
第一階段：早期時期的擴散漏鬥（Diversity Phase）
新技術出現的初期，由於技術尚未成熟，新的想法和產品層出不窮，市場和用戶對於哪種技術會最終勝出存在很大的不確定性，因此會出現多樣化的技術流派。
PC操作系統、移動互聯網OS都經歷過百花齊放、多家爭鳴的階段，AI框架也不例外。深度學習大行其道的時候，數據、算法和算力激增，工程復雜度提高，开發者非常需要減少“重復造輪子”，直接調用某些模型或工具，這時候各大廠商都开始將自研算法和工具封裝爲軟件框架，供开發者使用，湧現出了Theano、Caffe（伯克利大學）、Torch、DistBelief（谷歌，TensorFlow前身）等多款框架。
同一時期，國內還沒有互聯網企業或科技公司做框架，部分高校在學術科研角度做了一些零散的工作。構建完整的深度學習框架，是2013年百度开始。因爲很早就關注到深度學習技術，百度更早遇到了深度學習應用上的一些挑战，比如所有的算法從頭寫，开發效率低，經常出錯；每個深度學習开發團隊寫的程序差異很大，模塊無法復用，兼容性也不高，急需一個統一框架。於是2013年，百度开始在框架上投入。據了解，當時百度內部也是框架百花齊放，开發了多個深度學習框架，解決不同業務的不同問題。
值得注意的是，早在此時起，國內外的框架就已經顯露出差異化的特質。以Caffe、Torch爲代表的海外框架，更偏向於學術、工程師使用；以百度爲代表的國內框架，從產業土壤上生長出來，一开始就很注重實用性、功能性、分布式訓練、硬件優化等產業特性。
第二階段：競爭時期的收斂漏鬥（Consolidation Phase）
隨着時間的推移，更主要是AI巨頭如谷歌、Facebook、百度的優勢框架相繼开源，其他框架逐漸被淘汰、合並，多樣化的框架格局开始向幾家主導“收斂”。
2015年开始，谷歌大腦宣布TensorFlow开源，2016年百度飛槳宣布开源，2017年Meta人工智能研究院（FAIR）宣布PyTorch开源。开發者逐漸集中到幾個主導者生態中。
曾經的熱點框架如Theano、CNTK（微軟）、Keras、Caffe2都相繼停止維護，或被主流框架收編，百度內部也开始將多款框架收斂爲paddlepaddle，並正式對外开源。
這一階段，海內外並不“同此涼熱”。
一方面，PyTorch憑借極強的學術靈活性、易用性，迅速崛起，已經發布很快成爲爆款，成爲圍剿谷歌“框架霸權”（TensorFlow不兼容其他开發框架）的生力軍。
另一方面，當時國內很多企業的AI意識還沒有覺醒，以計算機視覺爲代表的深度學習技術，很難滿足產業落地的精度需求。因此，當海外AI巨頭圍繞框架“火星四濺”的時候，中國的深度學習框架依然是“冷板凳”，企業中只有百度一家在堅持做。
如果說，當時海外框架是因競爭而主動收斂，那國內框架就是因爲遇冷而被動孤守。
第三階段：摩擦時期的再生漏鬥（Renewal Phase）
當主導框架不再適應時代需求，就會出現新的創新浪潮，導致技術的多樣性再次增加。“TensorFlow、PyTorch兩分天下”的局面被改變，國產AI框架的創新再生大爆發，是在2019-2020左右，中美科技摩擦逐漸增多，需求側和供給側都發生了諸多變化。
從供給側來看，海外框架爆出安全漏洞，而AI又涉及國計民生核心領域，供應鏈風險不得不重點考慮，自主可靠的國產框架成爲必需，供給增多。這一階段，國產AI框架進入加速發展期，除了飛槳PaddlePaddle，華爲、阿裏巴巴、騰訊、曠視科技等產業界，以及清華薩血等學術界，也都相繼推出了自研框架，豐富了國產框架的活力。
從需求側來看，隨着AI滲透率提升，中國各行各業的开發者需要中文框架，更貼合中國市場的工具與數據集，更符合中國开發者需求的社區生態，更能滿足中國產業需求的AI平台。
有开發者曾提到過，偏底層的TensorFlow，沒有爲开發者考慮到大量細碎問題；習慣了郵件溝通的海外平台社區，無法滿足中文开發者實時交流、社群互動的本土化开發需求；需求分散、場景多樣的國內中小企業，很少有技術人員，TensorFlow、PyTorch純开源框架不能提供成熟低門檻的解決方案，這種模式無法支撐AI廣泛落地。
當前階段：大模型時期的再收斂漏鬥
AI框架從深度學習到大模型階段，從擴散到收斂再到擴散，技術革新與格局嬗變的背後，一條主线從未改變，那就是從學術到產業化，變得越來越易用、實用。對开發者和產業更友好，更具應用優勢的框架，生態的吸引力更強，框架的生命力也就更長，最終從群雄逐鹿的賽場中廝殺出來，成爲主導。
目前，源於中國產業實踐的國產AI框架，也逐步收斂到更懂產業應用場景、更具技術先進性和生態規模優勢的飛槳與昇思。
具體表現在，飛槳和文心一言，昇思與盤古大模型，與產業結合的廣度和深度，已經超越了其他國產框架的生態規模。
同時，形成了全鏈路、低門檻的大模型服務能力，提供從算力、模型到應用、商業層的多元多層支持，凝聚更加廣泛的开發者。
產業鏈角色的多樣性與开放性也格外顯著，與模廠、硬件廠商、應用开發者、軟件企業、ISV服務商等行業夥伴，都建立起了較好的相互賦能關系，構建起智能服務的產品結構體系。
進入大模型時代的新階段，AI基礎設施的重要性，也被拔高到了前所未有的高度。
正如基礎通用模型不可能人人都做，如果企業和科研機構無差別入場做基礎模型，會造成算力人力的極大浪費，也會讓使用者的精力分散在各種模型的試錯上，無法快速凝聚到技術更強的模型上，框架也是類似的邏輯。
一個底層框架的技術優勢、工具完整度、生態規模，需要長期積累、聚沙成塔，而基礎軟件又格外需要生態的發展和匯集。逐步收斂到飛槳、昇思等更具潛力和繁榮的產業化框架上，構築AI战略底座，將是大勢所趨。
如前所說，AI框架是技術浪潮與產業大陸的連接地帶，只有在一次次潮起潮落後，仍然堅守下來的平台，才能成爲中國AI產業鏈的堅定守護者。
經由時間和市場的洗練，國產框架與海外框架的特性差異，也變得越來越清晰。而這，可以作爲一個側影，讓我們看到中國AI的差異化亮點。
還記得ChatGPT橫空出世之後，大家總能聽到這樣的言論，“中美AI差距有十年”“OpenAI一心底層創新，中國AI還沒長大就得出去賺錢”“百模大战是同質化的浪費資源”……
從AI框架可以看到，更強的產業化能力，本就是中國AI的底色，也是亮色。
基礎能力上，以飛槳、昇思爲代表的AI框架，在產業AI方面的實踐更多、積累最早，理解也最爲深刻，因此可以很好地支持AI模型开發與部署，讓產業迅速、更大規模應用這些新技術。
舉個例子，面向科研、強調學術研究靈活性的PyTorch，對產業應用的推理部署需求，做得是比較薄弱的，而國產框架爲大模型到產業鋪設了一條高效通道。
飛槳很快上线了對大模型开發的功能支持，提供了一系列模型封裝能力，加速大模型的產業化落地。昇思MindSpore提供了一整套高效、易用的大模型使能套件，形成了端到端的使能大模型开發能力。
通過AI框架，开發者與行業少走彎路，不重復造輪子，快速高效地把大模型用起來，這是中國的基座通用大模型快速跟進、行業大模型爆發的前提。
產品體系上，源於產業需求的國產AI框架，能力布局更加全面、細致，可以更好地滿足產業落地AI大模型的實際需求。
純开源的海外模型，常常會強調自己的技術有多厲害，有多強，對开發者就主打一個“野蠻生長”，這與其數字化水平、數字人才等都有直接關系。
然而中國企業的小、分散、需求長尾，決定了AI框架作爲產業基礎設施，是不能輕易“放養”的。
比如硬件適配，海外以英偉達爲主導的硬件市場，也不像中國面臨多元異構算力問題的巨大挑战。作爲國產AI框架，必須進行軟硬件結合的深度融合優化，做特別多的工程开發工作，來降低开發者的硬件適配成本。
再比如模型庫。模型庫不是深度學習框架核心的組成部分，底層框架廠商投入精力去打造更細分的模型，看起來好像是把精力分散到了外圍一些無關緊要的東西上，而不是底層核心技術。但從產業應用的角度來看，中國存在大量企業，沒有專門的研發人員能夠使用核心框架，從頭完成一個模型的自研工作，AI也沒有辦法落在產業需求中。
利用框架平台的AI解決方案、模型和开發套件，進行微調改寫，就能得到一個貼合場景的定制化模型，這更符合中國的產業實際。
源於產業、面向產業、托舉產業，以國產AI框架爲基，如同隱藏在漫長時光深處的“海岸”，在技術潮水湧動之際，才能看出战略價值，支撐住中國產學政各界對大模型技術的期待。
處於產業鏈中樞地帶的AI框架，以穩定的底座、全產業鏈的貫通、較低的門檻，吸引了大量行業和從業者在這裏棲身，適應並探索AI新技術；
在這裏“進化”，從非數字原生組織，生長出數字化、智能化的能力；
在這裏“融合”，多種產業角色在這裏交流、融合、創新，匯聚起豐富的AI生態。
最終，經由AI框架的“海岸”，开發者和行業一步步向AI時代遷徙，开啓產業智能進化的新篇章。
原文標題 : 中國AI長卷（二）：框架立基
標題：中國AI長卷（二）：框架立基
地址：https://www.utechfun.com/post/401678.html