今年2月發布的Sora，先是引得業界“哇聲一片”，馬斯克直接表態「人類愿賭服輸」；周鴻禕說借助Sora人類實現AGI將縮減至一兩年。
大佬的彩虹屁不是白吹的。利用Diffusion+Transformer架構，Sora借助圖像處理、空間關系、物理規律、因果邏輯等規律與知識，在十幾秒、幾十秒的視頻中完成對現實世界的解構與再造。
但沒過多久人們就發現，再多的“哇聲一片”也改變不了Sora算法閉源的事實，意味着它無法復現。留給外界的是一道單選題：要么加入，要么自研。
1
變局
在Sora發布後兩個月，大洋彼岸突然有一家初創公司，與清華大學聯手，推出了一款號稱“繼Sora後首個完成突破的視頻大模型”——Vidu。
這是中國首個長時長、高一致性、高動態性的視頻大模型。在官方介紹中，Vidu採用原創U-ViT架構，結合Difusion與Transformer技術，能夠一鍵生成長達16秒、1080P分辨率的高清視頻。
在對標Sora的性能指標裏，Vidu也只有在時長和圖/視頻生視頻上不敵。按照業內的評價，Vidu性能直接對標國際頂尖水平，並在加速迭代提升中。
從Vidu放出的官方視頻來看，它幾乎展示了視頻大模型需具備的所有核心能力：多鏡頭生成、模擬真實世界、保持時空一致性、豐富的想象力，以及讓老外難以搞懂的中國元素。
作爲“鏡頭語言”，多鏡頭生成是視頻大模型的一堂必修課。現有的AI生成視頻，大多都只包含了輕微幅度的推、拉、移等簡單鏡頭，鏡頭語言單調而且也沒什么敘事感，這是硬傷。
究其原因，是因爲現有視頻內容沿用的技術路徑大多通過圖片的插幀和拼接而成，無法完成長時序的連貫預測。
Vidu似乎沒有上述問題，不僅能夠圍繞統一主體在一段畫面裏實現遠、中、近景、特寫等多樣化鏡頭切換，還能直接生成轉場、追焦、長鏡頭等效果，包括能夠生成影視級的鏡頭畫面。
AI視頻生成的另一個難題是，較難突破畫面時空一致性與場景。什么是畫面時空一致性，翻譯過來就是在沒有任何轉場的情況下不能突變。一個典型的例子就是某些大模型的視頻中，一只貓走着走着就變成了6只腳。
Vidu在一定程度上也克服了這個問題，起碼從它生成的一段“帶珍珠耳環的貓”的視頻中可以看到，隨着鏡頭的移動，作爲畫面主體的貓在3D空間下能夠一直保持服飾、表情、模態的一致，視頻整體看上去非常的連貫、統一和流暢。
模擬真實物理世界運動同樣是視頻大模型的核心，Vidu在對外放出的展示視頻中，有一段明顯是瞄着Sora打：模擬“一輛老式SUV行駛在山坡上”，Vidu的表現堪稱完美，灰塵、光影、背景等細節與真實世界中人類的感知幾乎無差。
在對不存在的超現實主義畫面解構上，Vidu也能做到“合理的奇幻”。例如，“帆船”、“海浪”能夠合理地出現在畫室裏，而且海浪與帆船的整體交互背景非常恰當自然。
當然，作爲本土團隊开發的視頻大模型，Vidu對中國元素的理解遠超那些舶來品，比如熊貓、龍、宮殿場景等。
德邦證券在一份研報中給予了Vidu高度評價：
雖然在視頻時長、視頻效果、支持模態多樣性等方面相比Sora仍有提升空間，但是在以鏡頭語言爲代表的動態性，以及對物理世界規律的理解與模擬能力等方面已做到了Sora相近水平。
最後還不忘給Vidu貼上一個鮎魚標籤，意思是它或將激勵國產多模態大模型突破創新。那么問題來了，憑什么是Vidu？
2
U-ViT架構
Vidu背後的生數科技，並不是一家名不見經傳的初創企業。
OpenAI曾披露過一份技術報告，顯示Sora的核心技術架構源自一篇名爲《Scalable Diffusion Models with Transformers》的論文，論文提出了一個將 Diffusion（擴散模型）和 Transformer融合的架構——DiT，也就是後面被Sora採用的那個。
而在DiT提出前兩個月，清華團隊就提出了用Transformer替代基於CNN的U-Net的網絡架構U-ViT，也就是Vidu採用的那個。甚至，據極客公園報道，因爲U-ViT更早發布，計算機視覺頂會CVPR 2023收錄了清華大學的U-ViT論文，卻以「缺乏創新」爲由拒稿了Sora底層使用的DiT論文。
生數科技的核心團隊就源於清華大學該論文團隊，CTO鮑凡正是該篇論文的一作。嚴格意義說，Vidu並不是“國產Sora”，而是一棵樹上的兩朵花。
之所Vidu能在兩個月內快速突破16s流暢視頻生成，核心就在於團隊對U-ViT架構的深入理解以及長期積累的工程與數據經驗。而且據透露，3月份內部就實現了8秒的視頻生成，緊接着4月份就突破了16s生成。
簡單來說，在架構上U-ViT也是Diffusion和Transformer融合的架構，路徑以及部分結論都是相似的。
Vidu自研技術架構U-ViT
U-ViT與DiT二者均提出了將Transformer與擴散模型融合的思路，即以Transformer的網絡架構替代基於CNN的U-Net架構，並且具體的實驗路徑也是一致的。比如，二者採用了相同的patch embedding、patch size；二者得出了同樣的結論：patch size爲2*2是最理想的。
不同於採用插幀等處理長視頻的方法，U-ViT架構在感官上注重“一鏡到底”，視頻質量更爲連貫與自然。從底層來看，這是一種“一步到位”的實現方法，基於單一模型完全端到端生成，不涉及中間的插幀和其他多步驟的處理，文本到視頻的轉換是直接且連續的。
有了理論支撐，就要考研團隊的工程化能力了。所謂工程化，抽象點說就是增強產品的架構設計，提升產品模塊的復用性和擴展性。
2023年3月，基於U-ViT架構，生數科技團隊开源了全球首個基於U-ViT融合架構的多模態擴散模型UniDiffuser，率先完成了U-ViT架構的大規模可擴展性驗證，比同樣DiT架構的Stable Diffusion 3領先了一年。
UniDiffuser是在大規模圖文數據集LAION-5B上訓練出的近10億參數量模型，支持圖文模態間的任意生成和轉換，具有較強的擴展性。簡單來講，除了單向的文生圖，還能實現圖生文、圖文聯合生成、無條件圖文生成、圖文改寫等多種功能。
視頻本質是圖片的集合，實現圖像在時間維度的擴增，這使得圖文任務取得的成果往往可以在視頻領域復用。
例如，Sora採用了DALL?E 3的重標注技術，通過爲視覺訓練數據生成詳細的描述，使模型能夠更加准確地遵循用戶的文本指令生成視頻。Vidu同樣復用了生數科技在圖文領域的衆多經驗，靠的就是扎實的工程化能力。
根據甲子光年，生數科技團隊通過視頻數據壓縮技術降低輸入數據的序列維度，同時採用自研的分布式訓練框架，在保證計算精度的同時，通信效率提升1倍，顯存开銷降低80%，訓練速度累計提升40倍。
目前，Vidu仍在加速迭代，未來將從圖任務的統一到融合視頻能力持續升級，靈活的模型架構也將能夠兼容更廣泛的多模態能力。
3
加速向應用端延伸
以Open AI與Google爲代表的科技巨頭，正在海外掀起一場多模態“軍備競賽”，而最大的目標之一正是視頻領域的加速迭代。
先是OpenAI CEO年初密集“劇透”GPT-5，相比GPT-4實現全面升級，其中將支持文本、圖像、代碼和視頻功能，或將實現真正的多模態。緊接着就是2月發布的Sora，能夠根據文本指令或靜態圖像生成1分鐘的視頻。
Google也不遑多讓，推出的原生多模態大模型Gemini可泛化並無縫地理解、操作和組合不同類別的信息。而2月推出的Gemini 1.5 Pro，則使用MoE架構首破100萬極限上下文紀錄，可單次處理包括1小時的視頻、11小時的音頻、超過3萬行代碼或超過70萬個單詞的代碼庫。
國內也不甘人後，除生數科技發布Vidu外，潞晨科技對其开源文生視頻模型Open-Sora 進行了大更新，現在可生成16秒，分辨率720P的視頻。同時具備可以處理任何寬高比的文本到圖像、文本到視頻、圖像到視頻、視頻到視頻和無限長視頻的多模態功能，性能加速向Sora靠齊。
而國內外瘋狂押注的底層邏輯是，多模態提升了大模型的泛化能力，在多元信息環境下實現了“多專多能”。多模態尤其是視頻大模型的成熟成爲奠定AIGC應用普及的基礎，在垂直領域具有廣闊的應用場景和市場價值。
比如上個月Adobe就宣布，將Sora、Pika、Runway等集成在視頻剪輯軟件Premiere Pro中。在發布短片中，Premiere Pro展現出了在視頻中添加物體、消除物體以及生成視頻片段等能力。
通過AI驅動的音頻功能已普遍可用，可使音頻的編輯更快、更輕松、更直觀。而AI驅動的視頻功能，將是多模態大模型在AIGC應用融合中的重要嘗試，更深層的意義是，它或將催生未來更多現象級應用的开發。
免責聲明:本文基於已公开的資料信息或受訪人提供的信息撰寫，但解碼Decode及文章作者不保證該等信息資料的完整性、准確性。在任何情況下，本文中的信息或所表述的意見均不構成對任何人的投資建議。
原文標題 : Sora的最強競爭對手，來自中國
標題：Sora的最強競爭對手，來自中國
地址：https://www.utechfun.com/post/368356.html