文|白 鴿
編|王一粟
繼9月份版本更新之後,光錐智能從生數科技聯合創始人兼CEO唐家渝朋友圈獲悉,Vidu大模型將於本周再次進行版本升級,Vidu-1.5版本即將上线。
此版本更新方向仍是重點延伸大模型的泛化能力和主體一致性問題。上一版本重點是單一主體的一致性,而最新版本則能夠理解和整合人物、物體、環境等多個概念,遵循用戶指令30秒內生成多個主體融合的相關視頻結果,率先實現視頻創作中的多主體一致性生成。
除Vidu外,自今年9月份以來,據不完全統計,包括字節旗下即夢AI、快手可靈AI、Runway、智譜清影、愛詩科技PixVerse、Pika等主流的AI視頻生成平台,都已經進行了版本更新。
當前,在爆火的AI視頻生成賽道中,大模型創企、互聯網大廠等紛紛入局,而在經過前期各家密集進行產品發布階段後,如今已進入產品迭代升級比拼階段。
通過各家版本更新的內容,不難發現,AI視頻生成大模型能力迭代的大方向,仍是生成視頻的時長、畫面的穩定性、連續性和主體前後的一致性上。
但與此同時,各個玩家又在實際功能應用中,开始出現“分野”,各有側重,部分中小玩家也开始找到自己的細分市場。
比如Runway最新版本中更新了可將真人面部表情精確復刻給AI角色的Act-One,以能夠實現3D化的AI攝像頭控件。PixVerse則上线了各種萬聖節特效、毒液特效等。
對此輪各AI視頻生成平台的更新,星賢文化創始人、AI原創玄幻IP《山海奇鏡》制作人陳坤認爲:“最大的更新應該是Act-One這種表情遷移,提供了人物表演的基礎可能性。”而對於人物主體的一致性和穩定性,“有進步,但並沒有代際型進步。”
在AI視頻創作者尾鰭Vicky看來,相比上半年初代產品,最新更新的AI視頻平台,除了在底層模型能力上的迭代之外,在功能上也進行了更新,比如首尾針、畫質和幀率的補足、配音等功能,“這些功能的完善,實際上是比上半年更全面。”
如果說2024上半年,是AI視頻生成賽道的軍備競賽,那么下半年則是進入小步快跑的版本更新周期。
而在此階段,字節和快手的交鋒仍在激烈進行中,中小廠商开始找到自己獨特賽道,而一些企業專注走海外市場,也實現了“國內开花,牆外香”的效果。
無疑,這一階段的廝殺,看似溫和,但卻實質性的影響平台自身的定位和未來發展的方向,以及後續用戶群體和數量規模的可持續增長。
字節狂追,快手搶跑
“即夢有些掉隊。”這是AI視頻生成平台用戶給出的客觀評價。
作爲去年第一批的AI視頻生成平台,以及字節旗下的產品,即夢AI的視頻生成效果一直備受使用者詬病,處於被Runway、Pika等同一批玩家吊打的狀態。
今年6月,字節在短視頻領域的直接競爭對手——快手,正式在官網上线了“可靈”視頻生成大模型,並火速出圈。同時,越來越多AI視頻生成平台如雨後春筍般推出,AI視頻生成賽道徹底爆火。
在強大競爭壓力之下,作爲國內AI產品第一梯隊,補上視頻生成這一塊短板,已成爲字節跳動面臨的當務之急,而其奮起直追的速度也超乎想象。
9月24日,2024火山引擎AI創新巡展深圳舉辦,原抖音藝術負責人陳欣然以即夢AI及剪映市場和運營負責人的身份亮相,並宣布即夢AI已經接入了豆包最新的視頻生成模型。
同期,字節跳動發布豆包模型家族的兩款視頻生成模型Seaweed和Pixeldance,並通過即夢 AI、火山引擎分別面向創作者和企業客戶小範圍邀測。
11月8日,字節跳動旗下的AI內容平台即夢AI宣布,由字節跳動自研的視頻生成模型Seaweed面向平台用戶正式开放。
據字節跳動方面介紹,本次开放使用的豆包視頻生成模型Seaweed是該款模型的標准版,僅需60秒即能生成時長5秒的高質量AI視頻,領先國內業界3至5分鐘的所需生成時間。
即夢AI還透露,近期Seaweed和Pixeldance兩款視頻生成模型的Pro版也將开放使用。Pro 版模型能實現自然連貫的多拍動作與多主體復雜交互,攻克了多鏡頭切換的一致性難題,在鏡頭切換時可同時保持主體、風格、氛圍的一致性,適配電影、電視、電腦、手機等各種設備的比例。
字節抖音和快手,作爲國內短視頻平台的領軍者,雙方的競爭已經從短視頻、電商轉移至AI領域,客觀來說,抖音在各方面都壓快手一頭。但唯獨在AI領域,快手給出了漂亮的反擊。
自6月一鳴驚人之後,快手可靈其實已經有數次的小版本的迭代。
但在底層大模型能力上,今年9月20日,快手發布可靈1.5版本,接入新一代模型,實現了畫質和動態質量都大幅提升,原有的模型也加入了新功能——運動筆刷,生成效果可控性增強。
“可靈1.5很強,可以說是所有模型裏面最真實的,吊打Runway,基本上已經克服了之前人物變形的問題。”AIGC創業者洋芋醬AIgen(藝名)如此對光錐智能說道。
在實際生成的視頻效果中,對比可靈和Runway,可以看到,同一個提示詞,兩者在實際人物主體的穩定性上效果都很強,但可靈生成出的視頻效果能夠自動解鎖面部表情。
“Runway其實也能自主生成面部表情,但效果非常詭異。”洋芋醬AIgen如此說道,不過,可靈AI和Runway這種能力是隨機的,並不固定。
這其實也能夠看到,可靈AI和Runway在實際生成效果上更勝一籌,而在對提示詞的理解上,可靈AI也確實走在前列,但未來也仍需要不斷迭代升級,才能將這一能力固化下來。
(Runway,提示詞一個穿着新中式服裝的女模特,正在展示自己的造型,背景是彩色的煙霧飄散,洋芋醬AIgen提供)
(可靈AI,提示詞一個穿着新中式服裝的女模特,正在展示自己的造型,背景是彩色的煙霧飄散,洋芋醬AIgen提供)
不過,此次即夢上线最新視頻生成大模型之後,尾鰭Vicky則認爲其在模型能力和UI設計上,與可靈差距不大。同時,在內測即夢平台Pro版模型的時候,其能夠輕松控制畫面的運動幅度和動作。
作爲國內頭部的短視頻平台,快手和字節,在AI視頻生成賽道的布局,終局目的是要吸引和留住用戶的注意力,而這就需要不斷生產出新穎、有質量、有創意的內容。
基於此,AI短劇,也成爲字節即夢和快手可靈競爭的焦點之一。
今年7月份,由“可靈AI”創作出的AI短劇《山海奇鏡之劈波斬浪》引發廣泛關注,該短劇成爲國內首部AIGC原創奇幻微短劇。
9月,快手星芒短劇聯合“可靈AI”推出了“星有靈犀-AI短劇創作大賽”。據悉,大賽以流量獎勵、榮譽獎勵、內容籤約等多項舉措激勵更多人加入AI短劇創作。
字節同樣不甘示弱,即夢AI在聯手博納影業發布首部AIGC生成科幻短劇《三星堆:未來啓示錄》的同時,也在聯手抖音平台多位“超級創作者”實現共創,邀請平台上有高質量粉絲及高影響力的達人,共同加入“超級創作者聯盟”計劃,希望借此打造國內最大的虛擬創作社群。
但現階段不管是抖音,還是快手,其視頻平台的影視創作者創作的內容,“很難破圈兒。”尾鰭Vicky如此說道,“因爲現在整個市場尚未形成,C端用戶並不知道用它來幹嘛。頭部會有一些商業化需求,但需求並不多,整體並不穩定。”
畢竟,現階段全球的專業創作者還比較少,且AI視頻生成大模型技術尚處於早期階段。
因此,作爲頭部視頻平台,字節和快手之間的競爭也日趨激烈,而除了底層AI技術、產品之爭外,更重要的則在於誰能夠率先探索出技術賦能內容之路。畢竟,平台如果能夠聚集更多具有創新意識的內容創作者,就能夠打造出一個更受用戶關注和喜愛的社區生態。
當然,除了字節和快手之外,在AI視頻生成賽道中的其他玩家,也开始出現“分野”,部分中小廠商,也开始探索並走出了一條屬於自己的差異化競爭之路。
細分市場崛起,找准自身定位是王道
在抖音、快手等短視頻平台上,一些創作者創作的內容可能破圈兒難度比較大,但一些包含鬼畜特效的視頻,卻異常的火爆,比如由AI生成的何炅和黃磊突然打架的視頻。
對於AI視頻生成賽道的玩家來說,如果字節和快手,是全方位的技術和內容生態體系的競爭,而其他中小玩家更多的則是聚焦在細分賽道,找准自身平台和產品定位,則成爲生存發展的基礎。
10月底,Runway的CEO在公开信中明確表示, Runway並不是一家AI公司,而是一家媒體和娛樂公司,“我認爲 AI 公司的時代已經結束了。”
基於此,在各大公司爭相卷AI視頻生成長度、逼真度、流暢度的時候,Runway顯然已經在AI視頻賽道中走出了自己的特色——做專門服務於藝術、媒體和娛樂的AI。
從Runway的實際視頻生成效果來看,其在人物穩定性、一致性上的效果可以說走在前列。而除了基礎技術能力外,在最新的版本更新中,Runway上线的2個新功能雖小,但都將爲動畫師、遊戲开發者和電影制作人提供非常大的便利、節約巨大的成本。
Runway可以說是最受影視從業者歡迎的產品之一,除技術實力之外,更重要的還在於性價比。
“ Runway實在是太香了,我們用可靈都是省着用,但是Runway是無限次數的,每天抽個幾百次都無所謂。”洋芋醬AIgen表示,“AI視頻的隨機性還是很強的,如果按次收費,普通創作者可能很難承受起這個成本。”
反觀可靈,如果用1000元購买積分,能夠購买15000可靈值,每次用35可靈值,1000元只能生成428次。對於真正的創業者來說,基本不夠用,“按照我在Runway每天要生成兩百多次視頻的頻率來看,可靈1000元購买的積分基本2天就燒完了。”洋芋醬AIgen如此說道。
在光錐智能上一篇《爆“卷”的AI視頻,大廠向左,創企向右》文章中也提到過,對於現階段各平台採用的會員制收費方式,對於不能夠商業化閉環的創業者而言,後續的付費率和付費意愿都不會很高。而現如今看來,對於即使能夠實現商業化閉環的創業者而言,性價比也是影響其使用產品的關鍵因素。
而除了Runway之外,Pika和Pixverse也找到了自己的賽道。從他們最新更新的版本中可以看到,這兩家重點是訓練了一些用戶能夠直接使用的特效效果,“雖然比喻可能會不太恰當,但是有點接近之前抖音做的那種貼紙。”洋芋醬AIgen說道。
比如在10月底萬聖節期間,PixVerse V3版本新增了不少萬聖節主題的特效,包括僵屍模式、巫師帽和怪物入侵等主題效果,還有類似於Pika很火的AI捏捏特效,視頻延長功能,用戶可以爲已有視頻額外增加5-8秒的內容,並能精確控制新增片段的內容走向。
而隨着最近《毒液:最後一舞》電影的上映,PixVerse基於最新視頻模型PixVerse V3推出了新特效“我們是毒液”的視頻效果,能夠一鍵將圖片生成酷炫毒液動畫。
當前,在社交平台上,這種鬼畜特效非常受用戶歡迎。此前Pika在1.5版本中,就推出了AI捏捏的特效,一經推出,就備受用戶喜愛,其也靠着這一波特效,實現了彎道超車。而和Pika差不多時間开始增長的海螺AI,其實也是靠人物表演和meme表情包直接拉爆了海外輿論,彎道超車。
Pika的AI捏捏特效
事實上,盡管海螺AI推出時間較晚,但行業從業者對海螺AI的評價並不低。“海螺AI在人物動作上的表現很厲害,最近何炅和黃磊打架的AI生成視頻,就是通過海螺AI生成。”洋芋醬AIgen說道。
不過,海螺AI更重要的是實現了“國內开花,牆外香”的效果。作爲國內AI公司MiniMax在海外推出的AI視頻生成平台,其一經推出,搜索熱度持續攀升。
據“AI產品榜”統計,海螺AI網頁版9月訪問量大漲860%,登頂9月全球及國內增速榜首。海外用戶紛紛在社交平台分享使用體驗,普遍認爲海螺AI是目前市面上最出色的AI視頻生成工具之一。
而憑借產品在海外市場的爆火,MiniMax在商業化能力上,已經走在大模型六小虎的前列。
相比較來說,像Vidu和智譜清影這一類的平台,在主體一致性和人物穩定性中,視頻生成時長等方向上正在不斷進化,但尚未形成專屬於自己風格的賽道和獨特的競爭優勢。
盡管AI視頻生成技術正不斷進化,並衍生出具有特色的細分賽道。但信達證券研報也顯示,AI視頻生成技術在人物一致性、所需時長、畫面質量等方面仍需進一步提升,以滿足商業化水准。
同時,目前主流AI視頻工具還處在視頻生成競爭的階段,且大多數爲單一功能產品,仍需要多種不同的視頻創作工具串聯使用才能達到直接輸出可商業化視頻的效果。
未來,AI視頻生成大模型平台,仍需要不斷迭代進化。
原文標題 : 字節、快手、Vidu“打野”升級,AI視頻小步快跑
標題:字節、快手、Vidu“打野”升級,AI視頻小步快跑
地址:https://www.utechfun.com/post/444307.html