外媒搶先實測Sora,視頻大翻車慘不忍睹?不懂物理/動物變形/速度巨慢,但初創公司已經創死一片

2024-03-01 18:10:18    編輯: robot
導讀   文章轉載來源:智能邊界   文章來源:新智元   【導讀】Sora顛覆影視業,現在來看還遠。Bloomberg記者親自試用後發現,Sora生成的視頻還是翻車嚴重。而且,它的速度太太太太慢了!不過...

  文章轉載來源:智能邊界

  文章來源:新智元

  【導讀】Sora顛覆影視業,現在來看還遠。Bloomberg記者親自試用後發現,Sora生成的視頻還是翻車嚴重。而且,它的速度太太太太慢了!不過盡管如此,OpenAI已經創死了一片初創公司。

圖片來源:由無界AI生成

  雖然功能還未正式开放,但已經有外媒搶先上手體驗了!

  結果就是——Sora翻車了!

  最近,就在外界對Sora一片贊譽聲之時,一些冷靜的外媒,也开始發出了質疑的聲音。

Bloomberg認爲:Sora的確令人印象深刻,但它尚未准備好迎接未來的黃金時段。

  原因就在於,Sora現在對於身體部位的理解和物理學的復雜原理還無法完全掌握,並且,它處理請求的時間,實在是太長了!

  用作者Peebles的話來說就是,Sora的速度太慢了,你可以在等待視頻生成時去喫點零食。

  Sora翻車:鸚鵡猴子傻傻分不清,還巨慢

  因爲Sora至今仍在紅隊測試中,還無法直接訪問。只有被選中的藝術家、電影制作人和設計師才能獲得訪問系統的權限。

  爲了一睹傳說中視頻王炸模型的真正實力,Bloomberg的記者給OpenAI的研究者發去了這樣一段prompt——

  ‘An overhead view of a parrot flying through a verdant Costa Rica jungle, then landing on a tree branch to eat a piece of fruit with a group of monkeys. Golden hour, 35mm film.’

  大意是:一只絢麗多彩的鸚鵡在哥斯達黎加的繁茂叢林中翱翔,最終停落在一枝樹幹上,與一群猴子分享一塊甘甜的水果。正值一天中最爲美妙的黃金時段,陽光透過樹冠,照在葉片和猴子潔白的毛發上,閃爍着金色的光芒。

  Sora生成的視頻是這樣的。

  看上去還不錯,對不對?

  然而如果仔細看,就會發現不少問題。

  比如,鸚鵡的翅膀在飛過猴子時會發生扭曲。

  prompt裏只要求一只鸚鵡,Sora卻生成了好幾只。

  此外,水果本身,以及上面變換莫測的爪子,都透出一股詭異的氣息……

  最好笑的是,不僅其中一只鸚鵡像是‘掛了’似的脖子突然一歪,而且旁邊的猴子也秒變‘不明生物’長出了一條鸚鵡尾巴。

  對此,Sora作者、OpenAI科學家Bill Peebles是這樣解釋的:‘的確,現在Sora在某個片段的不同階段會出現一些奇怪的動作。但是,Sora能夠對這種復雜程度的場景進行建模,已經表明了它的視頻生成能力有了質的飛躍。’

  Sora什么時候來?不急

  具體哪一天能用上Sora呢,我們已知的是,至少目前還遙遙無期。

  OpenAI發言人Natalie Summers 表示,OpenAI沒有設定發布Sora的時間表,因爲希望能降低它和選舉相關的安全風險。

  畢竟,AI Deepfake已經多次有黑名單記錄,如果正值此時發布新的AI視頻工具,會讓OpenAI顯得很可疑。

  且不管安全問題,Sora在准備好進入黃金時段之前,仍然有很長的路要走。

  OpenAI自己也在技術報告中承認,Sora對身體部位的雜散問題和對物理學的混合理解,仍有很大的進步空間。

  當然,這個問題也不是只有Sora才會遇到。它是Runway、Pika等AI視頻所共同面臨的問題。

  Runway生成的威爾史密斯喫面

  而且,對於每個視頻,Sora都需要消耗更多的算力,也需要等待更長的時間。

  這個時間,可不是像DALL-E 3生成單個圖像那么簡單。

  Sora處理每個請求的時間究竟是多長呢?

  OpenAI沒有明確回復,但Peebles表示,它‘絕對不是即時的’,因爲‘你可以在等待模型運行的時候,去喫點零食。’

  這個過程可能非常漫長,因爲Bloomberg記者給了OpenAI四個prompt,但他們只給了兩個視頻,另外兩個實在是沒時間做了。

  商標注冊信息,暴露Sora真實能力:難怪會狙擊Gemini 1.5 Pro

  就在最近,OpenAI申請的Sora商標注冊描述也曝光了!

  其中對Sora能力的介紹如下——

生成視頻和圖像;

基於自然語言提示、視覺提示、文本、語音創建、生成和編輯視頻和圖像;

視頻和圖像識別、處理、分析、理解和生成;

編輯、組織、修改、傳輸、上傳、下載和分享視頻、圖像和音視頻材料;

創建和生成文本到視頻以及文本到圖像的內容。

  文件曝光後,讓AI研究者們更喫驚了!

  所以,Sora不僅可以生成視頻,還對視頻和圖像有理解能力?

  谷歌的Gemini 1.5 Pro可以分析1小時的視頻,而Sora也具有類似能力,真的可以說是降維打擊了。

  大家後知後覺地明白過來:Gemini 1.5 Pro發布後不久,OpenAI就拿出Sora來狙擊,看來還真是不無道理。

  現在從OpenAI的模型推出計劃來看,Sora目前應該是處於‘評估和迭代开發’階段。

  下一步將是分階段推出階段,包括私人測試版、測試用例和進一步的安全測試。

  搓搓手,目測一年內應該能等到。

  Sora新演示來了!

  與此同時,TikTok上,OpenAI的账戶一夜爆火,幾天內漲粉18萬,收獲接近100萬贊。

  而最近,Sora的TikTok账號上還在不斷放出新視頻。

  比如這個一廚房的廚師和廚具的視頻,就是Sora根據DALL-E 3生成的圖像生成的視頻。

  首先,DALL-E 3生成了這樣一幅靜圖。

  然後,Sora根據這幅靜圖,生成了下面這段視頻。

  在評論區,有人留言表示,想看看Sora創作出從來不存在的生物。

  現在,Sora也來交卷了。根據Prompt‘創造一個從未存在過的逼真動物,自然紀錄片風格’,它生成的視頻是這樣的——

來源:小互

  乍一看怎么像是帕魯們來到3次元。(手動狗頭)

  OpenAI創死所有初創公司,投資人大喜:還好我沒投

  最近,所有VC的會上都在談Sora。

  OpenAI的每一次技術突破,都拓展了資本圈對AI的想象空間。代價就是,大多創業公司的路,也被堵死了。

  半個月前,Sam Altman發布AI技術Sora制作的超逼真電影視頻時,所有人都意識到,無論是科技行業還是好萊塢,都敲響了警鐘。

  外媒The Information發現,自己長期跟進的至少七家开發AI視頻生成器的公司,已經感到了恐懼。

  同時感到恐懼的,還有給他們投了超過5.5億美元的投資人。

  在Sora視頻在全網引發狂潮後,一位投資人私下表示:太幸運了,最近一家熱門AI視頻初創公司的一輪融資,還好自己錯過了。

  而另一位資助了AI視頻初創公司的投資人表示,讓自己感到欣慰的是,如果真的發生了這種情況,或許這家初創公司強大的領導者,會使其成爲一個很好的收購目標。

  Sora的視頻亮點,就在於它在模擬現實世界的物理原理,盡管並不完美。

  但是AI視頻如此神速的進步速度令人震驚,也讓人不得不相信:它很快就能制作出成熟的電影了。

  風險資本家馬特·圖爾克在X上的一篇帖子中半开玩笑地說,或許到2025年,我們就可以讓Sora拍一集今晚就要播出的《毒梟》,要求布拉德·皮特、野獸先生和特拉維斯·凱爾斯主演。

  全世界看向Runway

  Altman扔出Sora這個王炸後,所有目光都集中在了Runway上。

  此前,在AI視頻領域,Runway可以算得上是領頭羊之一。

  它的產品中添加了AI功能,甚至包括從頭开始創建視頻拆條的能力。

  Runway的AI視頻生成器,使用了Runway自己开發的潛在擴散模型,因此市場認爲這家小型初創公司有可能會迎頭趕上,也不無道理。

  當然,現階段的Runway視頻,還無法和Sora對打。

  因爲分辨率太低,它們會不由得讓人產生恐怖谷效應。

  另一處鮮明的對比是,Runway用戶一次最多只能生成16秒的視頻,而Sora卻能做出一分鐘的長視頻。

  Runway CEO Cristóbal Valenzuela表示:視頻模型代表了創意產業未來的一些最重要的技術,所以思考這個問題的人越多越好……還有很長的路要走。

  其他競爭對手的發展,也不容小覷,比如Meta、Stable Diffusion、Pika等,最近都推出了類似的AI視頻產品。

  以AI生成圖像聞名的AI初創公司Midjourney,現在也在准備自己的視頻產品。

  大家共同的問題:如何盈利?

  AI視頻,會成爲搖錢樹嗎?

  一個大問題是,AI視頻是否會像AI生圖一樣發展呢?

  或許它會是一項令人印象深刻的壯舉,但不一定是搖錢樹。

  只有Midjourney是例外,它獲得了超過2億美元的收入。

  但其他的AI圖像生成器,甚至包括OpenAI的DALL-E 3,其實並沒有賺多少錢。

  Meta雖然擁有蓬勃發展的廣告業務,但並沒有試圖這樣做。

  Sora的其他競爭對手,Pika、Stable Diffusion等等,也都沒有這樣做。

  行業巨震,初創公司何去何從

  對於AI視頻初創公司來說,好消息是,OpenAI不太可能讓人免費使用Sora。部分原因是,運營這項技術的成本很高。

  這也就意味着,其他公司可以對自己的產品收費。

  現在,它們還有機會!因爲Sora在幾個月內,可能都不會开放使用。

  還有一個未解之謎,Sora的訓練數據究竟是來自哪裏的呢?

  有一些行業觀察人士(如Meta的AI領導者之一Soumith Chintala)推測,其中就有遊戲引擎生成的合成數據。

  遊戲引擎可以渲染視覺效果,以前這個功能主要用於开發視頻遊戲。

  現在,如果OpenAI能使用合成數據的話,這可能就意味着YouTube、好萊塢電影庫之類的專有數據集,對於开發AI視頻模型的重要性不如大多數研究者此前認爲的那么重要。

  這也就意味着:如果AI开發者能生成良好的合成數據,也就可以賺錢了。

  往遠了看,如今AI已經把人類的文本都學完了,下一步就是視頻。如果視頻素材也學完了,該怎么辦?

  有人說,那時就可以給大模型裝上攝像頭,因爲人類世界每天需要學習的東西可太多了。

  Sam Altman張口要7萬億美元,或許是OpenAI真的研究出了了不得的東西,比如即將成形的AGI。

  算力、數據,手握這些資源的,就會得到第一個AGI。

  參考資料:

  https://the-decoder.com/openais-sora-is-slow-enough-to-grab-a-snack-while-it-generates-your-video/

  https://www.bloomberg.com/news/newsletters/2024-02-22/openai-s-sora-video-generator-is-impressive-but-not-ready-for-prime-time

海量資訊、精准解讀,盡在新浪財經APP

責任編輯:張靖笛



標題:外媒搶先實測Sora,視頻大翻車慘不忍睹?不懂物理/動物變形/速度巨慢,但初創公司已經創死一片

地址:https://www.utechfun.com/post/339080.html

鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播信息之目的,不構成任何投資建議,如有侵權行為,請第一時間聯絡我們修改或刪除,多謝。

猜你喜歡