原標題:效果炸裂!OpenAI首個視頻生成模型發(fā)布,1分鐘流暢高清,網(wǎng)友:整個行業(yè)RIP
剛剛,奧特曼發(fā)布OpenAI首個視頻生成模型Sora。
完美繼承DALL·E 3的畫質和遵循指令能力,能生成長達1分鐘的高清視頻。
AI想象中的龍年春節(jié),紅旗招展人山人海。
有緊跟舞龍隊伍抬頭好奇官網(wǎng)的兒童,還有不少人掏出手機邊跟邊拍,海量人物角色各有各的行為。
雨后東京街頭,潮濕地面反射霓虹燈光影效果堪比RTX ON。
行駛中的列車窗外偶遇遮擋,車內(nèi)人物倒影短暫出現(xiàn)非常驚艷。
也可以來一段好萊塢大片質感的電影預告片:
豎屏超近景視角下,這只蜥蜴細節(jié)拉滿:
網(wǎng)友直呼game over,工作要丟了:
甚至有人已經(jīng)開始“悼念”一整個行業(yè):
AI理解運動中的物理世界
OpenAI表示,正在教AI理解和模擬運動中的物理世界,目標是訓練模型來幫助人們解決需要現(xiàn)實世界交互的問題
根據(jù)文本提示生成視頻,僅僅是整個計劃其中的一步。
目前Sora已經(jīng)能生成具有多個角色、包含特定運動的復雜場景,不僅能理解用戶在提示中提出的要求,還了解這些物體在物理世界中的存在方式。
比如一大群紙飛機在樹林中飛過,Sora知道碰撞后會發(fā)生什么,并表現(xiàn)其中的光影變化。
一群紙飛機在茂密的叢林中翩翩起舞,在樹林中穿梭,就像候鳥一樣。
Sora還可以在單個視頻中創(chuàng)建多個鏡頭,并依靠對語言的深入理解準確地解釋提示詞,保留角色和視覺風格。
美麗、白雪皚皚的東京熙熙攘攘。鏡頭穿過熙熙攘攘的城市街道,跟隨幾個人享受美麗的雪天并在附近的攤位購物。絢麗的櫻花花瓣隨著雪花隨風飄揚。
對于Sora當前存在的弱點,OpenAI也不避諱,指出它可能難以準確模擬復雜場景的物理原理,并且可能無法理解因果關系。
例如“五只灰狼幼崽在一條偏僻的碎石路上互相嬉戲、追逐”,狼的數(shù)量會變化,一些憑空出現(xiàn)或消失。
該模型還可能混淆提示的空間細節(jié),例如混淆左右,并且可能難以精確描述隨著時間推移發(fā)生的事件,例如遵循特定的相機軌跡。
如提示詞“籃球穿過籃筐然后爆炸”中,籃球沒有正確被籃筐阻擋。
技術方面,目前OpenAI透露的不多,簡單介紹如下:
Sora是一種擴散模型,從噪聲開始,能夠一次生成整個視頻或擴展視頻的長度,
關鍵之處在于一次生成多幀的預測,確保畫面主體即使暫時離開視野也能保持不變。
與GPT模型類似,Sora使用了Transformer架構,有很強的擴展性。
在數(shù)據(jù)方面,OpenAI將視頻和圖像表示為patch,類似于GPT中的token。
通過這種統(tǒng)一的數(shù)據(jù)表示方式,可以在比以前更廣泛的視覺數(shù)據(jù)上訓練模型,涵蓋不同的持續(xù)時間、分辨率和縱橫比。
Sora建立在過去對DALL·E和GPT模型的研究之上。它使用DALL·E 3的重述提示詞技術,為視覺訓練數(shù)據(jù)生成高度描述性的標注,因此能夠更忠實地遵循用戶的文本指令。
除了能夠僅根據(jù)文本指令生成視頻之外,該模型還能夠獲取現(xiàn)有的靜態(tài)圖像并從中生成視頻,準確地讓圖像內(nèi)容動起來并關注小細節(jié)。
該模型還可以獲取現(xiàn)有視頻并對其進行擴展或填充缺失的幀,請參閱技術論文了解更多信息(晚些時候發(fā)布)。
Sora 是能夠理解和模擬現(xiàn)實世界的模型的基礎,OpenAI相信這一功能將成為實現(xiàn)AGI的重要里程碑。
奧特曼在線接單
目前已有一些視覺藝術家、設計師和電影制作人(以及OpenAI員工)獲得了Sora訪問權限。
他們開始不斷po出新的作品,奧特曼也開始了在線接單模式。
帶上你的提示詞@sama,就有可能收到生成好的視頻回復。
下面是更多精彩視頻欣賞。
一位時尚女性走在充滿溫暖霓虹燈和動畫城市標牌的東京街道上。她穿著黑色皮夾克、紅色長裙和黑色靴子,拎著黑色錢包。她戴著太陽鏡,涂著紅色口紅。她走路自信又隨意。街道潮濕且反光,在彩色燈光的照射下形成鏡面效果。許多行人走來走去。
電影預告片講述了30歲宇航員戴著紅色羊毛針織摩托車頭盔的冒險經(jīng)歷,藍天、鹽漠,電影風格,35毫米膠片拍攝,色彩鮮艷。
無人機攝像機圍繞著一座美麗的歷史教堂盤旋,這座教堂建在阿馬爾菲海岸的巖石露頭上,視圖展示了歷史悠久、宏偉的建筑細節(jié)以及分層的路徑和露臺,當視圖俯瞰地平線時,可以看到海浪拍打著下面的巖石。意大利阿馬爾菲海岸的沿海水域和丘陵景觀,遠處的幾個人在露臺上散步和欣賞壯麗的海景,午后陽光的溫暖光芒給場景營造出一種神奇而浪漫的感覺,景色令人驚嘆用美麗的攝影捕捉。
一只柯基犬在熱帶毛伊島拍攝視頻博客
一只巨大的橙色章魚躺在海底,與沙石地形融為一體。它的觸角散布在身體周圍,雙眼緊閉。不遠處,一只棕色多刺的帝王蟹正從巖石后爬向它,鉗子高舉待擊。畫面以廣角拍攝,展現(xiàn)出海洋的無垠深邃。水清澈見底,陽光透過水面,投下斑斕光影。畫面清晰生動,章魚和蟹清晰可見,而背景稍顯模糊,營造出景深效果。
參考鏈接:
[1]https://openai.com/sora
“特別聲明:以上作品內(nèi)容(包括在內(nèi)的視頻、圖片或音頻)為鳳凰網(wǎng)旗下自媒體平臺“大風號”用戶上傳并發(fā)布,本平臺僅提供信息存儲空間服務。
Notice: The content above (including the videos, pictures and audios if any) is uploaded and posted by the user of Dafeng Hao, which is a social media platform and merely provides information storage space services.”