爭奪“中國版Sora”金牌 演員和編劇或面臨“失業(yè)危機”
作者／ IT時報記者 沈毅斌
編輯／ 郝俊慧 孫妍
巴黎奧運會如火如荼地進行著，視頻生成大模型的賽場同樣熱鬧，國內(nèi)多位“參賽選手”紛紛亮相，只為爭奪名為“中國版Sora”的金牌。
在剛剛過去的七月，生數(shù)科技打造的視頻大模型Vidu上線，面向用戶開放文生視頻和圖生視頻兩大功能；智譜AI正式發(fā)布視頻生成大模型“清影”；商湯發(fā)布首個面向C端用戶的可控人物視頻生成大模型Vimi；阿里達摩院推出一站式AI視頻創(chuàng)作平臺“尋光”；快手可靈AI正式上線網(wǎng)頁端，并開源名為LivePortrait的可控人像視頻生成框架……
AI視頻大模型令人驚嘆的“增速”，不僅在資本市場炙手可熱，更帶給影視行業(yè)不小的沖擊，尤其是當抖音、快手以及央視推出AI制作的短劇后，演員和編劇也開始面臨“失業(yè)危機”。
不過，科技產(chǎn)品從實驗室走向市場，能力至關(guān)重要。AI視頻大模型能否高質(zhì)量實現(xiàn)生成內(nèi)容的連貫性和一致性，才是決定其未來發(fā)展的關(guān)鍵。
摸著Sora過河
盡管Sora還沒有向公眾開放，但提及文生視頻，Sora是一個繞不開的話題。
“目前，國產(chǎn)視頻生成大模型的技術(shù)路徑與Sora基本一致，只不過每家都會加入自己的Trick（技巧）?！盠ogenic AI聯(lián)合創(chuàng)始人李博杰告訴《IT時報》記者，視頻的本質(zhì)可以看成是多張圖片的連續(xù)排布放映，在文生圖大模型中，最被人們熟知的技術(shù)是擴散模型，它可以根據(jù)輸入的文字描述，獲取數(shù)據(jù)的內(nèi)在結(jié)構(gòu)和分布規(guī)律，從而生成單張圖片。
但擴散模型在語義、數(shù)據(jù)之間的聯(lián)系存在局限，就需要Transformer模型將不同數(shù)據(jù)進行互相關(guān)聯(lián)，聯(lián)想生成大量圖片，表達幀與幀之間的關(guān)系，最終通過編碼器壓縮成一條視頻。
李博杰表示，目前視頻生成大模型的算力可以達到ChatGPT3.5的水平，但還不及ChatGPT4的萬卡集群規(guī)模，國內(nèi)許多企業(yè)都具備這樣的算力。因此在有限的算力下，決定視頻質(zhì)量的關(guān)鍵取決于數(shù)據(jù)的質(zhì)量和數(shù)量，畫面的連貫性也可以通過大量數(shù)據(jù)訓練而實現(xiàn)。
不過，由于關(guān)鍵數(shù)據(jù)獲取難、原始世界數(shù)據(jù)被越來越多的AI生成內(nèi)容所“污染”，加上視頻數(shù)據(jù)大多缺乏對應描述性文本或者描述質(zhì)量低下，國產(chǎn)視頻生成大模型開始從模型結(jié)構(gòu)、組件等方面尋求技術(shù)突破來保證連貫性。
以智譜清影為例，智譜清影相關(guān)負責人周文（化名）告訴《IT時報》記者，為了解決內(nèi)容連貫性的問題，智譜自研的三維變分自編碼器結(jié)構(gòu)（3D VAE）將原視頻空間壓縮至2%，減少了視頻擴散生成模型的訓練成本及訓練難度。
模型結(jié)構(gòu)方面，將因果三維卷積（Causal 3D convolution）作為主要模型組件，移除自編碼器中常用的注意力模塊，使得模型具備不同分辨率遷移使用的能力。同時，在時間維度上，因果卷積的形式也使得模型具備視頻編解碼從前向后的序列獨立性，便于通過微調(diào)的方式向更高幀率與更長時間泛化。
與傳統(tǒng)路徑不同的是，智譜清影摒棄了交叉注意力機制（Cross Attention）模塊，采用將文本、時間、空間三個維度全部融合起來的Transformer架構(gòu)，在輸入階段就將文本和視頻向量化（Embedding），然后再將不同模態(tài)的向量直接連接（Concatenate）起來，形成單一的特征向量，輸入到下游任務中。
不過，這兩種不同結(jié)構(gòu)的數(shù)據(jù)特征空間有較大差異，此時就需要通過專家自適應層歸一化技術(shù)（Expert Adaptive Layernorm）對文本和視頻兩個模態(tài)分別進行處理，利用擴散模型中的時間步信息，實現(xiàn)視覺信息與語義信息的對齊。
一個人拍一部劇成為可能
視頻生成大模型的批量上線，最有可能被影響的是影視行業(yè)。
“不可否認，視頻生成大模型讓我們看到了影視發(fā)展的新可能。”上海大學溫哥華電影學院副院長陳曉達告訴《IT時報》記者，AI生成不僅可以降低影片制作、場景搭建、妝造設計等成本和時間，也降低了入局門檻，一個人就有可能拍攝完一部劇。
6月28日，中央廣播電視影視劇紀錄片中心制作的三部AI短劇《英雄》《愛永無終止》《奇幻專賣店》上線央視頻。此后，博納影業(yè)與抖音合作推出AI科幻短劇《三星堆：未來啟示錄》，快手也利用可靈AI原創(chuàng)上線了AI奇幻短劇《山海奇鏡之劈波斬浪》。截至8月8日，抖音和快手打造的兩部AI短劇在所屬平臺播放量已經(jīng)分別累計達到5504.7萬次和5243.2萬次。
從這些AI短劇中可以看到，人物角色的面部特征從始至終保持一致。通常而言，單純使用文字描述生成視頻時，每次的結(jié)果都會有一定差異，那么，這些短劇的一致性是如何實現(xiàn)的呢？
李博杰分析，其中可能用到了文生視頻的核心模型——ControlNet。ControlNet是一種“輔助式”的神經(jīng)網(wǎng)絡模型結(jié)構(gòu)，通過在Stable Diffusion模型中添加輔助模塊，形成一個“鎖定”副本和可訓練副本。簡單來說，通過ControlNet完成人物形象建模后“鎖定”，再通過可訓練副本進行后期視頻場景、動作等變換。
也正是因為“鎖定”，視頻人物難以實現(xiàn)大幅度動作，陳曉達經(jīng)過實測后告訴記者，每生成一幀畫面都是一次“開盲盒”的過程，無法確保生成內(nèi)容符合標準，因此只能花費大量時間不斷生成，從中挑選出可用畫面拼湊成一部短劇，“你會發(fā)現(xiàn)宣傳的都是3分鐘以內(nèi)的短劇，想要靠AI生成拼湊出一部完整的長視頻作品，目前還做不到?！?/p>
《山海奇鏡之劈波斬浪》導演陳坤同樣認為，在人物一致性、場景一致性、人物表演、動作交互等AI技術(shù)還沒有高度可控和精確化的前提下，AI影視作品并不適合呈現(xiàn)特別復雜的故事，容易讓觀眾出戲。
智譜AI CEO張鵬在接受媒體采訪時也表示，現(xiàn)在視頻生成大模型的商業(yè)化仍處于非常早期的階段，生成效果對物理世界規(guī)律的理解、高分辨率、鏡頭動作連貫性以及時長等，都有非常大的提升空間。
“三無”AI電影威脅好萊塢
市場是有“嗅覺”的，雖然目前生成效果并不完美，但視頻生成大模型賽道的火熱程度不言而喻。啟明創(chuàng)投主管合伙人周志峰在2024世界人工智能大會上預測，3年內(nèi)AI視頻生成技術(shù)將全面爆發(fā)。頭豹研究院數(shù)據(jù)顯示，預計到2026年，中國AI視頻生成行業(yè)的市場規(guī)模將達到92.79億元。
具體來看，快手可靈發(fā)布三個多月后，申請體驗用戶數(shù)量已突破 70 萬，甚至出現(xiàn)排隊等候申請的情況，累計生成的視頻作品達 700 萬份；愛詩科技打造的PixVerse大模型在國內(nèi)上線88天后，達到一千萬次視頻生成量。這也成為央視著手制作AI短劇的原因之一。
當無演員演繹、無場景搭建、無綠幕特效的“三無”AI影視作品走向市場時，演員和編劇的“危機”也悄然來臨。博納影業(yè)集團影視制作副總經(jīng)理曲吉小江在China Joy短劇創(chuàng)新論壇上表示，將為AI短劇塑造的角色打造熱門個人IP。
面對AI“威脅”情況，從去年夏天開始，美國編劇工會和演員工會聯(lián)手發(fā)起大罷工，讓好萊塢陷入長達數(shù)月的停擺，導致影視作品數(shù)量大幅減少。據(jù)外媒報道，這一情況在今年依然沒有出現(xiàn)好轉(zhuǎn)，部分演員還被要求在與華納公司的合同中同意使用“數(shù)字合成形象”，若拒絕則可能失去工作機會。
從國產(chǎn)視頻生成大模型的現(xiàn)有能力來看，制作動態(tài)海報、廣告短片、特效動畫等已經(jīng)不在話下，且應用場景還在擴展。陳曉達認為，技術(shù)本身固然重要，但首先要讓使用者掌握標準化的工業(yè)流程，新技術(shù)才得以長效落地，“AI技術(shù)短時間內(nèi)沒法取代演員和編劇的地位，但會使用AI技術(shù)的人很快就能取代他們”。
對此，上海大學溫哥華電影學院在去年2月開始開設AI電影課程，一方面讓學生學會使用AI來提升影視制作效率和節(jié)省成本；另一方面也是為了順應時代浪潮，不被“取代”。
排版／ 季嘉穎
圖片／ 清影AI 抖音 快手 可靈AI
來源／《IT時報》公眾號vittimes
E N D
