關(guān)鍵技術(shù)
采用類Sora的DiT結(jié)構(gòu)和flow模型
請輸入
可靈是快手AI團(tuán)隊(duì)自研的視頻生成大模型，于2024年6月6日在官網(wǎng)正式上線。[1]
可靈支持生成長達(dá)2分鐘的30fps視頻，分辨率高達(dá)1080p，并且支持多種寬高比?？伸`大模型采用類Sora的DiT結(jié)構(gòu)，用Transformer取代傳統(tǒng)的卷積網(wǎng)絡(luò)結(jié)構(gòu)，為了提升計(jì)算效率，還使用flow模型作為擴(kuò)散模型基座，生成的視頻不僅運(yùn)動幅度大且合理，還能模擬物理世界特性，具備強(qiáng)大的概念組合能力和想象力。[2][3] 可靈大模型的推出標(biāo)志著快手在AI視頻生成技術(shù)上的又一重大突破。它不僅具備強(qiáng)大的生成能力，還能模擬真實(shí)的物理世界。[2]
發(fā)展歷程
2024年6月6日，快手“可靈”視頻生成大模型官網(wǎng)正式上線，可靈大模型已在快影App開放邀測體驗(yàn)。[1]7月24日，可靈AI宣布基礎(chǔ)模型升級，全面開放內(nèi)測，并且正式上線了會員體系。[4] 產(chǎn)品功能
可靈支持生成長達(dá)2分鐘的30fps視頻，分辨率高達(dá)1080p，并且支持多種寬高比?？伸`大模型結(jié)合多項(xiàng)自研技術(shù)創(chuàng)新，生成的視頻不僅運(yùn)動幅度大且合理，還能模擬物理世界特性，具備強(qiáng)大的概念組合能力和想象力。[2][3]可靈AI還擁有高表現(xiàn)模式、視頻延長、視頻生成尾幀參考、視頻運(yùn)鏡支持大師運(yùn)鏡等多種會員專屬功能。[4]
應(yīng)用領(lǐng)域
可靈大模型可應(yīng)用于多個場景，如快影APP中的“AI舞王”和“AI唱跳”等功能。[2]
技術(shù)特點(diǎn)
可靈采用了類Sora的DiT結(jié)構(gòu)，用Transformer取代了傳統(tǒng)的卷積網(wǎng)絡(luò)結(jié)構(gòu)，使得模型的處理和生成能力更強(qiáng)。數(shù)據(jù)質(zhì)量對模型的表現(xiàn)至關(guān)重要?？焓执竽Ｐ蛨F(tuán)隊(duì)構(gòu)建了一個完備的標(biāo)簽體系，從視頻基礎(chǔ)質(zhì)量、美學(xué)和自然度等多個維度對視頻數(shù)據(jù)進(jìn)行篩選和優(yōu)化，并研發(fā)了視頻描述模型，能夠生成精確、結(jié)構(gòu)化的視頻描述，大幅提升了視頻生成模型的文本指令響應(yīng)能力。[2] 為了提升計(jì)算效率，可靈大模型采用了flow模型作為擴(kuò)散模型基座，并使用分布式訓(xùn)練集群，通過算子優(yōu)化和重算策略優(yōu)化，顯著提升了硬件利用率。在訓(xùn)練過程中，團(tuán)隊(duì)采用分階段訓(xùn)練策略，初期階段通過大量數(shù)據(jù)增強(qiáng)模型對概念的理解，后期階段通過高質(zhì)量數(shù)據(jù)進(jìn)一步提升模型性能和細(xì)節(jié)表現(xiàn)。[2]
相關(guān)意義
可靈大模型的推出標(biāo)志著快手在AI視頻生成技術(shù)上的又一重大突破。它不僅具備強(qiáng)大的生成能力，還能模擬真實(shí)的物理世界。[2]
本站僅提供存儲服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請
點(diǎn)擊舉報(bào)。
