當(dāng)代生活，我們總是在追求更大的屏幕尺寸、更好的屏幕素質(zhì)和更高的刷新率。目前來(lái)看，電視屏幕的刷新率已經(jīng)從 4K 60 幀向 8K 120 幀過(guò)渡，手機(jī)也從 90 幀向 120 幀發(fā)展，最強(qiáng)的還是我們這些「打游戲」的 PC 玩家，顯示器的刷新率已經(jīng)是 144 起步，還要玩顯示器超頻。

但是和屏幕對(duì)應(yīng)的則是影視內(nèi)容幀率的增長(zhǎng)停滯：視頻已經(jīng)實(shí)現(xiàn)了 30 幀向 60 幀過(guò)渡，電視劇和電影還是維持在 24 幀的水平。

在這樣的情況下，我們可以通過(guò)自給自足的方式實(shí)現(xiàn)視頻的補(bǔ)幀。

?

什么是補(bǔ)幀？

其實(shí)不管是 PC 上的補(bǔ)幀、PR 里的光流法渲染、還是電視上的 MEMC 動(dòng)態(tài)補(bǔ)償，本質(zhì)上都是通過(guò)計(jì)算畫(huà)面中像素的運(yùn)動(dòng)軌跡，再依靠插幀的方式進(jìn)行補(bǔ)幀。

在一段影片當(dāng)中，一個(gè)物體的運(yùn)動(dòng)軌跡是相對(duì)固定的，因此通過(guò)算法可以很容易地算出兩幀畫(huà)面中物體的運(yùn)動(dòng)軌跡，在兩幀運(yùn)動(dòng)軌跡的中間加入模擬的運(yùn)動(dòng)軌跡幀，實(shí)現(xiàn)插幀效果。通過(guò)這樣的手段能夠?qū)崿F(xiàn) 30 變 60 及以上的幀率，并且能夠減少畫(huà)面的拖影，讓視頻看起來(lái)更加干凈清晰。

但是問(wèn)題是這樣簡(jiǎn)單的補(bǔ)幀會(huì)出現(xiàn)很多問(wèn)題：例如會(huì)加大顯卡的壓力，帶來(lái)散熱和功耗的壓力；有可能會(huì)出現(xiàn)畫(huà)面物體的撕裂；物體邊緣由于像素運(yùn)動(dòng)是「從無(wú)到有」，因此可能會(huì)出現(xiàn)連續(xù)性方面問(wèn)題，這被稱(chēng)之為塊效應(yīng)；無(wú)法很好地解決前有遮擋的運(yùn)動(dòng)物體的運(yùn)動(dòng)軌跡補(bǔ)幀。

因此現(xiàn)階段最先進(jìn)的補(bǔ)幀方案是通過(guò) AI 計(jì)算的方式進(jìn)行補(bǔ)幀，請(qǐng)注意這里的 AI 不是噱頭，而是真的通過(guò) AI 卷積神經(jīng)網(wǎng)絡(luò)計(jì)算的方式。

首先，要喂給 AI 大量的已有影像資料，通過(guò)機(jī)器學(xué)習(xí)的方式使 AI 訓(xùn)練出一個(gè)叫做「卷積核」的東西，這個(gè)卷積核是一個(gè)函數(shù)，輸入畫(huà)面到輸出畫(huà)面的變化就是由這個(gè)卷積核加權(quán)平均后決定的。

卷積核有點(diǎn)像一個(gè)「超級(jí)濾鏡」，通過(guò)這個(gè)卷積核計(jì)算的視頻能夠?qū)崿F(xiàn)更加清晰和智能的補(bǔ)幀。

這種 AI 補(bǔ)幀能夠?qū)崿F(xiàn)遠(yuǎn)勝于傳統(tǒng)運(yùn)動(dòng)補(bǔ)幀算出來(lái)的視頻效果，在上海交大開(kāi)源的 DAIN（Depth-Aware Video Frame Interpolation） 插幀算法中，已經(jīng)可以實(shí)現(xiàn)自動(dòng)識(shí)別景深來(lái)輔助插幀，這樣幾乎完全解決了由于遮擋帶來(lái)的畫(huà)面 BUG。

圖片來(lái)源：極客灣視頻

但是相對(duì)來(lái)說(shuō)這種補(bǔ)幀方式實(shí)現(xiàn)的成本也非常高：由于需要 CUDA 的幫助才能計(jì)算，因此必須要有一塊英偉達(dá)顯卡，AI 計(jì)算非常吃顯卡性能（尤其是顯存），所以這塊顯卡的水平還不能太差；非常花時(shí)間，以小時(shí)或者天為單位來(lái)實(shí)現(xiàn)優(yōu)化。

多說(shuō)一句，這種 AI 計(jì)算的方式不但可以用來(lái)插幀，還可以用來(lái)提升畫(huà)質(zhì)，實(shí)現(xiàn) 480P 變 4K 的神奇操作。2019 年上映的電影《決勝時(shí)刻》中的開(kāi)國(guó)大典就是根據(jù)從俄羅斯買(mǎi)回來(lái)的原片經(jīng)過(guò) AI 算法進(jìn)行了修復(fù)后，實(shí)現(xiàn)了「膠片變 4K」的神奇效果。

?

如何實(shí)現(xiàn)補(bǔ)幀？

目前補(bǔ)幀操作主要還是在電視和 PC 上實(shí)現(xiàn)，電視主要依靠 MEMC 芯片進(jìn)行運(yùn)動(dòng)補(bǔ)幀，通常在電視的設(shè)置里，在這里就不過(guò)多介紹了。這里主要介紹一下 PC 的補(bǔ)幀方式。

AMD 顯卡

如果你是 AMD 顯卡，那么你可以直接使用 AMD 官方的「AMD Fluid Motion video」功能搭配 Potplayer 播放器來(lái)完成插幀。

· 要有一張 GNC 或者 Vega 架構(gòu)的 AMD 顯卡，并下載最新的 AMD 驅(qū)動(dòng)。

· 打開(kāi)「AMD Fluid Motion video」功能。

· 下載 Bluesky Frame Rate Converter，安裝完成后點(diǎn)擊「Enable AFM Support」。

· 在 Potplayer 中的「選項(xiàng) - 濾鏡 - 全局優(yōu)先濾鏡 - 添加系統(tǒng)濾鏡」選擇「Enable AFM Support」濾鏡，并強(qiáng)制使用。

這樣就完成了設(shè)置，新視頻就完成了視頻補(bǔ)幀，實(shí)測(cè)效果還可以吧。

NVIDIA 顯卡

如果你是 Nvidia 顯卡，可以選擇 SVP 或者是 DmitriRender 搭配 Potplayer 或者 MPC-HC 播放器使用。

SVP 已經(jīng)是知名的老牌 PC 插幀軟件了，大家可以在其官網(wǎng)上選擇對(duì)應(yīng)的版本進(jìn)行下載，Windows、Mac、Linux 都有支持，官方教程也比較清楚。

缺點(diǎn)是收費(fèi)（比較貴）、比較吃系統(tǒng)資源（尤其是顯卡），而且在我的 1050TI 筆記本上經(jīng)常出現(xiàn)音畫(huà)不同步的情況。

DmitriRender 是一款新興的視頻插幀軟件，相較于 SVP 比較節(jié)省系統(tǒng)資源，收費(fèi)也更便宜。使用方式同樣也是下載后添加濾鏡。

這兩種方式 AMD 顯卡和核顯都可以用，不過(guò) AMD 更推薦上面的原生方案，核顯可能會(huì)出現(xiàn)資源不夠的情況。

特別提醒

插幀軟件通常會(huì)有電影和動(dòng)漫兩種方案。

這是由于動(dòng)畫(huà)通常不是一幀一張畫(huà)面的，而是「一拍二」或者「一拍三」，就是一張畫(huà)用兩幀或者三幀畫(huà)面，也就是說(shuō)「12 張圖構(gòu)成 24 幀」或者是「8 張圖構(gòu)成 24 幀」，剩下的部分由觀眾「腦補(bǔ)」而成（人體神奇的大腦和視覺(jué)系統(tǒng)）。

庵野秀明的「一拍三」變「一拍一」

這被稱(chēng)作「關(guān)鍵幀動(dòng)畫(huà)」，由手冢治蟲(chóng)提出。這樣做主要是可以在不降低動(dòng)畫(huà)質(zhì)量的前提下， 減輕動(dòng)畫(huà)原畫(huà)的壓力，但是會(huì)給插幀軟件帶來(lái)困擾……

此外「隔行掃描」的視頻是無(wú)法進(jìn)行插幀的，不過(guò)現(xiàn)在隔行掃描的視頻已經(jīng)基本沒(méi)有了，所以影響不大。

目前來(lái)看，體驗(yàn)出色的補(bǔ)幀視頻能夠相當(dāng)程度上提升視頻的觀看體驗(yàn)，這點(diǎn)相信看過(guò)李安最近幾部電影的都應(yīng)該有所感覺(jué)。但是目前的民用補(bǔ)幀技術(shù)還相對(duì)比較落后，我還是非常期待 AI 補(bǔ)幀能夠達(dá)到正常用戶(hù)使用水平的那天。

一個(gè)更加流暢的世界。

撰文 / 愷倫

編輯 / 愷倫

責(zé)任編輯 / 愷倫

文中部分圖片來(lái)源于網(wǎng)絡(luò)