3G 到 4G 時代，帶寬增大，使得短視頻興起，也使實時互動蓬勃發(fā)展；到 5G 時代，大量新的視頻應用會如海浪般涌入市場，例如基于 VR、AR、360° 的實時互動會為大眾帶來極致的體驗。關(guān)于實時互動技術(shù)有哪些機遇與挑戰(zhàn)？又有哪些不錯的探索與嘗試呢？
2020 年 11 月 21 日，在 GTLC 全球技術(shù)領(lǐng)導力峰會上海站 & 蘇州站，聲網(wǎng) Agora 首席科學家鐘聲，從 5G 的加速發(fā)展入手，深入分享了 RTE 實時互動技術(shù)的挑戰(zhàn)與解決方案，以下為演講整理內(nèi)容，Enjoy～
鐘聲，聲網(wǎng) Agora 首席科學家，北京大學數(shù)學系學士和博士，曾任海信芯片總經(jīng)理、博通資深主任科學家、華亞微電子技術(shù)副總裁。擁有 100 余項技術(shù)發(fā)明專利。曾是 IEEE 成員，共發(fā)表了 30 余篇論文。
很高興能有機會與大家交流，聽完嘉賓關(guān)于 5G 的分享，收獲頗豐，我今天的分享內(nèi)容也與 5G 相關(guān)，我們都知道，“實時互動”是疫情時期以及后疫情時期的發(fā)展趨勢。從二月份開始，遠程工作、線上教育、游戲、社交娛樂突然變得極其火熱。后疫情時期，5G 的建設(shè)速度會極大地加快并為實時互動帶來新的機遇，也會帶來一些問題。
5G 加速發(fā)展大概有以下幾個原因：
視頻流量的激增；
地緣政治的因素。中美之間的競爭、大國之間的競爭，使 5G 建設(shè)得以加速，成為制高點；
實時互動驅(qū)動的服務(wù)會出現(xiàn)很多新型的體驗。
我們舉例說明一下，視頻將會朝向高清、超高清的方向發(fā)展，VR、AR、360 轉(zhuǎn)播也會陸續(xù)增多，除此之外還有很多新的連接會出現(xiàn)，諸如 RTE + Smart Car，可以使得出行工具成為移動辦公和娛樂的場所；RTE + Smart Home，可以讓我們與冰箱互動隨時補充家庭食物需求；RTE + Smart City，可以讓我們與智慧城市的連接更為廣泛。
今年 8 月份，美國硅谷發(fā)生了好幾起火災，如果可以配備有監(jiān)控的攝像頭進行實時的互動，就可以更早地發(fā)現(xiàn)火情，減輕火災損失。
除去體驗與互動連接之外，基于實時互動技術(shù)的新應用也會出現(xiàn)。例如，RTE + Health、RTE + Finance 、RTE + Social Care 以及 RTE + Legal 等等。
就 RTE + Legal 來說，目前在美國，法務(wù)人員可以通過遠程進行取證，合理合法。RTE + Sports 方面，利用實時互動，使得不同地方，愛好運動的伙伴，可以一起虛擬比賽騎自行車，跑步，健身等等。
剛剛談及到健康領(lǐng)域，再分享一下今年八月初的一篇文章，它介紹了美國的疫情之后，關(guān)于醫(yī)療健康方面的發(fā)展趨勢。首先是政策方面的變化。保險公司、政府等機構(gòu)均開始調(diào)整保險政策，允許報銷線上問診的費用，包括健康咨詢與診斷等。比如政府的 Medicare，已經(jīng)新增 135 種基于遠程互動的線上服務(wù)。
新冠疫情之前，每周只有 13000 人利用遠程線上咨詢與問診，7 月份左右，每周增加至 170 萬人左右，約 130 倍的增長幅度，截止 7 月底有 1000 萬人使用到了遠程線上服務(wù)。
其次，在私營計劃里，50% 的保險已經(jīng)把基于最新的技術(shù)的線上問診納入到基本的保險覆蓋中，已經(jīng)有一千 4 百萬人參加了這個計劃。這篇文章預測疫情結(jié)束以后，這種線上問診趨勢不會停止。
就在四月份疫情期間，帶寬需求突然增加，美國政府甚至要求流媒體公司下調(diào)視頻分辨率，以減少卡頓。流量激增對 RTE 技術(shù)也提出了很大的挑戰(zhàn)，我們測量了美國硅谷出現(xiàn)的擁堵情況，上圖是 4 月 17 日的家庭網(wǎng)絡(luò)擁堵情況，平均丟包率超過 30% 左右，最高丟包率竟達 82%。
除去帶寬擁堵的挑戰(zhàn)之外，無線信號容易受干擾的特性也為實時互動的體驗帶來了比較大的挑戰(zhàn)。對于遠程診斷來說，能夠高質(zhì)量實時互動非常關(guān)鍵，對于社交與娛樂來說，又何嘗不是這樣呢？
在體驗為王的經(jīng)濟時代，延時、清晰度、卡頓等等因素，都直接關(guān)系到用戶的觀看時長以及用戶留存等。
另外網(wǎng)絡(luò)也將更碎片化，5G 網(wǎng)路會帶來了一些新的問題。比如 5G 用戶身處 5G 網(wǎng)絡(luò)沒有覆蓋的地方怎么辦？4G 用戶和 5G 用戶之間的交流怎么辦？5G 用戶總是試圖傳送一些更高清、更高分辨率的視頻，但是 4G、3G 用戶卻無法接收它們，我們?nèi)绾纹交袚Q？另一方面，由于地緣政治的原因（美國政府限制中國電信、中國移動在美國的運營等），跨洋數(shù)據(jù)會有更多跨運營商的傳輸，會導致更多問題。如何改善這些問題？等等。
解決這些問題有以下關(guān)鍵的幾點：
首先，最重要的方面是打造敏捷性，當變化出現(xiàn)時候，可以及時做出響應和正確的決策，敏捷性的關(guān)鍵是模塊化的系統(tǒng)設(shè)計。
其次，在網(wǎng)絡(luò)條件千變?nèi)f化的情況下，網(wǎng)絡(luò)需要有自適應和可伸縮性，才有可能實現(xiàn)比較平滑的轉(zhuǎn)換。
最后，在帶寬受到限制的時候，我們收到的信息是有限的，因此具備給予有限的信息計算出更多的有益的信息與知識的智能是很重要的。
在這里，為大家詳細講述一下網(wǎng)絡(luò)的自適應以及可伸縮性。假設(shè)有一個四方會議，其中的三個人都會接收到另外一個人的視頻，每位參與者的下行帶寬是不同的，比如低檔寬帶網(wǎng)速是 0.2Mbps、中檔的是 1.2Mbps、高檔的是 2Mbps，這時候大部分的做法都是以固定的碼流發(fā)送視頻。由于低帶寬的人收到高碼流會出現(xiàn)卡頓現(xiàn)象，所以他會不停地要求發(fā)送端發(fā)小一點，直到發(fā)送 0.2mbps，他覺得很 OK，但是其余兩位高帶寬的人收到的視頻卻不理想。
如何處理這種情況呢？
有的做法是發(fā)多條流，每一條流的帶寬分別和接收者的帶寬是匹配的，但是終究能發(fā)的流數(shù)有限。而且因為本身網(wǎng)絡(luò)會擁堵，又同時下發(fā)了很多條流，綜合來說這種方法不經(jīng)濟，也不合理。
比較理想的辦法是「實時探知參會者網(wǎng)絡(luò)情況，及時了解每位接收者的帶寬，并且做可伸縮性的自適應下發(fā)」。
這種方式強調(diào)的是進行 Scalable coding，并且有足夠的顆粒度，使得有更多的機會適應好具有不同帶寬的眾多觀眾，并且跟網(wǎng)絡(luò)的條件進行聯(lián)合編碼 - 傳輸?shù)膬?yōu)化，這樣就有機會在云端做一些智能的下發(fā)策略，從一條流中找出最適合某個接收者的視頻流，通過智能的決策下發(fā)。目前聲網(wǎng)最新的方案技術(shù)上已經(jīng)支持這樣方式。
在理想的網(wǎng)絡(luò)條件下，很多方案都可帶來接收的體驗，但是往往影響體驗的是時而出現(xiàn)的弱網(wǎng)高丟包情況或者擁堵情況。例如，對做線上教育的企業(yè)來說，上課效果不好，學生的家長不滿意，常常會要求退課甚至換到別的平臺，企業(yè)需要花費較高的成本將家長留下來。這也就是我們提供高質(zhì)量實時音視頻互動服務(wù)的價值所在。
針對算法上的阻礙，我們有一些比較創(chuàng)新的東西，「用機器學習的算法來探知帶寬的變化，估算網(wǎng)絡(luò)的擁塞，甚至來識別數(shù)據(jù)丟包」。
（左邊是公開發(fā)表的兩個算法，右邊是強化學習算法做出的結(jié)果）
用我們的實戰(zhàn)案例為大家做闡述。從圖中可以看到，模擬網(wǎng)絡(luò)帶寬變化時高時低，左下角的方波是理想的曲線。公開文論中的兩個算法表現(xiàn)如下：左下角藍色和黃色線跟蹤帶寬變化的情況都不理想，比如方波中帶寬已經(jīng)開始下降時，藍色曲線方法才上探不到一半。左上角的帶寬也不是很好，黃色這條曲線稍好一些，但是波動特別大，即便是左上圖基本到了峰值帶寬的時候，也會有很大的波動，這個波動可能意味著你的視頻質(zhì)量會不均勻的波動，不是很好的狀態(tài)。
右邊是強化學習算法做出的結(jié)果，相對來講理想很多，跟蹤更及時，波動也很小。這樣做之后的結(jié)果是「各個鏈路的觀看和自適應性得到了優(yōu)化，每一個接收端根據(jù)自己的帶寬，得到了當時可能的最佳體驗；另外在 80% 的丟包率下，我們做到了視頻仍然比較流暢」。
當遇到帶寬不夠或丟包率比較高的情況，我們只能接受碼率降低，分辨率降低或者幀率降低的情況嗎？今天介紹兩個方法來彌補這種情況：我們可以用人工智能的算法，將低幀率變成高幀率，還可利用 AI 超分辨率算法增加低分辨率視頻的分辨率和細節(jié)。
目前，有些技術(shù)可以在云端做，不過實時互動可能無法在云端實施，因為比如如果在云端將音視頻清晰度提上去，數(shù)據(jù)量就會相應地增大，壓縮起來較為困難，這樣會增加本已經(jīng)擁堵的網(wǎng)絡(luò)狀況，導致更嚴重的卡頓或延時，“實時”也就失去了意義，因此這些技術(shù)需要在移動端進行。
移動端進行的話需要把深度學習算法做到極致小，研發(fā)手機可以幾毫秒就能處理一幀的深度學習算法，這還是有相當大的挑戰(zhàn)。我們往往先把把基本算法做得比較扎實。
我們在生成對抗網(wǎng)絡(luò)模型上完成了非常有效的創(chuàng)新。采用了 Lipschitz （這里指“ 利普希茨連續(xù)條件”）連續(xù)條件進行優(yōu)化，在生成對抗網(wǎng)絡(luò)上增加了隱空間（隱變量的樣本空間），并在隱空間之上進行優(yōu)化、并且反過來約束生成對抗網(wǎng)絡(luò)。
采用這個超分辨率算法之后的結(jié)果還是比較理想的，其客觀數(shù)據(jù)指標全面優(yōu)于近兩年來“超分在業(yè)界被引用最廣的文章”(鏈接：https://arxiv.org/abs/1809.00219) 的超分結(jié)果。另外，我們的視覺效果也優(yōu)于該論文結(jié)果。
下面是一些算法優(yōu)化之后的效果，右下角是大家都希望得到的效果。右上角是 2018 年底歐洲計算機視覺會議超分競賽第一名的結(jié)果，右上角的細節(jié)恢復了很多出來，但紋理、走勢有些零亂，不是特別理想。中間是我們自研方法的結(jié)果，清晰度和紋理有所提升。
這種提升對于某些應用還是比較重要的。例如，當實施教學的時候，老師在黑板上的字跡，如果超分的時候變形，后果可能是學生們認不出字來了，影響教學效果，另外比如在一些醫(yī)學應用上，如果計算結(jié)果將一些病人的紋理改變，這會是比較嚴重的問題。
另外 5G 時代的來臨，有很多機會與挑戰(zhàn)，其中增加現(xiàn)場感和臨場感的實時互動相當重要。而自適應和可伸縮性對 VR、360° 全景實時互動直播也很關(guān)鍵。
以 360° 的應用做一個簡單的說明，首先在 360° 的情況下，視覺關(guān)注的地方比較清晰，周圍是比較模糊，這意味著可以把視頻數(shù)據(jù)可以兩部分進行傳輸，一部分以高清晰度，另外的以低清晰度傳。
另外一點，我們的視點是變化的，關(guān)注點可能在不斷變化，所以如果眼睛轉(zhuǎn)向的時候，高清晰度的數(shù)據(jù)還沒到來，就不能看到最清晰的圖像，這樣體驗會很受影響，我們需要把視點變化正確地預測出來，把這部分的數(shù)據(jù)同時提前編碼、提前傳輸，這樣需要傳送的數(shù)據(jù)流就更增多了。
這樣還會引發(fā)更多的新問題，比如當網(wǎng)絡(luò)不順暢的時候，要傳送很多條數(shù)據(jù)流，這幾條數(shù)據(jù)流之間很可能出現(xiàn)不匹配的情況，比如收到的數(shù)據(jù)并不是接收方需要的，再比如其中一條收到了 1、3、5 幀，另外一條收到 2、4、6 幀，很不理想。這種情況下可伸縮和自適應性就顯得非常重要。
這個 Demo 是支持全景實時互動的，全景是以 4K 的方式表征的，試點區(qū)域是 720P，主要展示的是視點關(guān)注的這部分，以及視點變化時事先預測的區(qū)域的及時更新。這項 Demo 目前還很初步，等完善后它的應用會非常多，比如旅游、運動、體育、教學，甚至直播帶貨等。
實時互動場景是與 5G、AI 深度結(jié)合的場景， 5G、AI 對實時互動可以有很精準、很深度的幫助。AI 在實時互動場景有很多可應用方向，諸如聲音的美化、降噪、人臉的美顏、風格轉(zhuǎn)換，以及上述的視頻插幀、超分等等。我們將以進步深化、優(yōu)化 RTE+AI+5G 的結(jié)合。
另外我們將會致力于優(yōu)化新興場景的體驗，像基于 VR、AR、360°的實時互動等新生事物。謝謝大家！希望有興趣的同學可以一起來探討。
