MPEG-2TS
碼流編輯的
原理及其
應(yīng)用 作者：遼寧電視臺 趙季偉 在當(dāng)今數(shù)字媒體不斷發(fā)展、新媒體業(yè)務(wù)不斷涌現(xiàn)的前提下，實踐證明襁褓中的新媒體只有兩種經(jīng)營方略可供選擇：或是購買并集成整套節(jié)目，或是低成本深加工新節(jié)目，再不可能去按照傳統(tǒng)生產(chǎn)模式去自采自編。低成本的節(jié)目生產(chǎn)制作與發(fā)布，不僅成為數(shù)字媒體經(jīng)營的主要手段，也成為傳統(tǒng)媒體“改革工作流程”的重要舉措，進(jìn)而促成了對新型工作母機(jī)和簡捷快速流程的迫切需求。
在遼寧新媒體多業(yè)務(wù)綜合服務(wù)平臺上，先于國際和國內(nèi)應(yīng)用了MPEG-2傳輸流快速剪輯編輯系統(tǒng)（以下簡稱
碼流快編）。這項由遼寧電視臺與深圳奧維迅公司在2003年10月聯(lián)合開發(fā)的新技術(shù)，為數(shù)字媒體低成本節(jié)目的制作、推廣和運營提供了高效生產(chǎn)工作母機(jī)。盡管擔(dān)負(fù)此項目源代碼開發(fā)的奧維迅公司出現(xiàn)了經(jīng)營問題，在技術(shù)推廣的中間環(huán)節(jié)發(fā)生梗塞，但并不能說明此項技術(shù)走到了盡頭?；仡?年的應(yīng)用實踐及研發(fā)成果，需要的不是揚棄，而是演進(jìn)的升級，否則就是對可調(diào)控資源的莫大浪費。特別是針對第二代信源編解碼國標(biāo)AVS-P2的更新?lián)Q代，很可能成為多業(yè)務(wù)內(nèi)容整合的新一代產(chǎn)品的突破口。
一 工作原理
1. 功能目標(biāo)
碼流快編的應(yīng)用目標(biāo)是，通過對開放視頻的采集，將DVB-S或C的傳輸流（Transport Stream，TS）節(jié)目作為信源，直接進(jìn)行剪輯處理，再經(jīng)過人工創(chuàng)意后，整合為新主題內(nèi)容的新節(jié)目，以便直接進(jìn)入頻道集成或編輯頻道節(jié)目播出，快速實現(xiàn)數(shù)據(jù)層的內(nèi)容整合，不僅簡捷了采集制作的工作流程，而且為豐富媒體內(nèi)容資產(chǎn)開辟了一條捷徑。因為
碼流快編的工作流程無需先以解碼后的視頻記錄于磁帶，再以磁帶上載編輯機(jī)，經(jīng)編輯后再下載成為磁帶，再編碼
復(fù)用成為新內(nèi)容的新節(jié)目。即便數(shù)字化完成以后，視頻數(shù)據(jù)流仍不能用于經(jīng)
復(fù)用的數(shù)字傳輸，還需編碼、轉(zhuǎn)碼、打包等傳輸格式化以后，才能在數(shù)字信道上傳輸。而采用
碼流快編以后，不僅避免了解碼后再采樣編碼所形成的視頻損耗，還避免了在1∶1時間的上下載中所造成的效率損耗。更重要的是在視頻內(nèi)容整合中，一次性完成音/視頻同步剪切、字幕處理和音/視頻數(shù)據(jù)打包
復(fù)用等連續(xù)作業(yè)。所以，它能夠提高生產(chǎn)效率60%以上。必要時還可進(jìn)行節(jié)目包裝的特技編輯，直接創(chuàng)建數(shù)據(jù)級和文件級的互聯(lián)互通內(nèi)容交換平臺，在媒體資產(chǎn)管理下，順利實現(xiàn)網(wǎng)絡(luò)化與智能化的節(jié)目配送與發(fā)布。
由于
碼流快編是針對以TS為信源的再編輯系統(tǒng)，所以實行“高來高走，低來低走”，或是“高來低走”的應(yīng)用策略，即高碼率對應(yīng)高碼率（包括兼容高清），低碼率對應(yīng)低碼率，但碼率連續(xù)可調(diào)，以適應(yīng)高碼率對應(yīng)低碼率的應(yīng)用。理論和應(yīng)用都說明，對比源節(jié)目和成品節(jié)目，經(jīng)剪切和編輯處理的圖像保持了同等的視頻質(zhì)量，成為不劣化圖像的創(chuàng)新工作流程和新型工作母機(jī)。
2. 設(shè)計特征
碼流快編的低成本與高效率來自它的主要特征。常規(guī)的非線性編輯機(jī)是在編碼一側(cè)做文章，通過采集編碼卡實現(xiàn)視頻圖像多層多軌的非線性編輯；而
碼流快編則是在解碼一側(cè)下功夫，通過對TS拆包還原為基本
碼流（Elementary Stream，ES），而后經(jīng)編輯再封包成為TS，快速實現(xiàn)視頻內(nèi)容整合的業(yè)務(wù)應(yīng)用。因而，
碼流快編除了運用非線性圖像處理技術(shù)外，最大的特點是運用了MPEG-2和DVB的系統(tǒng)原理，在此基礎(chǔ)上進(jìn)行圖像處理的應(yīng)用開發(fā)。
通過圖1的系統(tǒng)概念，可以看出
碼流快編運用了一個逆向思維的方法，利用DVB系統(tǒng)傳輸?shù)陌l(fā)/收互逆關(guān)系，將收端的單節(jié)目傳輸流（SPTS）作為信源，通過ES實現(xiàn)以視頻非線性處理的目標(biāo)功能。這時的解決方案有兩個：一是在TS基礎(chǔ)上直接進(jìn)行圖像處理的基礎(chǔ)開發(fā)，實現(xiàn)與常規(guī)非編一樣的操作界面和編輯習(xí)慣，這樣雖好，但是沒有參照模型以及可利用的技術(shù)資源，必須從零開始的重寫源代碼；二是將TS轉(zhuǎn)碼為ES，以ES幀結(jié)構(gòu)和句法格式還原成為符合ITU-R.601建議的原始視頻幀，就可以很方便地利用或附加現(xiàn)有的常規(guī)非編技術(shù)，以無卡站形式實現(xiàn)編輯。
碼流快編同時采用了兩種方案，一方面獨立開發(fā)新產(chǎn)品系列，以適應(yīng)于快速發(fā)展的數(shù)字電視業(yè)務(wù)需求，另一方面提高系統(tǒng)的兼容性，向后兼容傳統(tǒng)非編，有利于在媒體資產(chǎn)管理下實現(xiàn)互聯(lián)互通和投資保護(hù)。圖2說明了方案二的ES還原并顯示原始視頻的GOP幀結(jié)構(gòu)。
通過圖2可以認(rèn)為，既然能夠形成IBBP的句法幀，再轉(zhuǎn)換成為全I(xiàn)幀格式并不難。這樣一來，就可以利用原有的非線性編輯技術(shù)，連續(xù)處理長與短GOP、全I(xiàn)幀與IBP幀結(jié)構(gòu)、可變與固定
碼流的節(jié)目素材，實現(xiàn)不同節(jié)目格式的快編與混編。由此可見，
碼流快編的開發(fā)技術(shù)難點，是結(jié)合DVB系統(tǒng)與MPEG-2標(biāo)準(zhǔn)，從譯碼過程中讀出元數(shù)據(jù)，實現(xiàn)基于解碼器的圖像處理技術(shù)，并能兼容以編碼卡為基礎(chǔ)的非線性編輯技術(shù)。因而被業(yè)內(nèi)稱為“第一個吃螃蟹者”。
3. 數(shù)據(jù)變換
既然要把TS作為節(jié)目源進(jìn)行編輯，就需要將TS包中的數(shù)據(jù)變換為非線性編輯所能使用的元數(shù)據(jù)和視頻流。它們是以
碼流快編作為工作母機(jī)進(jìn)行生產(chǎn)的真正原料。
***** 該內(nèi)容需會員回復(fù)才可瀏覽 *****
第三個過程是將拆包后所得數(shù)據(jù)信息，以規(guī)范的裝填還原MPEG-2 ES以及元數(shù)據(jù)，因而裝填數(shù)據(jù)是
碼流快編的重要技術(shù)環(huán)節(jié)。
（1）裝填
復(fù)用的基本
碼流包
依據(jù)MPEG-2 TS規(guī)范結(jié)構(gòu)（如圖5所示），
復(fù)用的基本
碼流包（Packetized Elementary Stream，PES）是由包頭、自適應(yīng)區(qū)的ES特有信息和包數(shù)據(jù)3部分所組成。由于包頭和ES特有信息二者可合成1個數(shù)據(jù)頭，因而可認(rèn)為1個PES包是由包頭和包數(shù)據(jù)（有效載荷）2個部分所組成。對有線、衛(wèi)星、地面廣播網(wǎng)接收的TS，經(jīng)過解調(diào)和解擾處理后選取包長為188B的SPTS，并從包頭中提取相關(guān)信息，以PID區(qū)別不同SPTS包，以連續(xù)計數(shù)器的順序計對標(biāo)注PID的TS包重建一個獨立分組的PES。根據(jù)自適應(yīng)區(qū)中的填充數(shù)據(jù)，裝填到不為TS包整數(shù)倍的PES包中，以保證PES變長包的完整性。同時，依據(jù)包頭及自適應(yīng)區(qū)內(nèi)的同步字節(jié)、原始程序參考時鐘（Original Program Clock Reference，OPCR）、PCR等同步和識別信息，提供27MHz的解碼同步時鐘，裝填共同時間基準(zhǔn)、獨立時間基準(zhǔn)、可變包長和有效載荷等數(shù)據(jù)。
裝填成為PES對
碼流快編具有格外重要的意義，因為PES包內(nèi)含音/視頻的ES以及包括PID的12個包頭識別標(biāo)志，當(dāng)對PES包的起點不能精確定位、對PES包頭標(biāo)志符不能準(zhǔn)確識別時，就不能保證拆包后再打包的圖像無縫接續(xù)和聲畫同步。這是在初期研發(fā)過程中遇到并獲得突破的技術(shù)難點。
（2）裝填基本
碼流 根據(jù)MPEG-2規(guī)范的PES包結(jié)構(gòu)（如圖6），還需進(jìn)一步裝填為連續(xù)ES流。ES是指只包含1個信源的數(shù)據(jù)流，即視頻數(shù)據(jù)流或音頻數(shù)據(jù)流。每個ES由若干個緩存器的特定存取單元（Access Unit，AU）所組成，而每個視頻AU或音頻AU都是由頭部和編碼數(shù)據(jù)的2部分。1個AU相當(dāng)于編碼的1幀視頻圖像或1個音頻幀的取樣。PES的包頭為恢復(fù)ES提供了向?qū)А?
對于PES包頭，具有ES特有信息的顯示時間標(biāo)記（Presentation Time Stamp，PTS）、解碼時間標(biāo)記（Decode Time Stamp，DTS）標(biāo)志、基本流時鐘基準(zhǔn)（Elementary Stream Clock Reference，ESCR）信息標(biāo)志、基本流速率信息標(biāo)志、數(shù)字存儲媒體（Digital Storage Media，DSM）的特技信息標(biāo)志等等，其中，唯有PTS/DTS標(biāo)志，是解決視音頻同步顯示，防止輸入緩存器上溢或下溢的關(guān)鍵所在。
在裝填過程中，數(shù)據(jù)定位指示符引導(dǎo)PES還原所包含的視頻、音頻及所屬其它數(shù)據(jù)流（如同步、數(shù)據(jù)和數(shù)據(jù)通道等），包頭識別標(biāo)志的PTS/DTS指示了可變長度包數(shù)據(jù)的幀同步時間，當(dāng)區(qū)分音/視頻和其它數(shù)據(jù)以后，依據(jù)PTS/DTS對視頻幀分配給特定的AU。其中尤以獨立時間基準(zhǔn)是還原ES的同步基礎(chǔ)。對于PES包數(shù)據(jù)，一方面通過擴(kuò)展標(biāo)志的數(shù)據(jù)包計數(shù)器，引導(dǎo)恢復(fù)數(shù)據(jù)流，另一方面利用循環(huán)冗余校驗（Cyclic Redundancy Check，CRC）輔助檢測并糾正可能存在的數(shù)據(jù)包丟失。
4. 精確幀定位
幀定位是精確編輯的基礎(chǔ)，而精確的幀定位來自于精確的幀同步。在ES上實現(xiàn)逐幀精確的編輯，首要問題是實現(xiàn)精確幀的同步。
如前所述，裝填后的ES變成僅含有1種性質(zhì)的PES包，或視頻ES，或音頻ES。以視頻為例，圖7表明了在PTS/DTS標(biāo)示的獨立同步時間基準(zhǔn)指示下，順序裝填再順序讀出，形成連續(xù)ES的I1P4B2B3P7B5B6（N=7）GOP組幀順序。由于PES的數(shù)據(jù)分組是可變長度的數(shù)據(jù)包，但它的最大包數(shù)據(jù)容量為65526Byte。因此，在
碼流快編中必須為每個AU準(zhǔn)備必不可少的緩存空間。
如圖7所示，PTS表明圖像幀出現(xiàn)在目標(biāo)解碼器（System Target Decoder，STD）的時間，DTS表明將存取單元全部字節(jié)從STD的ES解碼緩存器移出的時刻。當(dāng)以PTS/DTS為獨立時間基準(zhǔn)，定位和標(biāo)志PES的AU起始點后，對UA依次組成圖像幀序為I1P4B2B3P7B5B6 I10B8B9的ES。對于I、P幀而言，PES的圖像幀序為I1P4B2B3P7B5B6I10B8B9，應(yīng)該P4比B2、B3在先，但顯示時P4一定要比B2、B3在后，這就必須重新排序。在PTS/DTS時間標(biāo)志指引下，將P4提前插入數(shù)據(jù)流，經(jīng)過緩存器重新排序，重建視頻幀序I1B2B3P4B5B6P7B8B9I10。顯然，PTS/DTS是表明確定事件或確定信息，并以專用時標(biāo)形態(tài)確定事件或信息的開始時刻。
值得注意的是，雖然在PES中應(yīng)該每個I、P、B幀的包頭都具有一個PTS和DTS，但由于B幀的解碼時間和顯示時間存在一致性，因而對B幀而言，PTS與DTS具有相同作用，無須DTS，只須PTS。音頻數(shù)據(jù)包也很有特點，雖然它可以含有多個存取單元，但由于它必須按照時間順序傳送，所以音頻包頭中也不含DTS，只有1個PTS。
由此可見，PTS/DTS不僅直接關(guān)聯(lián)幀定位，而且直接關(guān)系到
碼流快編的幀精確編輯。為此，
碼流快編的幀定位著重處理以下幾個幀序特征：
* 當(dāng)處理某個含有1個I幀的存取單元時，在其包頭文件中應(yīng)有DTS和PTS，且2個標(biāo)記之間的時間間隔為1個圖像周期，那么在雙向編碼時的P幀應(yīng)在I幀之后，在包頭文件中就應(yīng)有1個DTS和1個PTS，而這2個標(biāo)記之間應(yīng)存在3個圖像周期的間隔，這樣才能插入2個B幀。
* 當(dāng)前處理IPBB時，I幀應(yīng)延遲1個圖像周期，P幀應(yīng)延遲3個圖像周期，而2個B幀則無需延遲，于是，最后的顯示順序就成為了IBBP幀序。
* 若需要改變GOP結(jié)構(gòu)時，例如在I與P幀之間需要存在更多的B幀，則需調(diào)整B幀DTS與PTS之間的時間間隔。
* 當(dāng)處理IPBB序列后，必在第1個B幀之前先對I和P幀進(jìn)行解碼，但每次只能對一幀圖像進(jìn)行解碼，因此需要先解I幀并暫存后，待P幀被解碼時，隨即讀出I幀，而后再讀B幀。
* 在處理包頭時，對PTS/DTS指示的某圖像幀，特殊關(guān)注是否只有1個PTS時間標(biāo)記，是否含有PTS和DTS的2個時間標(biāo)記，以便快速確認(rèn)I、P與B幀，以及音頻包。
當(dāng)作為編輯節(jié)目源的MPEG-2 TS被拆包以后，以PTS/DTS實現(xiàn)視頻幀的精確定位，就能以幀精確的剪切編輯實現(xiàn)
碼流快編功能，同時，也能以I1P4B2B3P7B5B6I10B8B9幀序顯示I1B2B3P4B5B6P7B8B9I10幀序。那么，在此基礎(chǔ)上嫁接現(xiàn)成的MPEG-2 IBP非線性編輯的成熟技術(shù)，既不需要高價的采集編碼卡，也不需要上下載的轉(zhuǎn)碼，從采集、轉(zhuǎn)碼、拆包剪切，到特技處理、打包上傳，一氣呵成地構(gòu)成了
碼流快編系統(tǒng)。
二 實際應(yīng)用
考慮到
碼流快編的兼容性和通用性，以及互聯(lián)互通網(wǎng)絡(luò)平臺內(nèi)容交換的需要，系統(tǒng)是在Windows平臺上開發(fā)應(yīng)用，系統(tǒng)流程詳見圖8。
事實上就應(yīng)用層而言，看不出
碼流快編與常規(guī)非編究竟有什么區(qū)別。只是對照圖8，才能看出常規(guī)應(yīng)用時是以傳統(tǒng)磁帶記錄的內(nèi)容為節(jié)目源，這就需要圍繞采集編碼卡，設(shè)立上下載工作站，通過將模擬節(jié)目采集編碼為數(shù)據(jù)流以后，再進(jìn)行剪切等編輯。因而，目前還需對廣泛應(yīng)用的模擬視頻提供接口選項，附加上下載工作站。它的應(yīng)用界面及其采集參數(shù)選項參見圖9。圖9、10表示數(shù)據(jù)輸入的采集操作界面，顯示目標(biāo)文件格式初始化選項與合成屬性，以維系連續(xù)應(yīng)用的工作流程。
經(jīng)采集所合成的
碼流格式文件，可以同時轉(zhuǎn)換成為可供交換的各種流格式和連續(xù)可調(diào)的速率，以適應(yīng)各種內(nèi)容編輯的整合策略需求，并可利用網(wǎng)絡(luò)，對連續(xù)生產(chǎn)的其它工作站輸送和交換素材，直至包括特技的特殊內(nèi)容加工。這些交換文件的合成屬性以及應(yīng)用格式選項參見圖10。
雖然在
碼流快編上進(jìn)行快速編輯并合成文件時，與常規(guī)操作不無不同，但是通過對TS文件的快速正、反向搜索，以每一幀的入點、出點的精確定位，進(jìn)行非線性編輯的剪切操作，制作成為新內(nèi)容體裁的新文件，卻被廣電總局主管節(jié)目的領(lǐng)導(dǎo)所認(rèn)可，被稱之為“海量空中節(jié)目的過濾器”。同時，它還可以根據(jù)內(nèi)容的需要，通過內(nèi)置的迭加臺標(biāo)、欄目、字幕等字幕軟件，直接參與編輯節(jié)目內(nèi)容信息編輯或局部遮蓋，并可聯(lián)立采集工作站，形成生產(chǎn)流水線，進(jìn)行不同任務(wù)種類的專項加工。如圖11所示，在時間軌上的不同視頻、音頻、字幕等，均可按幀精確的快速合成為新節(jié)目或新素材。
如圖12所示，當(dāng)合成新節(jié)目或素材時，文件格式的也可以根據(jù)使用的需要加以選擇。如果作為DVB播出節(jié)目的成品，則可選擇“MPEG-2TS流（DVB格式）”選項；如果需要作為進(jìn)一步深加工的素材，則可選擇“MPEG-2ES流（M2V+MPA）”選項，以素材集的形式存放于共享應(yīng)用的集中存儲。這樣編輯后的節(jié)目素材或成品，理論上可以保證與節(jié)目源完全相同的視頻質(zhì)量。
還值得一提的是，只要在此基礎(chǔ)上再增加一塊廉價的Matrox-RGX100采集卡，就可以進(jìn)一步集成無限軌、無限層的第二代非線性編輯技術(shù)，成為多格式混編、混排的超級深度特技編輯機(jī)，為動漫、游戲等新媒體節(jié)目的快速加工創(chuàng)造工具。
三 結(jié)語
無論
碼流快編對節(jié)目制作的現(xiàn)實意義存在何種褒貶，但在一次數(shù)字版權(quán)還沒有進(jìn)階到二次版權(quán)法規(guī)的時候，它的存在具有特殊重要意義。畢竟能夠通過僅12名（前期6人）的人員投入，以低成本、高效率的節(jié)目加工，為遼寧電視臺提供了18套全省的數(shù)字電視節(jié)目，而且維系了近3年的節(jié)目生產(chǎn)，至今贏得了全省近百萬數(shù)字電視用戶的向往與肯定。試想一下，倘若按照常規(guī)作法，只播出1套節(jié)目用12個編輯就很可能要“累死人了”。
實踐證明，當(dāng)國外的政治體制和法規(guī)觀念與國內(nèi)存在現(xiàn)實差異的時候，國際上不屑一顧的產(chǎn)品并不是國內(nèi)市場沒有需求；當(dāng)國際與國內(nèi)市場趨于接軌的時候，對瞬息萬變的市場不屑一顧也不是新技術(shù)的初衷；當(dāng)
碼流快編因某種原因并沒有得到推廣的時候，不屑一顧地?fù)P棄它的內(nèi)核就不是實事求是。最恰當(dāng)?shù)膶Σ呤抢^承技術(shù)原理的設(shè)計理念，與時俱進(jìn)地升級新產(chǎn)品，才能獲得廣電和企業(yè)的整體效益。
摘自《現(xiàn)代電視技術(shù)》
