1、MPEG-2碼流結(jié)構(gòu)
在數(shù)字電視系統(tǒng)中，模擬視音頻信號按照MPEG-2的標(biāo)準(zhǔn)，經(jīng)過抽樣、量化及壓縮編碼形成基本碼流ES，基本碼流ES是不分段的連續(xù)碼流。把基本碼流分割成段，并加上相應(yīng)的頭文件打包形成的打包基本碼流PES（如圖1所示），PES包和包之間可以是不連續(xù)的。在傳輸時將PES包再分段打成有固定長度188B的傳送碼流TS或可變長度的節(jié)目流包（PS包）。PES只是PS轉(zhuǎn)換為TS或TS轉(zhuǎn)換為PS的中間步驟或橋梁，時MPEG-2數(shù)據(jù)流互換的邏輯結(jié)構(gòu)。TS和PS這兩種碼流分別適應(yīng)于不同的場合應(yīng)用，節(jié)目流PS適合在相對出錯較少的環(huán)境下使用，其長度是變化的，而傳送流TS能夠把多個節(jié)目在基于一個或多個時間標(biāo)識的基礎(chǔ)上構(gòu)成一個流，傳送流適合于出錯較多的場合下使用。用數(shù)據(jù)包傳輸?shù)膬?yōu)點(diǎn)是：網(wǎng)絡(luò)中信息可占用不同的連接線路和簡單暫存。通過數(shù)據(jù)包交織把多個數(shù)據(jù)流復(fù)用成一個新的數(shù)據(jù)流。便于解碼器按照相應(yīng)順序?qū)?shù)據(jù)包進(jìn)行靈活的整理，從而，為數(shù)據(jù)流同步和復(fù)用奠定了基礎(chǔ)。MPEG-2的結(jié)構(gòu)可分為壓縮層和系統(tǒng)層，其中ES屬于壓縮層，PES和TS/PS屬于系統(tǒng)層。
在PES層，主要是在PES包頭信息中加入PTS(顯示時間標(biāo)簽)和DTS（解碼時間標(biāo)簽）用于視頻、音頻同步。而在TS流中，TS包頭加入了PCR(節(jié)目時鐘參考)，用于解碼器的系統(tǒng)時鐘恢復(fù)。在節(jié)目流PS包頭中加入SCR,它的作用與PCR域相似。
ES是編碼視頻數(shù)據(jù)流或音頻數(shù)據(jù)流，每個ES都由若干個存取單元（AU）組成，每個視頻AU或音頻AU都是由頭部和編碼數(shù)據(jù)兩部分組成，1個AU相當(dāng)于編碼的1幅視頻圖像或1個音頻幀，也可以說，每個AU實(shí)際上是編碼數(shù)據(jù)流的顯示單元，即相當(dāng)于解碼的1幅視頻圖像或1個音頻幀的取樣。
我們知道，MPEG-2對視頻的壓縮產(chǎn)生I幀、P幀、B幀。把幀順序I1幀-P4幀-B2幀-B3幀-P7幀-B5幀-B6幀的編碼ES，通過打包并在每個幀中插入PTS/DTS標(biāo)志，變成PES。在插入PTS/DTS標(biāo)志時，由于在B幀PTS和DTS是相等的，所以無須在B幀多插入DTS（參見圖1）。而對于I幀和P幀，由于經(jīng)過復(fù)用后數(shù)據(jù)包的順序會發(fā)生變化，顯示前一定要存儲于視頻解碼器的從新排序緩存器中，經(jīng)過從新排序后再顯示，所以一定要同時插入PTS和DTS作為從新排序的依據(jù)。例如，解碼器輸入的圖像幀順序?yàn)镮1-P4-B2-B3-P7-B5-B6，但顯示時P4一定要在B2、B3之后，在PST和DTS的指引下，經(jīng)過緩存器從新排序，以從建視頻幀順序?yàn)椋篒1-B2-B3-P4- P7-B5-B6。
將PES包再打成更小的具固定長度的TS包時在其包頭位置加入了PCR和PID(包標(biāo)識)。PID的值是由用戶確定的，解碼器根據(jù)PID把TS（多節(jié)目傳輸流)上不同節(jié)目的TS包區(qū)分出來，以重建原來的ES。另外，TS的包頭包含一個4bit的連續(xù)計(jì)數(shù)器，連續(xù)計(jì)數(shù)器可對PID包傳送順序計(jì)數(shù)，據(jù)計(jì)數(shù)器讀數(shù)，接收端可判斷是否有包丟失及包傳送順序錯誤。所以TS的包頭具有同步、識別、檢錯等功能。
2、時間模型
在MPEG-2系統(tǒng)層時間模型中，它的端到端延遲——從信號進(jìn)入編碼器到信號從解碼器輸出是一個常數(shù)，信號總共經(jīng)過編碼器、編碼緩沖器、多路復(fù)用器、傳輸或存儲、解復(fù)用器、解碼緩沖器以及解碼器等器件的延遲。如圖2所示。
所有的視頻和音頻經(jīng)過采樣（A/D變換）進(jìn)入編碼器后，經(jīng)一恒定的延遲，在解碼器分別輸出顯示，采樣后的碼率在編碼器和解碼器中應(yīng)嚴(yán)格相等。在MPEG-2中，所有的時序被定義成一個共同的系統(tǒng)時鐘（STC），故編碼器、解碼器的系統(tǒng)時鐘必須同步。解碼器的系統(tǒng)時鐘應(yīng)由編碼器的系統(tǒng)時鐘經(jīng)恒定延遲后恢復(fù)出來，以服從于編碼器。
對于PS（節(jié)目流）而言，這個時鐘可以與視頻或音頻采樣時鐘之間有一個嚴(yán)格的特定比率，或者稍有區(qū)別，但仍足以提供精確的端到端的時序和時鐘恢復(fù)。而在TS（傳輸流）中，此系統(tǒng)時鐘頻率與視頻或音頻的采樣時鐘之間任何時候都必須有嚴(yán)格的比率關(guān)系，其目的是為了在解碼器中恢復(fù)視音頻采樣后的碼率。
3、時間標(biāo)簽定義及同步機(jī)制
編碼器中有一個系統(tǒng)時鐘（其頻率是27MHz），此時鐘用來產(chǎn)生指示音視頻的正確顯示和解碼的時間標(biāo)簽，同時可用來指示在采樣過程中系統(tǒng)時鐘本身的瞬時值。指示音視頻顯示時間的時間標(biāo)簽稱為顯示時間標(biāo)簽（PTS），指示音視頻的解碼時間標(biāo)簽稱為解碼時間標(biāo)簽（DTS），指示系統(tǒng)時鐘本身的瞬時值的時間標(biāo)簽稱為節(jié)目參考時鐘標(biāo)簽（PCR）。解碼器通過VBV_delay（視頻流延時值，在解碼時利用視頻流緩沖區(qū)把視頻流緩存到相應(yīng)的vbv_delay時間后，再啟動解碼器解碼、顯示、實(shí)現(xiàn)音視頻的同步。vbv_delay存在于視頻ES的頭部，長度為16bit）的數(shù)值來確定解碼的開始，用解碼時間標(biāo)簽（DTS）和顯示時間標(biāo)簽（PTS）來確定解碼和顯示的次序，用PCR來獲得系統(tǒng)時鐘的同步。解碼器中的系統(tǒng)時鐘及其同步就是依靠這些時間標(biāo)簽來進(jìn)行恢復(fù)和修正的。
PCR、PTS、DTS具體構(gòu)成如下：
PCR的插入必須在PCR字段的最后離開復(fù)用器的那一時刻，同時把27 MHz系統(tǒng)時鐘的采樣瞬時值作為PCR字段插入到相應(yīng)的PCR域。27 MHz時鐘經(jīng)波形整理后分兩路，一路是由27MHz脈沖直接觸發(fā)計(jì)數(shù)器生成擴(kuò)展域PCR_ext，長度為9bits。另一路經(jīng)一個300分頻器后的90 kHz脈沖送入一個33位計(jì)數(shù)器生成90KHZ基值，列入PCR_base（基值域），長度33bits，用于和PTS/DTS比較，產(chǎn)生解碼和顯示所需要的同步信號。這兩部分被置入PCR域，共同組成了42位的PCR。
PTS域?yàn)?3bits，編碼成為3個獨(dú)立的字段，表示此分組中第一個訪問單元在系統(tǒng)目標(biāo)解碼器中的預(yù)定顯示時間。
DTS域也為33bits，編碼成為3個獨(dú)立的字段，表示此分組中第一個訪問單元在系統(tǒng)目標(biāo)解碼器中的預(yù)定解碼時間。
解碼器在解碼時，首先利用PCR重建和編碼器同步的27 MHz系統(tǒng)時鐘，恢復(fù)27 MHz系統(tǒng)時鐘后，再利用PES流中的DTS，PTS進(jìn)行音頻與視頻間的同步，同時利用VBV_Delay設(shè)置解碼器的緩沖時長，后啟動初始解碼。
解碼器同步算法如下：
（1） 解碼器從輸入碼流的包頭中解出時間信息PCR送入到系統(tǒng)時間時鐘恢復(fù)電路；系統(tǒng)時間時鐘恢復(fù)電路在接收到每一個新的PCR時，進(jìn)行本地系統(tǒng)時間時鐘恢復(fù)和鎖相。
（2） 解復(fù)用器后，從PES包頭中解出顯示時間標(biāo)簽PTS和解碼時間標(biāo)簽DTS，并送入到基本流解碼器中。
（3） 基本流解碼器在接收到新的PTS/DTS后，存入對應(yīng)的FIFO(先進(jìn)先處存儲器)中進(jìn)行管理；對于沒有PTS/DTS的顯示單元，需要對其時間標(biāo)簽進(jìn)行插值，并送入到FIFO中管理。
（4） 每一顯示單元開始解碼前，用其對應(yīng)的DTS與STC進(jìn)行比較，當(dāng)STC與DTS相等時開始解碼；
（5） 每一顯示單元開始顯示前，用其對應(yīng)的PTS與STC進(jìn)行比較，當(dāng)STC與PTS相等時開始顯示。
在理想情況下，PTS和DTS的值應(yīng)該是相同的，但由于實(shí)際解碼器在解碼時需要一定的時間，所以PTS和DTS的值是不同的。如果在PES包頭中只出現(xiàn)了PTS，我們就認(rèn)為DTS=PTS。
4、系統(tǒng)時鐘（STC）恢復(fù)
在解碼器中，STC的恢復(fù)是同步的關(guān)鍵。如果解碼器中的時鐘頻率和編碼器的時鐘頻率嚴(yán)格匹配，那么視頻和音頻的解碼和顯示將自動和編碼器保持相同的速率，此時，端到端的延遲是一個常數(shù)。在實(shí)際中，是利用接收到的PCR的值來使解碼器時鐘服從于編碼器的系統(tǒng)時鐘，其典型方法是通過鎖相環(huán)（PLL）。
當(dāng)一個新節(jié)目的PCR到達(dá)解碼器時，就需要更新時間基點(diǎn)，STC要設(shè)置為PCR中的當(dāng)前值。通常第一個從解復(fù)用器中解出的PCR被直接裝入到STC的計(jì)數(shù)器，PCR的值作為鎖相環(huán)的參考頻率，用來和STC的當(dāng)前值比較，產(chǎn)生的差值e，經(jīng)過脈寬調(diào)制后輸入到低通濾波器并經(jīng)放大，成為控制信號f用來控制振蕩器（VCO）的瞬時頻率，VCO輸出的頻率是在27 MHz左右振蕩信號，它作為解碼器的系統(tǒng)時鐘。如圖3所示。
5、DTS/PTS的管理
在PCR域的33 bits中的90 kHz部分（即PCR-Base域）用于與PTS和DTS作比較，當(dāng)二者相同時，相應(yīng)的單元被顯示或者解碼。但按照MPEG-2標(biāo)準(zhǔn)的規(guī)定，PTS/DTS位于PES包的包頭中，而解復(fù)用器所解出的PES包頭的字節(jié)不被送入到任何基本流解碼器的輸入緩沖區(qū)，僅用于控制各解碼器工作。每當(dāng)解復(fù)用器解到一個PTS/DTS時，PTS/DTS就作為其后送入各個基本流解碼器的輸入緩沖器中的數(shù)據(jù)的顯示/解碼時間，但此時送入信道緩沖器中的基本流并不一定立即被解碼，因此基本流解碼器必須記錄當(dāng)前這個PTS/DTS及所對應(yīng)的碼流位置，以利于后面的解碼和顯示同步。
針對以上分析，我們采用如下方法來達(dá)到解碼與顯示的同步：在每一個基本流解碼器中建立一個33 bits的PTS/DTS先入先出存儲器（FIFO），用以存放PTS/DTS值，同時在解復(fù)用器中加入一個檢測電路，每當(dāng)碼流開始新的一幀圖像時，則產(chǎn)生一個信號，用來通知基本流解碼器，并將該幀圖像的PTS/DTS寫入到FIFO中。每當(dāng)解碼器解到一幀圖像時，就從FIFO中讀出相應(yīng)的PTS/DTS，此PTS/DTS與STC進(jìn)行比較，當(dāng)兩者相等時，當(dāng)前圖像就開始顯示/解碼。
在MPEG-2標(biāo)準(zhǔn)中，并非每一個PES包或每一幀圖像均有PTS和DTS，一般PS流中每兩個PTS之間的間隔是0.7 s，而TS流中每兩個PTS之間的間隔是0.1 s，所以在沒有PTS和DTS的一幀圖像出現(xiàn)時，我們可以在前一PTS/DTS的基礎(chǔ)上加一增量得到對應(yīng)該幀圖像的PTS/DTS，并將計(jì)算出來的新的PTS/DTS插入到存放PTS/DTS的FIFO中去，即：PTSn=PTSn－1+ΔPTS（n為第n幀圖像）。
6、PTS/DTS同步實(shí)現(xiàn)和失步處理
27 MHz系統(tǒng)時鐘經(jīng)過300分頻后，得到本地的33 bits PCR_Base，該時鐘與寄存器中當(dāng)前圖像的PTS/DTS進(jìn)行比較，系統(tǒng)軟件根據(jù)比較結(jié)果做出相應(yīng)的處理：
（1） 若當(dāng)前的PTS/DTS比PCR計(jì)數(shù)器的值小于半幀以上，即PTS_Base≤-ΔPTS/2，此時說明系統(tǒng)解碼過慢，解碼器處于失步狀態(tài)，應(yīng)根據(jù)該幀的結(jié)構(gòu)做出相應(yīng)的同步調(diào)整；
（2） 若當(dāng)前的PTS/DTS比PCR計(jì)數(shù)器的值在半幀時間以內(nèi)，我們認(rèn)為此時系統(tǒng)解碼正常，立即顯示/解碼當(dāng)前幀；
（3） 若當(dāng)前的PTS/DTS大于PCR計(jì)數(shù)器的值，則此時解碼器稍快，在這種情況下，只需等到PCR與PTS/DTS相等時，就可顯示/解碼。
