10、靜態(tài)圖像壓縮標(biāo)準(zhǔn)JEPG
10.1、JEPG算法概要
10.1.1、JEPG算法的主要研究內(nèi)容
多灰度連續(xù)色調(diào)靜態(tài)圖像壓縮編碼（即JPEG標(biāo)準(zhǔn)）是適用于彩色和單色多灰度或連續(xù)色彩靜止數(shù)字圖像的壓縮標(biāo)注。它包括無損壓縮和基于離散余弦變換和Huffman編碼的有損壓縮兩個部分，JEPG定義了兩種相互獨(dú)立的基本壓縮算法：
·基于DCT的有失真壓縮算法；
·基于空間線性預(yù)測技術(shù)（DPCM）的無失真壓縮算法。
JEPG算法主要存儲顏色變化，尤其是亮度變化，因?yàn)槿搜蹖α炼茸兓葘︻伾兓鼮槊舾小Ｖ灰獕嚎s后重建的圖像與原來圖像在亮度變化、顏色變化上相似，在人眼看來就是同樣的圖像。其原理是不重建原始畫面，而生成與原始畫面類似的圖像，丟掉那些未被注意到的顏色。
JEPG算法與彩色空間無關(guān)，因此“RGB到Y(jié)UV變換”和“YUV到RGB變換”不包含在JEPG算法中。JEPG算法處理的彩色圖像是單獨(dú)的彩色分量圖像，因此，它可以壓縮來自不同彩色空間的數(shù)據(jù)，如RGB，YcbCr和CMYK。
10.1.2、JEPG算法框圖
壓縮的過程，如下圖所示：
JEPG壓縮編碼大致分為三個步驟：
·使用正向離散余弦變換（forward discrete cosine transform，F(xiàn)DCT）把空間域表示的圖變換成頻率域表示的圖。
·使用加權(quán)函數(shù)對DCT系數(shù)進(jìn)行量化，這個加權(quán)函數(shù)對于人的視覺系統(tǒng)視最佳的。
·使用Huffuman可變字長編碼器對量化系數(shù)進(jìn)行編碼。
解壓縮的過程與壓縮編碼過程正好相反，如下圖所示：
10.2、JEPG算法主要計(jì)算步驟
JEPG壓縮編碼算法的主要計(jì)算步驟如下：
（1）、正向離散余弦變換（FDCT）。
（2）、量化（quantization）。
（3）、Z字形編碼（zigzag scan）。
（4）、使用差分脈沖編碼調(diào)制（DPCM）對直流系數(shù)DC進(jìn)行編碼。
（5）、使用行程長度編碼（run-length encoding,RLE）對交流系數(shù)（AC）進(jìn)行編碼。
（6）、熵編碼（entropy coding）。
10.2.1、DCT變換（離散余弦變換）
按序分塊，將圖像分成 8 * 8 的圖像子塊。對每一個子塊，進(jìn)行DCT變換，得到DCT系數(shù)矩陣。DCT變換，即離散余弦變化。DCT（x,y）= f（像素（x，y））。為了壓縮RGB彩色圖像，這項(xiàng)工作必須進(jìn)行3遍，因?yàn)镴PEG分別處理每個顏色成分。
10.2.2、量化
量化說起來很簡單，是一種降低整數(shù)精度的過程，因此就減少了存儲整數(shù)所需的位數(shù)。量化的過程：試圖確定什么信息可以安全地消去，而沒有任何明顯的視覺保真度損失。DCT系數(shù)矩陣被量化以減少系數(shù)的精度，因此提高了壓縮率。
DCT系數(shù)矩陣
·量子矩陣就得到了量化后的DCT系數(shù)矩陣。
·量子矩陣可以控制量化的精度。量子矩陣中的值越大，則量化后的系數(shù)越接近于0。一般來說，量子矩陣中右下角的值較大。
10.2.3、進(jìn)行Z掃描
量化后的DCT系數(shù)要重新編排，目的為了增加連續(xù)0的個數(shù)，右下角的部分接近0，把這個矩陣中的值重新排列游程，可以使游程中0值的長度增加，以此進(jìn)一步提高壓縮率。JPEG提出用之字形序列的方法為量化后的DCT系數(shù)排序。
10.2.4、直流系數(shù)（DC）進(jìn)行編碼
8×8圖像塊經(jīng)過DCT變換之后得到的DC直流系數(shù)有兩個特點(diǎn)：
·一是系數(shù)的數(shù)值比較大，
·二是相鄰8×8圖像塊的DC系數(shù)值變化不大。
根據(jù)這個特點(diǎn)，JPEG算法使用了差分脈沖編碼（DPCM）技術(shù)，對相鄰圖像塊之間量化DC系數(shù)的差值Delta進(jìn)行編碼。
Delta ＝ DC（0，0）－DC（0，0）k-1
10.2.5、交流系數(shù)的編碼
量化AC系數(shù)的特點(diǎn)是1×64矢量中包含許多“0”系數(shù)，并且許多“0”是連續(xù)的，因此非常簡單和直觀的游程長度編碼（RLE）對它們進(jìn)行編碼。
JEPG使用了1個字節(jié)的高4位來表示連續(xù)“0”的個數(shù)，而使用它的低4位來表示編碼下一個非“0”系數(shù)所需要的位數(shù)，跟在它后面的是量化AC系數(shù)的數(shù)值。
10.2.6、熵編碼
使用熵編碼還可以對DPCM編碼后的直流DC系數(shù)和RLE編碼后的交流AC系數(shù)作進(jìn)一步的壓縮。
10.2.7、組成位數(shù)據(jù)流
JEPG最后一個步驟是把各種標(biāo)記代碼和編碼后的圖像數(shù)據(jù)組成一幀一幀的數(shù)據(jù)。這樣做的目的是為了便于傳輸、存儲和譯碼器進(jìn)行譯碼，這樣的組織的數(shù)據(jù)通常稱為JPEG位數(shù)據(jù)流。（JPEG bitstream）
11、運(yùn)動圖像壓縮標(biāo)準(zhǔn)MPEG
活動圖像專家組（Moving Picture ExpertGroup，MPEG）負(fù)責(zé)開發(fā)電視圖像數(shù)據(jù)和聲音數(shù)據(jù)的編碼、解碼和它們的同步等標(biāo)準(zhǔn)。這個專家組開發(fā)的標(biāo)準(zhǔn)稱為MPEG標(biāo)準(zhǔn)，到目前為止，已經(jīng)開發(fā)和正在開發(fā)的MPEG標(biāo)準(zhǔn)有：MPEG1，MPEG2，MPEG4，MPEG7，MPEG21等。
11.1、MPEG-1標(biāo)準(zhǔn)介紹
MPEG-1是“動態(tài)圖片專家組”（Moving Picture Expert Group，簡稱MPEG）提出的“用于數(shù)字存儲媒體運(yùn)動圖像及其伴音率為1.5Mbit/s的壓縮編碼”。
簡介：
·MPEG視頻壓縮算法采用了三個基本技術(shù)：運(yùn)動補(bǔ)償（預(yù)測編碼和插補(bǔ)編碼）、DCT變換編碼技術(shù)和熵編碼技術(shù)。
·在MPEG中，DCT不僅用于幀內(nèi)壓縮，對于幀間預(yù)測再作DCT變換，可減少空域冗余，以達(dá)到進(jìn)一步壓縮的目的。
·由于視頻和音頻需要同步，所以MPEG壓縮算法應(yīng)該對二者聯(lián)合考慮，最后產(chǎn)生一個電視質(zhì)量的視頻和音頻壓縮形式的位速率約為1.5Mbit/s的MPEG單一位流。
11.1.1、MPEG-1視頻數(shù)據(jù)流的結(jié)構(gòu)
（1）、運(yùn)動序列：運(yùn)動序列包括一個表頭，一組或多組圖像和序列結(jié)束標(biāo)志碼。
（2）、圖像組：圖像組由一系列圖像組成，可以從運(yùn)動序列中隨機(jī)存取。
（3）、圖像：圖像信號分3個部分：一個亮度信號Y和兩個色度信號U、V。亮度信號Y由偶數(shù)個行和偶數(shù)個列組成，色度信號U、V分別取Y信號在水平和垂直方向的1/2。如圖所示，藍(lán)點(diǎn)代表色度U、V的位置，亮度Y位置用黃點(diǎn)表示。
（4）、塊：一個塊由一個8×8的亮度信息或色度信息組成。
（5）、宏塊：一個宏塊由一個16×16的亮度信息和兩個8×8色度信息構(gòu)成。
（6）、圖像切片由一個或多個連續(xù)的宏塊構(gòu)成。
11.1.2、MPEG-1視頻編碼技術(shù)
MPEG數(shù)據(jù)壓縮過程中存在著的主要問題是：
·一方面僅僅使用幀內(nèi)編碼方法無法達(dá)到很高的壓縮比；
·另一方面用單一的靜止幀內(nèi)編碼方法能最好地滿足隨機(jī)存取的要求。
在具體實(shí)現(xiàn)中，對這兩個方面做了折衷考慮。在MPEG編碼算法中采用兩種基本技術(shù)，即為了減少時間上冗余性的基于塊的運(yùn)動補(bǔ)償技術(shù)和基于DCT變換的減少空間上冗余性的ADCT技術(shù)。
（1）、圖像類型
在MPEG中將視頻看成是一系列的圖片，這些圖像分為3種類型：I圖像（intra picture），P圖像（predicted picture），B圖像（bidirectional picture）。
·I圖像（幀內(nèi)圖）：是利用圖像自身的相關(guān)性壓縮，提供壓縮數(shù)據(jù)流中的隨機(jī)存取的點(diǎn)，采用基于ADCT的編碼技術(shù)，壓縮后，每個像素為1～2比特。
·P圖像（預(yù)測圖）：是用最近的前一個I圖像（或P圖像）預(yù)測編碼得到（前向預(yù)測），也可以作為下一次預(yù)測的參照圖像。
·B圖像（雙向圖）：綜合參考以前和以后的圖像信息而得到的圖像這種也叫雙向預(yù)測 。
上述幾種類型的圖像及其預(yù)測方法如上圖所示。共采用4種技術(shù)，即：
?。?）、幀內(nèi)編碼；
（2）、前向預(yù)測；
（3）、后向預(yù)測；
（4）、雙向預(yù)測。
（2）、運(yùn)動序列流的組成
MPEG算法允許編碼選擇I圖像的頻率和位置，這一選擇是基于隨機(jī)存取和場景位置切換的需要。一般1秒鐘使用2次I圖像，內(nèi)部是兩幀B圖片一幀P圖片。典型的P圖像和B圖像安排次序如圖所示：
MPEG編碼器解碼器為了高效工作需對上述圖像重新排序，因?yàn)閰⒄請D像必須先于B圖像恢復(fù)之前恢復(fù)。上述1～7幀圖像重新排后圖像組的次序?yàn)椋?/p>
11.1.3、運(yùn)動補(bǔ)償技術(shù)
運(yùn)動補(bǔ)償技術(shù)主要用于消除P圖像和B圖像在時間上的冗余，提高壓縮率。運(yùn)動補(bǔ)償技術(shù)在宏塊一級工作，當(dāng)由運(yùn)動補(bǔ)償法壓縮一個宏塊時，壓縮文件包含信息有：參考圖像和被編碼的宏塊之間的空間差（運(yùn)動矢量）；參考圖像和被編碼的宏塊之間的內(nèi)容差別（稱為誤差項(xiàng)組成）
·假設(shè)每幀當(dāng)前畫面都可以以前面某一幀為原型經(jīng)過變換得到的，這一變換是局部的，即畫面上各點(diǎn)位移的方向和大小不必相同。
·運(yùn)動信息由一個前向預(yù)測和兩個雙向預(yù)測微塊向量構(gòu)成。每個16×16塊的運(yùn)動信息都與鄰塊有所不同，通過對比可確定運(yùn)動向量的變化范圍，并使之與時間分辨率、空間分辨率及畫面內(nèi)容相匹配。
運(yùn)動補(bǔ)償技術(shù)在宏塊一級工作。對于B圖像而言，每16×16宏塊有四種類型：
①幀內(nèi)宏塊（intra macroblock），簡稱I塊；
②前向預(yù)測宏塊（forward predicted），簡稱F塊；
③后向預(yù)測宏塊（backward predicted macroblock），簡稱B塊；
④平均宏塊（average macroblock），簡稱A塊。
對于P圖像，其宏塊只有I幀和F幀兩種。
·I塊：無論B圖像還是P圖像，I塊處理技術(shù)都與I圖像中所采用的技術(shù)一致，即ADCT技術(shù)。
·P塊、B塊和A塊：MPEG都采用基于塊的運(yùn)動補(bǔ)償技術(shù)。
·F塊預(yù)測時其參照為前一個I圖像或P圖像。B塊預(yù)測時，其參照為后一個I圖像或P圖像。對于A塊預(yù)測其參照為前后兩個I圖像或P圖像。
基于塊的運(yùn)動補(bǔ)償技術(shù)：
就是在其參照幀中尋找符合一定條件限制、當(dāng)前被預(yù)測塊的最佳匹配塊。找到匹配塊后，有兩種處理方法：一是在恢復(fù)被預(yù)測塊時，用匹配塊代替；二是對預(yù)測的誤差采用ADCT技術(shù)編碼，在恢復(fù)被預(yù)測塊時，用匹配塊加上預(yù)測誤差。
每個包含運(yùn)動信息的16×16宏塊，相對于前面相鄰塊的運(yùn)動信息作差分編碼，得到運(yùn)動差值，運(yùn)動差值信號除了物體的邊緣處外，其他部分都很小。對于運(yùn)動差值信息，再使用變長碼的編碼方法，可達(dá)到進(jìn)一步壓縮數(shù)據(jù)的目的。
MPEG標(biāo)準(zhǔn)只說明了怎樣表示運(yùn)動信息，如根據(jù)運(yùn)動補(bǔ)償類型，前向預(yù)測、后向預(yù)測、雙向預(yù)測等，每個16×16宏塊可包含有一個或兩個運(yùn)動矢量。MPEG并沒有說明運(yùn)動矢量如何計(jì)算，但它采用基于塊的表示方法，使用塊匹配技術(shù)是可行的。搜索當(dāng)前圖像宏塊與參照圖像之間的最小誤差可獲得運(yùn)動向量。
11.1.4、MPEG的同步技術(shù)和時序機(jī)構(gòu)
多媒體通信系統(tǒng)必須考慮3個問題，即不同虛信道和物理信道中傳送的信息流間的時延極限、信道間的同步和信道間的傳輸時延補(bǔ)償。多媒體信道通常由三部分（如語音、圖像和文本等）組成，盡管各個部分產(chǎn)生的地點(diǎn)和時間可能各不相同，但是它們的顯現(xiàn)往往需要同步，這是區(qū)分多媒體系統(tǒng)與多功能系統(tǒng)的一個重要準(zhǔn)則。
多媒體信息的同步大致分為兩類:
（1）、連續(xù)同步：指的是兩個或多個實(shí)時連續(xù)媒體流之間的同步，如音頻與視頻之間的同步；
（2）、事件驅(qū)動同步：指的是一個或一組相關(guān)事件發(fā)生與因此而引起的相應(yīng)動作之間的同步。
在多媒體通信中，對于單媒體同步可以采用緩沖和反饋法，對于媒體間同步可以采用時間戳法，通過這兩種方法實(shí)現(xiàn)信息同步。
（1）、時序與控制
MPEG 標(biāo)準(zhǔn)提供了一個時序機(jī)構(gòu)以確保音頻和視頻的同步。這個標(biāo)準(zhǔn)包括兩個參數(shù)：系統(tǒng)時鐘參考（SCR）和演播時間戳（PTS）。
（2）、系統(tǒng)時鐘參考
系統(tǒng)時鐘參考是編碼器時鐘的基準(zhǔn)。音頻和視頻所使用的系統(tǒng)時鐘參考值必須近似于一個值。為了保證它們的值相同，MPEG編碼器至少要每0.7s將系統(tǒng)時鐘參考值插入MPEG數(shù)據(jù)流一次，且由系統(tǒng)解碼器抽取系統(tǒng)時鐘參考值并送到視頻和音頻解碼器，如下圖所示。視頻和音頻解碼器用系統(tǒng)解碼器送來的系統(tǒng)時鐘參考值更新其內(nèi)部時鐘。
（3）、演播時間戳
演播時間戳是與視頻或音頻顯示單元有聯(lián)系的編碼器系統(tǒng)時鐘的采樣，一個顯示單元是一個解碼的視頻圖像或一個解碼的音頻時序序列。編碼器至少每0.7s向MPEG流中插入一次多路演播時間戳，演播時間戳表明了視頻將被顯示的時間或音頻時間序列重放的開始時刻。
11.2、MPEG-2
11.2.1、MPEG-2標(biāo)準(zhǔn)簡介
MPEG-1標(biāo)準(zhǔn)，是一個直接與數(shù)字電視廣播有關(guān)的高質(zhì)量圖像和聲音編碼標(biāo)準(zhǔn)，視頻部分主要針對1.5Mbps的應(yīng)用，其約束參數(shù)碼流是針對SIF格式得到優(yōu)化參數(shù)。MPEG-2視頻利用網(wǎng)絡(luò)提供的更高的帶寬（1.5Mbps以上）來支持具有更高分辨率圖像壓縮和更高的圖像質(zhì)量。
MPEG-2標(biāo)準(zhǔn)的特點(diǎn)：
·MPEG-2標(biāo)準(zhǔn)ISO/IEC 11172適用于VCD等數(shù)字存儲介質(zhì)。
·MPEG-2標(biāo)準(zhǔn)ISO/IEC 13818不僅適用于光存儲介質(zhì)，也用于廣播、通信和計(jì)算機(jī)領(lǐng)域，而且高清晰度電視HDTV編碼壓縮用的MPEG-3也包含在MPEG-2標(biāo)準(zhǔn)中。
·在圖像格式方面，有可能進(jìn)行引入標(biāo)準(zhǔn)清晰度電視、高清晰度、隔行掃描、順序掃描等各種分辨率和信號形式的影像編碼。
·MPEG-2音頻與MPEG-1兼容，它們都使用相同種類的編碼譯碼器。
·MPEG-2還支持線性PCM和Dolbey AC-3（audio code number 3）編碼。
·MPEG-2還定義了與MPEG-1音頻格式不兼容的MPEG-2 AAC（advanced audiocoding，先進(jìn)音頻編碼）它是一種非常靈活的聲音感知編碼標(biāo)準(zhǔn)，支持的采樣頻率可從8kHz到96kHz，可支持48個主聲道、16個配音聲道和16個數(shù)據(jù)流。它的壓縮率提高，而且質(zhì)量更高。
MPEG-2與MPEG-1視頻比較：
·支持交迭圖像序列（即每幀圖像由交替的兩個場組成）；
·支持可調(diào)節(jié)性編碼；
·具有其他許多先進(jìn)的選擇、多種運(yùn)動估計(jì)方法和兩種掃描方式；
·具有更好的壓縮效率和圖像質(zhì)量。
MPEG-2編碼方法
·MPEG-2的編碼方法和MPEG-1的編碼方法的區(qū)別主要是在隔行掃描模式下，DCT變換是在場內(nèi)還是在幀內(nèi)進(jìn)行以由用戶自行選擇。
·MPEG-2采用可調(diào)型兩種編碼結(jié)構(gòu)，且采用兩層等級編碼方式。
·MPEG-2算法編碼過程和解碼過程是一種非鏡像對稱算法，也就是說運(yùn)動圖像的壓縮編碼過程與還原編碼過程是不對稱算法，解碼過程要比編碼過程相對簡單。
11.2.2、MPEG-2系統(tǒng)模型
這個標(biāo)準(zhǔn)主要用來定義電視圖像數(shù)據(jù)、聲音數(shù)據(jù)和其他數(shù)據(jù)的組合，把這些數(shù)據(jù)組合成一個或者多個適合于存儲或者傳輸?shù)幕緮?shù)據(jù)流。
·數(shù)據(jù)流有兩種形式，一種為程序數(shù)據(jù)流（program stream，PS），另一種稱為傳輸數(shù)據(jù)流（transport stream，TS）。
·程序數(shù)據(jù)流是組合一個或者多個規(guī)格化的即包化基本數(shù)據(jù)流（packetised elementarystream，PES）而生成的一種數(shù)據(jù)流，用在出現(xiàn)錯誤相對比較少的環(huán)境下，適合軟件處理的應(yīng)用：傳輸數(shù)據(jù)流也是組合一個或者多個PES而生成的一種數(shù)據(jù)流，它用在出現(xiàn)錯誤相對比較多的環(huán)境下，例如在有損失或者噪聲的傳輸系統(tǒng)中。
11.3、MPEG-4
11.3.1、MPEG-4標(biāo)準(zhǔn)簡介
一種針對低速率（<64kbps）下的視頻、音頻編碼和交互播放開發(fā)的算法和工具，其顯著特點(diǎn)是基于內(nèi)容的編碼，更加注重多媒體系統(tǒng)的交互性、互操作性、靈活性。MPEG-4標(biāo)準(zhǔn)是對一幀中的圖象按內(nèi)容分開，分成塊。將感興趣的物體從場景中截取出來，以后的操作就針對這些物體來進(jìn)行。
·MPEG-4采用了基于對象表示的概念，引入了視聽對象（audio/visual objecli AVO），使得更多的交互操作成為可能，AVO可以是一個孤立的人物，也可以是這個物的語音或一段背景音樂等。它具有高效編碼、高效存儲與傳播及可交互操作的特性。
MPEG-4對AVO的操作主要有：
·采用AVO來表示聽覺、視覺或者視聽組合內(nèi)容；
·組合已有AVO來生成復(fù)合的AV0，并生成視聽場景；
·對AVO的數(shù)據(jù)靈活地多路合成與同步，以便選擇合適的網(wǎng)絡(luò)來傳輸這些AVO數(shù)據(jù)；
·允許接收端的用戶在視聽場景中對AVO進(jìn)行交互操作等。
MPEG-4標(biāo)準(zhǔn)由以下幾個主要部分構(gòu)成：
·傳輸多媒體集成框架（delivery multimedia integration framework，DMIF）它是MPEG-4制定的會議協(xié)議，用來管理多媒體數(shù)據(jù)流；
·場景描述；
·音頻編碼MPEG-4不僅支持自然聲音，而且支持合成聲音；
·視頻編碼與音頻編碼類似，MPEG-4也支持對自然聲音的編碼相結(jié)合，并支持合成的視覺對象的編碼。
11.3.2、基于內(nèi)容的視頻編碼
引入了視頻物體，視頻物體平面等概念來實(shí)現(xiàn)基于內(nèi)容的表示。
視頻物體（VO）：Video Object，
視頻物體平面（VOP）：Video Object Plane
基于內(nèi)容的視頻編碼的一般過程
1、VO的形成
2、編碼：對各個VO分別獨(dú)立的編碼，即包括VO的三類信息，（運(yùn)動信息，形狀信息，紋理信息）分別編碼，分配不同碼字。
3、復(fù)合：將各個VO的碼流復(fù)合成一個符合MPEG-4標(biāo)準(zhǔn)的位流。
在編碼和復(fù)合階段可以加入用戶的交互控制或由智能化算法進(jìn)行控制。MPEG-4標(biāo)準(zhǔn)提供靈活的框架和開放的工具集，它通過工具集和句法描述語言不同的組合，支持功能的不同組合。
MPEG-4終端的構(gòu)成：
上圖描繪了MPEG－4用戶終端的構(gòu)成，它解釋了來自網(wǎng)絡(luò)或存儲設(shè)備的流如何被分解成基本流，并傳送到相應(yīng)解碼器的過程。解碼過程從AVO的編碼形成恢復(fù)其數(shù)據(jù)并執(zhí)行必要操作來重構(gòu)原先的AVO，準(zhǔn)備在合適的設(shè)備展現(xiàn)。
11.3.3、基于VOP的編碼
VO是場景中的某個物體，它由時間上連續(xù)的幀畫面序列構(gòu)成。VOP是某一時刻某一幀畫面的VO，VOP編碼即針對某一時刻該幀畫面VO的形狀、運(yùn)動、紋理等三類信息進(jìn)行編碼。
·形狀編碼
一個從場景中截取出的VOP VOP是一個不規(guī)則的形狀。
表示VOP的形狀可用二值圖表示，或者用灰度圖表示。通常用8位表示灰度，可有256級灰度分層，二值圖形狀只需一位表示。如果采用一位表示，約定0表示非VOP區(qū)域，也就是背景，1表示VOP區(qū)域。對于用灰度圖表示的VOP形狀，0表示非VOP區(qū)域，1～255表示VOP區(qū)域，以灰度表示VOP形狀時，物體與背景的邊界輪廓線比二值表示方式要柔和。
MPEG-4標(biāo)準(zhǔn)形狀編碼方法是用位圖法，VOP被一個邊框框注，邊框長、寬均為16的整數(shù)倍，同時保證邊框最小。位圖表示法實(shí)際上就是一個邊框矩陣，矩陣元素為0～255（或0，1），編碼變?yōu)閷@個矩陣的編碼。在現(xiàn)在的標(biāo)準(zhǔn)中，矩陣被分為16×16的塊進(jìn)行編碼。
·運(yùn)動估計(jì)和運(yùn)動補(bǔ)償
MPEG-4標(biāo)準(zhǔn)中的VOP運(yùn)動估計(jì)和運(yùn)動補(bǔ)償與以前的壓縮標(biāo)準(zhǔn)一樣。類似于以前的壓縮標(biāo)準(zhǔn)的三種幀格式：I（幀內(nèi)）幀，P（預(yù)測）幀，B（雙向預(yù)測幀）幀，MPEG-4中也有相應(yīng)的幀格式，I-VOP，P-VOP，B-VOP，表示運(yùn)動補(bǔ)償類型的不同。
·紋理編碼
紋理信息有兩種，可能是內(nèi)部編碼的I-VOP的象素值，也可能是幀間編碼的P-VOP，B-VOP的運(yùn)動估計(jì)殘差值。為了達(dá)到簡單，高性能，容錯性好的目的，仍采用基于分塊的紋理編碼。
VOP邊框仍被分成16×16的宏塊，宏塊由8×8的子塊構(gòu)成。
對每一個宏塊，可以分成3種情況：
VOP外，邊框內(nèi)的塊：不編碼；
VOP內(nèi)的塊：傳統(tǒng)DCT方法編碼；
部分在VOP內(nèi)，部分在VOP外的塊，目前使用的方法是采用重復(fù)填充的方法將該塊在VOP外的部分進(jìn)行填充，再用DCT編碼。
這樣是為了增加塊內(nèi)數(shù)據(jù)的空域相關(guān)性從而利于DCT變換和量化后的編碼。
11.3.4、MPEG-4的功能
最大的特點(diǎn)，基于內(nèi)容的交互性：
· 基于內(nèi)容的多媒體數(shù)據(jù)訪問工具：通過使用各種訪問工具，MPEG-4提供基于音像內(nèi)容的數(shù)據(jù)訪問，例如：索引查詢等。
· 基于內(nèi)容的處理和比特流編輯：MPEG-4提供"MPEG-4句法描述語言"和編碼模式，以支持基于內(nèi)容的處理和比特流編輯，且不需要代碼轉(zhuǎn)換。這個特點(diǎn)使得它的應(yīng)用領(lǐng)域得到很大的增加，例如，數(shù)字特技（對某些物體進(jìn)行特殊的處理）。
· 改進(jìn)的時間隨機(jī)訪問：MPEG-4提供一種有效的方法，可以在有限的時間內(nèi)，且以較高的分辨率，隨機(jī)訪問視頻序列的部分內(nèi)容。包括在很低的比特率下的隨機(jī)訪問。
11.4、MPEG-7標(biāo)準(zhǔn)
11.4.1、產(chǎn)生背景
·傳統(tǒng)的基于關(guān)鍵字或文件名的檢索方法顯然不適于數(shù)據(jù)量龐大，又不具有固定結(jié)構(gòu)特征的聲像數(shù)據(jù)。因此，近年來多媒體研究的一個熱點(diǎn)是聲像數(shù)據(jù)的基于內(nèi)容的檢索。
·實(shí)現(xiàn)這種基于內(nèi)容的檢索的一個關(guān)鍵性的步驟是要定義一種描述聲像信息內(nèi)容的格式，而這與聲像信息的存儲形式（或者說是編碼方式）又是密切相關(guān)的。
·國際標(biāo)準(zhǔn)化組織ISO/IEC領(lǐng)導(dǎo)下的運(yùn)動圖像專家組MPEG，在推出影響極大的MPEG-1，MPEG-2，MPEG-4之后，又制定了支持多媒體信息基于內(nèi)容檢索的編碼方案：MPEG-7。
11.4.2、MPEG-7的目標(biāo)
MPEG-7的正式名稱：“多媒體內(nèi)容描述接口”。
它將為各種類型的多媒體信息規(guī)定一種標(biāo)準(zhǔn)化的描述，這種描述能對信息的內(nèi)涵進(jìn)行某種程度上的解釋而且能被計(jì)算機(jī)或其他信息設(shè)備傳遞或訪問。利用這種描述，可以支持用戶對其興趣的各種資料進(jìn)行快速有效的檢索。
MPEG-7并不針對某種特殊的應(yīng)用，相反它的標(biāo)準(zhǔn)化的要素將支持盡可能廣泛的應(yīng)用。
MPEG-7希望將標(biāo)準(zhǔn)化的描述加到任何類型的多媒體資料上。不管多媒體資料的表示格式如何，或是采用什么壓縮形式，加上了這種標(biāo)準(zhǔn)化描述的多媒體數(shù)據(jù)就可以被索引和檢索了?？梢蕴幚淼拿襟w包括：靜止圖像，圖形，音頻，動態(tài)視頻等信息，還包括這些元素的組合。
MPEG-7標(biāo)準(zhǔn)允許對一個事物的描述有不同的細(xì)節(jié)層次。提供不同級別的區(qū)別能力。MPEG-7的描述符不依賴于它所描述的內(nèi)容的編碼方式和存儲方式。對一個事物按照它的不同應(yīng)用領(lǐng)域可用不同類型的特征進(jìn)行描述，例如對視頻信息，低層次描述可有外形、大小、顏色、運(yùn)動軌跡等，而最高層次的描述將給出語義上的信息。建立在這些描述基礎(chǔ)上的模型將使信息的檢索、過濾更方便、更容易，用戶能夠用盡量少的時間找到自己感興趣的信息。
11.4.3、MPEG-7的優(yōu)勢
如同MPEG家族的其他成員一樣，MPEG-7是為了滿足特定要求的用于表示視聽信息的標(biāo)準(zhǔn)。MPEG-7構(gòu)建于其他標(biāo)準(zhǔn)之上，這些標(biāo)準(zhǔn)包括模擬的、PCM抽樣的MPEG-1、MPEG-2和MPEG-4。
達(dá)到了更高的抽象層次
MPEG-1和MPEG-2幾乎完全用于數(shù)據(jù)壓縮。MPEG-3則是面向HDTV的，后來因?yàn)檫@些工作可以用MPEG-2標(biāo)準(zhǔn)的工具來完成，所以這一標(biāo)準(zhǔn)被棄用。MPEG-4在譯碼目標(biāo)上達(dá)到了較高的抽象層次并使用了特定內(nèi)容技術(shù)滿足譯碼滿意度。MPEG-7則達(dá)到了更高的抽象層次，在一定層次上可以說是一種有感知的譯碼。
MPEG-7能獨(dú)立于其他MPEG標(biāo)準(zhǔn)來使用
從原理上說，MPEG-1、MPEG-2和MPEG-4用于表示信息本身，而MPEG-7則是一種表示信息的信息（the bits forbits）的方法。從另一個角度來看，MPEG-1、MPEG-2和MPEG-4使信息內(nèi)容變得可用，而MPEG-7可以使您找到想要的信息內(nèi)容。MPEG-7能獨(dú)立于其他MPEG標(biāo)準(zhǔn)來使用，甚至可以用來描述模擬電影。例如以對象的方式來描述視聽數(shù)據(jù)就非常適于使用MPEG-7標(biāo)準(zhǔn)，這種描述方法是目錄處理的基礎(chǔ)。
MPEG-7標(biāo)準(zhǔn)可以用于提高先前MPEG系列標(biāo)準(zhǔn)的功能
另外，MPEG-7標(biāo)準(zhǔn)可以用于提高先前MPEG系列標(biāo)準(zhǔn)的功能。在MPEG-4和MPEG-7之間可能存在著許多聯(lián)系。絕大多數(shù)像MPEG-4這樣的細(xì)節(jié)描述工具有著很大的潛力，因?yàn)樗鼈兺ㄟ^選擇一種針對原始材料的一些重要特征進(jìn)行編碼的方法定義了一種內(nèi)容描述模型。
12、視聽通信編碼標(biāo)準(zhǔn)H.26X
12.1、H.261簡介
ITU H.261標(biāo)準(zhǔn)化方案的標(biāo)題為“64kbps 視聲服務(wù)用視像編碼方式”，又稱為P×64kbps視頻編碼標(biāo)準(zhǔn)。
這里P是一個可變參數(shù)，取值范圍為1～30 。
·P=1或2時，僅能支持QCIF（176×144）分辨率格式、每秒幀數(shù)較低的可視電話；
·當(dāng)P》6時，則可支持圖像分辨率格式為CIF（352×288）的電視會議。
P×64kbps視頻編碼壓縮算法采用混合編碼方法，即基于DCT的變換編碼方法和帶有運(yùn)動預(yù)測的DPCM預(yù)測編碼方法的混合。
P×64khps標(biāo)準(zhǔn)的壓縮算法與MPEG-1標(biāo)準(zhǔn)有許多共同之處，只是傳輸速率P×64kbps覆蓋較寬的信道頻帶，而MPEG-1是基于較窄的頻帶上傳輸。
12.2、P×64kbps視頻壓縮編碼算法
下面是H.261標(biāo)準(zhǔn)編碼器的結(jié)構(gòu)圖：
P×64kbps視頻壓縮編碼方案包括信源編碼和統(tǒng)計(jì)（熵）編碼兩部分。信源編碼采用有失真編碼方法，又分為幀內(nèi)編碼和幀間編碼。
·幀內(nèi)編碼算法，一般采用基于DCT8×8塊的變換編碼方法。8×8塊的DCT系數(shù)經(jīng)線性量化，經(jīng)視頻多路編碼器進(jìn)入緩沖器，通過掌握緩沖器空滿度，改變量化器的步長來調(diào)節(jié)視頻信息比特流，與信道傳輸速率匹配。幀內(nèi)編碼的結(jié)果送到視頻多路解碼器，經(jīng)解碼后重建圖像存入緩沖區(qū)以備幀間編碼使用。
·幀間編碼，采用混合編碼方法可減少時域的冗余信息。DPCM編碼對當(dāng)前宏塊與該宏塊的預(yù)測值的誤差進(jìn)行編碼，當(dāng)誤差大于某閾值時，對誤差進(jìn)行DCT變換，量化處理，然后和運(yùn)動向量信息一起送到視頻多路編碼器，必要時可使用循環(huán)濾波器，濾掉高頻噪聲，改善圖像質(zhì)量，熵編碼利用信號統(tǒng)計(jì)特性來減少比特率，其原理在 JPEG和MPEG中已經(jīng)敘述過。
利用CIF格式，可以使各國使用的不同制式的電視信號變換為統(tǒng)一的中間格式，然后輸入給編碼器，從而使編碼器本身不必意識信號是來自哪種制式的。CIF的使用如圖所示。
12.3、視頻層次數(shù)據(jù)結(jié)構(gòu)
P×64kbps標(biāo)準(zhǔn)采用層次塊的視頻數(shù)據(jù)結(jié)構(gòu)形式，使高壓縮視頻編碼算法得以實(shí)現(xiàn)。另一方面，P×64kbps標(biāo)準(zhǔn)的視頻編碼的最重要的任務(wù)是要定義一個視頻數(shù)據(jù)結(jié)構(gòu)，保證解碼器對接收到的比特流進(jìn)行沒有二義性的正確解碼。
從圖中可以看出，一幅QCIF圖像，以4個層次數(shù)據(jù)結(jié)構(gòu)表示。
（1）、圖像層。包含圖像頭和3個塊組數(shù)據(jù)塊。
（2）、塊組層。每個塊組包含塊組頭的3×11個宏塊。宏塊在塊組中的排列見圖 。
（3）、宏塊層。每個塊含有宏塊，4個8×8亮度塊和2個8×8色度塊。
（4）、塊層。含有塊的DCT系數(shù)，其后是一個定長碼EOB來標(biāo)志塊結(jié)束，DCT系數(shù)利用二維VLC編碼。
12.4、視聽業(yè)務(wù)視頻壓縮標(biāo)準(zhǔn)的發(fā)展
H.263是ITU-T制定的適合于低速視頻信號的壓縮標(biāo)準(zhǔn)。它是在H.261基礎(chǔ)上擴(kuò)展而形成的，支持的圖像格式包括Sub-QCIF（128×96） 、QCIF 、CIF 、4CIF和16CIF（1408×1152）等。其中主要采用的改進(jìn)技術(shù)有：
·半像素精度的運(yùn)動補(bǔ)償
在H.261中，運(yùn)動矢量的精度為1個像素。要使運(yùn)動矢量的估值精度達(dá)到半個像素，需要將匹配位置鄰域的像素進(jìn)行內(nèi)插，然后再進(jìn)一步搜索，找到更精確匹配的位置。精度的提高使運(yùn)動補(bǔ)償后的幀間誤差減少，從而降低了碼率。
·不受限的運(yùn)動矢量（可選項(xiàng)）
當(dāng)運(yùn)動跨越圖像邊界時，由運(yùn)動矢量所確定的宏塊位置可能有一部分落在邊界之外，此時可以用邊界上的像素值表示界外的像素值，從而降低預(yù)測誤差。
·用基于句法的算術(shù)編碼代替Huffman編碼（可選項(xiàng)）
這是一種效率較高的自適應(yīng)算術(shù)編碼。
·先進(jìn)的預(yù)測模式（可選項(xiàng)）
對宏塊中的4個亮度塊分別進(jìn)行運(yùn)動估值獲得4個運(yùn)動矢量。如果4個運(yùn)動矢量所得到的預(yù)測誤差比使用整個宏塊所得到的單個運(yùn)動矢量時的預(yù)測誤差小得多，則傳輸4個運(yùn)動矢量。雖然此時傳輸運(yùn)動矢量的比特數(shù)增加一些，但由于預(yù)測誤差的大幅度降低，仍然使總碼率降低。
·PB幀模式（可選項(xiàng)）
雖然使用雙向預(yù)測的B幀可以降低碼率，但是卻要引人附加的編碼延時和解碼延時。為了降低延時，H.263采用了P幀和B幀作為一個單元來處理的方式，即將P幀和由該幀與上一個P幀所共同預(yù)測的B幀一起進(jìn)行編碼。
13、聲音壓縮編碼技術(shù)
13.1、聲音編碼概要
TU-TSS為聲音編碼和壓縮制定了一系列話音數(shù)據(jù)編譯碼標(biāo)準(zhǔn)。其中G.711使用μ律和A律壓縮算法，信號帶寬為3.4kHz，壓縮后的數(shù)據(jù)率為64kbps；G.721使用ADPCM壓縮算法，信號帶寬為3.4kHz，壓縮后的數(shù)據(jù)率為32kbps；G.722使用ADPCM壓縮算法，信號帶寬為7kHz，壓縮后的數(shù)據(jù)率為64kbps。
通常把已有的話音編譯碼器分成以下三種類型：波形編譯碼器，音頻編譯碼器和混合編譯碼器。一般來說，波形編譯碼器的話音質(zhì)量高，但數(shù)據(jù)率也很高；音源編譯碼器的數(shù)據(jù)率很低，產(chǎn)生的合成話音音質(zhì)介于它們之間。
13.1.1、波形編譯碼器
波形編譯碼的想法，不利用生成話音信號的知識產(chǎn)生而是產(chǎn)生一種重構(gòu)信號，使它的波形和原始話音波形盡可能一致，這種編譯碼器的復(fù)雜程度低，數(shù)據(jù)速率在16KBPS，質(zhì)量高，低于這個數(shù)據(jù)率時音質(zhì)急劇下降。
波形編碼代表：PCM（脈沖編碼調(diào)制）：對輸入信號進(jìn)行采樣和量化。典型的窄帶話音帶寬限制在4KHZ，采樣頻率8KHZ，要獲得高一點(diǎn)的音質(zhì)，樣本精度用12位，數(shù)據(jù)率96KHZ,可采用非線性量化來降低數(shù)據(jù)量。例如對數(shù)量化器，樣本精度8位。64KBPS,重構(gòu)話音信號與原始的語音信號沒有什么差別。
13.1.2、音源編譯碼器
通過話音波形的信號中提取生成話音的參數(shù)，使用這些參數(shù)通過話音生成模型重構(gòu)出話音。在模型中聲道被等效成一個隨時間變化的濾波器，叫時變?yōu)V波器，激勵函數(shù)是由白噪聲，無聲話音段激勵或者由有聲話音段激勵。傳送的是解碼器的信息就是濾波器的規(guī)格、發(fā)聲或不發(fā)聲的標(biāo)志和有聲話音的音節(jié)周期，每10～20ms更換一次。數(shù)據(jù)率2.4BPS，產(chǎn)生的語音質(zhì)量很低，可以聽懂而已。增加數(shù)據(jù)率對于話音質(zhì)量沒有用，因?yàn)檫@是由模型限制的，但保密性好。
13.1.3、混合編碼器
企圖填補(bǔ)波形編譯碼和音源編譯碼之間的間隔。解決數(shù)據(jù)率和音質(zhì)之間的問題。為了提供高話音的質(zhì)量，降低數(shù)據(jù)率，采用時域合成-分析編譯碼器（Abs），這種編譯碼器使用的聲道線性預(yù)測濾波器模型與線性預(yù)測編碼（LPC）使用的模型相同。企圖尋找一種激勵信號，使用這種信號激勵產(chǎn)生的波形盡可能接近原始話音的波形。
13.2 聲音編碼技術(shù)
13.2.1、G.721 ADPCM編碼器
ADPCM是利用樣本與樣本之間的高度相關(guān)性和量化階自適應(yīng)來壓縮數(shù)據(jù)的一種波形編碼技術(shù)。
CCITT為此制定了G.721推薦標(biāo)準(zhǔn)，這個標(biāo)準(zhǔn)叫做32kb/s自適應(yīng)差分脈沖（Differential Pulse CodeModulation to 24and 40kb/s for Digital Circuit Multiplication EquipmentApplication），使用該標(biāo)準(zhǔn)的編碼器的數(shù)據(jù)率可降低到40kb/s和24kb/s 。
CCITT推薦的G.721 ADPCM標(biāo)準(zhǔn)是一個代碼轉(zhuǎn)換系統(tǒng)。它使用ADPCM轉(zhuǎn)換技術(shù)，實(shí)現(xiàn)64kb/s A律或μ律PCM 速率和32kb/s速率之間的相互轉(zhuǎn)換。
13.2.2、子帶編碼（SBC）
子帶編碼主要過程是：
①、使用一組帶通濾波器（band-pass filter，BPF）把輸入音頻信號的頻帶分成若干個連續(xù)的頻段，每個頻段稱為子帶。
②、對每個子帶中的音頻信號采用單獨(dú)的編碼方案去編碼。
③、在信道上傳送時，將每個子帶的代碼復(fù)合起來。
④、在接收端譯碼時，將每個子帶的代碼單獨(dú)譯碼，然后把它們組合起來，還原成原來的音頻信號。
采用對每個子帶分別編碼的好處：
·第一、對每個子帶信號分別進(jìn)行自適應(yīng)控制，量化階（quantization step）的大小可以按照每個子帶的能量電平加以調(diào)節(jié)。具有較高能量電平的子帶用大的量化階去量化，以減少總的量化噪聲。
·第二、可根據(jù)每個子帶信號在感覺上的重要性，對每個子帶分配不同的位數(shù)，用來表示每個樣本值。例如，在低頻子帶中，為了保護(hù)音調(diào)和共振峰的結(jié)構(gòu)，就要求較小的量化階、較多的量化級數(shù)，即分配較多的位數(shù)來表示樣本值。而話音中的摩擦音和類似噪聲的聲音，通常出現(xiàn)在高頻子帶中，對它分配較少的位數(shù)。
13.2.3、子帶－自適應(yīng)差分脈沖編碼調(diào)制（SB-ADPCM）
采樣率為8kHz、8位/樣本、數(shù)據(jù)率為64kb/s的G.711標(biāo)準(zhǔn)是CCITT為話音信號頻率為（300～3400）Hz制定的編譯碼標(biāo)準(zhǔn)，這屬于窄帶音頻信號編碼?，F(xiàn)代的話音編碼技術(shù)已經(jīng)可以減少數(shù)據(jù)率，而又不至于顯著降低音質(zhì)。CCITT推薦的8KHz采樣率、4位/樣本、32kb/s的G.721標(biāo)準(zhǔn)，以及G.721的擴(kuò)充標(biāo)準(zhǔn)G.723，都說明了話音壓縮編碼技術(shù)的進(jìn)展。
G.722是CCITT推薦的音頻信號編碼譯碼標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)是描述音頻信號帶寬為7kHz、數(shù)據(jù)率為64kb/s的編譯碼原理、算法和計(jì)算細(xì)節(jié)。
G.722的主要目標(biāo)是保持64kb/s的數(shù)據(jù)率，而音頻信號的質(zhì)量要明顯高于G.711的質(zhì)量。G.722標(biāo)準(zhǔn)把音頻信號采樣頻率由8kHz提高到16KHz，是G.711PCM采樣率的2倍，因而要被編碼的信號頻率由原來的3.4kHz擴(kuò)展到7kHz。這就使音頻信號的質(zhì)量有很大改善，由數(shù)字電話的話音質(zhì)量提高到調(diào)幅（AM）無線電廣播的質(zhì)量。對話音信號質(zhì)量來說，提高采樣率并無多大改善，但對音樂一類信號來說，其質(zhì)量卻有很大提高。
G.722編譯碼系統(tǒng)采用自帶自適應(yīng)差分脈沖編碼調(diào)制技術(shù)，把頻帶分成兩個等帶寬的子代分別是高頻子帶和低頻子帶。在每個等帶寬的子帶中的信號都用ADPCM進(jìn)行編碼。
13.2.4、G.722 SB－ADPCM編譯碼器
為了適應(yīng)可視電話會議日益增長的迫切需要，1988年CITT為此制定了G.722推薦標(biāo)準(zhǔn)，叫做“數(shù)據(jù)率為64kb/s的7KHz聲音信號編碼”（7kHz Audio-coding with64kb/s）。這個標(biāo)準(zhǔn)把話音信號的質(zhì)量由電話質(zhì)量提高到AM無線電廣播質(zhì)量，而其數(shù)據(jù)傳輸率仍保持為64kb/s 。
寬帶話音是指帶寬在（50～7000）Hz的話音，這種話音在可懂度和自然度方面都比帶寬為（300～3400）Hz的話音有明顯的提高, 也更容易識別對方的說話人。
13.2.5、線性預(yù)測編碼（LPC）
線性預(yù)測編碼是一種非常重要的編碼方法。從原理上講，LPC是通過分析話音波形來產(chǎn)生聲道激勵和轉(zhuǎn)移函數(shù)的參數(shù)，對聲音波形的編碼實(shí)際就轉(zhuǎn)化為對這些參數(shù)的編碼，這就使聲音的數(shù)據(jù)量大大減少。在接收端使用LPC分析得到的參數(shù)，通過話音合成器重構(gòu)話音。
合成器實(shí)際上是一個離散的隨時間變化的時變線性濾波器，它代表人的話音生成系統(tǒng)模型。時變線性濾波器既當(dāng)作預(yù)測器使用，又當(dāng)作合成器使用。分析話音波形時，主要是當(dāng)作預(yù)測器使用。隨著話音波形的變化，周期性地使模型地參數(shù)和激勵條件適合新的要求。
