一、H.264的制定過程和應用場合
在制訂完最初的H.263標準之后，ITU-T的視頻編碼專家組（VCEG）將開發(fā)工作分為兩部分：一部分稱之為“短期（short-term）”計劃，目的是給H.263增加一些新的特性（這一計劃開發(fā)出了H.263+和H.263++）；另一部分被稱為“長期（long-term）”計劃，其最初的目標就是要制定出一個比當時其他的視頻編碼標準效率提高一倍的新標準。這一計劃在1997年開始，其成果就是作為H.264前身的H.26L（起初叫H.263L）。在將近2001年底，由于H.26L優(yōu)越的性能，ISO／IEC的MPEG專家組加入到VCEG中來，共同成立了聯(lián)合視頻小組（JVT），接管了H.26L的開發(fā)工作。這個組織的目標是：“研究新的視頻編碼算法，其目標是在性能上要比以往制定的最好的標準提高很多。”
這一標準正式成為國際標準是2003年3月在泰國Pattaya舉行的JVT第7次會議上通過的。由于該標準是由兩個不同的組織共同制定的，因此有兩個不同的名稱：在ITU-T中，它的名字叫H.264；而在ISO／IEC中，它被稱為MPEG-4的第10部分，即高級視頻編碼（AVC）。
H.264的應用場合相當廣泛，包括可視電話（固定或移動）、實時視頻會議系統(tǒng)、視頻監(jiān)控系統(tǒng)、因特網(wǎng)視頻傳輸以及多媒體信息存儲等。
目前在國際上，加拿大的UB Video公司開發(fā)出了一套基于TMS320C64x系列的H.26L實時視頻通信系統(tǒng)，它可以在160kbit/s的碼率下獲得與H.263+在320kbit/s下相同的圖像質(zhì)量。另一家加拿大的公司VideoLocus通過在系統(tǒng)中插入一塊基于FPGA的硬件擴展卡，在P4平臺上實現(xiàn)了H.264的實時編解碼。
二、 H.264的特點
H.264在編碼框架上還是沿用以往的MC-DCT結(jié)構(gòu)，即運動補償加變換編碼的混合（hybrid）結(jié)構(gòu)，因此它保留了一些先前標準的特點，如不受限制的運動矢量（unrestricted motion vectors），對運動矢量的中值預測（median prediction）等。然而，以下介紹的技術(shù)使得H.264比之前的視頻編碼標準在性能上有了很大的提高。應當指出的是，這個提高不是單靠某一項技術(shù)實現(xiàn)的，而是由各種不同技術(shù)帶來的小的性能改進而共同產(chǎn)生的。
1. 幀內(nèi)預測
對I幀的編碼是通過利用空間相關(guān)性而非時間相關(guān)性實現(xiàn)的。以前的標準只利用了一個宏塊（macroblock）內(nèi)部的相關(guān)性，而忽視了宏塊之間的相關(guān)性，所以一般編碼后的數(shù)據(jù)量較大。為了能進一步利用空間相關(guān)性，H.264引入了幀內(nèi)預測以提高壓縮效率。簡單地說，幀內(nèi)預測編碼就是用周圍鄰近的像素值來預測當前的像素值，然后對預測誤差進行編碼。這種預測是基于塊的，對于亮度分量（1uma），塊的大小可以在16×16和4×4之間選擇，16×16塊有4種預測模式，4×4塊有9種預測模式；對于色度分量（chroma），預測是對整個8×8塊進行的，有4種預測模式。除了DC預測外，其他每種預測模式對應不同方向上的預測。
2. 幀間預測
與以往的標準一樣，H.264使用運動估計和運動補償來消除時間冗余，但是它具有以下五個不同的特點：
（1）預測時所用塊的大小可變
由于基于塊的運動模型假設塊內(nèi)的所有像素都做了相同的平移，在運動比較劇烈或者運動物體的邊緣處這一假設會與實際出入較大，從而導致較大的預測誤差，這時減小塊的大小可以使假設在小的塊中依然成立。另外小的塊所造成的塊效應相對也小，所以一般來說小的塊可以提高預測的效果。
為此，H.264一共采用了7種方式對一個宏塊進行分割，每種方式下塊的大小和形狀都不相同，這就使編碼器可以根據(jù)圖像的內(nèi)容選擇最好的預測模式。
與僅使用16×16塊進行預測相比，使用不同大小和形狀的塊可以使碼率節(jié)省15％以上。
（2）更精細的預測精度
在H.264中，Luma分量的運動矢量（MV）使用1／4像素精度。Chroma分量的MV由luma MV導出，由于chroma分辨率是luma的一半（對4:2:0），所以其MV精度將為1／8，這也就是說1個單位的chroma MV所代表的位移僅為chroma分量取樣點間距離的1／8。如此精細的預測精度較之整數(shù)精度可以使碼率節(jié)省超過20％。
（3）多參考幀
H.264支持多參考幀預測（multiple reference frames），即可以有多于一個（最多5個）的在當前幀之前解碼的幀可以作為參考幀產(chǎn)生對當前幀的預測（motion-compensated prediction）。這適用于視頻序列中含有周期性運動的情況。采用這一技術(shù)，可以改善運動估計（ME）的性能，提高H.264解碼器的錯誤恢復能力，但同時也增加了緩存的容量以及編解碼器的復雜性。不過，H.264的提出是基于半導體技術(shù)的飛速發(fā)展，因此這兩個負擔在不久的將來會變得微不足道。較之只使用一個參考幀，使用5個參考幀可以節(jié)省碼率5～10％。
（4）抗塊效應濾波器
抗塊效應濾波器（Deblocking Filter），它的作用是消除經(jīng)反量化和反變換后重建圖像中由于預測誤差產(chǎn)生的塊效應，即塊邊緣處的像素值跳變，從而一來改善圖像的主觀質(zhì)量，二來減少預測誤差。H.264中的Deblocking Filter還能夠根據(jù)圖像內(nèi)容做出判斷，只對由于塊效應產(chǎn)生的像素值跳變進行平滑，而對圖像中物體邊緣處的像素值不連續(xù)給予保留，以免造成邊緣模糊。與以往的Deblocking Filter不同的是，經(jīng)過濾波后的圖像將根據(jù)需要放在緩存中用于幀間預測，而不是僅僅在輸出重建圖像時用來改善主觀質(zhì)量，也就是說該濾波器位于解碼環(huán)中而非解碼環(huán)的輸出外，因而它又稱作Loop Filter。需要注意的是，對于幀內(nèi)預測，使用的是未經(jīng)過濾波的重建圖像。
3.整數(shù)變換
H.264對幀內(nèi)或幀間預測的殘差（residual）進行DCT變換編碼。為了克服浮點運算帶來的硬件設計復雜，更重要的是舍入誤差造成的編碼器和解碼器之間不匹配（mismatch）的問題，新標準對DCT的定義做了修改，使得變換僅用整數(shù)加減法和移位操作即可實現(xiàn)，這樣在不考慮量化影響的情況下，解碼端的輸出可以準確地恢復編碼端的輸入。當然這樣做的代價是壓縮性能的略微下降。此外，該變換是針對4×4塊進行的，這也有助于減少塊效應。
為了進一步利用圖像的空間相關(guān)性，在對chroma的預測殘差和16×16幀內(nèi)預測的預測殘差進行上述整數(shù)DCT變換之后，標準還將每個4×4變換系數(shù)塊中的DC系數(shù)組成2×2或4×4大小的塊，進一步做哈達瑪（Hadamard）變換。
4.熵編碼
如果是Slice層預測殘差，H.264有兩種熵編碼的方式：基于上下文的自適應變長碼（Context-based Adaptive Variable Length Coding，CAVLC）和基于上下文的自適應二進制算術(shù)編碼（Context-based Adaptive Binary Arithmetic Coding，CABAC）；如果不是預測殘差，H.264采用Exp-Golomb碼或CABAC編碼，視編碼器的設置而定。
（1）CAVLC
VLC的基本思想就是對出現(xiàn)頻率大的符號使用較短的碼字，而出現(xiàn)頻率小的符號采用較長的碼字。這樣可以使得平均碼長最小。
在CAVLC中，H.264采用若干VLC碼表，不同的碼表對應不同的概率模型。編碼器能夠根據(jù)上下文，如周圍塊的非零系數(shù)或系數(shù)的絕對值大小，在這些碼表中自動地選擇，最大可能地與當前數(shù)據(jù)的概率模型匹配，從而實現(xiàn)了上下文自適應的功能。
（2）CABAC
算術(shù)編碼是一種高效的熵編碼方案，其每個符號所對應的碼長被認為是分數(shù)。由于對每一個符號的編碼都與以前編碼的結(jié)果有關(guān)，所以它考慮的是信源符號序列整體的概率特性，而不是單個符號的概率特性，因而它能夠更大程度地逼近信源的極限熵 ，降低碼率。
為了繞開算術(shù)編碼中無限精度小數(shù)的表示問題以及對信源符號概率進行估計，現(xiàn)代的算術(shù)編碼多以有限狀態(tài)機的方式實現(xiàn)，H.264的CABAC便是一個例子，其他的例子還有JPEG2000。在CABAC中，每編碼一個二進制符號，編碼器就會自動調(diào)整對信源概率模型（用一個“狀態(tài)”來表示）的估計，隨后的二進制符號就在這個更新了的概率模型基礎上進行編碼。這樣的編碼器不需要信源統(tǒng)計特性的先驗知識，而是在編碼過程中自適應地估計。顯然，與CAVLC編碼中預先設定好若干概率模型的方法比較起來，CABAC有更大的靈活性，可以獲得更好的編碼性能——大約10％碼率的降低。
以上介紹的特點都是用來提高H.264的編碼性能的，此外H.264還具有很好的錯誤恢復能力（error resilience）和網(wǎng)絡適應性（network adaptability），下面介紹其中的一些特點。
5. SP Slice
SP Slice的主要目的是用于不同碼流的切換（switch），此外也可用于碼流的隨機訪問、快進快退和錯誤恢復。這里所說的不同碼流是指在不同比特率限制下對同一信源進行編碼所產(chǎn)生的碼流。設切換前傳輸碼流中的最后一幀為Al，切換后的目標碼流第一幀為B2（假設是P幀），由于B2的參考幀不存在，所以直接切換顯然會導致很大的失真，而且這種失真會向后傳遞。一種簡單的解決方法就是傳輸幀內(nèi)編碼的B2，但是一般I幀的數(shù)據(jù)量很大，這種方法會造成傳輸碼率的陡然增加。根據(jù)前面的假設，由于是對同一信源進行編碼，盡管比特率不同，但切換前后的兩幀必然有很多相關(guān)性，所以編碼器可以將Al作為B2的參考幀，對B2進行幀間預測，預測誤差就是SP Slice，然后通過傳遞SP Slice完成碼流的切換。與常規(guī)P幀不同的是，生成SP Slice所進行的預測是在Al和B2的變換域中進行的。SP Slice要求切換后B2的圖像應和直接傳送目標碼流時一樣。顯然，如果切換的目標是毫不相關(guān)的另一碼流，SP Slice就不適用了。
6.靈活的宏塊排序
靈活的宏塊排序（flexible macroblock ordering，F(xiàn)MO），是指將一幅圖像中的宏塊分成幾個組，分別獨立編碼，某一個組中的宏塊不一定是在常規(guī)的掃描順序下前后連續(xù)，而可能是隨機地分散在圖像中的各個不同位置。這樣在傳輸時如果發(fā)生錯誤，某個組中的某些宏塊不能正確解碼時，解碼器仍然可以根據(jù)圖像的空間相關(guān)性依靠其周圍正確譯碼的像素對其進行恢復。
三、H.264的具體內(nèi)容
通過上面的介紹，毋庸置疑，H.264在壓縮性能上要比其他標準優(yōu)越，甚至包括MPEG-4（2）（MPEG-4第2部分）。眾所周知，MPEG-4（2）最大的特點就是面向?qū)ο蟮木幋a，對象概念的提出是具有先進性的，在對象已經(jīng)提取出來的條件下確實能夠獲得很高的壓縮比，但是如何提取對象成為擺在人們面前的一大難題。一個真正的對象提取算法應該是像人一樣具有智能，能夠像人一樣進行思維并且是能夠?qū)W習的，而目前的技術(shù)根本達不到這點，雖然有大量的文獻介紹對象提取的方法，但我認為這些只是權(quán)宜之計，充其量只是往正確的方向上邁出的一小步。正因為如此，MPEG-4（2）面向?qū)ο缶幋a的思想過于超前。ITU-T的VCEG放棄了對象這一不現(xiàn)實的概念，與目前科學技術(shù)的發(fā)展水平相適應，提出了H.264（10）（MPEG-4第10部分）（H.26L）視頻編碼標準，這是難能可貴的，更重要的是它同樣實現(xiàn)了MPEG-4（2）面向?qū)ο缶幋a的目標之一——高壓縮比。
視頻信號的數(shù)據(jù)量是很大的，為了達到高效的壓縮，必須充分利用各種冗余，一般來講，視頻序列里的冗余包括兩類，一類是統(tǒng)計冗余，它包含：（1）頻譜冗余，指色彩分量之間的相關(guān)性；（2）空間冗余；（3）時間冗余，這是視頻壓縮區(qū)別于靜止圖像壓縮的根本點，視頻壓縮主要利用時間冗余來實現(xiàn)大的壓縮比。第二類是視覺生理冗余，這是由于人類的視覺系統(tǒng)（HVS）特性造成的，比如人眼對色彩分量的高頻分量沒有對亮度分量的高頻分量敏感，對圖像高頻（即細節(jié)）處的噪聲不敏感等。
針對這些冗余，視頻壓縮算法采用了不同的方法加以利用，但主要的考慮集中在空間冗余和時間冗余上。與以前的標準類似，H.264也采用了所謂的混合（hybrid）結(jié)構(gòu)，即對空間冗余和時間冗余分別進行處理。對空間冗余，標準通過變換及量化達到消除的目的，這樣編碼的幀叫做I幀；而時間冗余則是通過幀間預測，即運動估計和補償來去除的，這樣編碼的幀叫做P幀或B幀。
與以前的標準不同的是，H.264在編碼I幀時，采用了幀內(nèi)預測，然后對預測誤差進行編碼。這樣就充分利用了空間相關(guān)性，提高了編碼效率。H.264的幀內(nèi)編碼框圖(詳圖請參見《中國多媒體視訊》第七期)所示。 H.264幀內(nèi)預測以16×16的宏塊為基本單位。首先，編碼器將與當前宏塊同一幀的鄰近像素作為參考，產(chǎn)生對當前宏塊的預測值，然后對預測殘差進行變換與量化，再對變換與量化后的結(jié)果做熵編碼。熵編碼的結(jié)果就可以形成碼流了。由于在解碼器端能夠得到的參考數(shù)據(jù)都是經(jīng)過反變換與反量化后的重建圖像，所以為了使編解碼一致，編碼器端用于預測的參考數(shù)據(jù)就和解碼器端一樣，也是經(jīng)過反變換與反量化后的重建圖像。需要注意的一點是，用于幀內(nèi)預測的這些參考數(shù)據(jù)不需要經(jīng)過Deblocking Filter濾波，這與幀間編碼的參考圖像是不同的。
1、幀內(nèi)預測
亮度Intra--16×16幀內(nèi)預測模式如圖(詳圖請參見《中國多媒體視訊》第七期)所示。
亮度Intra--16×16幀內(nèi)預測模式
色差分量的8×8 4種幀內(nèi)預測模式如圖(詳圖請參見《中國多媒體視訊》第七期)所示。
色差分量的8×8 4種幀內(nèi)預測模式
亮度分量的4×4 8種方向幀內(nèi)預測模式。
圖5亮度分量的4×4 8種方向幀內(nèi)預測模式
2、 變換與量化
將圖像的當前像素值與預測值相減，就形成了預測殘差。殘差內(nèi)仍然含有空間冗余，為了消除這種冗余，通常采用變換編碼，即變換——量化——熵編碼三步。變換并不壓縮數(shù)據(jù)，它只是消除數(shù)據(jù)中的相關(guān)性，或者說將數(shù)據(jù)中的冗余（或相關(guān)性）以一種便于隨后進行熵編碼的方式表現(xiàn)出來。壓縮是在量化和熵編碼步驟中完成的。此外為了進一步減少數(shù)據(jù)量，編碼器還對變換后的系數(shù)進行量化，它的實質(zhì)是減少數(shù)據(jù)的取值范圍以減少每一個符號的熵。它會造成信息的損失，是有損編碼的一個重要步驟，它也是控制圖像率失真（R-D）特性的一個主要手段。在H.264中，變換與量化兩個步驟緊密相連。
整數(shù)DCT正變換的公式
H．264的反DCT變換公式
圖像編碼中常用的變換是DCT，因為它在某種條件下近似于理論上最優(yōu)的K-L變換。但是如果直接采用DCT的定義進行變換，會帶來兩個問題：一個是需要進行浮點數(shù)操作，從而造成系統(tǒng)設計上的復雜性；第二，由于變換核都是無理數(shù)，而有限精度的浮點數(shù)不可能精確地表示無理數(shù)，再加上浮點數(shù)的運算可能會引入舍入誤差，這就使得在具體實現(xiàn)時會導致編解碼的不一致（mismatch），即反變換的輸出結(jié)果和正變換的輸入不一樣。為了克服這些問題，H．264采用整數(shù)DCT變換，使得變換操作僅用整數(shù)加減和移位操作就可以完成，這樣既降低了設計復雜度，又避免了編解碼mismatch，而由此帶來的編碼性能的減少微乎其微。需要注意的是，此時的變換已經(jīng)不是真正的DCT，仍然稱其為DCT變換只是為了說明它是由DCT推導而來，且為了和另一個變換（Hadamard變換）相區(qū)別罷了。
H．264編碼器的變換與量化過程見七期雜志。圖中輸入為預測殘差，輸出為準備進行熵編碼的數(shù)據(jù)，一共有五類。為了更大程度地利用空間冗余，對于Intra 16×16幀內(nèi)預測模式，H．264在對16×16的hma分量的16個4×4塊進行DCT變換后，將每個4×4塊的DC系數(shù)（還沒有經(jīng)過量化）提取出來，組成一個4×4的luma DC塊，對其再進行4×4的哈達瑪（Hadamard）變換。同樣，對8×8 chroma分量的4個4×4塊進行DCT變換后，也將每個4×4塊的DC系數(shù)提取出來，組成一個2×2的chroma DC塊，對其進行2×2的Hadamard變換，如圖7所示。圖中的數(shù)字顯示的是所代表的塊在碼流中的順序。對亮度分量直流系數(shù)的附加的（4×4）4階Hadamard變換 對色度分量直流系數(shù)進行附加的（2×2）2階Hadamard變換 DC系數(shù)的處理如圖(詳圖請參見《中國多媒體視訊》第七期)所示。
圖中的輸入是經(jīng)過解碼（CAVLC或CABAC）后的結(jié)果，輸出的數(shù)據(jù)加上預測值后成為重建圖像，重建圖像用于幀內(nèi)預測，或經(jīng)過Deblocking Filter后顯示并根據(jù)需要存放于緩存中，用于幀間預測。這里有一個地方需要注意，對于DC系數(shù)（無論是Intra 16×16 luma DC還是chroma DC），解碼器是先反變換再反量化，這樣做的原因在后面的內(nèi)容中將做解釋。MUX是指將DC系數(shù)按圖8裝配到AC系數(shù)中，形成完整的4×4塊，用于后續(xù)的反DCT變換。
目前H.264的主要不足就是復雜度大，但隨著技術(shù)的不斷進步，特別是半導體技術(shù)的發(fā)展，芯片的處理能力和存儲器的容量都將會有很大的提高，所以今后H.264必然煥發(fā)出蓬勃的生命力，逐漸成為市場的主角。
