本文節(jié)選自《基于MPEG-7與內(nèi)容的圖像檢索技術(shù)的研究》。
MPEG-7 標(biāo)準(zhǔn)中視覺描述工具包括基本結(jié)構(gòu)和描述符。本文主要介紹各描述符。
（1）顏色描述符
MPEG-7 主要定義了七種顏色描述符：顏色空間、主顏色、顏色的量化、顏色直
方圖、顏色布局、GOF/GOP 顏色、顏色結(jié)構(gòu)、對(duì)顏色的特征和結(jié)構(gòu)進(jìn)行描述。他們之間的關(guān)系如圖 2.2 所示。
①顏色空間，該描述符主要用于其它基于顏色的描述。當(dāng)前描述所支持的顏色空間有：RGB、YCbCr、HSV、HMMD、關(guān)于 RGB 的線性變換矩陣、單色。
②顏色量化，該描述符定義了顏色空間的均勻量化。量化產(chǎn)生的維（bin）的數(shù)目是可配置的，這樣使得各種應(yīng)用具有更大的靈活性。要使這個(gè)描述符在 MPEG-7 背景下有應(yīng)用意義，例如表示主顏色值的含義，必須結(jié)合其它顏色描述符。
③主顏色，該描述符最適用于表示局部（對(duì)象或圖像區(qū)域）特征，幾種顏色就足以表達(dá)我們感興趣區(qū)域的顏色信息。當(dāng)然，它也可以用于整個(gè)圖像，例如旗幟圖像或彩色商標(biāo)圖像。顏色量化用于提取每個(gè)區(qū)域/圖像的少數(shù)代表顏色，并相應(yīng)的計(jì)算出區(qū)域中的每種量化顏色所占的百分比。同時(shí)還定義了整個(gè)描述符的空間相關(guān)性，用于相似性檢索。
④顏色布局，該描述符以一種緊湊的形式，有效的表達(dá)了顏色的空間分布。這種緊湊性以很小的計(jì)算代價(jià)，帶來高速的瀏覽和檢索。它提供圖像與圖像的匹配和超高速的片斷與片斷的匹配，這些匹配要求大量相似性計(jì)算的重復(fù)。由于該描述符表達(dá)了顏色特征的布局信息，因此它可以提供相當(dāng)友好的用戶接口，例如使用其它顏色描述符中均不支持的手繪草圖查詢。
⑤可伸縮顏色，該描述符是 HSV 顏色空間的顏色直方圖（用 Haar 變換編碼）。根據(jù)維的數(shù)目和比特表示的精度，它的二進(jìn)制表示在一定數(shù)據(jù)速率范圍內(nèi)是可伸縮的。這個(gè)描述符主要用于圖像與圖像的匹配和基于顏色特征的檢索，檢索的精度隨著描述中使用的比特?cái)?shù)目的增加而增加。
⑥顏色結(jié)構(gòu)，該描述符是一個(gè)顏色特征描述符，它既包括顏色內(nèi)容信息（類似于顏色直方圖），又包括內(nèi)容的結(jié)構(gòu)信息。它的主要功能是圖像與圖像的匹配，主要用于靜態(tài)圖像檢索，在這里一幅圖像可能由一個(gè)單一矩形或者任意形狀、可能是非連通的區(qū)域組成。提取的方法是：通過考慮一個(gè) 8×8 像素的結(jié)構(gòu)化元素中的所有顏色，將顏色結(jié)構(gòu)信息加入該描述符中，而不是單獨(dú)考慮每個(gè)像素。
⑦幀組/圖組顏色，該描述符將用于靜態(tài)圖像的可伸縮顏色描述符擴(kuò)展到對(duì)視頻片段或靜態(tài)圖像集合的顏色描述。在 Haar 變換之前，用附加的兩個(gè)比特定義如何計(jì)算顏色直方圖，是均值、中值還是相交。
（2）紋理描述符
MPEG-7 推薦了三種紋理描述符，同質(zhì)紋理描述符（HomogenousTexture Descriptors）、紋理瀏覽描述符（Texture Browsing Descriptors）和邊緣直方圖描述符（Edge HistogramDescriptors）。
①同質(zhì)紋理描述符
同質(zhì)紋理作為一個(gè)重要的視覺基本特征，主要用于大量相似圖案的搜索和瀏覽。一幅圖像可看作由同質(zhì)紋理以馬賽克形式拼接而成的，所以與這些區(qū)域關(guān)聯(lián)的紋理特征可以作為索引來檢索圖像。例如，用戶瀏覽一個(gè)航空?qǐng)D像數(shù)據(jù)庫，可能想識(shí)別圖像集合中停車場(chǎng)。當(dāng)從遠(yuǎn)處觀察時(shí)，汽車規(guī)則（以相等間隔）停放的停車場(chǎng)就是一個(gè)極好的同質(zhì)紋理圖案的例子。同樣的，從空中或是衛(wèi)星拍攝的農(nóng)田和植被也是同質(zhì)紋理的示例。同質(zhì)紋理描述符使用 62 個(gè)數(shù)字（每一個(gè)都量化為 8bits）提供了紋理信息的量化表示。這62 個(gè)數(shù)字的計(jì)算方法是：將圖像用一組帶有方向和尺度參數(shù)的 Gabor 濾波器進(jìn)行濾波，一共是六個(gè)方向和五個(gè)尺度。一共得到 30 個(gè)濾波結(jié)果，每一個(gè)濾波結(jié)果頻率域的一階矩和二階矩就是兩個(gè)描述數(shù)字。
②紋理瀏覽描述符
描述紋理的感知特性，例如規(guī)則性、方向性和粗糙性。計(jì)算方法和同質(zhì)紋理描述符類似，首先使用一組帶有方向和尺度參數(shù)的 Gobor 濾波器進(jìn)行濾波，然后通過分析濾波結(jié)果，找到紋理主要的方向。接著分析濾波后的圖像沿著這兩個(gè)（第二個(gè)主方向是可選的）主方向投影，來確定紋理的規(guī)則性和稀疏性。最多只需要 12 比特。同質(zhì)紋理描述符和瀏覽描述符提供了表示相似紋理區(qū)域（Homogeneous Texture Regions）的多尺度方法。
③邊緣直方圖描述符
描述了 5 種邊緣（4 種方向邊緣和一種無方向邊緣）的空間分布統(tǒng)計(jì)。因?yàn)閷?duì)于圖像感知，邊緣扮演了一個(gè)重要角色，所以它可以用于相似語義的圖像檢索。因此它的主要目標(biāo)在于圖像與圖像的匹配（通過示例或草圖），特別是邊緣分布不規(guī)則的自然圖像。如果邊緣直方圖描述符與其它描述符如顏色直方圖相結(jié)合，將可以顯著提高圖像檢索的性能。
（3）形狀描述符
MPEG-7 定義了三種形狀描述符：基于區(qū)域的形狀（RegionShape）、基于輪廓的形狀（Contour Shape）和三維形狀（Shape 3D）。
①基于區(qū)域的形狀
一個(gè)對(duì)象的形狀可能只包括一個(gè)單一區(qū)域，也有可能包括多個(gè)區(qū)域，同時(shí)在對(duì)象中還可能有一些孔（見圖 2.3）。基于區(qū)域的形狀描述符充分利用了一個(gè)幀內(nèi)組成形狀的所有像素，它可以描述任何形狀，不但可以描述有一個(gè)單一連通區(qū)域的簡單形狀（如圖（a）和圖（b）），而且可以描述有對(duì)象中一些孔或幾個(gè)不向連區(qū)域組成的復(fù)雜形狀（如圖（c）、圖（d）和圖（e））?；趨^(qū)域的形狀描述符不僅能夠有效描述不同目標(biāo)形狀，而且對(duì)于沿對(duì)象邊界的較小變形具有一定的健壯性。
②基于輪廓的形狀
基于輪廓的形狀描述符提取了目標(biāo)和區(qū)域基于輪廓獲得的形狀，一般采用曲率空間表示形狀信息，這種形狀描述符反映了人的感知特性，又稱為曲率尺度空間（Curvature Scale-space，CSS）表示，它由輪廓的曲率尺度空間表達(dá)式構(gòu)成，該表達(dá)式具有如下重要特征（如圖 2.4 所示）：
較好的提取了形狀特有特征，并能用于相似性檢索；
反映了人類視覺系統(tǒng)的感知性，具有良好的概括性；
對(duì)于不是很明顯的運(yùn)動(dòng)、形狀的部風(fēng)重疊、投影變換均具有健壯性；
表達(dá)式簡潔。
③三維形狀
考慮到多媒體技術(shù)、虛擬世界和增強(qiáng)現(xiàn)實(shí)技術(shù)的持續(xù)發(fā)展，三維內(nèi)容也成為當(dāng)今多媒體信息系統(tǒng)的普遍特征。大多數(shù)情況下，三維信息是用多邊形網(wǎng)格來表示的。MPEG-4的 SNHC 組研究這個(gè)問題并開發(fā)了有效的三維網(wǎng)格模型編碼技術(shù)。在 MPEG-7 標(biāo)準(zhǔn)的框架中，要求對(duì)三維信息實(shí)現(xiàn)智能的基于內(nèi)容的提取，用以查找、檢索和瀏覽三維模型庫。三維形狀特征描述符對(duì)三維網(wǎng)格模型進(jìn)行本質(zhì)的形狀描述，它善于挖掘三維表面的局部特征。
聯(lián)系客服
