| 1.2 多媒體的相關(guān)技術(shù) |
| 多媒體技術(shù)是多學(xué)科、多技術(shù)交叉的綜合性技術(shù)，主要涉及三大類技術(shù)，即從系統(tǒng)角度研究的多媒體基礎(chǔ)技術(shù)和從應(yīng)用角度研究的多媒體信息處理技術(shù)以及從人性化交互方式角度研究的人機(jī)交互技術(shù)。
從系統(tǒng)性能的層面上看，關(guān)心的重點(diǎn)在多媒體系統(tǒng)的構(gòu)成與實(shí)現(xiàn)，因此，必須研究解決多媒體信息的快速處理、多媒體數(shù)據(jù)的壓縮與還原、大容量信息存儲(chǔ)與檢索和多媒體信息的快速傳輸?shù)然締栴}，這就形成了多媒體的基礎(chǔ)技術(shù)。
從應(yīng)用研究角度看，多媒體技術(shù)就是將多種媒體信息通過計(jì)算機(jī)進(jìn)行數(shù)字化綜合處理的技術(shù)，這就是多媒體信息處理技術(shù)包含的內(nèi)容，即圖、文、聲、像（視頻和動(dòng)畫）技術(shù)和多媒體信息集成技術(shù)。
人機(jī)交互技術(shù)是從人性化角度提出的，主要解決多媒體信息的輸入輸出問題，更著重于多媒體系統(tǒng)的交互方式和交互性能研究，是對多媒體技術(shù)的擴(kuò)展和深化。
該課程主要討論的是多媒體信息處理技術(shù)，也就是通常所說的多媒體應(yīng)用技術(shù)。 |
| 1.2.1 多媒體數(shù)據(jù)壓縮技術(shù) |
多媒體數(shù)據(jù)壓縮編碼技術(shù)是多媒體技術(shù)中最為關(guān)鍵的技術(shù)。
數(shù)字化后的多媒體信息的數(shù)據(jù)量非常龐大，例如，對于彩色電視信號的動(dòng)態(tài)視頻圖像，數(shù)字化處理后的1秒鐘數(shù)據(jù)量達(dá)十多兆字節(jié)，650MB容量的CD-ROM僅能存1分鐘的原始電視數(shù)據(jù)。超大數(shù)據(jù)量給存儲(chǔ)器的存儲(chǔ)容量、帶寬及計(jì)算機(jī)的處理速度都帶來極大的壓力，因此，需要通過多媒體數(shù)據(jù)壓縮編碼技術(shù)來解決數(shù)據(jù)存儲(chǔ)與信息傳輸?shù)膯栴}。
壓縮技術(shù)一直是多媒體技術(shù)的熱點(diǎn)之一，多媒體中數(shù)據(jù)的壓縮主要指圖像（視頻）和音頻的壓縮，它的潛在價(jià)值相當(dāng)大，是計(jì)算機(jī)處理圖像和視頻以及網(wǎng)絡(luò)傳輸?shù)闹匾A(chǔ)。數(shù)字化后的多媒體信息的圖像、視頻信號和音頻信號數(shù)據(jù)中存在的很大冗余（空間冗余、時(shí)間冗余、結(jié)構(gòu)冗余、知識(shí)冗余、視覺冗余、圖像區(qū)域相同性冗余、紋理統(tǒng)計(jì)冗余等）使數(shù)據(jù)壓縮成為可能。數(shù)據(jù)壓縮的實(shí)質(zhì)是在滿足還原信息質(zhì)量要求的前提下，采用代碼轉(zhuǎn)換或消除信息冗余量的方法來實(shí)現(xiàn)對采樣數(shù)據(jù)量的大幅縮減。
與數(shù)據(jù)壓縮相對應(yīng)的處理稱為解壓縮，又稱數(shù)據(jù)還原。它是將壓縮數(shù)據(jù)通過一定的解碼算法還原到原始信息的過程。通常，人們把包括壓縮與解壓縮內(nèi)容的技術(shù)統(tǒng)稱為數(shù)據(jù)壓縮技術(shù)。
根據(jù)質(zhì)量有無損失，壓縮編碼可分為有損失編碼和無損失編碼兩類。前者指壓縮后的數(shù)據(jù)經(jīng)解壓后還原得到的數(shù)據(jù)與原始數(shù)據(jù)相同，沒有誤差；后者則存在一定的誤差。
壓縮編碼的方法非常多，編碼過程一般都涉及較深的數(shù)學(xué)理論基礎(chǔ)問題。在眾多的壓縮編碼方法中，衡量一種壓縮編碼方法優(yōu)劣的重要指標(biāo)有：壓縮比要高，壓縮與解壓縮速度要快，算法要簡單，硬件實(shí)現(xiàn)要容易，解壓縮質(zhì)量要好。在選用編碼方法時(shí)還應(yīng)考慮信源本身的統(tǒng)計(jì)特征、多媒體軟硬件系統(tǒng)的適應(yīng)能力、應(yīng)用環(huán)境及技術(shù)標(biāo)準(zhǔn)等。 |
| 1.2.2 多媒體信息存儲(chǔ)技術(shù) |
多媒體數(shù)據(jù)有兩個(gè)顯著的特點(diǎn)，其一是數(shù)據(jù)表現(xiàn)有多種形式，且數(shù)據(jù)量很大，尤其對動(dòng)態(tài)的聲音和視頻圖像更為明顯；其二是多媒體數(shù)據(jù)傳輸具有實(shí)時(shí)性，聲音和視頻必須嚴(yán)格地同步。這就要求存儲(chǔ)設(shè)備的存儲(chǔ)容量必須足夠大，存取速度快，以便高速傳輸數(shù)據(jù)，使得多媒體數(shù)據(jù)能夠?qū)崟r(shí)地傳輸和顯示。
多媒體信息存儲(chǔ)技術(shù)主要研究多媒體信息的邏輯組織，存儲(chǔ)體的物理特性，邏輯組織到物理組織的映射關(guān)系，多媒體信息的存取訪問方法、訪問速度、存儲(chǔ)可靠性等問題，具體技術(shù)包括磁盤存儲(chǔ)技術(shù)、光存儲(chǔ)技術(shù)以及其他存儲(chǔ)技術(shù)。
光存儲(chǔ)技術(shù)是伴隨著多媒體技術(shù)的發(fā)展而發(fā)展的，并且CD-ROM存儲(chǔ)器已經(jīng)成為多媒體計(jì)算機(jī)的標(biāo)準(zhǔn)配置。CD-ROM從存儲(chǔ)方式上可分為CD-R（只讀光盤）和CD-RW（可讀可擦寫光盤）兩種，從存儲(chǔ)格式上可分為數(shù)據(jù)CD、音樂CD、VCD、DVD、Photo-CD等不同格式標(biāo)準(zhǔn)的光盤。 |
| 1.2.3 多媒體網(wǎng)絡(luò)通信技術(shù) |
多媒體網(wǎng)絡(luò)通信技術(shù)是指通過對多媒體信息特點(diǎn)和網(wǎng)絡(luò)技術(shù)的研究，建立適合傳輸文本、圖取、圖像、聲音、視頻、動(dòng)畫等多媒體信息的信道、通信協(xié)議和交換方式等，解決多媒體信息傳輸中的實(shí)時(shí)與媒體同步等問題。
現(xiàn)有的通信網(wǎng)絡(luò)大體上可分為三類：電信網(wǎng)絡(luò)（包括移動(dòng)多媒體網(wǎng)絡(luò)）、計(jì)算機(jī)網(wǎng)絡(luò)和有線電視網(wǎng)絡(luò)。多媒體通信網(wǎng)絡(luò)技術(shù)主要解決網(wǎng)絡(luò)吞吐量、傳輸可靠性、傳輸實(shí)時(shí)性和提高服務(wù)質(zhì)量（QoS）等問題，實(shí)現(xiàn)多媒體通信和多媒體數(shù)據(jù)及資源的共享。
多媒體通信對多媒體產(chǎn)業(yè)的發(fā)展、普及和應(yīng)用有著舉足輕重的作用，但由于多媒體信息及大部分的網(wǎng)絡(luò)多媒體應(yīng)用對網(wǎng)絡(luò)帶寬的要求非常高，多媒體通信構(gòu)成了整個(gè)多媒體產(chǎn)業(yè)發(fā)展的關(guān)鍵和“瓶頸”。多媒體通信是一個(gè)綜合性的技術(shù)，涉及多媒體、計(jì)算機(jī)及通信等領(lǐng)域，它們之間相互影響和促進(jìn)。大數(shù)據(jù)量的連續(xù)媒體在網(wǎng)上的實(shí)時(shí)傳輸不僅向窄帶網(wǎng)絡(luò)及包交換協(xié)議提出了挑戰(zhàn)，而且對于媒體技術(shù)本身，如數(shù)據(jù)的壓縮、各媒體間的時(shí)空同步等，也提出了更高的要求。
另外，利用計(jì)算機(jī)網(wǎng)絡(luò)以及在網(wǎng)絡(luò)上進(jìn)行分布式與協(xié)作操作，可以更廣泛地實(shí)現(xiàn)信息共享。多媒體空間的合理分布和有效的協(xié)作操作將縮小個(gè)體與群體、局部與全球的工作差距；通過更有效的協(xié)議及分布式技術(shù)可以超越時(shí)空限制，充分利用信息，協(xié)同合作，相互交流，節(jié)約時(shí)間和經(jīng)費(fèi)。 |
| 1.2.4 多媒體專用芯片技術(shù) |
專用芯片是改善多媒體計(jì)算機(jī)硬件體系結(jié)構(gòu)和提高其性能的關(guān)鍵。為了實(shí)現(xiàn)音頻、視頻信號的快速壓縮、解壓縮和實(shí)時(shí)播放，需要大量的快速計(jì)算。只有不斷研發(fā)高速專用芯片，才能取得滿意的處理效果。專用芯片技術(shù)的發(fā)展依賴于大規(guī)模集成電路（VastLarge Scale Integration——VLSI）技術(shù)的發(fā)展。
多媒體計(jì)算機(jī)專用芯片可歸納為兩種類型：一種是固定功能的芯片，其主要用來提高圖像數(shù)據(jù)的壓縮率；另一種是可編程數(shù)字信號處理器DSP芯片，主要用來提高圖像的運(yùn)算速度。
最早推出的固定功能的專用芯片是圖像處理的壓縮處理芯片，即將實(shí)現(xiàn)靜態(tài)圖像的數(shù)據(jù)壓縮／解壓縮算法做在一個(gè)專用芯片上，從而大大提高其處理速度，如C-Cube公司生產(chǎn)的MPEG解壓縮芯片被廣泛地應(yīng)用于VCD播放機(jī)中。隨后，許多半導(dǎo)體廠商和公司又推出執(zhí)行國際標(biāo)準(zhǔn)壓縮編碼的專用芯片。由于壓縮編碼的國際標(biāo)準(zhǔn)較多，一些廠家和公司還推出多功能視頻壓縮芯片。
可編程數(shù)字信號處理器DSP芯片是一種非常適合進(jìn)行數(shù)字信號處理的微處理器。由于其采用多處理器并行技術(shù)，計(jì)算能力超強(qiáng)，可望達(dá)到2bips，特別適合于高密度、重復(fù)運(yùn)算及大數(shù)據(jù)流量的信號處理。這些高檔的專用多媒體處理器芯片，不僅大大提高了音頻、視頻信號處理速度，而且在音頻、視頻數(shù)據(jù)編碼時(shí)增加了特技效果。 |
| 1.2.5 多媒體軟件技術(shù) |
1．多媒體操作系統(tǒng)
多媒體操作系統(tǒng)是多媒體軟件技術(shù)的核心，負(fù)責(zé)多媒體環(huán)境下多任務(wù)的調(diào)度，提供多媒體信息的各種基本操作和管理，保證音頻、視頻同步控制以及信息處理的實(shí)時(shí)性，具備綜合處理和使用各種媒體的能力，能靈活地調(diào)度多種媒體數(shù)據(jù)并能進(jìn)行相應(yīng)的傳輸和處理，改善工作環(huán)境并向用戶提供友好的人機(jī)交互界面等。
多媒體操作系統(tǒng)是多媒體應(yīng)用軟件的操作支撐環(huán)境，支持對多媒體信息處理的各種復(fù)雜技術(shù)的要求，支持提供豐富的制作多媒體素材的工具軟件。
2．多媒體數(shù)據(jù)庫技術(shù)
數(shù)據(jù)的組織和管理是任何信息系統(tǒng)都要解決的核心問題。數(shù)據(jù)量大、種類繁多、關(guān)系復(fù)雜是多媒體數(shù)據(jù)的基本特征，這使數(shù)據(jù)的組織方法和存儲(chǔ)方法變得復(fù)雜。因此，以什么樣的數(shù)據(jù)模型表達(dá)和模擬這些多媒體信息空間？如何組織和存儲(chǔ)這些數(shù)據(jù)？如何管理這些數(shù)據(jù)？如何操縱和查詢這些數(shù)據(jù)？這些都是傳統(tǒng)數(shù)據(jù)庫系統(tǒng)的能力和方法所難以解決的問題。
多媒體數(shù)據(jù)庫中，要處理結(jié)構(gòu)化和大量非結(jié)構(gòu)化數(shù)據(jù)，解決數(shù)據(jù)模型、數(shù)據(jù)壓縮與還原、多媒體數(shù)據(jù)庫操作及多媒體數(shù)據(jù)對象表現(xiàn)等主要問題。
多媒體數(shù)據(jù)庫技術(shù)主要從三個(gè)方面開展研究，一是研究分析多媒體數(shù)據(jù)對象的固有特性；二是在數(shù)據(jù)模型方面開展研究，實(shí)現(xiàn)多媒體數(shù)據(jù)庫管理；三是研究基于內(nèi)容的多媒體信息檢索策略。
3．多媒體信息處理與應(yīng)用開發(fā)技術(shù)
多媒體信息處理主要研究各種媒體信息（如文本、圖形、圖像、聲音、視頻等）的采集、編輯、處理、存儲(chǔ)、播放等技術(shù)。多媒體應(yīng)用開發(fā)技術(shù)主要是在多媒體信息處理的基礎(chǔ)上，研究和利用多媒體著作或編程工具，開發(fā)面向應(yīng)用的多媒體系統(tǒng)，并通過光盤或網(wǎng)絡(luò)發(fā)布，這也是本課程主要涉及的內(nèi)容。 |
| 1.2.6 虛擬現(xiàn)實(shí)技術(shù) |
| 虛擬現(xiàn)實(shí)（Virtual Reality——VR）技術(shù)是一種可以創(chuàng)建和體驗(yàn)虛擬世界的計(jì)算機(jī)系統(tǒng)，一種逼真地模擬人在自然環(huán)境中視覺、聽覺和運(yùn)動(dòng)等行為的高級人機(jī)交互（界面）技術(shù)。虛擬現(xiàn)實(shí)技術(shù)是多媒體技術(shù)的重要發(fā)展和應(yīng)用方向，旨在為用戶提供一種身臨其境和多感覺通道的體驗(yàn)，尋求最佳的人機(jī)通信方式。它是由計(jì)算機(jī)硬件、軟件以及各種傳感器所構(gòu)成的三維信息人工環(huán)境，即虛擬環(huán)境；由可實(shí)現(xiàn)的和不可實(shí)現(xiàn)的物理上的、功能上的事物和環(huán)境構(gòu)成。用戶投入這種環(huán)境中，就可與之交互作用。計(jì)算機(jī)的數(shù)據(jù)庫中存有多種圖像、聲音及有關(guān)數(shù)據(jù)。當(dāng)你戴上專用的頭盔時(shí)，多媒體計(jì)算機(jī)把這些虛擬世界圖像，從頭盔的顯示器顯示給你。當(dāng)你戴上專用的數(shù)據(jù)手套，手一動(dòng)，有很多傳感器就測出了你的動(dòng)作（例如，去開門）。計(jì)算機(jī)接到這一信息，就去控制圖像，使門打開，你眼前就出現(xiàn)了室內(nèi)的圖像景物，并給出相應(yīng)的聲音及運(yùn)動(dòng)感覺。
虛擬現(xiàn)實(shí)技術(shù)出現(xiàn)于20世紀(jì)80年代末，已在娛樂、醫(yī)療、工程和建筑、教育和培訓(xùn)，軍事模擬、科學(xué)和金融可視化等方面獲得了應(yīng)用。例如，三維地形圖在VR中用于地貌環(huán)境的虛擬仿真和軍事地形的模擬，這些圖像多數(shù)是十分逼真的有照片效果的風(fēng)景名勝圖像，也有非常直觀的三維地形透視效果圖；虛擬節(jié)目主持人可以用合成的虛擬聲音，三維的動(dòng)作和表情為你主持節(jié)目；在當(dāng)代電影中，有多媒體技術(shù)的支持，使藝術(shù)家可以大膽，甚至荒唐地構(gòu)思，幾乎任何驚奇的影視特技、夸張的兇險(xiǎn)場景都能實(shí)現(xiàn)。
虛擬現(xiàn)實(shí)技術(shù)在娛樂游戲、建筑設(shè)計(jì)、CAD機(jī)械設(shè)計(jì)、計(jì)算機(jī)輔助教學(xué)、虛擬實(shí)驗(yàn)室、國防軍事、航空航天、生物醫(yī)學(xué)、醫(yī)療外科手術(shù)、藝術(shù)體育、商業(yè)旅游等領(lǐng)域顯示出廣闊的應(yīng)用前景。 |
