摘要:人機結(jié)合以人為主,而高效自然的人機交互技術(shù)是提高人機系統(tǒng)的整體效率的關(guān)鍵技術(shù)。本文將CSCW技術(shù)與虛擬現(xiàn)實技術(shù)結(jié)合起來,構(gòu)造分布式協(xié)同虛擬學(xué)習(xí)環(huán)境,提出了一個分布式協(xié)同虛擬學(xué)習(xí)環(huán)境中的多維交互界面模型,為協(xié)作者提供以三維動態(tài)形式出現(xiàn)的信息環(huán)境,使其在這一環(huán)境中具有真實感和沉浸感,改善協(xié)同學(xué)習(xí)環(huán)境的用戶界面,通過多維、自然的交互更好地表達(dá)情感、協(xié)同工作。
關(guān)鍵字:協(xié)同學(xué)習(xí) 分布式虛擬現(xiàn)實 交互技術(shù)
1 引言
隨著計算機及網(wǎng)絡(luò)、通訊等技術(shù)的飛速發(fā)展,人類正向高度信息化的社會邁進,網(wǎng)絡(luò)改變著人類的生活和工作方式。協(xié)同工作技術(shù)與虛擬現(xiàn)實技術(shù)的結(jié)合將引發(fā)教育領(lǐng)域的又一次革命,它提供一種完全沉浸式的交互界面,把網(wǎng)絡(luò)空間轉(zhuǎn)換為社會空間,通過虛擬社會將人們聯(lián)系起來,提高協(xié)同工作者之間的可感知性和交互性,使其獲得更真實的身臨其境的體驗?;诖?,研究如何加強協(xié)同虛擬學(xué)習(xí)環(huán)境中交互的自然性、多維性和豐富性,成為了一個熱點研究領(lǐng)域。
2 協(xié)同學(xué)習(xí)環(huán)境
2.1CSCW
計算機支持的協(xié)同工作(Computer Supported Cooperative Work,簡稱CSCW)技術(shù)是現(xiàn)代計算機技術(shù)的一個分支,它是指一組用戶在一個共享的工作環(huán)境中協(xié)作地完成一個任務(wù)。CSCW技術(shù)運用于教育領(lǐng)域更好地體現(xiàn)了建構(gòu)主義對教學(xué)過程的要求,更能突出學(xué)習(xí)者的主體性和協(xié)作性。CSCW教學(xué)系統(tǒng)具有邊界開放性、信息共享性、自動化支持、工作協(xié)同性、分布性、群體感知性等特點。其教學(xué)模式如圖1所示。
2.2當(dāng)前網(wǎng)絡(luò)學(xué)習(xí)環(huán)境的局限性
(1)缺乏真實的體驗
建構(gòu)主義學(xué)習(xí)環(huán)境所要求的知識的建構(gòu)是在情境中進行積極的連接和反思過程的結(jié)果,所產(chǎn)生的知識是大腦的產(chǎn)品,是學(xué)習(xí)者來自于情境的經(jīng)驗及對情境解釋的結(jié)果,這些經(jīng)驗?zāi)軌蛟趯W(xué)習(xí)環(huán)境也能夠在真實世界環(huán)境中遇到。而現(xiàn)有的網(wǎng)絡(luò)學(xué)習(xí)環(huán)境基本上遵循HTTP協(xié)議由HTML及相關(guān)擴展技術(shù)構(gòu)造,缺乏真實感,其創(chuàng)設(shè)的情境不能將現(xiàn)實世界環(huán)境中的特征盡可能忠實地體現(xiàn)在學(xué)習(xí)環(huán)境中。
(2)交互缺乏可感知性和自然性
基于Internet的協(xié)作學(xué)習(xí)環(huán)境應(yīng)該具備共享的信息資源、交互工具和學(xué)習(xí)空間(協(xié)作空間、個人空間)三個功能。其中交互應(yīng)該通道多維、信息豐富、效果良好。目前的網(wǎng)絡(luò)學(xué)習(xí)環(huán)境在用戶界面和交互方式上顯得不夠友好,不能很好的滿足協(xié)同參與者之間的情感表達(dá)和協(xié)同群體感知,缺乏可感知性和自然性,影響協(xié)同工作的效果與效率。
(3)學(xué)習(xí)者的非智力因素沒有引起足夠的重視
現(xiàn)有的網(wǎng)絡(luò)學(xué)習(xí)環(huán)境不能很好的識別學(xué)習(xí)者在真實交往中所表現(xiàn)出來的個性差異。學(xué)習(xí)者由于各自有不同的社會、文化背景、知識結(jié)構(gòu)和個性特征,因此,每個人的學(xué)習(xí)風(fēng)格、思維方式也有顯著差別,而目前的網(wǎng)絡(luò)學(xué)習(xí)環(huán)境惟一能標(biāo)志學(xué)習(xí)者之間差別的就是系統(tǒng)分配給的ID號,這不但不能很好的因材施教,而且學(xué)習(xí)者之間也不能相互了解。
此外,傳統(tǒng)網(wǎng)絡(luò)學(xué)習(xí)環(huán)境中運用集體的力量促進每個學(xué)習(xí)者的發(fā)展也不能很好的體現(xiàn)。在良好的協(xié)作學(xué)習(xí)環(huán)境中,學(xué)習(xí)者之間應(yīng)能夠通過相互觀摩,共同進步。每個人在各方面的進步或后退都會被同伴所注意和評價,這些外部評價很能影響其今后努力的方向。在協(xié)作學(xué)習(xí)環(huán)境中這種積極向上的心理氣氛,將能夠激勵其向更好的方向發(fā)展,全面提高每個協(xié)作者的自身素質(zhì)。
2.3解決問題的一條思路
將協(xié)同工作技術(shù)和虛擬現(xiàn)實技術(shù)結(jié)合起來,構(gòu)造分布式協(xié)同虛擬學(xué)習(xí)環(huán)境,提出一個分布式協(xié)同虛擬學(xué)習(xí)環(huán)境中的多維交互界面模型,為協(xié)作者提供以三維動態(tài)形式出現(xiàn)的信息,使其在這一環(huán)境中具有較好的真實感和沉浸感,改善協(xié)同學(xué)習(xí)環(huán)境的用戶界面,通過多維、自然的交互更好地表達(dá)情感、協(xié)同工作。
3 分布式虛擬現(xiàn)實系統(tǒng)
3.1情境化學(xué)習(xí)理論
情境化學(xué)習(xí)理論認(rèn)為,所有的學(xué)習(xí)都應(yīng)該是情境變化的,學(xué)習(xí)應(yīng)該發(fā)生在真實的情境中,環(huán)境是學(xué)習(xí)者所不可避免的整體的一部分。在情境中獲得的知識和技能反映了這些知識和技能在現(xiàn)實世界所應(yīng)用的方法。
情境化學(xué)習(xí)理論本質(zhì)上與建構(gòu)主義學(xué)習(xí)理論是一致的,亦即認(rèn)為學(xué)習(xí)是在原有的基礎(chǔ)上,通過與環(huán)境的交互,積極地建立新的認(rèn)識和理解的過程。環(huán)境對與學(xué)習(xí)的意義是至關(guān)重要的。情境化學(xué)習(xí)理論堅持兩條最基本的原則:一是對知識和技能的學(xué)習(xí)應(yīng)當(dāng)置于一個真實度很高的情境中;二是學(xué)習(xí)需要社會交互與合作。情境化學(xué)習(xí)理論的積極倡導(dǎo)者萊夫(Lave)認(rèn)為,學(xué)習(xí)就其正常的發(fā)生的形式來說,應(yīng)該是情境、文化和學(xué)習(xí)活動的共同功能。情境化學(xué)習(xí)的重要組成部分是社會交互,亦即讓學(xué)習(xí)者成為學(xué)習(xí)團體的一員,團體有共同的信念與行為。情境化學(xué)習(xí)常常是無意識的,而不是刻意的。
3.2分布式虛擬現(xiàn)實系統(tǒng)簡介
分布式虛擬現(xiàn)實(Distributed Virtual Reality,DVR)系統(tǒng)是一個支持多人實時通過網(wǎng)絡(luò)進行交互的圖形系統(tǒng)。每個用戶在一個VR環(huán)境(真實感3D立體圖形、立體聲等)中通過聯(lián)網(wǎng)的計算機與其他用戶進行交互。美國國防部制定了DIS(Distributed Interactive Simulation)協(xié)議,成為DVR的一項標(biāo)準(zhǔn)(IEEE 1278)。目前虛擬現(xiàn)實技術(shù)已在醫(yī)學(xué)、軍事、航空、機器人及制造業(yè)、建筑、教育及娛樂等眾多領(lǐng)域得到成功應(yīng)用。
DVR系統(tǒng)應(yīng)具有以下5個方面的特征:① 共享的虛擬空間;② 偽實體的行為真實感;③ 支持實時交互,共享時鐘;④ 多個用戶以多種方式相互通信;⑤ 資源信息共享以及允許用戶自然操縱環(huán)境中的對象。
3.3虛擬現(xiàn)實系統(tǒng)的教學(xué)功能
Rory Stuart和John Thomas認(rèn)為虛擬現(xiàn)實系統(tǒng)有六大教學(xué)功能:
(1)幫助學(xué)習(xí)者探索那些不能接觸到的地點和事物,如火星表面;
(2)向?qū)W習(xí)者呈現(xiàn)那些難于觀察和測量的事物,如分子結(jié)構(gòu);
(3)為學(xué)習(xí)者再現(xiàn)那些已經(jīng)不復(fù)存在的事物,如冰河期的地球;
(4)為地域上遠(yuǎn)隔萬里的學(xué)習(xí)者提供合作學(xué)習(xí)和討論的環(huán)境;
(5)將抽象的、深奧的學(xué)習(xí)內(nèi)容具體化、形象化;
(6)讓學(xué)生與虛擬的人物進行交流,如與牛頓、伽利略探討物理。
所有應(yīng)用的關(guān)鍵在于參與,學(xué)習(xí)者進行推理和問題解決的基礎(chǔ)是個案、實例和經(jīng)驗,而不是依靠規(guī)則的學(xué)習(xí),學(xué)習(xí)者需要通過與環(huán)境的自然交互來建構(gòu)他們自己的意義世界。
此外,從安全性與經(jīng)濟性的角度考慮,虛擬現(xiàn)實技術(shù)也是一種有效的教學(xué)工具。虛擬現(xiàn)實有極大的靈活性和多樣性,只要更改計算機內(nèi)的程序,就可以改變學(xué)習(xí)者所面臨的“現(xiàn)實”。也就是說,計算機技術(shù)可以設(shè)計許多仿真實驗,通過輸入必要的參數(shù),或者通過學(xué)習(xí)者交互操作,進行模擬實驗,通過輸入不同的參數(shù),觀察不同的實驗結(jié)果,進行分析比較,學(xué)習(xí)科學(xué)探究的能力。
4 分布式協(xié)同虛擬學(xué)習(xí)環(huán)境的交互技術(shù)
4.1基于事件的VRML交互機制
新一代的WEB語言VRML(Virtual Reality Modeling Language),是一個三維造型和渲染的圖形描述性語言它把一個“虛擬世界”看作是一個“場景”,而場景中的一切都看作是“節(jié)點”,它的描述構(gòu)建通過Internet和World Wide Web上的超鏈接而形成的虛擬世界。這為虛擬現(xiàn)實與Internet的結(jié)合提供了一條新思路,也為基于Internet的協(xié)同工作的發(fā)展提供了一種新的虛擬現(xiàn)實的工作環(huán)境和交互技術(shù)。VRML的基本特征包括:分布式、交互式、平臺無關(guān)、三維、多媒體集成、逼真自然等,被稱為第二代WEB。
VRML 2.0標(biāo)準(zhǔn)提供了感應(yīng)器節(jié)點(Sensor)來產(chǎn)生事件(Events),以代表用戶的動作和要求:使用執(zhí)行引擎來處理事件 ,使對象發(fā)生相應(yīng)的狀態(tài)改變或動作的變化 ,再通過路由結(jié)構(gòu) (Route)來傳遞事件和生成動態(tài)的場景 ,實現(xiàn)虛擬現(xiàn)實動畫的人機交互功能。
VRML允許用戶的行為能夠?qū)崟r作用于場景,用戶不僅可以在場景中隨意漫步,甚至可以隨時啟動一個“事件”,比如碰到了一個物體、旋轉(zhuǎn)燈鈕來控制燈光的亮度等等。這種人機交互是建立在事件的基礎(chǔ)上的,通過路由將節(jié)點聯(lián)系成為事件體系是使VRML具有動態(tài)交互能力的機制。
4.2分布式協(xié)同虛擬學(xué)習(xí)環(huán)境中的多維交互界面模型
為支持人與虛擬環(huán)境之間同時使用多種交互方式(多通道),我們建立了一種基于分布式虛擬現(xiàn)實交互的CSCW應(yīng)用結(jié)構(gòu),其多維交互界面模型如圖3所示。
該模型支持多種人與虛擬環(huán)境的自然交互方式,用戶可以通過各種輸入技術(shù)和輸入設(shè)備表達(dá)信息,如語音技術(shù)、姿勢輸入技術(shù)、唇讀、表情識別、數(shù)據(jù)衣、數(shù)據(jù)手套等。這些輸入信息通過信息整合器的整合,然后送入交互信息管理模塊進行處理。
交互信息管理模塊通過提供一致的接口,將可交互改變的信息分離出來,允許系統(tǒng)通過不同的方式對其進行改變。模塊包括沖突檢測、協(xié)調(diào)機制、交互命令。在協(xié)作過程中協(xié)作者之間必然存在某種和諧的沖突,沖突檢測引擎可以實時檢測出各仿真實體之間、仿真實體與靜態(tài)實體之間的沖突,交由協(xié)調(diào)機制進行協(xié)調(diào),協(xié)調(diào)過后就向智能代理模塊發(fā)出交互命令。
智能代理模塊中的計算進程負(fù)責(zé)完成所有非圖形類計算操作,幾何模型管理進程負(fù)責(zé)對虛擬現(xiàn)實環(huán)境中的所有幾何場景進行管理,將處理結(jié)果傳遞給界面信息表示模塊控制、修改后進行輸出。
界面信息表示模塊支持多種顯示和不同觀點。因為協(xié)作的用戶必須知道其他用戶的活動,所以必須支持給不同的協(xié)作者形象地顯示共享的協(xié)作信息,并支持對不同視窗上的共享信息做出各種有效的協(xié)作操作;對應(yīng)于不同級別的信息共享,各協(xié)作者往往要求以不同的方式表達(dá)。按照交互作用的程度,通常有三種級別的共享方式:
(1)表示級共享(緊耦合):對于公共信息區(qū)的同一信息為用戶提供統(tǒng)一的顯示輸出方式。當(dāng)顯示內(nèi)容改變時,所有協(xié)作成員的顯示屏幕都要隨之改變。這種通訊共享方式也稱為“你見即我見”(WYSIWIS)。
(2)視圖級共享(中等耦合):每個用戶使用的顯示數(shù)據(jù)相同,但顯示方式不同。例如,同一數(shù)據(jù)可以為用戶表示為圖表或圖形。
(3)對象級共享(松耦合):每個用戶使用的顯示數(shù)據(jù)都不相同。例如,幾個用戶可編輯同一文檔的不同部分。
4.3關(guān)鍵技術(shù)
4.3.1交互設(shè)備
三維人機交互技術(shù)與傳統(tǒng)的WIMP(窗口、圖標(biāo)、菜單和指點裝置)圖形交互技術(shù)不同。它采用六自由度輸入設(shè)備。所謂六自由度是指X、Y、Z軸平移和繞X、Y、Z軸旋轉(zhuǎn)。目前的交互設(shè)備在三維交互環(huán)境會破壞空間感,同時也使得交互過程非常不自然?,F(xiàn)有三維設(shè)備中被廣泛應(yīng)用的主要有:浮動鼠標(biāo)(Flying Mouse)、數(shù)據(jù)手套、手持式操作器(Wand)、力矩球(空間球Space Ball)等,此外,手勢識別、視線跟蹤等也成為研究的熱點課題。
4.3.2自然的人—機、人—人交互技術(shù)
要使得協(xié)同工作者獲得很好的“真實感”和“沉浸感”,交互的自然性就顯得特別重要,必須使用多通道用戶交互技術(shù),包括自然語言、手勢、頭部運動等。在分布式協(xié)同虛擬學(xué)習(xí)環(huán)境中,除了一般圖形系統(tǒng)的人—機交互之外,還有人—人交互,并且要求是同步交互,實時同步交互的協(xié)同工作的同步交互涉及的問題包括同步交互請求和同步交互檢測等,它是把CSCW技術(shù)與虛擬現(xiàn)實技術(shù)相結(jié)合。
4.3.3網(wǎng)絡(luò)通信和網(wǎng)絡(luò)協(xié)議
由于在分布式協(xié)同虛擬學(xué)習(xí)環(huán)境中要求高交互性和實時性,網(wǎng)絡(luò)通信的帶寬和延時成為系統(tǒng)的主要限制。另外,一些傳統(tǒng)的網(wǎng)絡(luò)協(xié)議不能滿足DVR系統(tǒng)的需求,必須研究新的面向DVR的網(wǎng)絡(luò)協(xié)議,現(xiàn)有的一個典型例子是虛擬現(xiàn)實傳輸協(xié)議(Virtual Reality Transport Protocols,簡稱VRTP)。
4.3.4快速環(huán)境建模和實時圖形繪制
傳統(tǒng)的幾何的建模方法有其固有的缺點(速度慢、真實感差),現(xiàn)在,基于圖像和幾何的混合造型方法已得到較為廣泛的使用。此外,實時圖形繪制是也是一項關(guān)鍵技術(shù),可以考慮使用限時計算、多細(xì)節(jié)層次模型、智能化視區(qū)裁剪、場景預(yù)處理、基于圖像的繪制等技術(shù),來保證圖形的實時繪制。
4.4虛擬現(xiàn)實交互技術(shù)的優(yōu)點
4.4.1豐富了媒體的表現(xiàn)形式
在分布式協(xié)同虛擬學(xué)習(xí)環(huán)境中,媒體的表現(xiàn)形式在原本二維平面的基礎(chǔ)上增加了三維立體的形式,變得更為豐富,更加方便用戶獲取信息,使得協(xié)同工作可以更好地開展下去。采用二維和三維、實時和非實時的結(jié)合,改變了呆板的對話框文本輸入式的交互,提高了用戶的感受力。
4.4.2提供了協(xié)同工作角色的可視化管理
在協(xié)同環(huán)境中對參與協(xié)同工作的角色進行管理也是協(xié)同環(huán)境需要研究的重要內(nèi)容,協(xié)作者能夠?qū)崟r地了解其他協(xié)作者的狀態(tài)可以使他們之間的協(xié)作更好地進行。分布式協(xié)同虛擬學(xué)習(xí)環(huán)境的角色管理也已經(jīng)從非實時提高到實時,從狀態(tài)提示型躍進到了可視化。
4.4.3改善了協(xié)同環(huán)境的用戶界面
分布式協(xié)同虛擬學(xué)習(xí)環(huán)境中所創(chuàng)建的三維虛擬空間要比單純的應(yīng)用程序界面要友好得多,使協(xié)作者有身臨其境的感受,如同在真實世界當(dāng)中。這種用戶界面讓人感到親切自然,更容易接受。
4.4.4有利于學(xué)習(xí)者的非智力因素的培養(yǎng)
在分布式協(xié)同虛擬學(xué)習(xí)環(huán)境中,協(xié)作者以具有個性特征的智能實體(Actor)形象進入系統(tǒng),每個智能實體根據(jù)協(xié)作者的文化背景、知識結(jié)構(gòu)和個性特征各不相同,給人以“第一人稱”的感覺。協(xié)作者還能通過各種輸入輸出設(shè)備實時的與其他小組成員進行交流,充分發(fā)揮集體的智慧,并相互學(xué)習(xí)、相互促進,共同進步。
4.4.5提高了人機系統(tǒng)的整體效率
采用了新型的交互技術(shù)和交互設(shè)備,突破了人機交互的基本障礙,構(gòu)造和諧的人機環(huán)境,將在現(xiàn)實世界中人與環(huán)境交互作用的經(jīng)驗盡可能直接移植到人機環(huán)境中,并在人機環(huán)境中獲得類似于或相同于現(xiàn)實世界中交互的真實的三維感受,消除人被動地去適應(yīng)計算機系統(tǒng)所帶來的認(rèn)知負(fù)擔(dān),增強人機系統(tǒng)的整體效率。
5 結(jié)論
目前,三維交互技術(shù)的研究已經(jīng)在國際圖形學(xué)界引起廣泛的重視,人們普遍認(rèn)為三維圖形交互將成為新一代用戶界面的關(guān)鍵技術(shù)之一。本文提出的分布式協(xié)同虛擬學(xué)習(xí)環(huán)境中的多維交互界面模型,通過多維、自然的交互進一步改善了協(xié)同學(xué)習(xí)環(huán)境的用戶界面,當(dāng)學(xué)習(xí)者使用“沉浸式”用戶界面進行網(wǎng)絡(luò)化協(xié)同學(xué)習(xí)時,其學(xué)習(xí)效率不言而喻。模型中的交互信息管理模塊和界面信息表達(dá)模塊能較好地對信息進行整合及輸入輸出,而進一步完善智能代理模塊,提高人機交互的自然性和高效性是我們今后努力的一個重要方向。