在科幻電影《少數(shù)派報(bào)告》中，男主角伸出雙臂，用各種手勢(shì)給電腦下達(dá)指令。這個(gè)場(chǎng)景或許很快就會(huì)成為現(xiàn)實(shí)。圖片來源：electronicproducts.com
（文/ MacGregor Campbell）據(jù)家里人說，我妻子的祖母克莉歐（Cleo）有一次用鼠標(biāo)鬧出了笑話。那是她第一次坐下來學(xué)習(xí)使用計(jì)算機(jī)，她的4個(gè)兒子圍在她身旁指指點(diǎn)點(diǎn)。一個(gè)說：“把指針移到左邊?！彼咽髽?biāo)移到了左邊?！霸僖频接疫??！币稽c(diǎn)問題沒有?！霸侔阎羔樢频缴戏??！笨死驓W把鼠標(biāo)抬離了桌面，卻驚訝地發(fā)現(xiàn)光標(biāo)并沒有隨之而動(dòng)。
聽上去很傻，但她的動(dòng)作是天性使然。為了讓計(jì)算機(jī)明白我們的意圖，我們已經(jīng)把出自本能的身體運(yùn)動(dòng)壓縮到了二維的鼠標(biāo)墊或者觸摸屏上。這一點(diǎn)即將發(fā)生改變。
從公共資訊站到你的起居室，從今年開始，我們?nèi)粘Ｊ褂玫挠?jì)算機(jī)將開始以前所未有的精確度理解我們的手勢(shì)詞匯，哪怕極為精細(xì)的手指動(dòng)作也不會(huì)錯(cuò)過。這將如何改變我們與數(shù)字世界交互的方式？一些倡導(dǎo)者聲稱，鼠標(biāo)和鍵盤將會(huì)遭到淘汰。這不過是危言聳聽。手勢(shì)計(jì)算帶來的影響當(dāng)中，我們自身將被如何改變才是更有趣的部分：從我們可能會(huì)被要求學(xué)習(xí)的種種新型“手語(yǔ)”，到一種被稱為“大猩猩臂”的病痛。反過來，我們的行為又將決定技術(shù)的演進(jìn)方向。對(duì)于我們漫游數(shù)字空間的方式，是時(shí)候跟舊觀念說再見了。
最早能夠識(shí)別人類手勢(shì)的計(jì)算機(jī)，出現(xiàn)于20世紀(jì)70年代。那時(shí)候，研究者把指揮棒或者可穿戴式加速計(jì)裝到了人身上。低下的分辨率將這些技術(shù)扼殺在了起步階段。不過有限的幾種二維肢體語(yǔ)言，還是得到了個(gè)人計(jì)算機(jī)的接納：使用鼠標(biāo)拖拽滾動(dòng)條或者雙擊桌面圖標(biāo)，需要的就是手和臂的肢體運(yùn)動(dòng)，而不是鍵入代碼。多點(diǎn)觸控屏幕在我們的手勢(shì)詞典中增加了更多的動(dòng)作：比如，我們學(xué)會(huì)了在屏幕上分開兩根手指來放大照片或者地圖。
然而直到最近，計(jì)算機(jī)仍然看不到我們的大多數(shù)手勢(shì)和身體語(yǔ)言。盡管拜微軟Kinect這樣的深度感知技術(shù)所賜，手臂、腿和軀干的位置都能夠用來控制視頻游戲，但我們的計(jì)算機(jī)、電視機(jī)和其他設(shè)備大體上還停留在更加傳統(tǒng)的控制方式上。
不過，就在今年7月，美國(guó)舊金山的Leap Motion公司將推出一種被許多人寄予了厚望的設(shè)備。這種售價(jià)80美元的盒子可以插接到大多數(shù)計(jì)算機(jī)上，追蹤極為精細(xì)的手部和手指運(yùn)動(dòng)。該公司并未披露具體的工作原理，但是借助紅外和可見光攝像機(jī)，以及設(shè)計(jì)巧妙的軟件，Leap能夠偵測(cè)到半米見方的空間中精細(xì)度達(dá)1毫米以下的手勢(shì)。Leap Motion旗下名為Airspace的應(yīng)用商店也會(huì)同時(shí)上線，將提供包括從音樂到繪畫程序在內(nèi)的一些列手勢(shì)控制軟件。
讀取信號(hào)
很多人認(rèn)為，高精度手勢(shì)探測(cè)的作用范圍用不了多久就會(huì)擴(kuò)展到整個(gè)房間。舉例來說，美國(guó)麻省理工學(xué)院媒體實(shí)驗(yàn)室的揚(yáng)·杰式卡（Jan Zizka）和阿歷克斯·奧爾沃爾（Alex Olwal）開發(fā)了SpeckleSense。這種設(shè)備利用激光光斑，即相同頻率的光相互干涉時(shí)產(chǎn)生的精細(xì)圖案，來追蹤運(yùn)動(dòng)，精密程度和作用范圍都遠(yuǎn)超Kinect之類的技術(shù)。
于是忽然之間，計(jì)算機(jī)能夠理解的手勢(shì)語(yǔ)言的精確程度，即將出現(xiàn)大幅提升?！半p手脫離了設(shè)備的束縛，于是那些原本現(xiàn)成的手勢(shì)一下子有了用武之地，”美國(guó)華盛頓大學(xué)的人機(jī)交互研究人員雅各布·沃布洛克（Jacob Wobbrock）說，“毫無疑問，各式各樣的手勢(shì)詞匯從今往后將更加深入計(jì)算機(jī)使用者的內(nèi)心?！?/p>
那么，在接下來的幾年里，我們可能會(huì)學(xué)到什么樣的三維手勢(shì)呢？畢竟，在觸摸屏上分開手指的手勢(shì)，是必須通過學(xué)習(xí)才能掌握的，蘋果公司甚至為這個(gè)手勢(shì)申請(qǐng)了專利。如果是10年前，你在別人面前做這個(gè)動(dòng)作，他們不會(huì)明白這是什么意思。未來，我們也將使用類似的手部動(dòng)作來觸發(fā)特定的命令嗎？
Leap預(yù)置了識(shí)別幾種基本手勢(shì)的能力。比如一根手指做出敲擊動(dòng)作的“擊鍵”手勢(shì)，可能會(huì)被用來調(diào)出屏幕鍵盤。獨(dú)立應(yīng)用開發(fā)商正在訓(xùn)練它識(shí)別他們自己定義的手勢(shì)，比如“翹拇指”的動(dòng)作，已經(jīng)被一些人用來在Facebook的帖子上點(diǎn)“贊”。
通過考察過去幾年間出現(xiàn)在實(shí)驗(yàn)室里的手勢(shì)識(shí)別原型技術(shù)，我們能夠找到更多用于推測(cè)未來身體語(yǔ)言的線索。設(shè)計(jì)者已經(jīng)想出了一系列手臂命令。
這些研究工作表明，用戶必須非?？桃馊プ龅男聞?dòng)作才是最佳的手勢(shì)命令——否則他們就有無意中在屏幕上觸發(fā)什么的危險(xiǎn)。美國(guó)華盛頓州雷德蒙德市微軟研究院的赫爾沃耶·平科（Hrvoje Benko）說：“我們找的是容易做出來、但在日常溝通中又并不使用的手勢(shì)?！北热?，有一個(gè)手勢(shì)是拇指與其余四指對(duì)握，在空中做抓持狀。這個(gè)動(dòng)作或許可以用來拖拽屏幕上某個(gè)文件之類的對(duì)象。
其他研究者已經(jīng)試驗(yàn)了用于改變大小或者旋轉(zhuǎn)的手勢(shì)。比如，在一些版本的Kinect中，分開舉起的雙拳可以放大屏幕，順時(shí)針或者逆時(shí)針轉(zhuǎn)動(dòng)伸開的手掌，則可以旋轉(zhuǎn)圖片。
記憶游戲
這么多的手勢(shì)當(dāng)中哪些會(huì)流行起來，目前還不明確，但我們敢肯定的是，能夠有效記住的手勢(shì)數(shù)量是有限的。10個(gè)甚至更多的手勢(shì)，可能會(huì)給我們的記憶造成抑制性的緊張。美國(guó)卡內(nèi)基－梅隆大學(xué)人機(jī)交互學(xué)院的克里斯·哈里森（Chris Harrison）說：“基本手勢(shì)的數(shù)量一旦超過個(gè)位數(shù)，就真的會(huì)讓人頭大了?！?/p>
美國(guó)馬薩諸塞州劍橋市的設(shè)計(jì)師杰米·茲吉爾波姆（Jamie Zigelbaum）說，找到一種方法，讓設(shè)計(jì)出來的手勢(shì)詞匯既能用于復(fù)雜交互，又容易記憶，這是個(gè)眾所周知的挑戰(zhàn)。2009年，茲吉爾波姆和美國(guó)麻省理工學(xué)院媒體實(shí)驗(yàn)室的同事，為一種名為g-speak的設(shè)備設(shè)計(jì)了一套手勢(shì)。這種設(shè)備由美國(guó)洛杉磯市的Oblong工業(yè)公司生產(chǎn)。他們的這套手勢(shì)讓用戶能夠使用20個(gè)命令來瀏覽、觀看和組織視頻剪輯。一些動(dòng)作相當(dāng)直白，比如把手握成手槍的樣子用來指向和選擇，但還有很多動(dòng)作需要把手臂擰成奇怪的姿勢(shì)，招致一些批評(píng)者給出了命令太難學(xué)習(xí)的評(píng)價(jià)。
一種應(yīng)對(duì)這個(gè)記憶問題的方法是，讓人們?cè)诓僮鞯倪^程中得到訓(xùn)練，而不是讓他們借助圖表或者視頻來學(xué)習(xí)手勢(shì)。平科的一個(gè)名為L(zhǎng)ightGuide的項(xiàng)目，利用裝在天花板上的投影儀在人身上投射視覺指令，試圖來解決這一問題。這套系統(tǒng)直接在手上顯示箭頭，指引它們移動(dòng)到正確的位置。
或者，你可以讓人們定義他們自己的手勢(shì)——?jiǎng)e管是為了關(guān)閉計(jì)算機(jī)，還是調(diào)低電視機(jī)的音量。在最近的一次試驗(yàn)中，英國(guó)圣安德魯斯大學(xué)的米蓋爾·納森塔（Miguel Nacenta）及其同事，教一組人使用16個(gè)預(yù)先設(shè)定的手勢(shì)，另一組人則有機(jī)會(huì)自己創(chuàng)造16個(gè)手部運(yùn)動(dòng)。第2天，自己設(shè)計(jì)手勢(shì)的參與者能夠多回想起44%的動(dòng)作。
另一個(gè)影響手勢(shì)詞匯發(fā)展的制約因素，是我們自己的身體提出的生理要求——這些動(dòng)作必須是人們能夠長(zhǎng)時(shí)間反復(fù)做的。
在以觸摸屏為媒介的人機(jī)交互發(fā)展之初，研究者發(fā)現(xiàn)了一種被他們稱為“大猩猩臂”的病痛——長(zhǎng)時(shí)間揮舞手臂之后，人們會(huì)覺得兩臂沉重。手機(jī)或是放在你腿上的平板電腦不會(huì)有這個(gè)問題，但任何需要不停伸出手臂的設(shè)備，都會(huì)很快帶來酸痛——比如裝在墻上的顯示屏。由此看來，手勢(shì)系統(tǒng)如果需要用手在空中做出富有表現(xiàn)力的動(dòng)作，就很有可能造成更多“大猩猩臂”，因此更加輕微的動(dòng)作很可能會(huì)成為主流。
身體的投入不僅會(huì)令手勢(shì)變得累人，還會(huì)使它們不適合于某些特定場(chǎng)合。比如，在加拿大安大略省滑鐵盧大學(xué)的亞當(dāng)·弗內(nèi)（Adam Fourney）2010年開展的一項(xiàng)試驗(yàn)中，授課者在兩星期之內(nèi)在教室里使用一個(gè)基于手勢(shì)的幻燈片展示系統(tǒng)。他們可以利用手勢(shì)前后切換幻燈片，也能與演示內(nèi)容交互，比如放大圖形、突出顯示或者展開重點(diǎn)句。然而學(xué)生們說，他們更希望授課者用遙控器來切換幻燈片，而不是手勢(shì)，因?yàn)槭謩?shì)會(huì)讓人分神。不過他們倒是贊成用手勢(shì)與演示內(nèi)容交互，比如指向圖表。弗內(nèi)說，這可能是因?yàn)?，這些手勢(shì)與授課者日常使用的動(dòng)作差別并不大。
另一個(gè)影響我們手勢(shì)詞匯的因素是，我們?cè)诳罩袚]舞雙手會(huì)顯得很傻。針對(duì)家庭成員如何在家中使用Kinect游戲，英國(guó)劍橋市微軟研究院的理查德·哈珀（Richard Harper）和海倫娜·門蒂斯（Helena Mentis）開展了一項(xiàng)社會(huì)學(xué)研究，結(jié)果發(fā)現(xiàn)參與者笑話彼此扭曲的身體成了游戲的樂趣所在。盡管技術(shù)有過改變社會(huì)規(guī)范的先例，但是必須在工作場(chǎng)所之類的環(huán)境中反復(fù)做出差不多的動(dòng)作，大概還是人們不太希望要做的事情。“它會(huì)迫使我們像芭蕾舞女演員那樣使用自己的身體，還要伴以額外的控制、力量和規(guī)則，”哈珀說，“這會(huì)很勞神?！?/p>
所以說，流行起來的手勢(shì)并不會(huì)取代鍵盤和鼠標(biāo)（有些任務(wù)還是很難離開它們的），而是會(huì)被納入我們用來跟計(jì)算機(jī)溝通的多層面語(yǔ)言當(dāng)中。寫論文？用鍵盤吧。為3D打印機(jī)建模或者整理文件？舞動(dòng)手指和雙手或許更合適。今天的人機(jī)交互研究者稱之為“多模式”交互。平科說：“一種新的交互模式誕生時(shí)，它并不會(huì)取代其他模式，而是會(huì)擴(kuò)充可能性，使新的交互成為可能。”
因此，手勢(shì)計(jì)算真正的影響在于，它帶來了我們以前無法使用的交流渠道。我們向他人傳達(dá)意義的手段一向多種多樣，包括聲音、文本或者身體語(yǔ)言，但是直到現(xiàn)在，計(jì)算機(jī)對(duì)其中一些手段才不再視而不見?？死驓W老奶奶把鼠標(biāo)抬離桌面的舉動(dòng)是有意義的。如果她能活著見到這一切，應(yīng)該會(huì)對(duì)這樣一個(gè)時(shí)代感到欣慰——機(jī)器終于開始理解我們的語(yǔ)言，而不是我們拼命去迎合它們的語(yǔ)言。
編譯自：《新科學(xué)家》，Hands up! Do you speak digital body language?
擴(kuò)展閱讀
電梯有眼
在美國(guó)華盛頓州雷德蒙德市微軟研究院的大廳里，有一部電梯能夠像讀書一樣讀懂你。
它的門前裝有一個(gè)攝像機(jī)。有人靠近時(shí)，門就會(huì)打開——但前提是，它感知到此人打算使用它。系統(tǒng)處理過人們?cè)诖髲d熙來攘往長(zhǎng)達(dá)許多個(gè)小時(shí)的視頻資料，學(xué)會(huì)了區(qū)分哪些人有意要使用它，哪些人僅僅是途徑此地。
隨著計(jì)算機(jī)開始識(shí)別更加精細(xì)的手勢(shì)，它們將能夠推斷出更多關(guān)于我們的信息。其他一些研究者開發(fā)了軟件，利用身體語(yǔ)言識(shí)別一個(gè)人情緒，比如開心、生氣或者憂傷。這種具備“情緒智能”的機(jī)器，將能夠更加準(zhǔn)確地回應(yīng)我們的需求。
所以，如果你正沒精打采的坐在顯示器前面，記住，計(jì)算機(jī)或許很快就會(huì)盯住你。
公然的荒謬
很難相信揮舞手臂、動(dòng)動(dòng)手指也會(huì)引發(fā)激烈的專利訴訟，但如果觸摸屏上二維手勢(shì)的發(fā)展史有所啟發(fā)的話，三維手勢(shì)界面也會(huì)面臨同樣的命運(yùn)。
圍繞二維手勢(shì)展開的斗爭(zhēng)是在21世紀(jì)初硅谷的一次集會(huì)之后開始的。當(dāng)時(shí)微軟的一名工程師吹噓他們能用手寫筆控制觸屏平板電腦，觸怒了蘋果首席執(zhí)行官斯蒂夫·喬布斯（Steve Jobs）。喬布斯命令他的工程師制造蘋果公司自己的觸控界面，但他堅(jiān)持這種界面只能使用雙手控制。他們?cè)O(shè)計(jì)出了雙手指縮放、點(diǎn)擊縮放以及滑動(dòng)解鎖等特定動(dòng)作，蘋果公司很快為這些動(dòng)作申請(qǐng)了專利。
這一舉動(dòng)引發(fā)了一番手勢(shì)專利的圈地運(yùn)動(dòng)。比如，谷歌為一種在圖片中的單詞下方劃線的文本識(shí)別手勢(shì)申請(qǐng)了專利，而諾基亞申請(qǐng)的手勢(shì)專利則包括劃圓或者橢圓，圓或者橢圓的大小決定了屏幕上圖片放大的倍率。
將二維手勢(shì)專利化的嘗試最終失敗了。蘋果最近因?yàn)槿鞘褂昧它c(diǎn)擊縮放和滑動(dòng)解鎖動(dòng)作而將其告上了法庭。最后，美國(guó)專利與商標(biāo)局判定蘋果的專利無效，因?yàn)橄惹暗陌l(fā)明已經(jīng)使用過這些想法。
樂觀主義者也許會(huì)認(rèn)為，這能防止三維手勢(shì)領(lǐng)域出現(xiàn)類似的圈地運(yùn)動(dòng)。可惜事與愿違。微軟擁有的Kinect專利中涵蓋了快速揮手滾動(dòng)屏幕，以及調(diào)出搜索框的手勢(shì)。美國(guó)華盛頓州貝維尤爾市的高智發(fā)明公司，為一種控制電視機(jī)的方式申請(qǐng)了專利，內(nèi)容包括抬起“平伸的手掌”以引起其注意。這家公司同樣以強(qiáng)硬地保護(hù)其知識(shí)產(chǎn)權(quán)而著稱。
過去幾年把科技行業(yè)攪得翻天覆地的訴訟大戰(zhàn)，看來注定要重演了，而且和往常一樣，律師才會(huì)是唯一的贏家。
