虛化是圖像處理領(lǐng)域的一座大山，理解手機(jī)處理虛化圖像的最好的方式，就是了解我們?nèi)祟愂侨绾胃兄嚯x的。人類對于世界的立體感知和動物有著些許區(qū)別。動物更多是因?yàn)榱己玫囊苿幽芰μ剿鞒隽肆Ⅲw世界的樣貌和邊界，而人類看著眼前的世界或者是二維的圖像就能感知物體的遠(yuǎn)近。
華為手機(jī)人像模式拍攝。如今的虛化效果在一些場景中已經(jīng)非常自然
我們的感知一是來自雙眼的信息。我們的左右兩只眼睛具有視差，分別用左右眼看一只手，看到的是不同的圖像。我們在追蹤觀察物體的時候，兩只眼睛會朝不同的方向運(yùn)動，這被稱作趨同，即雙眼同時朝相反方向運(yùn)動以獲得或維持單雙眼視覺，是雙眼判斷空間的重要線索，也是我們會暈VR（virtual reality，虛擬現(xiàn)實(shí)）的原因之一。
二是來自物體間的相對大小關(guān)系、遮擋關(guān)系，細(xì)節(jié)豐富程度的遞進(jìn)變化，線條帶來的透視暗示（比如向消失點(diǎn)延伸的跑道），我們觀察到的運(yùn)動速度以及物體的清晰程度等信息。如同其他算法一樣，我們在視覺上觀察物體遠(yuǎn)近的方式也被應(yīng)用在虛化算法里。
手機(jī)計(jì)算攝影的人像模式、大光圈模式等，都在模擬相機(jī)上大光圈所產(chǎn)生的光學(xué)虛化效果，通過清晰的主體和虛化的背景實(shí)現(xiàn)主體和背景的分離。其本質(zhì)可分為兩個部分：首先，估計(jì)出場景的深度信息，并且分離主體和背景；其次，對焦外區(qū)域進(jìn)行特殊的模糊處理，生成虛化部分，并根據(jù)計(jì)算在應(yīng)該有光斑產(chǎn)生的地方生成光斑。虛化效果發(fā)展之初，精度十分有限，在主體和背景判斷上出現(xiàn)了許多錯誤。隨著技術(shù)的成熟，如今的虛化效果已經(jīng)有大幅進(jìn)步，功能可用性大幅增強(qiáng)，尤其適用于拍攝人像。
華為手機(jī)人像模式拍攝。人像模式更適合用來拍攝半身像
在使用的時候，虛化效果往往適合拍攝距離不是很遠(yuǎn)的人和物體。因?yàn)槭謾C(jī)計(jì)算深度圖距離的限制及手機(jī)的焦段的考慮，這里推薦大家更多使用虛化效果來拍攝半身像或肖像特寫，拍攝物品的話最好拍攝3m以內(nèi)的物品，以獲得最佳效果。
計(jì)算深度圖的進(jìn)步在計(jì)算攝影領(lǐng)域主要來自以下兩個方面：通過多個來源的信息增加和交叉驗(yàn)證深度圖的準(zhǔn)確性；通過規(guī)律性的總結(jié)和AI的幫助更好地區(qū)分主體和背景。深度圖的來源在計(jì)算攝影領(lǐng)域大概有以下幾個方面：多鏡頭作為雙目系統(tǒng)計(jì)算深度，好比我們的左右眼，看遠(yuǎn)近不同的物體時有視差。單顆傳感器也可以作為雙目系統(tǒng)，很多傳感器用以對焦的雙核對焦技術(shù)可以簡單理解為把傳感器像素分成了左半邊像素和右半邊像素。雖然左右視差很小，但是對于估計(jì)近處物體的深度十分有用，配合大多時候上下排列的多鏡頭系統(tǒng)，可以同時產(chǎn)生水平和垂直視差。
TOF、L iDAR一類的用于測距的組件，通過主動發(fā)射信號并且接收信號反饋來計(jì)算物距，也可以輔助深度圖計(jì)算。但是他們起到的作用沒有大家想象的那么大，因?yàn)槠渚炔蛔阋猿袚?dān)計(jì)算深度圖的主要任務(wù)，目前只能對于一些易于混淆的物體和情況，比如眼睛和特殊圖案的背景等起到校驗(yàn)作用。
iPhone人像模式拍攝。如今深度圖計(jì)算對于鏤空和邊緣的識別已經(jīng)越來越準(zhǔn)確
有些手機(jī)的前置和后置鏡頭只有“單目”，也不能自動對焦，那它是如何實(shí)現(xiàn)虛化的呢？這就是AI在虛化當(dāng)中的作用，其學(xué)習(xí)參考的方式和人眼通過單目獲取深度信息的方式類似。使用手機(jī)自拍時的拍照規(guī)律十分可循，拍攝距離大都差不多，拍攝的內(nèi)容也大多是從頭到肩膀，此時用AI的方式分割出人物和背景，精度也夠用。在后置拍照上，AI也能幫上忙。雖然人物的姿態(tài)和情況更加復(fù)雜，但也有規(guī)律可循，AI可以輔助把人物等主體更精細(xì)地區(qū)分出來。另外，將頭發(fā)絲分割出來，單單以深度圖的精度很難做到，這時需要用到圖像摳圖技術(shù)（image matting），將圖像的主體和背景分離。其中的關(guān)鍵就在于處理好背景和主體的交界處（比如頭發(fā)絲），這部分大多也得運(yùn)用AI去推導(dǎo)頭發(fā)絲的邊緣在多大程度上屬于主體或者背景（摳圖算法中基于學(xué)習(xí)的alpha matting算法）?，F(xiàn)在，基于AI的摳圖已經(jīng)十分強(qiáng)大，我們熟知的AI換臉、Photoshop 2020的一鍵摳圖，都基于類似的技術(shù)。
圖源谷歌 AI Blog。從Dual PD系統(tǒng)、雙鏡頭系統(tǒng)獲得的深度圖，以及將二者融合之后的結(jié)果
因?yàn)槭謾C(jī)都是通過計(jì)算生成虛化效果，所以在拍攝完之后，我們可以改變對焦點(diǎn)、虛化的程度等，先拍再調(diào)。而且因?yàn)樘摶\(yùn)算量大，所以預(yù)覽畫面的效果和成片的差距很大。在決定用虛化拍攝的時候，我們不用太在意預(yù)覽畫面的效果，而要善于使用相冊當(dāng)中的虛化編輯功能。
iPhone的電影模式產(chǎn)生的虛化還可以在相冊當(dāng)中生成關(guān)鍵幀記錄焦點(diǎn)的變化，這意味著我們也可以先拍再虛化視頻。另外，iPhone的深度圖被Photoshop等軟件支持，我們可以在修圖的時候調(diào)用深度圖信息，在不人工摳圖的情況下對照片的主體和背景進(jìn)行單獨(dú)的處理。
隨著手機(jī)傳感器尺寸越來越大，不需要開啟虛化，在主體離手機(jī)較近的時候，拍攝的畫面也能有一定程度的虛化效果了。拍攝非常近的物體或者微距拍攝時，不要使用虛化模式。
iPhone人像模式拍攝。在預(yù)覽畫面時，深度圖計(jì)算會出現(xiàn)錯誤，但是不用擔(dān)心
計(jì)算完深度以后，需要對主體以外的部分進(jìn)行虛化處理，這是一個主觀性更強(qiáng)的過程。你可能會注意到有些廠商的虛化模式光斑是圓形的，而有一段時期，iPhone的虛化模式光斑在畫面四周呈橢圓狀，每個光斑還有亮邊，就好像光學(xué)鏡頭的像差和口徑蝕現(xiàn)象造成的一樣。不同廠商利用不同的數(shù)學(xué)方法對焦外區(qū)域進(jìn)行濾波產(chǎn)生虛化和光斑，而不單單是簡單的模糊處理。這些不同的處理辦法就像五花八門的光學(xué)鏡頭一樣，產(chǎn)生了風(fēng)格不同的虛化效果。這就是虛化選項(xiàng)里面旋焦、蔡司鏡頭效果、星星或者心形光斑的由來。
計(jì)算攝影的虛化存在很多的可能性，因?yàn)樵谔摶潭壬喜皇芄鈱W(xué)系統(tǒng)限制，所以在傳統(tǒng)鏡頭上大得夸張的F0.95光圈在移動端可以很輕松就模擬出來。焦外的成像也可以有各種風(fēng)格。但這不代表虛化的效果自然，目前手機(jī)的虛化效果相比于相機(jī)的虛化主要有以下兩個方面的不足。
第一，深度圖使用的是深度估計(jì)加上摳圖的方式達(dá)到虛化效果，相比于光學(xué)虛化換了一個概念。手機(jī)虛化發(fā)展的邏輯是：相機(jī)大光圈可以方便地分離主體和背景—手機(jī)也要做到主體和背景分離—深度圖計(jì)算精確度有限—結(jié)合主體識別和影像去除背景等方法來摳圖—一樣能有分離主體和背景的效果。手機(jī)拍照認(rèn)為把人物的部分識別出來之后，人物的部分就要絕對清晰。但是相機(jī)的虛化只遵循光學(xué)規(guī)則。想象一下，我們用大光圈拍攝一個半身人像，這個人側(cè)身站立，焦點(diǎn)在眼睛上，理論上這個人的前后肩膀也是會因光學(xué)虛化而模糊的。再比如我們拍攝近距離的面部特寫，只有眼睛的部分是清晰的而面部其他部分是模糊的。深度圖信息可以把人頭和頭發(fā)精細(xì)地選擇出來，但是面對五官需要虛化的部分還是束手無策，拍出來的面部都是清晰的。這些都限制了手機(jī)虛化效果的使用范圍。還有就是遠(yuǎn)距離和長焦虛化的問題，因?yàn)殡p目系統(tǒng)的硬件限制，LiDAR、TOF等組件也對近距離的物體更加有效，目前3m以外的深度圖信息還是過于粗略了。如果你問我是手機(jī)的虛化方法好還是相機(jī)的虛化方法好，我會認(rèn)為相機(jī)的虛化方法更好。因?yàn)槲覀冊谑謾C(jī)拍照和計(jì)算攝影的方方面面都盡量遵循人類對場景的視覺感知，眼睛對于虛化的處理和相機(jī)的虛化方法是最接近的。當(dāng)前手機(jī)的虛化方法是一種不得已而為之的臨時妥協(xié)方法，希望廠商在埋頭繼續(xù)做準(zhǔn)深度圖的同時能夠跳出來看一看為什么手機(jī)的虛化模式使用率一直沒有顯著的提升。
第二，手機(jī)生成的虛化效果有時候太強(qiáng)烈了，特別是拍全身像的時候，人們在視覺上還不習(xí)慣這種效果。手機(jī)拍全身像的虛化效果有時像是一個24mm、F0.7的光學(xué)鏡頭拍攝的。在傳統(tǒng)相機(jī)中，中畫幅、大畫幅的膠片機(jī)可以營造這種把現(xiàn)實(shí)世界變成微縮景觀的方法，在小畫幅相機(jī)上也有Brenzier方法，利用全景拼接產(chǎn)生大畫幅虛化和景深效果。但是，總的來說我們還是不太習(xí)慣這樣的視覺處理，把主體全部拿出來的全身像和非常模糊的背景會給我們比較強(qiáng)的“修圖暗示”。
