在號(hào)稱平均年齡僅24歲的曠視研究院，28歲的他已經(jīng)開始領(lǐng)導(dǎo)團(tuán)隊(duì)，為來自清華、北大等名校的員工討論和規(guī)劃研究方向，決定著公司下一個(gè)突破性的基礎(chǔ)技術(shù)；在高智商選手云集的AI領(lǐng)域，自詡靠'刷題'成功的他，研發(fā)出多個(gè)重量級(jí)算法模型，已然成為AI領(lǐng)域最具影響力的學(xué)者之一。他就是曠視科技研究院基礎(chǔ)模型組負(fù)責(zé)人、西安交通大學(xué)2017屆校友張祥雨。

始于西交大的科研之路

1990年6月出生的張祥雨，是一名'土生土長(zhǎng)'的西交大人，從本科到博士都在西安交通大學(xué)就讀。他于2008年考入西交大，2009年申請(qǐng)轉(zhuǎn)專業(yè)進(jìn)入軟件工程專業(yè)學(xué)習(xí)，2012年獲得推薦免試資格在西交大進(jìn)行碩博連讀。在大三那年（2011年），張祥雨拿下了美國(guó)大學(xué)生數(shù)學(xué)建模競(jìng)賽（MCM）特等獎(jiǎng)提名獎(jiǎng)，當(dāng)時(shí)創(chuàng)下西安交通大學(xué)參加該項(xiàng)競(jìng)賽以來歷史最好成績(jī)。憑借這次獲獎(jiǎng)經(jīng)歷，張祥雨獲得了后來到微軟亞洲研究院實(shí)習(xí)的資格。

獲得實(shí)習(xí)資格的有三人，但最終只有一個(gè)人能留下。當(dāng)時(shí)還在微軟亞洲研究院擔(dān)任首席研究員的孫劍博士給這三人出了一道題：用一個(gè)月的時(shí)間，將人臉檢測(cè)的速度提升十倍。這個(gè)任務(wù)現(xiàn)在來看比較容易實(shí)現(xiàn)，但當(dāng)時(shí)還沒有引入深度學(xué)習(xí)，張祥雨就靠著對(duì)模型調(diào)參，用了三天左右的時(shí)間完成任務(wù)，孫劍看過之后當(dāng)場(chǎng)決定留下張祥雨。

張祥雨之前并沒有做科研的經(jīng)驗(yàn)，這次實(shí)習(xí)考驗(yàn)讓他初嘗到做科研的成就感。他也意識(shí)到走學(xué)術(shù)路線，需要到產(chǎn)業(yè)界去鍛煉。到了微軟之后，張祥雨加入了視覺計(jì)算組，這個(gè)小組里的每一位成員名字放在當(dāng)下來看都是業(yè)界大牛：小組負(fù)責(zé)人孫劍，組員包括何愷明、危夷晨、代季峰、袁路、曹旭東、任少卿等。2013年，張祥雨面臨一個(gè)重要選擇——博士課題。當(dāng)時(shí)受微軟亞洲研究院工作的一些影響，張祥雨傾向于做人臉識(shí)別這個(gè)領(lǐng)域。但是導(dǎo)師孫劍果斷讓他去做深度學(xué)習(xí)，'孫老師認(rèn)為深度學(xué)習(xí)以后必然會(huì)火，他一直非常有前瞻力，我很相信他'。于是，張祥雨就成了孫劍組里第一個(gè)做深度學(xué)習(xí)的博士生。

張祥雨做的第一個(gè)深度學(xué)習(xí)相關(guān)的工作，就是復(fù)現(xiàn)深度學(xué)習(xí)經(jīng)典論文AlexNet。他花了兩個(gè)月的時(shí)間對(duì)論文進(jìn)行了復(fù)現(xiàn)，包括寫完底層全部代碼。復(fù)現(xiàn) AlexNet 的經(jīng)歷算是深度學(xué)習(xí)的入門，當(dāng)時(shí)深度學(xué)習(xí)的框架非常少，于是張祥雨干脆自己寫了一個(gè)。2013年底 Caffe 問世，為了對(duì) Caffe 的模型做兼容，張祥雨就把接口也改成Caffe一樣，還起了個(gè)名字叫 Caffe Pro。它關(guān)鍵的一個(gè)亮點(diǎn)是支持圖優(yōu)化，支持多卡，這為后來 ResNet 的誕生打下了基礎(chǔ)。

漸入佳境的科研生涯

在完成Caffe Pro后，孫劍就把何愷明、任少卿、張祥雨拉到一起做深度學(xué)習(xí)，在組隊(duì)之前，何愷明做了圖像重建和哈希計(jì)算，任少卿做人臉。經(jīng)過一年的磨合，'何張任'組合在孫劍的帶領(lǐng)下小有所成，ECCV、TPAMI 等國(guó)際視覺會(huì)議的論文中開始出現(xiàn)這三個(gè)二十多歲中國(guó)人的名字。

這幾位年輕人真正爆發(fā)是在2015年。當(dāng)時(shí)包括谷歌、百度在內(nèi)的大廠都在參加 ImageNet 大規(guī)模視覺識(shí)別挑戰(zhàn)賽，當(dāng)時(shí)人類識(shí)別圖像正確分類的誤差率為5.1%，誰(shuí)能打破5.1%，就代表在這一領(lǐng)域機(jī)器超越了人類。而2014年最好的成績(jī)是6.67%，由谷歌創(chuàng)造，但依舊沒能實(shí)現(xiàn)5.1% 。'何張任'組合決心跟大廠們硬剛一下。事實(shí)證明，想要突破大廠們都還沒打破的記錄并非易事。

在刻苦鉆研后，張祥雨推導(dǎo)出一組公式，后來在微軟內(nèi)部命名為'xiangyu初始化法'。接著，'何張任'組合又引入一種新的修正線性單元（ReLU），將其稱為參數(shù)化修正線性單元（PReLU），并且通過對(duì)修正線性單元的非線性特征進(jìn)行直接建模，推導(dǎo)出一種符合理論的初始化方法，并直接從頭開始訓(xùn)練網(wǎng)絡(luò)，將其應(yīng)用于深度模型的收斂過程。

他們將這種方法應(yīng)用到比賽之后，識(shí)別錯(cuò)誤率已降低至4. 94%，超越了人類。不過，張祥雨認(rèn)為，打破記錄確實(shí)可以長(zhǎng)點(diǎn)臉，但是并不足以證明AI直接超過了人類。隨后，他們研發(fā)了ResNet，在當(dāng)年取得了5項(xiàng)挑戰(zhàn)賽第一。'何張任'組合在導(dǎo)師孫劍的指導(dǎo)下獲2016年CVPR最佳論文獎(jiǎng)，單篇引用超20000，ResNet 也成為計(jì)算機(jī)視覺領(lǐng)域最流行的框架之一。

成長(zhǎng)為公司的主力研發(fā)成員

2016年7月，孫劍加盟曠視，擔(dān)任首席科學(xué)家，張祥雨也在博士畢業(yè)后追隨導(dǎo)師，開啟了在曠視工作的歷程。而剛剛來到曠視，張祥雨便遇到了一個(gè)非常嚴(yán)峻的問題：產(chǎn)品落地較為困難，特別是在手機(jī)領(lǐng)域，實(shí)在沒有一個(gè)靠譜的網(wǎng)絡(luò)可以去依賴。

張祥雨和同事周昕宇開始一起，在前期的工作基礎(chǔ)上提出了一個(gè)高性能模型Shuffle。二人以共同一作的身份中標(biāo)了 CVPR，并且不論是從實(shí)驗(yàn)結(jié)果還是對(duì)業(yè)界的影響上，ShuffleNet 都是成為移動(dòng)端網(wǎng)絡(luò)模型的杰出代表之一。2017年，蘋果推出帶有 3D 人臉解鎖功能的 iPhoneX ，安卓手機(jī)廠商隨后跟進(jìn)，ShuffleNet 憑借輕量級(jí)低功耗和高性能，成功拿下 OPPO、小米等手機(jī)大廠的訂單，讓各種配置不一的手機(jī)都能實(shí)現(xiàn)毫秒級(jí)人臉解鎖。

在科研之路上，張祥雨的導(dǎo)師孫劍博士的建議起到了非常重要的作用。當(dāng)年張祥雨還是博士生時(shí)，孫劍建議他做深度學(xué)習(xí)；2017年，孫劍建議他做高性能網(wǎng)絡(luò)，2018年，孫劍建議做 AutoML。AutoML 領(lǐng)域的研究，之前一直是被國(guó)外如谷歌、微軟等大企業(yè)'壟斷'的狀態(tài)。經(jīng)過一年多的研究，2019年4月，張祥雨作為共同一作發(fā)表了曠視的第一篇AutoML技術(shù)論文。實(shí)驗(yàn)結(jié)果表明，在精度、內(nèi)存消耗、訓(xùn)練時(shí)間、模型搜索的有效性及靈活性方面最優(yōu)，超過了谷歌、Facebook 等公司的成績(jī)?？梢哉f，張祥雨的工作直接影響著公司未來業(yè)務(wù)。

在曠視研究院的工區(qū)，張祥雨的工位很難不被注意到，在他桌子上高壘著兩摞紙，全都是他最近在看的論文。他說：'從2016年到現(xiàn)在，我已經(jīng)看了1800篇了，看過的都用軟件記下來。'粗略算一下，張祥雨平均每天看兩篇論文。而這只是他每天做實(shí)驗(yàn)、管理團(tuán)隊(duì)之余，停歇片刻去做的事情。

張祥雨工位上厚厚的論文

2019年11月，張祥雨入選'福布斯中國(guó)30歲以下精英榜'；今年4月，他又入選'AI 2000人工智能全球最具影響力學(xué)者'。作為西安交通大學(xué)的優(yōu)秀學(xué)子，張祥雨也為后輩們提出了兩個(gè)建議：腳踏實(shí)地以夯實(shí)基礎(chǔ)，開拓視野以保持前瞻。他認(rèn)為這兩點(diǎn)是AI領(lǐng)域從業(yè)者的必要素質(zhì)，而他一直身體力行。對(duì)于他而言，征途仍在繼續(xù)！