Thomas H. Davenport & D.J. Patil

2006年Jonathan Goldman到商業(yè)社交網(wǎng)站LinkedIn工作，那時的LinkedIn還只是剛創(chuàng)業(yè)不久，網(wǎng)站注冊人數(shù)不到8百萬，但是很多成員會邀請自己的朋友和同學(xué)加入，因此注冊人數(shù)迅速增加。但是用戶要找到已經(jīng)在網(wǎng)站注冊的用戶不太容易，比例達不到管理人員的期望值。很明顯，有些社交體驗缺失了。如同一位LinkedIn管理者說的，“這就好像，你到了會議接待處，結(jié)果發(fā)現(xiàn)一個人都不認識，你只好站到一邊，一個人小酌­——很可能你早早地離開了?！?/span>

Goldman是斯坦福物理學(xué)博士畢業(yè)，他非常著迷于越來越多的用戶關(guān)聯(lián)和豐富的用戶個人資料。這些原本只能帶來一堆雜亂的數(shù)據(jù)和笨拙的分析，但是，當他開始探究用戶之間的聯(lián)系時，他開始看到新的可能。于是他開始組織他的理論，檢驗他的猜想，建立模型，預(yù)測用戶愿意與誰建立聯(lián)系。他感到，他正在開發(fā)的新功能，能帶給用戶價值。但是LinkedIn的工程師們當時忙于提升網(wǎng)站性能，沒有理睬，有些同事則公開表示不看好Goldman的想法：為什么用戶想要LinkedIn告訴他們該和哪些用戶建立聯(lián)系呢？網(wǎng)站已經(jīng)有一個導(dǎo)入通訊錄的功能，能導(dǎo)入用戶的所有聯(lián)系人。

幸運的是，公司的聯(lián)合創(chuàng)世人兼當時的CEO Reid Hoffman根據(jù)自己在PayPal的經(jīng)驗，相信數(shù)據(jù)分析的強大力量，給予了Goldman高度的自主權(quán)。其中一項就是，Goldman可以繞開傳統(tǒng)的產(chǎn)品發(fā)布流程，而以廣告的形式把這個小模塊發(fā)布在網(wǎng)站最受歡迎的頁面上。

通過這個模塊，Goldman開始了他的試驗，用戶可能認識一些人，比如和用戶來自同一個學(xué)?；蚬ぷ鲉挝?/span>, 卻還沒有在網(wǎng)站上建立起這些關(guān)系，如果把這些名字告訴用戶，他們會作何反應(yīng)。他根據(jù)用戶在網(wǎng)站上注冊時填寫的背景資料，找出了每個用戶可能最想與之建立聯(lián)系的三個用戶，然后定制了一套廣告。幾天之內(nèi)，很明顯地，奇妙的事情發(fā)生了，這些廣告的點擊率前所未有的高。接下來，Goldman根據(jù)“閉環(huán)理論”改進了他的推薦方法，閉環(huán)理論指的是如果你同時認識張三和李四，那么張三和李四很可能也相互認識。同時，Goldman和他的團隊讓用戶對每個推薦的操作可以一鍵搞定。

很快LinkedIn的高層開始認識到這是個很好的主意，并將其列為標準功能。從那時起，事情真的開始起飛了。“你可能認識的人（People You May Know）”廣告獲得了30%的點擊率，比其他任何的站內(nèi)推廣廣告點擊率都要高，共計產(chǎn)生了數(shù)百萬個新頁面瀏覽。得益于這項新功能，LinkedIn的成長速度大幅提升。

新新職業(yè)

Goldman 是一個很好的例子來說明組織中的重要新成員——“數(shù)據(jù)科學(xué)家”。這是非常高階的專業(yè)崗位，要有在數(shù)據(jù)海洋中尋寶的好奇心和相應(yīng)訓(xùn)練。這個頭銜存在有幾年了，第一次出現(xiàn)是2008由D.J. Patil(本文作者之一)和Jeff Hammerbacher提出的，他們后來分別成為了LinkedIn和Facebook的數(shù)據(jù)和分析團隊的負責(zé)人。但現(xiàn)在已經(jīng)有數(shù)千位數(shù)據(jù)科學(xué)家工作于創(chuàng)業(yè)公司和成熟的大型企業(yè)。他們在行業(yè)里的忽然走俏，反應(yīng)了這樣一個現(xiàn)狀，企業(yè)需要處理的信息正以從未遇見過的規(guī)模和渠道涌現(xiàn)。如果你的機構(gòu)存儲了幾個PB的數(shù)據(jù)，或者對于你的生意最重要的信息是表格式的，而不再是行列的數(shù)據(jù)，或者要回答你最大的問題需要各種分析手段的“混搭”，你趕上大數(shù)據(jù)時代了。

現(xiàn)階段對于大數(shù)據(jù)的主要熱情都集中在大數(shù)據(jù)的處理技術(shù)上，比如，使用最廣泛的分布式文件處理系統(tǒng)Hadoop，和相關(guān)的開源工具、云計算、數(shù)據(jù)可視化技術(shù)。這些突破性技術(shù)都是非常重要的，重要程度就不亞于有能力與腦力運用好技術(shù)的人。對數(shù)據(jù)科學(xué)家的需求快速增加，已經(jīng)超過了供給，事實上，人才缺乏開始嚴重制約某些行業(yè)。Greylock Partners是一家投資初創(chuàng)企業(yè)的風(fēng)投公司，曾經(jīng)投資過Facebook, LinkedIn, Palo Alto Networks和Workday，它非常擔(dān)憂緊張的人才儲備，因而建立了自己的招聘團隊，負責(zé)給自己投資的公司輸送人才。招聘團隊的負責(zé)人Dan Portillo說，“這些公司一旦有了數(shù)據(jù)，就需要有人管理數(shù)據(jù)，發(fā)現(xiàn)真知?！?/span>

他們是誰？

從大數(shù)據(jù)中獲利需要雇傭稀缺的數(shù)據(jù)科學(xué)家，管理人員面臨三大挑戰(zhàn)，識別人才，吸引人才，善用人才。和其他職責(zé)明確的崗位相比，這三項任務(wù)都不那么直接明了。首先，目前沒有高校項目培養(yǎng)相關(guān)人才，同時，數(shù)據(jù)科學(xué)家在組織中處于什么位置，如何讓他們創(chuàng)造最大價值，如何衡量他們的作用，這些都沒有公認的標準。

因此，要想挖掘出數(shù)據(jù)科學(xué)家，首先要明白他們在業(yè)務(wù)中能干什么，其次，他們需要哪些技能？哪些現(xiàn)有的領(lǐng)域會用到這些技能？

數(shù)據(jù)科學(xué)家首要任務(wù)是在數(shù)據(jù)的海洋中探索發(fā)現(xiàn)，他們更喜歡用這種方式看待周圍的世界。他們要在數(shù)字王國里游刃有余，把大量散亂的數(shù)據(jù)變成結(jié)構(gòu)化的可供分析的數(shù)據(jù)，還要找出豐富的數(shù)據(jù)源，整合其他可能不完整的數(shù)據(jù)源，并清理成結(jié)果數(shù)據(jù)集。新的競爭環(huán)境中，挑戰(zhàn)不斷地變化，新數(shù)據(jù)不斷地流入，數(shù)據(jù)科學(xué)家需要幫助決策者穿梭于各種分析，從臨時數(shù)據(jù)分析(ad hoc)到持續(xù)的數(shù)據(jù)交互分析。

數(shù)據(jù)科學(xué)家會遇到技術(shù)的局限性，但不會讓技術(shù)阻擾他們尋找新穎的解決方案。當他們有所發(fā)現(xiàn)，便交流他們的發(fā)現(xiàn)，建議新的業(yè)務(wù)方向。通常他們很有創(chuàng)造力的展示視覺化的信息，也讓找到的模式清晰而有說服力。他們會把蘊含在數(shù)據(jù)中的規(guī)律建議給產(chǎn)品經(jīng)理和主管們，從而影響產(chǎn)品，流程，和決策。

由于這中行當還處于初級階段，數(shù)據(jù)科學(xué)家常常會推廣他們自己開發(fā)的工具，甚至進行學(xué)術(shù)研究。雅虎之前雇傭的一批數(shù)據(jù)科學(xué)家開發(fā)出了Hadoop。Facebook的數(shù)據(jù)團隊開發(fā)了在Hadoop上編程的Hive語言。很多其他的數(shù)據(jù)科學(xué)家都豐富或者優(yōu)化了這套工具，尤其是數(shù)據(jù)驅(qū)動的公司，比如谷歌，亞馬遜，微軟，沃爾瑪，eBay，LinkedIn, 和twitter。

什么樣的人有能力做這些呢？什么技能讓數(shù)據(jù)科學(xué)家成功呢？你可以把他們看成是數(shù)據(jù)駭客，分析師，溝通高手，值得信任的咨詢師，這些東西組合到一起極具威力，也極其少見。

數(shù)據(jù)科學(xué)家最基本最通用的技能是寫代碼。也許五年后不太會這樣了，那時很多人都會在他們的名片上印著“數(shù)據(jù)科學(xué)家”。一個更保值的技能是用所有相關(guān)方面都能聽得懂語言進行溝通，另一個是用數(shù)據(jù)講故事的特殊能力，通過口頭表達或者視覺效果，或者兩者都有。

但我們覺得，數(shù)據(jù)科學(xué)家占支配地位的品質(zhì)應(yīng)該是強烈的好奇心，想要深入問題內(nèi)部的渴望，找到最核心的問題，提取成清晰的結(jié)論，并要經(jīng)得起檢驗。比如，我們所知道的一位數(shù)據(jù)科學(xué)家，他研究的是欺詐問題，但他發(fā)現(xiàn)這個問題和DNA排序問題非常類似，在融合了兩個完全不相干的世界之后，他和他的團隊找到了一種能大幅降低欺詐損失的解決方案。

現(xiàn)在你大概清楚了為什么這個新興的角色會被稱為“科學(xué)家”。比如實驗物理學(xué)家，同樣也需要設(shè)計儀器，收集數(shù)據(jù)，反復(fù)試驗，并最終展示結(jié)果。因此，很多公司尋找能處理復(fù)雜數(shù)據(jù)的人才，可很多招到的不錯的人才都是有物理或社會科學(xué)領(lǐng)域的學(xué)習(xí)和工作背景。有些最好的最有前途的數(shù)據(jù)科學(xué)家是研究復(fù)雜科學(xué)的博士生，比如生態(tài)學(xué)或者系統(tǒng)生物學(xué)。George是硅谷Intuit公司的數(shù)據(jù)科學(xué)團隊的負責(zé)人，本身是天文學(xué)博士畢業(yè)。更普遍的是，當今業(yè)界許多數(shù)據(jù)科學(xué)家畢業(yè)于計算機科學(xué)，數(shù)學(xué)，經(jīng)濟學(xué)，和任何數(shù)據(jù)和計算密集型的領(lǐng)域。