“大數(shù)據(jù)”的經(jīng)典定義是可以歸納為4個V：海量的數(shù)據(jù)規(guī)模（volume）、快速的數(shù)據(jù)流轉(zhuǎn)和動態(tài)的數(shù)據(jù)體系（velocity）、多樣的數(shù)據(jù)類型（variety）和巨大的數(shù)據(jù)價值（value）。
大數(shù)據(jù)首先要考慮的應該是“大”——海量的數(shù)據(jù)規(guī)模。谷歌執(zhí)行董事長艾瑞克.施密特曾說，現(xiàn)在全球每兩天所創(chuàng)造的數(shù)據(jù)量等同于從人類文明至2003年間產(chǎn)生的數(shù)據(jù)量的總和。而具體到企業(yè)應用領(lǐng)域，漫無邊際、浩如煙海的數(shù)據(jù)對企業(yè)并無意義，日立數(shù)據(jù)系統(tǒng)公司（HDS）副總裁兼CTO Hubert Yoshida表示，數(shù)據(jù)量的“大”是相對而言的概念，對于像SAP的HANA那樣的“內(nèi)存數(shù)據(jù)庫”來說，能把2 TB的數(shù)據(jù)用好就是勝利；而對于像谷歌這樣的搜索引擎，EB（1024×1024 TB）的數(shù)據(jù)量才能稱得上是大數(shù)據(jù)。
然而，海量數(shù)據(jù)的危機并不單純是數(shù)據(jù)量的爆炸性增長，它還牽涉到數(shù)據(jù)類型的改變。原來的數(shù)據(jù)都可以用二維表結(jié)構(gòu)存儲在數(shù)據(jù)庫中，如常用的Excel軟件所處理的數(shù)據(jù)，稱之為結(jié)構(gòu)化數(shù)據(jù)。但是現(xiàn)在更多互聯(lián)網(wǎng)多媒體應用的出現(xiàn)，使諸如圖片、聲音和視頻等非結(jié)構(gòu)化數(shù)據(jù)占到了很大比重。有統(tǒng)計顯示，全世界結(jié)構(gòu)化數(shù)據(jù)年增長率大概是32%，而非結(jié)構(gòu)化數(shù)據(jù)則是63%。2012年，非結(jié)構(gòu)化數(shù)據(jù)占有比例已經(jīng)達到互聯(lián)網(wǎng)整個數(shù)據(jù)量的75%以上。而產(chǎn)生智慧的大數(shù)據(jù)，往往是這些非結(jié)構(gòu)化數(shù)據(jù)。
“互聯(lián)網(wǎng)產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)占比越來越大，約為大數(shù)據(jù)總?cè)萘康?5%，傳統(tǒng)行業(yè)的數(shù)據(jù)大概只有15%。”對于百度這樣的互聯(lián)網(wǎng)公司，建立數(shù)據(jù)體系、研發(fā)消費者畫像、品牌探針等基于大數(shù)據(jù)的應用簡直是天經(jīng)地義。百度副總裁王湛將百度的大數(shù)據(jù)策略描述為“數(shù)據(jù)+工具+應用”，包括百度指數(shù)、司南、統(tǒng)計、搜索風云榜和研究中心在內(nèi)的五大平臺數(shù)據(jù)已經(jīng)形成了一個數(shù)據(jù)集合體，全程記錄消費者從需求、搜索、購買，到使用和分享的整個歷程，對客戶進行精準營銷?！巴ㄟ^5億消費者的千億級行為數(shù)據(jù)，百度構(gòu)建了搜索營銷、無線推廣、聯(lián)盟受眾引擎、社交化營銷、品牌洞察等多維度體系的百度商業(yè)產(chǎn)品藍圖。”
大數(shù)據(jù)帶來的挑戰(zhàn)還在于它的實時處理。在數(shù)據(jù)倉庫誕生的第一天，一直就有一個話題——要把大查詢分解成小任務，這些小任務由一臺臺的機器來完成。“我們的要求在于，上億條數(shù)據(jù)的分析能夠在5秒鐘內(nèi)完成。”中國民族證券信息技術(shù)部總經(jīng)理顏陽表示。因為過往關(guān)聯(lián)性數(shù)據(jù)庫產(chǎn)品處理大量數(shù)據(jù)時的運算速度都不快，Hadoop等加速數(shù)據(jù)查詢的分布式開源數(shù)據(jù)庫從邊緣走向主流；另外，數(shù)據(jù)存儲的廠商也不再拘泥于用傳統(tǒng)硬盤來存儲數(shù)據(jù)，而嘗試使用快速閃存。
在商業(yè)社會中，“從數(shù)據(jù)中得到價值”一直都不是什么新鮮的東西，但是當大數(shù)據(jù)時代到來，經(jīng)濟的新增量逐漸顯露出來。盡管數(shù)據(jù)挖掘從“啤酒與尿布”開始做了幾十年，但是“大數(shù)據(jù)”與我們通常所說的“數(shù)據(jù)”還是有顯著的不同。
花旗集團今年聘請了一位名叫沃森的天才顧問，幫助其增強數(shù)字銀行業(yè)務。這位沃森還同時為包括WellPoint在內(nèi)的醫(yī)療服務公司提供咨詢，去年，他還在工作之余獲得了電視智力競賽節(jié)目《危險邊緣》的頭獎。據(jù)沃森的朋友講，他還有其他不愿透露的企業(yè)職務，年收入很快就會超過10億美元。這一天文數(shù)字的收入使他成為美國打工者中的超級精英……只不過，沃森是一臺機器。
對數(shù)據(jù)進行挖掘分析正在顛覆每一種類型的企業(yè)。位于紐約長島的文藝復興科技公司（Renaissance Technologies）所管理的對沖基金，目前管理著150億美元的資產(chǎn)。這家公司或許是20年來業(yè)績最佳的對沖基金，而領(lǐng)導這家公司的是兩名來自IBM人工智能實驗室的科學家，他們開發(fā)了許多數(shù)學模型用來進行分析和交易，這些模型都是建立在海量數(shù)據(jù)基礎(chǔ)上的，具有可靠性并可進行實際預測，而最后的結(jié)果往往與他們預想的一樣。
瞧，當我們在談論大數(shù)據(jù)的時候，我們最終談論的還是——錢。
8米長虛擬鱷魚的大數(shù)據(jù)
今年夏天上映的《百萬巨鱷》是國內(nèi)首部特效驚悚怪獸類型電影，片中的真正主角并不是嬌弱的大S，而是一條長八米重達兩噸的巨型鱷魚，名叫“阿毛”。
“阿毛”是完全由特效制作產(chǎn)生，特效制作動物的關(guān)鍵就在于質(zhì)感——皮膚的柔軟度、牙齒、眼神等細小部位的刻畫，稍有不慎就很容易露怯。為此，制作方北京歌亮傳媒有限公司召集了國內(nèi)最頂級的特效技術(shù)人員，花了3個月的時間為鱷魚形象做準備。特效制作過程分為多個工種，如建模、燈光、材質(zhì)、渲染、動畫、骨骼、肌肉動力學、特效、毛發(fā)等。其中，水和毛發(fā)的制作被認為是最難制作的特效種類的代表，但這也是電影《百萬巨鱷》中運用最多的部分。
傳統(tǒng)電影經(jīng)過前期策劃、拍攝以及后期調(diào)色、配音并加入音樂等幾個步驟后就可以上映了。但是拍攝一部需要特效制作的影片，前期拍攝與后期制作所需的時間通常是1：6，后期的特效制作成了一個十分關(guān)鍵的環(huán)節(jié)。《百萬巨鱷》的拍攝和制作周期超過3年，其中大量的時間都花在了特效制作上，如何盡量縮短電影的制作周期，節(jié)省時間，以便更快獲得收益至關(guān)重要，而如此復雜的制作特效工作，需要多臺特效終端能夠及時、快速地處理大量影像數(shù)據(jù)，在有限的工期內(nèi)高效地完成全片的特效制作工作，要求歌亮傳媒的存儲系統(tǒng)擁有更好的I/O處理能力和更高的數(shù)據(jù)吞吐量、更快的圖片渲染和下載速度，大幅減少數(shù)據(jù)量大造成的系統(tǒng)處理瓶頸，從而實現(xiàn)更適合海量影像文件處理的數(shù)據(jù)管理、虛擬化和數(shù)據(jù)保護。
最后，歌亮傳媒選擇的是參與了《阿凡達》、《功夫熊貓》、《哈利波特》系列以及《暮光之城》等后期制作的日立數(shù)據(jù)系統(tǒng)公司的大數(shù)據(jù)存儲平臺。僅2011年，使用該平臺的影視作品全年為全球影視產(chǎn)業(yè)貢獻了近40億美元的票房收入。
在影片的后期處理過程中，特效制作需要快速調(diào)用容量很大的圖片和影像素材等文件，因此特效師往往需要等待系統(tǒng)處理來搜索到想要的圖片，這段時間就成為對特效師工作無效的“純等待”時間。通過解決多用戶并發(fā)訪問文件系統(tǒng)較慢的問題，歌亮的整個系統(tǒng)的數(shù)據(jù)讀取速度得到了明顯提升——可以同時為多人提供優(yōu)越的讀寫服務，散文件讀寫也更加流暢，特效師和相關(guān)工作人員直接獲得影像文件的速度提高30%～40%，大大提高了特效師們的創(chuàng)作效率，也不會讓一些即興的創(chuàng)作靈感因為數(shù)據(jù)調(diào)用的等待而消失殆盡。同時，通過多系統(tǒng)平臺的統(tǒng)一管理和權(quán)限設(shè)置，使得操作人員的誤操作減少，從另一個方向上提高了工作效率；得益于存儲系統(tǒng)的高可靠性，在讀取大量素材數(shù)據(jù)文件時，能夠保障特效渲染工作長期不間斷穩(wěn)定運行，把浪費的時間降到最低。
多方合力，為整個《百萬巨鱷》特效制作工作的快速高質(zhì)完成提供了重要保障。所有的工作人員都能夠?qū)r間和金錢花在“刀刃”上，讓最終所產(chǎn)出作品的質(zhì)量得到了實質(zhì)性的提升，電影震撼力也大大加強。
“電子眼”的后端智慧
大數(shù)據(jù)對于視頻監(jiān)控行業(yè)不是個新鮮話題。
?？低暩笨偛眉鍯TO蔣海青介紹，大數(shù)據(jù)技術(shù)已經(jīng)在一些地方政府主導的“智慧城市”項目中有了實施，“平安城市”視頻監(jiān)控應用是項目的重要組成部分。
作為全球視頻監(jiān)控產(chǎn)品的領(lǐng)軍企業(yè)，?？低曉趪鴥?nèi)參與的“平安城市”應用是視頻監(jiān)控領(lǐng)域規(guī)模最大、業(yè)務最復雜的系統(tǒng)，其視頻接入規(guī)模從成千上萬到十幾萬、甚至幾十萬都有，其中涉及了治安監(jiān)控、指揮通信、偵查破案、規(guī)范執(zhí)法、社會服務等多個分區(qū)領(lǐng)域，“而且現(xiàn)在視頻監(jiān)控所采集的視頻質(zhì)量也從標清進步到了高清的時代，因此大家可以想象一個大型‘平安城市’項目所產(chǎn)生的數(shù)據(jù)信息量有多大？而視頻監(jiān)控所產(chǎn)生的數(shù)據(jù)無論在規(guī)模還是結(jié)構(gòu)上，都符合大數(shù)據(jù)的定義?！笔Y海青表示。
“平安城市”視頻監(jiān)控采集到的海量數(shù)據(jù)也和其他種類的大數(shù)據(jù)一樣，只有進行智能、高效處理才更具價值。蔣海青指出：“傳統(tǒng)的視頻監(jiān)控通常都需要人工監(jiān)控，可人一般對視頻只有20分鐘的有效監(jiān)控，之后注意力和關(guān)注點就下降了?！毕啾戎拢悄芑谋O(jiān)控技術(shù)不但不會像人一樣產(chǎn)生疲勞，能夠不間斷地運行，而且它“還能從大量非結(jié)構(gòu)化的視頻數(shù)據(jù)中提取出有價值的信息，將視頻監(jiān)控的應用范圍從過去和目前以事后查看為主，慢慢轉(zhuǎn)變?yōu)槭虑邦A警，這就可以為公安、交通等各行各業(yè)提供更為有效的業(yè)務信息支持?！?/p>
上述兩個特點決定了“平安城市”視頻監(jiān)控應用需要大數(shù)據(jù)技術(shù)的支撐。“我們也曾經(jīng)想過用原有的關(guān)系型數(shù)據(jù)庫來承載相關(guān)的數(shù)據(jù)和應用，但是關(guān)系型數(shù)據(jù)庫已經(jīng)沒有辦法支持海量的、非結(jié)構(gòu)化或半結(jié)構(gòu)化的數(shù)據(jù)。”蔣海青稱，?？低曌罱K選擇的是英特爾的Hadoop大數(shù)據(jù)平臺。
?？低曊J為應用端需要的采集點很多、視頻通道非常大，因此“處理平臺不能是全集中式也不可能是全分布式，而應該是兩者的結(jié)合”，而Hadoop的靈活性對此非常適用；?？低曇贖adoop的數(shù)據(jù)管理和組織層上加入用于視頻數(shù)據(jù)的圖像處理、分析、分類技術(shù)，基于語義的分布式視頻搜索技術(shù)來對它們進行挖掘，英特爾的開放平臺也提供了充足的創(chuàng)新空間。這一方案目前已經(jīng)在?？低晠⑴c部署的某些城市的智能交通監(jiān)控領(lǐng)域得到了應用，它可以掌控城市交通攝像頭覆蓋區(qū)域中任一車輛的行駛狀態(tài)、運行軌跡，分析出其是否違章行為或有潛在犯罪可能性，而且還能對海量交通信息進行比對、分析和預測，實現(xiàn)車輛布控、擁堵狀態(tài)服務、出行最優(yōu)路徑規(guī)劃、交通管理服務等功能。
未來，海康威視還計劃將這一方案應用于小微企業(yè)或個人用戶，例如將一些小店鋪、連鎖超市的視頻監(jiān)控通過云服務的方式整合起來，通過分析其視頻監(jiān)控數(shù)據(jù)提供潛在風險的預警?！斑@樣的系統(tǒng)是完全基于互聯(lián)網(wǎng)的平臺，所以它的數(shù)據(jù)量可能比‘平安城市’的規(guī)模還要大，數(shù)據(jù)的采集、分析、存儲及檢索的難度還要高。”蔣海青稱。
3G上網(wǎng)“明白賬”
用微信聯(lián)系上一群好友，然后在手機上找到一家附近的特色餐廳，大家紛紛開著導航過去，上菜前低頭看微博，菜上了不吃先拍照分享，這就是一部分當代都市人的真實生活寫照。
在智能手機走進千家萬戶，3G網(wǎng)絡(luò)普及，流量飛速增長的今天，對于流量、上網(wǎng)記錄的投訴也同時以不可控制的速度遞增，甚至運營商也曾被消費者以“欺詐”等名義起訴，類似于“您的智能手機可能進行了系統(tǒng)或軟件的更新”等含糊的解答再也應對不了消費者的質(zhì)疑。為客戶提供上網(wǎng)記錄查詢并非我們想象的這么簡單。
這個查詢系統(tǒng)需要提供海量級的數(shù)據(jù)應用。今年上半年，我國移動互聯(lián)網(wǎng)用戶已達3.88億，同期國內(nèi)某電信運營商月移動上網(wǎng)記錄也增至上萬億條之多，而且每半年時間其上網(wǎng)記錄數(shù)量都會成倍遞增。特別是移動上網(wǎng)記錄擁有高容量、數(shù)據(jù)類型多樣化、持續(xù)不斷增長刷新以及能夠從中挖掘出有價值的信息這四個基本特征，算是典型的“大數(shù)據(jù)”，傳統(tǒng)的關(guān)系數(shù)據(jù)庫根本無法應對上網(wǎng)記錄的存儲、管理和處理重任。
有運營商已進行過測試：當傳統(tǒng)關(guān)系型數(shù)據(jù)庫承載百億條數(shù)據(jù)的時候，就已開始有心無力，一個查詢請求有可能幾個小時都不能返回結(jié)果。所以，針對大數(shù)據(jù)的一系列管理和處理技術(shù)也就成為了運營商構(gòu)建高效透明查詢系統(tǒng)，樹立誠信服務的關(guān)鍵技術(shù)。
國內(nèi)某3G服務的運營商近期就采用一套基于英特爾架構(gòu)的解決方案率先化解了這個難題。這套解決方案的核心硬件和軟件平臺分別是基于英特爾至強處理器的服務器，以及英特爾Hadoop發(fā)行版，后者可以為大數(shù)據(jù)提供分布式、橫向可擴展的數(shù)據(jù)組織與管理功能，并將應用負載分散到硬件系統(tǒng)的每個節(jié)點上。
最終，該運營商成功構(gòu)建了移動用戶上網(wǎng)記錄查詢與分析支持系統(tǒng)。該系統(tǒng)使得相關(guān)記錄檢索速度達到了秒級，即輸入任何一個城市的號碼，其詳細上網(wǎng)記錄會在1～2秒種的時候內(nèi)被檢索出來；在用戶界面中輸入號碼后，瞬間就可以得到每天的流量記錄，詳細的網(wǎng)站地址，在什么位置上的網(wǎng)，用的是什么網(wǎng)絡(luò)以
起始時間等等，用戶再有任何質(zhì)疑，運營商的客服人員都可以通過清晰明確地答復，消除他的疑慮。
“因為有了大數(shù)據(jù)，有了現(xiàn)在的這些技術(shù)支持，以前需要3-6個月才能查詢的記錄我們現(xiàn)在只需要幾分鐘，甚至更快。”運營商負責人表示，“這些數(shù)據(jù)的挖掘分析還將為最終客戶的使用體驗展現(xiàn)出更高的價值?！?/p>
來自：http://www.i#cn/article/121930102013.html
