什么是DataOps？
DataOps數(shù)據(jù)操作(全稱：Data Operations)，是一種用于開(kāi)發(fā)和交付分析，靈活且面向過(guò)程的方法。
它將DevOps團(tuán)隊(duì)、數(shù)據(jù)工程師和數(shù)據(jù)科學(xué)家聚集在一起，提供工具、流程和組織結(jié)構(gòu)來(lái)支持以數(shù)據(jù)為中心的企業(yè)。
Forrester副總裁兼首席分析師Michele Goetz將DataOps定義為”跨從基礎(chǔ)設(shè)施到體驗(yàn)的所有技術(shù)層中實(shí)現(xiàn)解決方案、開(kāi)發(fā)數(shù)據(jù)產(chǎn)品和激活數(shù)據(jù)，來(lái)實(shí)現(xiàn)商業(yè)價(jià)值的能力?！?/p>
DataOps目標(biāo)
根據(jù)Dataversity的說(shuō)法，DataOps的目標(biāo)是基于數(shù)據(jù)和數(shù)據(jù)分析來(lái)簡(jiǎn)化應(yīng)用程序的設(shè)計(jì)、開(kāi)發(fā)和維護(hù)。它尋求改進(jìn)數(shù)據(jù)管理和產(chǎn)品創(chuàng)建的方式，并將這些改進(jìn)與業(yè)務(wù)目標(biāo)相協(xié)調(diào)。
DataOps與DevOps
DevOps是一種軟件開(kāi)發(fā)的方法，通過(guò)將開(kāi)發(fā)團(tuán)隊(duì)和運(yùn)營(yíng)團(tuán)隊(duì)合并為一個(gè)負(fù)責(zé)產(chǎn)品或服務(wù)的部門，為系統(tǒng)開(kāi)發(fā)生命周期帶來(lái)持續(xù)性的交付。
DataOps在這個(gè)概念的基礎(chǔ)上增加了數(shù)據(jù)專家（包括數(shù)據(jù)分析師、數(shù)據(jù)開(kāi)發(fā)人員、數(shù)據(jù)工程師或數(shù)據(jù)科學(xué)家），專注于數(shù)據(jù)流的協(xié)作開(kāi)發(fā)和整個(gè)企業(yè)內(nèi)數(shù)據(jù)的持續(xù)使用。
HPE MapR的CTO 及《機(jī)器學(xué)習(xí)物流：現(xiàn)實(shí)世界中的模型管理》的合著者Ted Dunning說(shuō)：“DevOps具有現(xiàn)代化的發(fā)展趨勢(shì)，越來(lái)越多人將某種數(shù)據(jù)科學(xué)能力注入到開(kāi)發(fā)和系統(tǒng)中，所以DevOps的團(tuán)隊(duì)中需要一個(gè)有數(shù)據(jù)框架思維的人。”
DataOps原則
與DevOps一樣，DataOps借鑒了靈活的方法，以滿足客戶為主要目標(biāo)，重視有關(guān)分析的持續(xù)性交付。
根據(jù)DataOps聲明稱，DataOps團(tuán)隊(duì)重視有效的分析，通過(guò)他們提供的見(jiàn)解來(lái)衡量數(shù)據(jù)分析的性能。DataOps團(tuán)隊(duì)接受變革的同時(shí)，不斷地了解那些不斷變化的客戶需求。他們圍繞著目標(biāo)進(jìn)行自我組織，并尋求減少“英雄主義”，轉(zhuǎn)而支持可持續(xù)和可擴(kuò)展的團(tuán)隊(duì)和流程。
DataOps團(tuán)隊(duì)還試圖從頭到尾地編排數(shù)據(jù)、工具、代碼和環(huán)境，目的是提供可重現(xiàn)的結(jié)果。團(tuán)隊(duì)傾向于將分析管道看似于精益生產(chǎn)線，并定期反映客戶、團(tuán)隊(duì)成員和運(yùn)營(yíng)統(tǒng)計(jì)數(shù)據(jù)所提供的反饋。
DataOps的適用范圍
當(dāng)今企業(yè)越來(lái)越多地將機(jī)器學(xué)習(xí)注入到大量的產(chǎn)品和服務(wù)中，而DataOps是一種在支持機(jī)器學(xué)習(xí)端到端需求的方法。
“例如，這種風(fēng)格使數(shù)據(jù)科學(xué)家更容易獲得軟件工程的支持，以便在部署過(guò)程中將模型移交給運(yùn)營(yíng)部門時(shí)提供所需的支持，”Dunning和HPE首席技術(shù)專家、合著者Ellen Friedman寫道。
“DataOps方法不僅限于機(jī)器學(xué)習(xí)?！彼麄冄a(bǔ)充道，“這種組織方式對(duì)于任何面向數(shù)據(jù)的工作來(lái)說(shuō)都是有用的，從而可以更容易地利用構(gòu)建全球數(shù)據(jù)結(jié)構(gòu)所帶來(lái)的好處?！?/p>
他們還指出，DataOps很適合微服務(wù)架構(gòu)。
實(shí)踐中的DataOps
Dunning和Friedman認(rèn)為，為了充分利用DataOps，企業(yè)必須改進(jìn)其數(shù)據(jù)管理策略，以處理大規(guī)模的數(shù)據(jù)，并在實(shí)際事件發(fā)生時(shí)對(duì)其作出響應(yīng)。
他們寫道：“傳統(tǒng)上各自為政的角色可能過(guò)于僵化和緩慢，無(wú)法很好地適應(yīng)正在經(jīng)歷數(shù)字化轉(zhuǎn)型的大數(shù)據(jù)企業(yè)。這正是DataOps可以提供到幫助的地方。”
由于DataOps建立在DevOps之上，因此跨職能團(tuán)隊(duì)（如運(yùn)營(yíng)、軟件工程、架構(gòu)和規(guī)劃、產(chǎn)品管理、數(shù)據(jù)分析、數(shù)據(jù)開(kāi)發(fā)和數(shù)據(jù)工程）是必不可少的。DataOps團(tuán)隊(duì)的管理方式應(yīng)確保開(kāi)發(fā)人員、運(yùn)營(yíng)專家和數(shù)據(jù)專家之間加強(qiáng)彼此的協(xié)作和溝通。
據(jù)Dunning稱，數(shù)據(jù)科學(xué)家可能是DataOps團(tuán)隊(duì)的關(guān)鍵成員。他說(shuō)：“我認(rèn)為，最重要的是不堅(jiān)持傳統(tǒng)的象牙塔組織，即數(shù)據(jù)科學(xué)家與開(kāi)發(fā)團(tuán)隊(duì)分開(kāi)居住。你可以采取的最重要一步是將數(shù)據(jù)科學(xué)家融入到DevOps團(tuán)隊(duì)中。當(dāng)他們住在同一個(gè)房間里，吃著相同的菜肴，聽(tīng)著同樣的抱怨時(shí)，自然會(huì)變得一致?！?/p>
但Dunning也指出，數(shù)據(jù)科學(xué)家可能不需要永久性地被安排進(jìn)DataOps團(tuán)隊(duì)中。
“通常情況下，團(tuán)隊(duì)中會(huì)有一位數(shù)據(jù)科學(xué)家?！盌unning說(shuō)，“當(dāng)他們的能力和敏感性開(kāi)始減弱后，團(tuán)隊(duì)中的某個(gè)人將擔(dān)當(dāng)起數(shù)據(jù)工程師和低成本數(shù)據(jù)科學(xué)家的角色。然后，古董團(tuán)隊(duì)中實(shí)際的數(shù)據(jù)科學(xué)家也將繼續(xù)被融入，從而會(huì)形成一個(gè)不穩(wěn)定的局面?！?/p>
如何組建DataOps團(tuán)隊(duì)
Friedman說(shuō)，大多數(shù)基于DevOps的企業(yè)已經(jīng)掌握了DataOps團(tuán)隊(duì)的核心。一旦確定需要數(shù)據(jù)密集型開(kāi)發(fā)的項(xiàng)目，只需向團(tuán)隊(duì)中加入一位受過(guò)數(shù)據(jù)培訓(xùn)的數(shù)據(jù)工程師即可。
通常情況下，團(tuán)隊(duì)將由技能重疊的人員組成，或者根據(jù)專業(yè)知識(shí)在DataOps團(tuán)隊(duì)中擔(dān)任多個(gè)角色。
Dunningg和Friedman在他們的書中寫道：“在大型項(xiàng)目中，一個(gè)特定的DataOps角色可能不止由一個(gè)人擔(dān)任，有些人會(huì)擔(dān)任多個(gè)角色也很常見(jiàn)。”
操作和軟件工程技能可能重疊；具有軟件工程經(jīng)驗(yàn)的團(tuán)隊(duì)成員也可能是位合格的數(shù)據(jù)工程師。通常，數(shù)據(jù)科學(xué)家具有數(shù)據(jù)工程技能。然而，很少能看到數(shù)據(jù)科學(xué)和操作之間存在重疊。”
據(jù)Forrester的Goetz稱，DataOps團(tuán)隊(duì)的一些關(guān)鍵專業(yè)知識(shí)領(lǐng)域包括：
● 數(shù)據(jù)庫(kù)
● 集成
● 數(shù)據(jù)流程編排
● 數(shù)據(jù)策略部署
● 數(shù)據(jù)和模型集成
● 數(shù)據(jù)安全和隱私控制
無(wú)論DataOps團(tuán)隊(duì)的組成如何，必須有一個(gè)共同的目標(biāo)是：他們支持?jǐn)?shù)據(jù)驅(qū)動(dòng)的需求服務(wù)。
“有了工程團(tuán)隊(duì)，優(yōu)秀的工程師，你需要做的是你需要設(shè)定好目標(biāo)，”Dunning說(shuō)：“一旦有了一個(gè)共同的目標(biāo)，即解決問(wèn)題，那么團(tuán)隊(duì)就會(huì)被組織起來(lái)解決這個(gè)問(wèn)題。當(dāng)不同的人看到問(wèn)題的不同方面時(shí)，困難就來(lái)了。
操作人員會(huì)擔(dān)心可靠性，數(shù)據(jù)科學(xué)的人傾向于關(guān)注答案的準(zhǔn)確性。但當(dāng)他們?cè)噲D解決同樣的問(wèn)題，并愿意在如何解決問(wèn)題上做出妥協(xié)時(shí)，我認(rèn)為這是一個(gè)相當(dāng)容易被建立起來(lái)的社會(huì)結(jié)構(gòu)?！?/p>
DataOps角色
據(jù)Goetz的說(shuō)法，DataOps團(tuán)隊(duì)成員包括：
● 數(shù)據(jù)專家，支持?jǐn)?shù)據(jù)環(huán)境和開(kāi)發(fā)最佳實(shí)踐
● 數(shù)據(jù)工程師，為BI、分析和業(yè)務(wù)應(yīng)用程序提供特別和系統(tǒng)支持
● 首席數(shù)據(jù)工程師，負(fù)責(zé)產(chǎn)品和面向客戶可交付成果的開(kāi)發(fā)人員
聯(lián)系客服
