作者 | 木東居士
來源 | Data_Engineering
最近看了 Milter 的《算法工程師究竟需要哪些工程能力》這篇文章，有所感想，因此也寫一篇關(guān)于算法工程師的技術(shù)能力的問題，和大家分享一下居士關(guān)于算法工程師的技術(shù)能力的觀點。
對于一名優(yōu)秀的算法工程師，他（她）要具備的不僅僅是出色的技術(shù)能力，也要有很深的業(yè)務(wù)理解能力和對外溝通能力，總之，要求可以很高！
但是，從職責(zé)能力的劃分上來講，算法工程師首先是一名工程師，因此本文主要從工程能力要求上進(jìn)行一些探討。
開始之前先放一份思維導(dǎo)圖，這將是這篇文章要分享的核心內(nèi)容：
算法工程師，從名字上我們就能看出，一名算法工程師首先應(yīng)該具備算法能力和工程能力，我們可以認(rèn)為這是基礎(chǔ)的技術(shù)能力。由于現(xiàn)在開源技術(shù)的普及，Sklearn、Tensorflow 和 Spark ML 基本已經(jīng)成為大部分算法工程師標(biāo)配的工具庫了，因此，熟練的調(diào)包能力也是決定了一名算法工程師能否快速實現(xiàn)需求。
其次，在真實的生產(chǎn)環(huán)境中，算法的落地會遇到各種各樣的業(yè)務(wù)場景和數(shù)據(jù)環(huán)境，這也要求算法工程師需要具備Pipeline 構(gòu)建能力，將整個生產(chǎn)環(huán)境中的數(shù)據(jù)流和模型打通。同時，在生產(chǎn)環(huán)境中，會出現(xiàn)各種“疑難雜癥”等待你去解釋，比如說為什么實驗效果特別差？為什么模型效果不穩(wěn)定？這就要要求算法工程師需要具備一定的數(shù)據(jù)分析能力。
很多時候，你會發(fā)現(xiàn)，你用在數(shù)據(jù)分析和Pipeline構(gòu)建上的精力可能占據(jù)了你8成以上的工作內(nèi)容。
當(dāng)你具備了上面的能力時，你已經(jīng)可以稱自己是一名算法工程師了。此時，你可以去對著數(shù)據(jù)分析小得瑟一下：“你看，我能構(gòu)建整個模型的Pipeline，你卻只能拿到別人提供的數(shù)據(jù)后調(diào)調(diào)包吧。“或者，你也可以去找開發(fā)得瑟：”你看，我懂了很多算法哦，你就只會寫代碼吧?！?/blockquote>得瑟完之后，我們還是回歸正題，算法工程師只具備這樣能力是否已經(jīng)夠了？答案當(dāng)然是不夠的。由于不同公司的團隊成熟度不同，工具化和流程的成熟度都不同，這就會對算法工程師有不同的要求，比如說模型發(fā)布能力和報表開發(fā)能力，當(dāng)然也會有一些其它能力，雖然可能不是特別重要，但是當(dāng)這些工作沒人幫你做的時候，算法工程師可能依然要承擔(dān)起這些工作內(nèi)容，比如說灰度測試的能力、負(fù)載均衡的能力等等。
將上面的內(nèi)容整理后，就是這樣一份思維導(dǎo)圖了（一張圖多看幾篇更能加深印象，因此我再貼出來一遍）
工程能力詳解
一、基礎(chǔ)能力
算法能力
算法能力就不多說了，算法工程師的基本能力要求，不懂算法對于一名算法工程師來講是不太合理的。這里居士把統(tǒng)計學(xué)的內(nèi)容也放進(jìn)來了。
編程能力
編程能力主要分為兩部分：
Python、C++、Java這類編程語言，這三種也是算法工程師需要了解的主流編程語言，一般掌握其一就夠，看不同公司。
Sql就是很通用的能力了，Sql也是一門編程語言，而是是數(shù)據(jù)處理最常用的語言！
很好用。
大數(shù)據(jù)場景下，要了解Hive Sql。調(diào)包能力
大家雖然會調(diào)侃調(diào)包俠，但是說實話，能調(diào)包調(diào)的很溜的人，也是不多的，比如說現(xiàn)在讓你自己用tensorflow構(gòu)建一個復(fù)雜網(wǎng)絡(luò)，不能google，你能寫出來嗎？能記清楚用法嗎？
Sklearn
Tensorflow
Spark ML
二、核心能力
Pipeline 構(gòu)建能力
Pipeline構(gòu)建能力，這里想表達(dá)的更多的是整個數(shù)據(jù)流的構(gòu)建能力，數(shù)據(jù)從日志->特征->模型訓(xùn)練->反饋，這一個鏈條能否完成的能力，這里面會有很多難題需要克服。比如說：
實時和離線模型一致性問題？
離線和實時特征一致性問題？
實時特征構(gòu)建的問題？
數(shù)據(jù)延遲的問題？
很多時候，模型發(fā)布之類的工作是可以由其他同學(xué)支持完成，但是數(shù)據(jù)流這種問題更多的是需要算法工程師來解決的。
數(shù)據(jù)分析能力
這里的數(shù)據(jù)分析能力不是指商業(yè)分析或者業(yè)務(wù)分析，更多的是指特征分析、算法效果分析和各種異常問題定位分析的能力。
很多時候，兩個算法工程師能力水平的強弱從數(shù)據(jù)分析能力上也能窺得一二。
三、輔助技術(shù)能力
輔助的技術(shù)能力是指，你會不會的影響不會特別大，但是也都是有用的能力，特別是不同公司的發(fā)展情況不同，很可能會出現(xiàn)一個算法工程師既要做數(shù)據(jù)接入、又要做數(shù)據(jù)清洗、還要做算法平臺
也要搞前端、還要負(fù)責(zé)模型上線、系統(tǒng)運維。這里就不再細(xì)講了。
思考一
聊一下對技術(shù)能力、工程能力和數(shù)據(jù)分析的思考。
居士個人的理解，技術(shù)能力更多的是偏向于一個一個的技術(shù)點，而工程能力更多就是在一個團隊中將項目做好的能力。很多算法出身的工程能力不行，那么他做的單純的一個模型是無法應(yīng)用到實際生產(chǎn)中的，而工程就是指把理論落地實際生產(chǎn)的過程。那么工程包含了什么？它包括了系統(tǒng)架構(gòu)設(shè)計和模塊設(shè)計、數(shù)據(jù)流搭建和平臺搭建、調(diào)包或算法開發(fā)、分布式、上線以及各種落地的代碼開發(fā)。報表和監(jiān)控，其實本質(zhì)也是做數(shù)據(jù)流，邊緣性的可能要做些后臺和前端的開發(fā)。
然后數(shù)據(jù)分析能力是什么？數(shù)據(jù)分析（不是純粹的數(shù)據(jù)分析）除了分析方法論和套路外，是一個很綜合性、相對偏軟一點的能力，比如說你通過分析發(fā)現(xiàn)了我們的系統(tǒng)有哪些可以優(yōu)化的點，通過分析發(fā)現(xiàn)了問題的原因是什么，這些都是分析能力。
思考二
針對前面的內(nèi)容，和 Cathy 討論后，對整個思路做了新的梳理，大家直接看圖就好，居士也認(rèn)為這樣描述可能更為合理。
思考三
這里再補充一個模型復(fù)現(xiàn)的能力，比如你看了一篇論文，發(fā)現(xiàn)這個模型可能很適合自己的業(yè)務(wù)場景，那么你是否能力將論文里面的模型快速用公司現(xiàn)有的平臺和工具來復(fù)現(xiàn)？
居士認(rèn)為，這一個是一個非常重要的能力，但是沒有想好具體該怎樣劃分。
