最近，我對(duì)數(shù)據(jù)分析師的職位頗感興趣，仿佛找到一個(gè)新天地，也猛啃過(guò)一些書(shū)籍，逛過(guò)不少論壇。雖然我對(duì)該職位看漲，但因從事該職位的朋友極少，難以獲取有價(jià)值的職業(yè)規(guī)劃，也對(duì)該工作的職業(yè)生態(tài)缺乏深入的了解，也是舉旗未定。 前幾日，我突然想到，何不用數(shù)據(jù)分析的手段，來(lái)分析一下數(shù)據(jù)分析這一崗位。 于是有了此文。 首先，我確定以拉勾作為爬取網(wǎng)站。 為避免重復(fù)造輪子，我先于網(wǎng)上瀏覽一圈，發(fā)現(xiàn)類似的攻略貼不少，但沒(méi)有發(fā)現(xiàn)一篇讓我滿意的分析，這些文章或多或少缺少以下這幾類東西： 缺少對(duì)比和參照 大多數(shù)文章都是爬取某職業(yè)成百上千條的數(shù)據(jù)，然后進(jìn)行城市分布、公司大小、薪水工資、福利待遇等的一維或者二維分析，缺乏職業(yè)與職業(yè)間的參考，和職業(yè)生態(tài)變化的微度窺測(cè)。 區(qū)域劃分不明顯 數(shù)據(jù)往往是全國(guó)的，很少有針對(duì)某一地區(qū)的分析文章。當(dāng)然，也不乏有文章將區(qū)域和公司、薪水做二維三維分析，這算是寫(xiě)得不錯(cuò)的 未排除"臟"數(shù)據(jù) 比如，你了解一個(gè)基礎(chǔ)崗位，那么該崗位的實(shí)習(xí)生、總監(jiān)等數(shù)據(jù)應(yīng)該排除; 再比如，你做詞云，一些出現(xiàn)頻次大的詞匯應(yīng)該作為停止詞排除，比如進(jìn)行、參與、工作等，你并不能找出該類詞匯的關(guān)聯(lián)關(guān)系，進(jìn)行什么？參與什么？工作又是什么？像這樣的廣泛使用的名詞和動(dòng)詞應(yīng)當(dāng)舍棄。 攻于技巧，弱于分析 很多文章側(cè)重于爬取，而忽略了分析。分析也只是各種圖形的堆砌，讓人眼花雜亂。而一些技術(shù)向的文章，側(cè)重到了代理池、賬號(hào)池、反爬等內(nèi)容，學(xué)習(xí)技術(shù)非常不錯(cuò)，但分析向不太明朗。 因此我首先制定了策略： 爬取網(wǎng)站：拉勾網(wǎng) 擇業(yè)城市：成都市 選擇職業(yè)：測(cè)試工程師、數(shù)據(jù)分析師（前后職業(yè)） 再開(kāi)始分步執(zhí)行： 一、數(shù)據(jù)抓取 01確定爬取的頁(yè)面 一是職位信息的頁(yè)面，包括公司、地區(qū)、薪水、經(jīng)驗(yàn)、學(xué)歷等，POST請(qǐng)求，響應(yīng)是AJAX的XHR對(duì)象，以Json形式存儲(chǔ)（https://www.lagou.com/jobs/list_測(cè)試?city=成都）
POST請(qǐng)求要傳參，pn代表爬取的頁(yè)碼，kd代表爬取的職位，可以加上city，代表爬取的城市
二是職位的詳情，即崗位職責(zé)和任職要求，GET請(qǐng)求，直接讀網(wǎng)頁(yè)源碼就能獲取（https://www.lagou.com/jobs/5342568.html）
02分析json和返回
對(duì)于職位信息，儲(chǔ)存在json串['content']['positionResult']['result']節(jié)點(diǎn)下的，因此遍歷讀取結(jié)果即可。
職位的詳情爬取更簡(jiǎn)單，直接xpath讀取返回就行。
03表結(jié)構(gòu)設(shè)計(jì)
一共設(shè)計(jì)了兩張數(shù)據(jù)表，一份表存儲(chǔ)基礎(chǔ)信息，一份表存儲(chǔ)職位詳情信息，兩張表通過(guò)positionID關(guān)聯(lián)
04爬取及處理步驟
step1：遍歷頁(yè)碼，爬取每一頁(yè)的職位信息，并存入數(shù)據(jù)庫(kù)，用于后續(xù)的圖表分析
step2：通過(guò)上一步驟獲取到的positionID（即https://www.lagou.com/jobs/5342568.html中的數(shù)字），訪問(wèn)該職位的詳情頁(yè)，用于制作工作職責(zé)和詞云
05爬取代碼（代碼和設(shè)計(jì)，關(guān)注公眾號(hào)，后臺(tái)回復(fù)“ lagou_v1 ”即可獲?。?/span>
step1：構(gòu)造請(qǐng)求頭
step2：獲取職位信息
step3：遍歷頁(yè)面爬?。ㄒ蚶床徽摱嗌俾毼唬伙@示前30頁(yè)，故通過(guò)totalCount計(jì)算出頁(yè)數(shù)后做特殊處理）
step4：通過(guò)前面爬取到的positionID，爬取職位詳情
step5：運(yùn)行代碼，爬取成都的測(cè)試崗和數(shù)據(jù)分析崗
大功告成
以上代碼和設(shè)計(jì)，關(guān)注公眾號(hào)，后臺(tái)回復(fù)“ lagou_v1 ”即可獲取
二、數(shù)據(jù)分析
此時(shí)，數(shù)據(jù)已爬完。但你得靜下來(lái)仔細(xì)想想，這樣的數(shù)據(jù)我們能拿來(lái)直接分析嗎？
其次，到底要分析些什么內(nèi)容，是先把各類圖表堆砌出來(lái)，再做分析，還是有的放矢，先確定分析的點(diǎn)，再制作相應(yīng)的可視化作為參考？
數(shù)據(jù)分析并非你想象的畫(huà)幾張圖，寫(xiě)幾段描述文字，出一份報(bào)告，而是得注入分析人員的思想。
數(shù)據(jù)爬取、可視化是工于技巧，對(duì)數(shù)據(jù)的感知、知道什么時(shí)候用什么圖表才是工于分析。
說(shuō)白了，重要的是有idea。
因此，分析階段，我們得預(yù)備做三件事。
01清理數(shù)據(jù)與分析準(zhǔn)備
step1：我們只做測(cè)試和數(shù)據(jù)分析崗的發(fā)展趨勢(shì)對(duì)比，所需的數(shù)據(jù)值要穩(wěn)定。因此某些特殊的崗位需要拋開(kāi)，如對(duì)應(yīng)的測(cè)試開(kāi)發(fā)、性能測(cè)試、數(shù)據(jù)算法、DBA、主管、經(jīng)理、組長(zhǎng)、總監(jiān)、實(shí)習(xí)生等。
一條sql搞定，簡(jiǎn)簡(jiǎn)單單
step2：我們需要些什么
兩種職業(yè)的市場(chǎng)需求
兩種職業(yè)的待遇
兩種職業(yè)的崗位職責(zé)、崗位要求
step3：大的分析方向定好之后，再細(xì)化之
職業(yè)需求：
職位供求關(guān)系（此處只能了解“求”，還可細(xì)分為公司規(guī)模大小對(duì)于崗位的“求”，強(qiáng)分析項(xiàng)）
學(xué)歷占比（大廠對(duì)學(xué)歷要求較高，弱分析項(xiàng)）
職業(yè)待遇：
職業(yè)工資的大體情況
職業(yè)隨著經(jīng)驗(yàn)上的價(jià)值（注意是否滿足分布模型）
職位福利（職位福利往往和公司福利掛鉤，弱分析項(xiàng)）
兩種職業(yè)的崗位職責(zé)、崗位要求：
詞云分解，注意拋開(kāi)無(wú)效詞
02實(shí)戰(zhàn)分析
Analyze1：職位需求（職位供求關(guān)系、學(xué)歷要求）
我一共爬取了成都的547條數(shù)據(jù)。其中測(cè)試崗468條，數(shù)據(jù)分析崗79條，以數(shù)據(jù)體量上看，在成都做數(shù)據(jù)分析的大環(huán)境不佳。
公司規(guī)模與招聘職位數(shù)
而之前眾多文章所說(shuō)的：公司越大，數(shù)據(jù)分析崗越多。似乎并沒(méi)有一定的關(guān)聯(lián)性（至少在成都如此）
城市與招聘職位數(shù)
同時(shí)，我也關(guān)注了其他一線城市的崗位數(shù)據(jù)，不得不說(shuō)，帝都的實(shí)力鶴立于眾市，也為我以后的數(shù)據(jù)參考提供了另一種選擇。
公司規(guī)模與學(xué)歷
另外，數(shù)據(jù)分析崗對(duì)于學(xué)歷的要求確實(shí)比較明顯:
數(shù)據(jù)分析崗主要招聘本科學(xué)歷，大專及學(xué)歷不限的招聘很少；
公司規(guī)模越大，招聘數(shù)據(jù)分析崗越多，這也符合商業(yè)規(guī)律；
公司規(guī)模越大，招聘測(cè)試崗越少，這一類公司要么在校招新人，要么走內(nèi)推方式社招，故發(fā)布的職位明顯降低；
中小規(guī)模公司，測(cè)試崗對(duì)于學(xué)歷的要求不高，但大型公司，有明顯的學(xué)歷傾向；
Analyze2：職業(yè)待遇（薪資水平、經(jīng)驗(yàn)、職位福利）
薪資水平與職位
數(shù)據(jù)分析崗的數(shù)據(jù)量較少，確實(shí)不能看出薪資水平。
不過(guò)發(fā)現(xiàn)了一個(gè)有意思的點(diǎn)，7k和9k的下限工資，不論是測(cè)試崗還是數(shù)據(jù)分析崗，都有明顯的斷檔，至于斷檔原因，讀者不妨從稅費(fèi)的角度考慮考慮。
薪水區(qū)間圖
橫坐標(biāo)為薪水值(k)，上橫標(biāo)為薪水下限，下橫標(biāo)為薪水對(duì)應(yīng)的薪水上（eg:4k-7k,4k-8k)；縱坐標(biāo)為計(jì)數(shù)
工作年限與薪資水平
再來(lái)看看工作年限與薪資水平的箱型展示圖：
應(yīng)屆生和工作經(jīng)驗(yàn)較少(1年以下)，數(shù)據(jù)分析崗并不友好，招聘數(shù)極少乃至沒(méi)有
1-3年工作經(jīng)驗(yàn)，測(cè)試的薪資水平波動(dòng)比較大，看了下數(shù)據(jù)，大抵是美團(tuán)這一大廠招聘的高級(jí)測(cè)試，拉高了分布圖。從中位數(shù)看，和數(shù)據(jù)分析區(qū)別并不大
3-5年工作經(jīng)驗(yàn)，對(duì)于測(cè)試崗，中位數(shù)穩(wěn)定，而數(shù)據(jù)分析崗中位數(shù)趨于Q1，說(shuō)明數(shù)據(jù)分析崗有更多的高薪選擇
5-10年工作經(jīng)驗(yàn)，兩種崗位大體差不多，數(shù)據(jù)分析略好于測(cè)試崗
職位福利&公司福利
兩種職業(yè)的職位福利和公司福利，這個(gè)看看就好，福利不論好壞，實(shí)打?qū)嵉芈涞夭攀钦妗ず霉尽?/span>
職位福利（左測(cè)試，右數(shù)據(jù)分析）
Analyze3：職業(yè)要求（崗位職責(zé)，崗位要求）
說(shuō)實(shí)話，這塊的數(shù)據(jù)是我主要關(guān)心的，因此下了很多功夫，不僅一遍遍的排除無(wú)效關(guān)鍵詞，還具體分析了關(guān)鍵詞背后的內(nèi)容。
崗位職責(zé) 測(cè)試崗（左）和數(shù)據(jù)分析崗（右）
測(cè)試崗（詞匯top10）
('負(fù)責(zé)', 255), ('產(chǎn)品', 227), ('項(xiàng)目', 135), ('流程', 124), ('自動(dòng)化', 107), ('游戲', 91), ('編寫(xiě)', 82), ('系統(tǒng)', 82), ('經(jīng)驗(yàn)', 80), ('開(kāi)發(fā)', 78)
數(shù)據(jù)分析崗（詞匯top10）
('業(yè)務(wù)', 103), ('負(fù)責(zé)', 78), ('需求', 67), ('產(chǎn)品', 63), ('項(xiàng)目', 60), ('運(yùn)營(yíng)', 58), ('報(bào)告', 45), ('管理', 32), ('優(yōu)化', 29), ('用戶', 28)
通過(guò)詞云和top10數(shù)據(jù)，我們可以看出，無(wú)論哪一崗位，都要求獨(dú)立負(fù)責(zé)的經(jīng)歷，這也是職場(chǎng)人孜孜努力的目標(biāo)。
測(cè)試崗更看重產(chǎn)品/項(xiàng)目經(jīng)歷，看來(lái)大多數(shù)測(cè)試崗還是以功能測(cè)試為主。但另一方對(duì)測(cè)試流程、自動(dòng)化的需求也較高，開(kāi)發(fā)的頻次不少，這不得不引起tester的重視。
數(shù)據(jù)分析崗，最看重業(yè)務(wù)，了解需求和產(chǎn)品。而前top10中，卻很少看到技術(shù)類的詞匯，證明此崗位業(yè)務(wù)優(yōu)先，技術(shù)次之。
崗位要求 測(cè)試崗（左）和數(shù)據(jù)分析崗（右）
測(cè)試崗詞匯（top10）
('經(jīng)驗(yàn)', 308), ('熟練 使用', 93), ('能力', 89), ('自動(dòng)化', 83), ('溝通能力', 80), ('團(tuán)隊(duì) 合作', 70), ('計(jì)算機(jī)相關(guān) 專業(yè)', 69), ('技術(shù)', 68), ('流程', 67), ('web', 66)
數(shù)據(jù)分析崗詞匯（top10）
('經(jīng)驗(yàn)', 118), ('能力', 55), ('熟練掌握', 32), ('Python', 32), ('熟練使用', 32), ('溝通能力', 31), ('數(shù)據(jù)庫(kù)', 28), ('統(tǒng)計(jì)', 28), ('專業(yè)', 24), ('行業(yè)', 23)
經(jīng)驗(yàn)！經(jīng)驗(yàn)！經(jīng)驗(yàn)！重要的事情說(shuō)三遍！這是其一。
測(cè)試崗，軟技能方面要求個(gè)人能力和溝通協(xié)作技巧，硬技能方面要求自動(dòng)化等技術(shù)；
數(shù)據(jù)分析崗軟技能方面亦要求個(gè)人能力和溝通協(xié)作技巧，硬技能方面要求Python和數(shù)據(jù)庫(kù)；
而"熟練使用"和"熟練掌握"的詞頻如此之高，主要是要熟練些什么？于是，我回到數(shù)據(jù)庫(kù)（能用數(shù)據(jù)庫(kù)解決的業(yè)務(wù)問(wèn)題，絕對(duì)不用代碼解決），繼續(xù)下一層次的分析：
sql實(shí)例如下：
經(jīng)過(guò)更進(jìn)一層的分析，我們能看到：
測(cè)試崗最top的熟練，是需要熟練使用Linux、測(cè)試管理工具、編程語(yǔ)言（java/python)
編程語(yǔ)言占比如此之高，真是被嚇到了，和兩年前我剛?cè)肼殨r(shí)的大環(huán)境相比，測(cè)試的技術(shù)要求越來(lái)越高。
數(shù)據(jù)分析崗，要求最多的，是Excel辦公軟件，畢竟大多數(shù)分析，都能用Excel進(jìn)行初篩和看出部分可分析點(diǎn)，其他的如Python、R、SQL，已是老生常談，不做贅述。
三、總結(jié)不足
經(jīng)過(guò)這次實(shí)操，我大概了解到兩份職業(yè)的差別與側(cè)重點(diǎn)，但整體來(lái)說(shuō)，我也認(rèn)識(shí)到了此次分析明顯的不足
1、數(shù)據(jù)分析崗太少，數(shù)據(jù)不夠全
可能受地域或者公司戰(zhàn)略規(guī)劃布局（成都近幾年一般是某些中大型公司設(shè)立分公司的考慮城市）等方面的影響，成都的數(shù)據(jù)分析崗很少，難以窺測(cè)成都市場(chǎng)的整體環(huán)境，并沒(méi)有達(dá)到我此前對(duì)市場(chǎng)的樂(lè)觀預(yù)估。
針對(duì)數(shù)據(jù)分析崗，以后我再分析分析北京的數(shù)據(jù)，以此作為行業(yè)風(fēng)向標(biāo)吧！
2、缺少長(zhǎng)遠(yuǎn)的規(guī)劃分析
這個(gè)版本，我只爬取了拉勾的數(shù)據(jù)，而拉勾的崗位招聘初中級(jí)工程師較多，很少放出高級(jí)和負(fù)責(zé)人一類的職位，畢竟這一類高級(jí)工程師，走內(nèi)推流程居多。
下個(gè)版本，我可以考慮一些獵頭網(wǎng)站，或者只選擇高職位頭銜的數(shù)據(jù)，來(lái)做一次行業(yè)遠(yuǎn)景規(guī)劃分析。
至于選擇什么行業(yè)，路如何走，我一直喜歡一個(gè)成語(yǔ)：厚積薄發(fā)！
不忘初心，堅(jiān)持向前，砥礪而為，喝完這碗雞湯，繼續(xù)吧！
聯(lián)系客服
