在用戶至上、體驗(yàn)為王、唯快不破的移動(dòng)互聯(lián)網(wǎng)時(shí)代，借著在測(cè)試領(lǐng)域的七年工作經(jīng)驗(yàn)積累來(lái)簡(jiǎn)單談?wù)勝|(zhì)量工程師可以參考的幾點(diǎn)工作思路。
思路一：關(guān)于質(zhì)量和過(guò)程的兩個(gè)進(jìn)階
其一，質(zhì)量上的進(jìn)階：從程序質(zhì)量、用戶體驗(yàn)再到產(chǎn)品品質(zhì)。要引領(lǐng)品質(zhì)，輸出QA的價(jià)值。
《京東技術(shù)解密》中有一段話，“技術(shù)需要分三步走，支持業(yè)務(wù)，驅(qū)動(dòng)業(yè)務(wù)，再到引領(lǐng)業(yè)務(wù)”，受益匪淺，QA的質(zhì)量?jī)r(jià)值輸出同樣也需要如此進(jìn)階的過(guò)程：作為支撐部門(mén)，負(fù)責(zé)程序質(zhì)量是我們工作的基本面，到達(dá)第一個(gè)層級(jí)“支持業(yè)務(wù)”；從程序質(zhì)量到用戶體驗(yàn)，驅(qū)動(dòng)業(yè)務(wù)體驗(yàn)迭代越來(lái)越好，做到第二個(gè)層級(jí)“驅(qū)動(dòng)業(yè)務(wù)”。QA作為用戶的代言人，從體驗(yàn)到品質(zhì)，樹(shù)立產(chǎn)品的用戶口碑，以最好的體驗(yàn)領(lǐng)跑市場(chǎng)，力爭(zhēng)第三個(gè)層級(jí)“引領(lǐng)品質(zhì)”。
如下表格簡(jiǎn)要列出“程序質(zhì)量”、 “用戶體驗(yàn)”、“產(chǎn)品品質(zhì)”過(guò)程中的工程手段以及關(guān)鍵性指標(biāo)。
第二，過(guò)程上的進(jìn)階：從線下持續(xù)集成、灰度質(zhì)量收斂再到線上質(zhì)量監(jiān)控。做全流程質(zhì)量保障。
1. 持續(xù)集成 ，小步快跑，快速迭代。
持續(xù)集成是把線下測(cè)試能力，包括代碼檢查、編譯、自動(dòng)化、性能、系統(tǒng)測(cè)試等集成起來(lái)，用自動(dòng)化方式來(lái)統(tǒng)一質(zhì)量標(biāo)準(zhǔn)并規(guī)范流程，將集成性問(wèn)題盡早發(fā)現(xiàn)并充分暴露，同時(shí)驗(yàn)證對(duì)其他模塊和整個(gè)系統(tǒng)的影響，提升系統(tǒng)管控能力，保證發(fā)布的時(shí)間確定性。
2. 灰度收斂，最少的用戶暴露盡可能多的問(wèn)題并快速修復(fù)。
灰度能力建設(shè)包括精準(zhǔn)推送（選取什么樣的用戶)、效果評(píng)估（發(fā)現(xiàn)問(wèn)題）和止損修復(fù)（解決問(wèn)題）。
3. 線上監(jiān)控，QA的著力點(diǎn)應(yīng)在業(yè)務(wù)質(zhì)量和用戶反饋。
QA做業(yè)務(wù)質(zhì)量監(jiān)控可以考慮的兩個(gè)維度：用戶視角，橫向上質(zhì)量標(biāo)準(zhǔn)體系呈現(xiàn)，一覽全局；全局視角，縱向上核心質(zhì)量全景刻畫(huà)，云端各關(guān)聯(lián)模塊的信息聯(lián)動(dòng)，預(yù)防和解釋業(yè)務(wù)變化的根本原因，見(jiàn)微知著。
在線上和線下兩個(gè)過(guò)程中的QA工作實(shí)踐中，會(huì)有很多同學(xué)碰到一些重線上還是重線下的困惑，實(shí)則線上和線下雙手都要抓，先線下再線上，用線上的問(wèn)題來(lái)復(fù)盤(pán)線下。一方面移動(dòng)互聯(lián)網(wǎng)時(shí)代場(chǎng)景、設(shè)備、網(wǎng)絡(luò)的復(fù)雜性加劇在線下收斂所有問(wèn)題的困難度，而且所有線下工作最后都體現(xiàn)在線上，質(zhì)量工作離不開(kāi)線上；另一方面若不重視線下，會(huì)帶來(lái)線上更多的問(wèn)題。每一個(gè)線上問(wèn)題都值得好好復(fù)盤(pán)，為什么在線下不能發(fā)現(xiàn)，進(jìn)而改進(jìn)線下測(cè)試能力，不挖同一個(gè)坑。
用看過(guò)的一部勵(lì)志電影《The Great Debaters》能更好的描述清楚線上和線下兩件事情的關(guān)系， To do what we have to do then we can do what we want to do。
思路二： Top問(wèn)題驅(qū)動(dòng)閉環(huán)，立專項(xiàng)優(yōu)化體驗(yàn)
首先回答，什么是QA的top問(wèn)題？我們可從質(zhì)量、效率兩方面拆解：
一是產(chǎn)品上的用戶痛點(diǎn)，從用戶反饋和質(zhì)量標(biāo)準(zhǔn)數(shù)據(jù)中尋找問(wèn)題，往往對(duì)應(yīng)的是業(yè)務(wù)線老大難問(wèn)題，比如速度慢、視頻卡頓等。
二是工作上的效率痛點(diǎn)，在迭代周期中尋找那些效率低下的問(wèn)題，比如自動(dòng)化低，迭代中問(wèn)題不收斂等。
堅(jiān)持思考當(dāng)下的top問(wèn)題，你會(huì)為接下來(lái)的工作找到很多思路。
Top問(wèn)題的解決方案包括發(fā)現(xiàn)問(wèn)題、定位分析、解決問(wèn)題 、效果衡量。思考本身的技術(shù)拆解，逐個(gè)擊破。比如業(yè)務(wù)線端上碰到的一個(gè)top問(wèn)題是iOS視頻崩潰，每天幾十人的量反饋。這項(xiàng)問(wèn)題優(yōu)化可以拆解的技術(shù)為 1. 如何在線下復(fù)現(xiàn)這些崩潰，手工必然不靠譜，對(duì)應(yīng)需要去做iOS場(chǎng)景的monkey測(cè)試，遍歷大量的視頻以及隨機(jī)快進(jìn)后退操作來(lái)發(fā)現(xiàn)問(wèn)題；2. 崩潰數(shù)據(jù)采集與分析 3. 崩潰的修復(fù)。
所以，學(xué)會(huì)堅(jiān)持思考當(dāng)天top 3、一個(gè)月top 3和半年top 3，從而為當(dāng)天，短期、 長(zhǎng)期訂下相關(guān)目標(biāo)和計(jì)劃。通常top問(wèn)題多是老大難的疑難雜癥，需要更多的韌力和堅(jiān)持去攻克 ，需要具備積極的溝通和推動(dòng)能力去協(xié)同多方角色一起解決。正是這些挑戰(zhàn)，在解決問(wèn)題的同時(shí)也會(huì)收獲很多的個(gè)人成長(zhǎng)。
思路三：兩個(gè)即上線原理：監(jiān)控即上線、定位即上線，練就業(yè)務(wù)質(zhì)量刻畫(huà)和分析能力。
一件事情，如果你無(wú)法很好地描述它，那么你不能進(jìn)行衡量，如果你也不能衡量，那么你就不能很好的管理它。所以在功能迭代中，固有一項(xiàng)數(shù)據(jù)需求來(lái)源于產(chǎn)品，比如消費(fèi)次數(shù)、使用頻率等，用來(lái)做產(chǎn)品維度的管理。同樣質(zhì)量的管理，也需要同時(shí)產(chǎn)出一份質(zhì)量數(shù)據(jù)的埋點(diǎn)需求。
問(wèn)題一：質(zhì)量數(shù)據(jù)需求從哪來(lái)？
站在用戶、產(chǎn)品的視角，基于對(duì)業(yè)務(wù)的理解形成判斷，列舉迭代需求中的核心功能以及用戶經(jīng)常吐槽的高風(fēng)險(xiǎn)區(qū)域，進(jìn)一步去衡量這些功能點(diǎn)的質(zhì)量。提前把相關(guān)的數(shù)據(jù)預(yù)埋入產(chǎn)品中一同上線，上線了即可知道線上質(zhì)量如何，一旦出了問(wèn)題，有了數(shù)據(jù)，便能很快評(píng)估影響面、定位原因，而不會(huì)無(wú)從下手，到處抓瞎了。做到“監(jiān)控即上線，定位即上線”，快速發(fā)現(xiàn)并解決線上問(wèn)題。
問(wèn)題二：要如何做到有效地預(yù)埋質(zhì)量數(shù)據(jù)？
第一維度預(yù)埋監(jiān)控?cái)?shù)據(jù)：用戶可感知的質(zhì)量數(shù)據(jù)，比如文件下載服務(wù)對(duì)應(yīng)即是用戶感受最強(qiáng)烈的下載失敗率、失敗原因以及速度大?。?/p>
第二維度預(yù)埋定位數(shù)據(jù)：不符合預(yù)期的質(zhì)量數(shù)據(jù)，比如文件下載一般對(duì)應(yīng)的是多個(gè)鏈接并發(fā)下載，每個(gè)鏈接下載的成功率、來(lái)源服務(wù)器節(jié)點(diǎn)、錯(cuò)誤原因等。
在這個(gè)數(shù)據(jù)預(yù)埋，收集及分析的過(guò)程能夠非常考驗(yàn)人對(duì)業(yè)務(wù)的深度理解能力，刻畫(huà)和分析產(chǎn)品質(zhì)量。
思路四：成為一名質(zhì)量分析師，提升系統(tǒng)性思維，風(fēng)險(xiǎn)評(píng)估及安全意識(shí)。
相對(duì)RD代碼鉆研能力，QA所擅長(zhǎng)的是全局產(chǎn)品觀、業(yè)務(wù)整體分析能力以及用戶視角思維。運(yùn)用這些優(yōu)勢(shì)服務(wù)于質(zhì)量的最佳實(shí)踐之一即是質(zhì)量分析。在思路III提供了大量數(shù)據(jù)的基礎(chǔ)上，系統(tǒng)級(jí)地剖析架構(gòu)中的各項(xiàng)質(zhì)量，定位出問(wèn)題，哪些模塊又是長(zhǎng)期薄弱環(huán)節(jié)需要優(yōu)化的。
下面舉典型業(yè)務(wù)線的例子來(lái)講講兩個(gè)非常普適的質(zhì)量分析方法。
A. SLA （從后往前，由服務(wù)質(zhì)量到體驗(yàn)質(zhì)量）：以接口調(diào)用鏈進(jìn)行分解和關(guān)聯(lián)，衡量指標(biāo)有接口訪問(wèn)成功率、錯(cuò)誤碼分布以及響應(yīng)時(shí)間這些指標(biāo)。
如圖1所示，按架構(gòu)將服務(wù)分層分模塊，每個(gè)層級(jí)中的每個(gè)模塊都有對(duì)應(yīng)的sla來(lái)衡量其服務(wù)的穩(wěn)定性狀況，能夠清晰的度量出當(dāng)前產(chǎn)品的質(zhì)量全景穩(wěn)定性；進(jìn)一步，按業(yè)務(wù)邏輯梳理出關(guān)聯(lián)關(guān)系，哪個(gè)模塊的不達(dá)標(biāo)一則逐步向功能層級(jí)遞進(jìn)，能夠判斷出對(duì)用戶當(dāng)前影響的功能。
B. 業(yè)務(wù)質(zhì)量 （從前往后，由體驗(yàn)質(zhì)量到服務(wù)質(zhì)量） ：用業(yè)務(wù)數(shù)據(jù)流將用戶可感知的體驗(yàn)質(zhì)量分拆到各模塊對(duì)應(yīng)的業(yè)務(wù)質(zhì)量指標(biāo)。圖2所示是拿視頻播放體驗(yàn)的用戶感知到的體驗(yàn)質(zhì)量如卡頓、失敗率拆解到網(wǎng)絡(luò)、服務(wù)中去的轉(zhuǎn)碼失敗率以及用戶本身網(wǎng)絡(luò)等指標(biāo)。如果用戶維度的體驗(yàn)變差了，看視頻變卡了，那么能從全鏈路的各環(huán)節(jié)中的關(guān)鍵性質(zhì)量指標(biāo)中找到癥結(jié)并相應(yīng)解決。
推薦一個(gè)技術(shù)類會(huì)議
每一次相遇都是久別重逢。時(shí)隔一年，QCon北京站華麗歸來(lái)。20 熱點(diǎn)專題出爐，涵蓋區(qū)塊鏈、VR、TensorFlow、深度學(xué)習(xí)等潮流技術(shù)，及研發(fā)安全、移動(dòng)專項(xiàng)、智能運(yùn)維、業(yè)務(wù)架構(gòu)等一手實(shí)踐。國(guó)內(nèi)外技術(shù)專家共襄盛舉，即刻報(bào)名，盡享7折特惠。
聯(lián)系客服
