2010年08月29日
《Web性能測試實(shí)戰(zhàn)》
作者：陳紹英 夏海濤 金成姬 著（2006年06月第1版第1次）
電子工業(yè)出版社 Publishing House of Electronics Industry http://www.phei.com.cn北京市海淀區(qū)萬壽路173信箱（100036）
內(nèi)容簡介
本書是一本總結(jié)實(shí)踐經(jīng)驗(yàn)和成果的作品，主要為測試人員規(guī)劃、設(shè)計(jì)、實(shí)施web性能測試而編寫。本書既包含web性能測試的基礎(chǔ)理論，又包含理論在實(shí)踐中的應(yīng)用。本書第1章介紹了性能測試基礎(chǔ)知識和性能測試常見的誤區(qū)。第2章專門針對web性能測試提出了“web全面性能測試模型”，把制訂性能測試策略、編寫測試用例計(jì)劃以及使用模型的方法融會(huì)在一起，提供了規(guī)劃與設(shè)計(jì)性能測試的新思路。第3章進(jìn)一步討論了如何在項(xiàng)目中進(jìn)行性能測試需求分析、設(shè)計(jì)與實(shí)施性能測試，并深入討論了基于場景設(shè)計(jì)性能測試用例的方法。第4章則介紹了針對web應(yīng)用程序進(jìn)行性能分析的基本方法。第5章是案例部分，分別以銀行卡、電子政務(wù)、門戶網(wǎng)站等典型web應(yīng)用系統(tǒng)為實(shí)例，討論了如何在項(xiàng)目中應(yīng)用“web全面性能測試模型”。通過真實(shí)的實(shí)例，向讀者展示了如何在項(xiàng)目中制訂性能測試計(jì)劃、實(shí)施與控制性能測試、分析系統(tǒng)瓶頸等內(nèi)容。本書主要針對項(xiàng)目經(jīng)理、測試組長、測試（設(shè)計(jì)）工程師以及對性能測試感興趣的開發(fā)人員。通過本書的學(xué)習(xí)，可以更加規(guī)范地做好性能測試設(shè)計(jì)與實(shí)施工作。
陳紹英，北京大學(xué)軟件工程碩士.擁有多年的軟件開發(fā)以及測試經(jīng)驗(yàn),現(xiàn)在主要從事軟件測試工作,研究方向?yàn)檐浖y試過程管理和測試分析技術(shù).性能測試等.擁有大型電子政務(wù)系統(tǒng).銀行卡業(yè)務(wù)系統(tǒng)等軟件項(xiàng)目的測試管理及技術(shù)經(jīng)驗(yàn).善于組織和協(xié)調(diào)工作,在軟件項(xiàng)目管理和測試管理方面擁有很高的能力,在工作中積累了豐富的管理經(jīng)驗(yàn).
夏海濤，吉林大學(xué)計(jì)算機(jī)系碩士.擁有多個(gè)大型金融.電信.稅務(wù)和電子政務(wù)系統(tǒng)等行業(yè)軟件項(xiàng)目的測試項(xiàng)目管理及技術(shù)實(shí)施經(jīng)驗(yàn).熟悉Mercury系列的測試工具,并曾參與規(guī)劃和實(shí)現(xiàn)基于以上工具的自動(dòng)化回歸測試和性能測試解決方案.曾經(jīng)自行開發(fā)性能測試工具并成功付諸應(yīng)用.主要研究方向?yàn)槌掷m(xù)集成與自動(dòng)化測試框架設(shè)計(jì).自動(dòng)化功能回歸測試.大型項(xiàng)目群性能測試等.
金成姬，博彥科技本地化工程師,從事日語.韓語等語種軟件產(chǎn)品的本地化工作.
P5，性能測試的重要概念
請求響應(yīng)時(shí)間：指的是客戶端發(fā)出請求道得到響應(yīng)的整個(gè)過程的時(shí)間。TTLB(Time to last Byte)。
事務(wù)響應(yīng)時(shí)間：事務(wù)可能由一系列請求組成，事務(wù)的響應(yīng)時(shí)間主要是針對用戶而言，屬于宏觀上的概念，是為了向用戶說明業(yè)務(wù)響應(yīng)時(shí)間而提出來的。
吞吐量：指的是在一次性能測試過程中網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)量的總和。
吞吐率（Throughput）：單位時(shí)間內(nèi)網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)量，也可以指單位時(shí)間內(nèi)處理的客戶端請求數(shù)量。
TPS（Transaction Per Second）：每秒鐘系統(tǒng)能夠處理的交易或者事務(wù)的數(shù)量。
點(diǎn)擊率（Hit Per Second）：每秒鐘用戶向Web服務(wù)器提交的http請求數(shù)。
P7,性能測試的種類
壓力測試：對系統(tǒng)不斷施壓，以獲得系統(tǒng)能提供的最大服務(wù)級別。
負(fù)載測試：對系統(tǒng)不斷施壓，直到性能指標(biāo)達(dá)到極限，比如響應(yīng)時(shí)間或者資源達(dá)到飽和狀態(tài)，為系統(tǒng)調(diào)優(yōu)提供依據(jù)。
強(qiáng)度測試：迫使系統(tǒng)在異常的資源配置下運(yùn)行，以獲得系統(tǒng)的穩(wěn)定性以及擴(kuò)展空間提供參考。
并發(fā)測試：多個(gè)用戶同時(shí)訪問同一個(gè)應(yīng)用程序、同一個(gè)模塊或者數(shù)據(jù)記錄是否存在死鎖或者其他性能問題
大數(shù)據(jù)量測試：包括動(dòng)態(tài)大數(shù)據(jù)量和靜態(tài)大數(shù)據(jù)量的測試，前一種表示在運(yùn)行過程中有大數(shù)據(jù)量產(chǎn)生，后一種表示數(shù)據(jù)量已經(jīng)很大的情況下運(yùn)行某個(gè)模塊或者功能。
配置測試：測試目的是為了找到各項(xiàng)資源的最優(yōu)分配原則。
可靠性測試：加載一定壓力的情況下，系統(tǒng)連續(xù)運(yùn)行一段時(shí)間，分析系統(tǒng)是否穩(wěn)定。
P16，在“Web 全面性能測試模型”中，把 Web 性能測試分為8個(gè)類別，包括
1、預(yù)期指標(biāo)的性能測試，就是在需求分析和設(shè)計(jì)階段提出的性能指標(biāo)的測試
2、獨(dú)立業(yè)務(wù)的性能測試，核心業(yè)務(wù)模塊的性能測試
3、組合業(yè)務(wù)的性能測試，
4、疲勞強(qiáng)度的性能測試，一定負(fù)載長時(shí)間運(yùn)行的測試
5、大數(shù)據(jù)量性能測試，
6、網(wǎng)絡(luò)性能測試
7、服務(wù)器性能測試
8、一些特殊測試
P42，性能測試流程
1、測試需求分析，確定測試策略和測試范圍
2、測試計(jì)劃制定與評審，測試計(jì)劃包括測試范圍、測試環(huán)境、測試方案簡介、風(fēng)險(xiǎn)分析等。
3、測試用例設(shè)計(jì)與開發(fā)，編寫測試用例，錄制測試腳本等
4、測試執(zhí)行與監(jiān)控，創(chuàng)建、執(zhí)行和監(jiān)控測試場景
5、分析測試結(jié)果
6、編寫性能測試報(bào)告，測試報(bào)告主要包含測試過程記錄、測試分析結(jié)果、系統(tǒng)調(diào)整建議等。
7、測試經(jīng)驗(yàn)總結(jié)
P45，性能測試規(guī)劃與設(shè)計(jì)
1、性能測試需求分析，需求信息的來源（項(xiàng)目開發(fā)計(jì)劃書、需求規(guī)格說明書、設(shè)計(jì)說明書等）、項(xiàng)目干系人（客戶代表、項(xiàng)目經(jīng)理、產(chǎn)品經(jīng)理、銷售經(jīng)理和需求分析員）、確定性能測試策略和測試目標(biāo)（需要考慮人力資源和時(shí)間資源）、確定測試范圍、目標(biāo)系統(tǒng)的業(yè)務(wù)分析（核心模塊、耦合關(guān)系和系統(tǒng)壓力點(diǎn)）、用戶及場景分析。
2、性能測試整體規(guī)劃，測試環(huán)境規(guī)劃（網(wǎng)絡(luò)環(huán)境、操作系統(tǒng)環(huán)境、數(shù)據(jù)庫環(huán)境、Web服務(wù)器環(huán)境、硬件資源及環(huán)境設(shè)計(jì)規(guī)劃）、測試環(huán)境維護(hù)方面的規(guī)劃（Ghost, VMware, 備份恢復(fù)策略）、測試工具規(guī)劃（LoadRunner, Rational Performance, QALoader, WebLoad, WAS）、人力資源規(guī)劃（確定團(tuán)隊(duì)角色、落實(shí)團(tuán)隊(duì)人員）。
3、性能測試計(jì)劃制定，明確性能測試策略和測試范圍、確定性能測試目標(biāo)、方法、環(huán)境和工具、確定性能測試團(tuán)隊(duì)成員以及職責(zé)、確定時(shí)間進(jìn)度安排，時(shí)間安排：【任務(wù)描述|人員|角色|職責(zé)|時(shí)間|工作量】里程碑：【任務(wù)|工作內(nèi)容|成果|開始時(shí)間|結(jié)束時(shí)間|負(fù)責(zé)人】、確定性能測試執(zhí)行標(biāo)準(zhǔn)（啟動(dòng)條件、終止條件、結(jié)束標(biāo)準(zhǔn)）、測試技能培訓(xùn)、確定性能測試中的風(fēng)險(xiǎn)（新工具不熟練、性能差引起時(shí)間長、人員辭職、硬件環(huán)境不具備等）。
4、性能測試用例設(shè)計(jì)，設(shè)計(jì)場景（一天內(nèi)不同時(shí)間段的使用場景、系統(tǒng)運(yùn)行不同時(shí)期的場景、不同業(yè)務(wù)模式下的場景）、確定用戶使用系統(tǒng)情況的方法（用戶現(xiàn)場調(diào)查、分析系統(tǒng)日志）、并發(fā)用戶數(shù)量設(shè)計(jì)（極限法最大在線用戶作為最大并發(fā)數(shù)、趨勢分析，經(jīng)驗(yàn)評估，并發(fā)數(shù)=用戶數(shù)*15%=在線數(shù)*30%）
P66，性能測試實(shí)施和監(jiān)控
1、實(shí)施性能測試， 主要包含搭建與維護(hù)測試環(huán)境、執(zhí)行測試用例、監(jiān)控測試執(zhí)行場景、保存和分心測試結(jié)果等，這個(gè)工作基本貫穿著性能測試整個(gè)實(shí)施過程。
2、進(jìn)度和變更控制，開發(fā)團(tuán)隊(duì)解決性能缺陷的速度、測試過程需要的軟硬件資源、性能測試中采用的一些新技術(shù)、測試工具的執(zhí)行能力、測試范圍的變化；適當(dāng)?shù)丶影?、增加人力資源、調(diào)整測試范圍。
P77，測試分析與經(jīng)驗(yàn)總結(jié)
1、性能測試規(guī)劃總結(jié)，測試環(huán)境規(guī)劃是否合理、人力資源安排是否合理、測試工具規(guī)劃是否合理；
2、測試用例設(shè)計(jì)總結(jié)，測試用例可用性總結(jié)、用例執(zhí)行效果分析、用例執(zhí)行時(shí)間分析；
3、測試工具與技術(shù)總結(jié)，測試過程的一些技術(shù)方面的總結(jié)、測試工具的使用經(jīng)驗(yàn)總結(jié)；
4、瓶頸分析方法總結(jié)，應(yīng)用系統(tǒng)瓶頸分析經(jīng)驗(yàn)、數(shù)據(jù)庫瓶頸分析經(jīng)驗(yàn)、Web服務(wù)器分析經(jīng)驗(yàn)。
P86，TPS與Throughput之間是什么關(guān)系？
兩者是互為因果的關(guān)系：如果高速公路的寬度不夠，Throughput不高，單位時(shí)間內(nèi)到達(dá)收費(fèi)站口的車輛數(shù)有限，即使收費(fèi)站處理能力非常高，TPS也上不去。同樣地，如果收費(fèi)站處理能力不高，即TPS不高，即使高速公路非常寬，達(dá)到收費(fèi)口的車輛也不得不排隊(duì)等候，導(dǎo)致吞吐率Throughput下降。
Throughput和TPS有很強(qiáng)的關(guān)聯(lián)性：如果隨著壓力的加大，Throughput和TPS的變化呈大體一致的趨勢，即一起增加，說明在測試的壓力下，系統(tǒng)沒有出現(xiàn)顯著的性能瓶頸。相反，隨著壓力的加大，Throughput的曲線在增加到一定的時(shí)候，出現(xiàn)變化緩慢，甚至平坦的狀態(tài)，很有可能標(biāo)明網(wǎng)絡(luò)出現(xiàn)帶寬瓶頸。類似地，當(dāng)壓力增加時(shí)，TPS曲線出現(xiàn)變化緩慢或者平坦的趨勢，很有可能服務(wù)器開始出現(xiàn)瓶頸，無法進(jìn)一步處理請求。
P89，性能分析的基本原則：由外而內(nèi)、由表及里、層層深入。
P92，用戶事務(wù)分析
LoadRunner有兩種與事務(wù)相關(guān)的概念：Action和Transaction。Action是用戶的一系列操作的組合；Transaction是用戶某一具體的動(dòng)作，例如單擊“電話核實(shí)”或者“人工核實(shí)”。Action通常會(huì)包含一系列功能相關(guān)的Transaction。
1、事務(wù)綜述圖（Transaction Summary），通過它可以看出每個(gè)事務(wù)在測試時(shí)間內(nèi)分別通過和失敗了多少。
2、事務(wù)平均響應(yīng)時(shí)間分析圖（Average Transaction Response Time），此圖顯示在測試場景運(yùn)行期間的每一秒內(nèi)事務(wù)執(zhí)行所用的平均時(shí)間。此外，還統(tǒng)計(jì)出測試場景運(yùn)行時(shí)間內(nèi)各個(gè)事務(wù)的最大值、最小值、平均值等信息。
3、每秒通過事務(wù)數(shù)（Transaction Per Second），此圖顯示在場景運(yùn)行的每一秒中，每個(gè)事務(wù)通過、失敗以及停止的數(shù)量，通過它可以確定系統(tǒng)在任何給定時(shí)刻的實(shí)際事務(wù)負(fù)載。
4、每秒通過事務(wù)總數(shù)（Total Transaction Per Second），此圖顯示在場景運(yùn)行的每一秒中，通過、失敗以及停止的事務(wù)總數(shù)。“每秒事務(wù)總數(shù)”下降的原因很多，例如內(nèi)存泄露、程序缺陷等。
5、事務(wù)性能摘要圖（Transaction Performance Summary），此圖顯示方案中所有事務(wù)的最小、最大和平均執(zhí)行時(shí)間，可以直接判斷響應(yīng)時(shí)間是否符合用戶的需求。重點(diǎn)關(guān)注事務(wù)的平均和最大執(zhí)行時(shí)間。
6、事務(wù)響應(yīng)時(shí)間與負(fù)載分析圖（Transaction Response Time Under Load），此圖是“正在運(yùn)行的虛擬用戶”圖和“平均事務(wù)響應(yīng)時(shí)間”圖的組合，在任何一時(shí)間點(diǎn)事務(wù)響應(yīng)時(shí)間與用戶數(shù)目的關(guān)系。
7、事務(wù)響應(yīng)時(shí)間（百分比）圖（Transaction Response Time(Percentile)），可以分析在給定事務(wù)響應(yīng)范圍內(nèi)能夠執(zhí)行的事務(wù)百分比。
7、事務(wù)響應(yīng)時(shí)間（分布情況）圖（Transaction Response Time(Distribution)），可以了解測試過程中不同響應(yīng)時(shí)間的事務(wù)數(shù)量。
P101，Web資源分析
“用戶事務(wù)分析”是站在用戶角度進(jìn)行的基礎(chǔ)性能分析，而Web資源則是從服務(wù)器入手對Web服務(wù)器的性能進(jìn)行分析。
1、點(diǎn)擊率圖（Hits Per Second），此圖顯示在場景運(yùn)行過程中虛擬用戶每秒向Web服務(wù)器提交的HTTP請求數(shù)，可依據(jù)點(diǎn)擊數(shù)來評估虛擬用戶產(chǎn)生的負(fù)載量。
2、吞吐率圖（Throughput），顯示場景運(yùn)行過程中服務(wù)器每秒的吞吐量，可以看出服務(wù)器在流量方面的處理能力以及是否存在瓶頸。
3、每秒HTTP相應(yīng)數(shù)圖（HTTP Response Per Second），顯示場景運(yùn)行過程中每秒從Web服務(wù)器返回的不同HTTP狀態(tài)代碼的數(shù)量。通過分析狀態(tài)碼，可以判斷服務(wù)器在壓力下的運(yùn)行情況。也可以定位生成錯(cuò)誤的代碼腳本。
4、每秒連接數(shù)圖（Connections Per Second），顯示方案在運(yùn)行過程中每秒新建立的TCP/IP連接數(shù)。一般來說，多個(gè)HTTP請求會(huì)使用同一個(gè)TCP/IP連接。
P107，網(wǎng)頁元素細(xì)分
用來評估頁面內(nèi)容是否影響事務(wù)的響應(yīng)時(shí)間，可以分析網(wǎng)站上那些下載很慢的圖像或者中斷的鏈接等有問題的元素。
1、頁面分解總圖（Web Page Breakdown），可以顯示某一事務(wù)在測試過程的響應(yīng)情況。包含下載時(shí)間細(xì)分、組件細(xì)分（隨時(shí)間變化）、下載時(shí)間細(xì)分（隨時(shí)間變化）、第一次緩沖時(shí)間細(xì)分（隨時(shí)間變化）等。
2、頁面組件細(xì)分圖（Page Component Breakdown），顯示每個(gè)網(wǎng)頁及其組件的平均下載時(shí)間（單位：秒）。
3、頁面組件分解圖（隨時(shí)間變化）（Page Component Breakdown（Over Time）），顯示運(yùn)行期間每秒內(nèi)每個(gè)網(wǎng)頁及其組件的平均響應(yīng)時(shí)間（單位：秒）。
4、網(wǎng)頁下載時(shí)間細(xì)分圖（Page Download Time Breakdown），顯示每個(gè)頁面組件下載時(shí)間的細(xì)分，確定是網(wǎng)絡(luò)問題還是服務(wù)器問題。
5、網(wǎng)頁下載時(shí)間細(xì)分圖（隨時(shí)間變化）（Page Download Time Breakdown（Over Time）），顯示運(yùn)行期間每秒內(nèi)每個(gè)頁面組件下載時(shí)間的細(xì)分。
6、第一次緩沖時(shí)間細(xì)分圖（Time to First Buffer Breakdown），成功從Web服務(wù)器返回的第一次緩沖之前的這一段時(shí)間內(nèi)的每個(gè)網(wǎng)頁組件的相關(guān)服務(wù)器/網(wǎng)絡(luò)時(shí)間。
7、第一次緩沖時(shí)間細(xì)分圖（隨時(shí)間變化）（Time to First Buffer Breakdown（Over Time）），每秒的“第一次緩沖時(shí)間細(xì)分”情況。
8、已下載組件大小圖（Downloaded Component Size(KB)），顯示每個(gè)已經(jīng)下載組件的大小，可以直接看出哪些組件比較大需要進(jìn)一步優(yōu)化以提高性能。
