改善Jmeter 腳本質(zhì)量摘要 使用Jmeter開發(fā)一個(gè)負(fù)載測試腳本并不困難， 因?yàn)镴Meter 提供了豐富的元件和拖拽風(fēng)格的操作界面，但是，建立一個(gè)接近實(shí)際負(fù)載的測試腳本還是是有一定難度的。其中的一個(gè)原因就是鑒定測試質(zhì)量的一些參數(shù)是令人費(fèi)解的，本文可以為你解答部分這方面的疑惑，并就如何滿足響應(yīng)時(shí)間等測試需求等提供了一些指導(dǎo)原則。
版權(quán)聲明：任何獲得Matrix授權(quán)的網(wǎng)站，轉(zhuǎn)載時(shí)請務(wù)必保留以下作者信息和鏈接作者:Chi-Chang Kung;
joson(作者的blog:
http://blog.matrix.org.cn/page/joson)
原文:
http://www.javaworld.com/javaworld/jw-07-2005/jw-0711-jmeter.html 譯文:
http://www.matrix.org.cn/resource/article/44/44226_JMeter+tips.html關(guān)鍵字:JMeter;tips
JMeter 是一個(gè)流行的用于負(fù)載測試的開源工具， 具有許多有用的功能元件，如線程組（thread group）， 定時(shí)器（timer）， 和HTTP 取樣 (sampler) 元件。 本文是對JMeter 用戶手冊的補(bǔ)充，而且提供了關(guān)于使用Jmeter的一些模擬元件開發(fā)質(zhì)量測試腳本的指導(dǎo)。
本文同時(shí)也討論了一項(xiàng)重要的內(nèi)容：在指定了精確的響應(yīng)時(shí)間要求后，如何來校驗(yàn)測試結(jié)果，特別是在采用了置信區(qū)間分析這種嚴(yán)格的統(tǒng)計(jì)方式的情況下應(yīng)如何操作。請注意，我假定本文的讀者們了解關(guān)于Jmeter的基礎(chǔ)知識，本文的例子基于Jmeter2。0。3版。
確定一個(gè)線程組的ramp-up period （Determine） Jmeter腳本的第一個(gè)要素是線程組（Thread Group），因此首先讓我們來回顧一下。 正如圖一所示，線程組需要設(shè)置以下參數(shù)：
·線程數(shù)量。
·ramp-up period。
·運(yùn)行測試的次數(shù)。
·啟動時(shí)間:立即或者預(yù)定的時(shí)間，如果是后者，線程組所包含的元素也要指定這個(gè)起止時(shí)間。
圖 1。 JMeter 線程組（JMeter Thread Group）
每個(gè)線程均獨(dú)立運(yùn)行測試計(jì)劃。因此， 線程組常用來模擬并發(fā)用戶訪問。如果客戶機(jī)沒有足夠的能力來模擬較重的負(fù)載，可以使用Jmeter的分布式測試功能來通過一個(gè)Jmeter控制臺來遠(yuǎn)程控制多個(gè)Jmeter引擎完成測試。
參數(shù) ramp-up period 用于告知JMeter 要在多長時(shí)間內(nèi)建立全部的線程。默認(rèn)值是0。如果未指定ramp-up period ，也就是說ramp-up period 為零， JMeter 將立即建立所有線程，假設(shè)ramp-up period 設(shè)置成T 秒， 全部線程數(shù)設(shè)置成N個(gè)， JMeter 將每隔T/N秒建立一個(gè)線程。
線程組的大部分參數(shù)是不言自明的，只有ramp-up period有些難以理解， 因?yàn)槿绾卧O(shè)置適當(dāng)?shù)闹挡⒉蝗菀住?首先，如果要使用大量線程的話，ramp-up period 一般不要設(shè)置成零。 因?yàn)槿绻O(shè)置成零，Jmeter將會在測試的開始就建立全部線程并立即發(fā)送訪問請求， 這樣一來就很容易使服務(wù)器飽和，更重要的是會隱性地增加了負(fù)載，這就意味著服務(wù)器將可能過載，不是因?yàn)槠骄L問率高而是因?yàn)樗芯€程的第一次并發(fā)訪問而引起的不正常的初始訪問峰值，可以通過Jmeter的聚合報(bào)告監(jiān)聽器看到這種現(xiàn)象。
這種異常不是我們需要的，因此，確定一個(gè)合理的ramp-up period 的規(guī)則就是讓初始點(diǎn)擊率接近平均點(diǎn)擊率。當(dāng)然，也許需要運(yùn)行一些測試來確定合理訪問量。
基于同樣的原因，過大的ramp-up period 也是不恰當(dāng)?shù)?，因?yàn)閷档驮L問峰值的負(fù)載，換句話說，在一些線程還未啟動時(shí)，初期啟動的部分線程可能已經(jīng)結(jié)束了。
那么，如何檢驗(yàn)ramp-up period I太小了或者太大了呢？首先，推測一下平均點(diǎn)擊率并用總線程除點(diǎn)擊率來計(jì)算初始的ramp-up period。 例如，假設(shè)線程數(shù)為100， 估計(jì)的點(diǎn)擊率為每秒10次， 那么估計(jì)的理想ramp-up period 就是 100/10 = 10 秒。 那么，應(yīng)怎樣來提出一個(gè)合理的估算點(diǎn)擊率呢？沒有什么好辦法，必須通過運(yùn)行一次測試腳本來獲得。
其次， 在測試計(jì)劃（test plan）中增加一個(gè)聚合報(bào)告監(jiān)聽器，如圖2所示，其中包含了所有獨(dú)立的訪問請求（一個(gè)samplers）的平均點(diǎn)擊率。 第一次取樣的點(diǎn)擊率（如http請求）與ramp-up period 和線程數(shù)量密切相關(guān)。通過調(diào)整ramp-up period 可以使首次取樣的奠基率接近平均取樣的點(diǎn)擊率。
圖2 JMeter 聚合報(bào)告
第三， 查驗(yàn)一下Jmeter日志(文件位置：JMeter_Home_Directory/bin) 的最后一個(gè)線程開始時(shí)第一個(gè)線程是否真正結(jié)束了，二者的時(shí)間差是否正常。
總之，是否能確定一個(gè)適當(dāng)?shù)膔amp-up time 取決于以下兩條規(guī)則:
·第一個(gè)取樣器的點(diǎn)擊率（hit rate）是否接近其他取樣器的平均值，從而能否避免ramp-up period 過小。
·在最后一個(gè)線程啟動時(shí)，第一個(gè)線程是否在真正結(jié)束了，最好二者的時(shí)間要盡可能的長，以避免ramp-up period過大。
有時(shí)，這兩條規(guī)則的結(jié)論會互相沖突。 這就意味著無法找到同時(shí)滿足兩條規(guī)則的合適的ramp-up period。 糟糕的測試計(jì)劃通常會導(dǎo)致這些問題，這是因?yàn)樵谶@樣的測試計(jì)劃里，取樣器將不能充分地采集數(shù)據(jù)，可能因?yàn)闇y試計(jì)劃執(zhí)行時(shí)間太短并且線程會很快的運(yùn)行結(jié)束。
用戶思考時(shí)間（User think time），定時(shí)器，和代理服務(wù)器（proxy server） 在負(fù)載測試中需要考慮的的一個(gè)重要要素是思考時(shí)間（think time）， 也就是在兩次成功的訪問請求之間的暫停時(shí)間。 有多種情形揮發(fā)導(dǎo)致延遲的發(fā)生： 用戶需要時(shí)間閱讀文字內(nèi)容，或者填表， 或者查找正確的鏈接等。未認(rèn)真考慮思考時(shí)間經(jīng)常會導(dǎo)致測試結(jié)果的失真。例如，估計(jì)數(shù)值不恰當(dāng)，也就是被測系統(tǒng)可以支持的最多用戶量（并發(fā)用戶）看起來好像要少一些等。
Jmeter提供了一整套的計(jì)時(shí)器（timer）來模擬思考時(shí)間（think time）， 但是仍舊存在一個(gè)問題：: 如何確定適當(dāng)?shù)乃伎紩r(shí)間呢？幸運(yùn)的是， JMeter 提供了一個(gè)不錯的答案：使用 JMeter HTTP 代理服務(wù)器（Proxy Server）元件。
代理服務(wù)器會記錄在使用一個(gè)普通的瀏覽器（如FireFox 或 Internet Explorer）瀏覽一個(gè)web應(yīng)用時(shí)的操作。 另外， JMeter 在記錄操作的同時(shí)會建立一個(gè)測試計(jì)劃（test plan）。 這個(gè)功能能提供以下便利：
·不必手工建立HTTP 訪問請求， 尤其是當(dāng)要設(shè)置一些令人乏味的參數(shù)時(shí)（然而，非英文的參數(shù)也許不能正常工作) 。JMeter 將會錄制包括隱含字段（hidden fields）在內(nèi)的所有內(nèi)容。
·在生成的測試計(jì)劃中，Jmeter會包含瀏覽器生成的所有的 HTTP 報(bào)頭，如User-Agent (e。g。， Mozilla/4。0)， 或AcceptLanguage (e。g。， zh-tw，en-us;q=0。7，zh-cn;q=0。3)等。
·JMeter 會根據(jù)設(shè)置在錄制操作的同時(shí)建立一些定時(shí)器，其延遲時(shí)間是完全根據(jù)真實(shí)的操作來設(shè)置的
現(xiàn)在讓我們來看一下如何配置Jmeter的錄制功能。 在JMeter 的控制臺上， 在工作臺（WorkBench）元件上單擊右鍵，然后選擇”add the HTTP Proxy Server “。 注意是在WorkBench 上單擊右鍵而不是在Test Plan上， 因?yàn)楝F(xiàn)在是要為記錄操作進(jìn)行配置而不是要運(yùn)行測試計(jì)劃。 HTTP Proxy Server 的實(shí)現(xiàn)原理就是通過配置瀏覽器的代理服務(wù)器而使所有的訪問請求通過JMeter發(fā)送（，因而被Jmeter把訪問過程錄制下來）。
如圖3所示， HTTP代理服務(wù)器（HTTP Proxy Server）元件的一些參數(shù)必須被配置:
·端口(port): 代理服務(wù)器的監(jiān)聽端口
·目標(biāo)控制器（Target Controller）: 是代理用于存儲生成的數(shù)據(jù)的控制器，默認(rèn)情況下，， JMeter 將會在當(dāng)前的測試計(jì)劃中找一個(gè)記錄用的控制器用于存儲，此外也可以在下拉菜單中選擇任意控制起來存儲，通常默認(rèn)值就可以了。
·分組(Grouping): 確定在測試計(jì)劃中如何來為生成的元件分組。 有多個(gè)選項(xiàng)， 一般可以選擇“只存儲每個(gè)組的第一個(gè)樣本”，否則，將會原樣錄制URLs，包括包含圖像和JavaScripts腳本的頁面。當(dāng)然 也可以嘗試一下默認(rèn)值“不對樣本分組”（"Do not group samples"），來看一下JMeter 建立的原版的測試計(jì)劃。
·包含模式(Patterns to Include) 和 排除模式(Patterns to Exclude) :幫助過濾一些不需要的訪問請求。
圖 3。 JMeter 代理服務(wù)器(Proxy Server)。
當(dāng)你點(diǎn)擊開始（Start）按鈕時(shí)，代理服務(wù)器就會開始記錄所接受的HTTP 訪問請求。 當(dāng)然，在開始記錄前，要首先設(shè)置好瀏覽器的代理服務(wù)器設(shè)置。在代理服務(wù)器元件中可以增加一個(gè)定時(shí)器子元件（配置元件），用于告知Jmeter來在其生成的HTTP請求中自動的增加一個(gè)定時(shí)器。Jmeter會自動把實(shí)際的延遲時(shí)間存儲為一個(gè)被命名為T的Jmeter變量，因此，如果在代理服務(wù)器元件里使用了高斯隨機(jī)定時(shí)器，就應(yīng)該在其中的固定延遲偏移（Constant Delay Offset）設(shè)置項(xiàng)里添上${T}（用于自動引用紀(jì)錄的延遲時(shí)間），如圖4所示。這是另一個(gè)節(jié)省時(shí)間的便利特性。
圖 4。 在代理服務(wù)器組建中增加一個(gè)高斯隨機(jī)定時(shí)器
定時(shí)器將會使相應(yīng)的的取樣器被延遲。 延時(shí)的規(guī)則是，在上一個(gè)訪問請求被響應(yīng)并延時(shí)了指定的時(shí)間后，下一個(gè)被定時(shí)器影響的取樣訪問請求才會被發(fā)送出去。 因此， 你必須手工刪除第一個(gè)取樣器中自動生成的定時(shí)器，因?yàn)榈谝粋€(gè)取樣器不需要定時(shí)器。
在啟動HTTP代理服務(wù)器以前，要在測試計(jì)劃中增加一個(gè)線程組（thread group），在線程組中增加一個(gè)錄制控制器（recording controller）用于存儲生成的結(jié)果。 否則， 生成的元件將會被直接添加到工作臺里。另外， 在錄制控制器里增加一個(gè)HTTP請求默認(rèn)值元件HTTP Request Defaults 元件 (是一個(gè)配置元件) 也很重要，這樣Jmeter就不填寫使用了默認(rèn)值的字段。
錄制完成后， 停止HTTP 代理服務(wù)器; 在錄制控制器元件上單擊右鍵將記錄的元件保存為一個(gè)文件用于以后重用，另外，不要忘了恢復(fù)瀏覽器的代理服務(wù)器設(shè)置。
指定響應(yīng)時(shí)間需求并校驗(yàn)結(jié)果 盡管本節(jié)內(nèi)容與Jmeter不是直接相關(guān)，但是Jmeter仍舊是指定響應(yīng)時(shí)間需求和校驗(yàn)測試結(jié)果這兩個(gè)負(fù)載測試評價(jià)任務(wù)互相聯(lián)系的紐帶。
在web應(yīng)用的環(huán)境里，響應(yīng)時(shí)間指的是從提交訪問請求到等到HTML結(jié)果所耗費(fèi)的時(shí)間。從技術(shù)的角度看，響應(yīng)時(shí)間也應(yīng)包括瀏覽器重繪HTML頁面的時(shí)間，但是瀏覽器一般是一塊接著一塊地顯示而不是直接顯示完整的整個(gè)頁面，讓人感覺響應(yīng)時(shí)間要少一些。 另外，典型的情況是，負(fù)載測試工具不會考慮瀏覽器的重繪時(shí)間。 因此， 在實(shí)際的性能測試中，我們將考慮以上描述的情形， 如果不能確信，可以在正常的響應(yīng)時(shí)間上加一個(gè)固定值，如0.5秒。
以下是一套眾所周知的確定相應(yīng)時(shí)間的標(biāo)準(zhǔn):
·用戶將不會注意到少于0.1秒的延遲
·少于1秒的延遲不會中斷用戶的正常思維， 但是一些延遲會被用戶注意到
·延遲時(shí)間少于10秒，用戶會繼續(xù)等待響應(yīng)
·延遲時(shí)間超過10秒后，用戶將會放棄并開始其他操作
這些閥值很有名并且一般不會改變，因?yàn)槭顷P(guān)乎人類的感知特性的。 所以要根據(jù)這些規(guī)則來設(shè)置響應(yīng)時(shí)間需求， 也需要適當(dāng)調(diào)整以適應(yīng)實(shí)際應(yīng)用。例如，亞馬遜公司(Amazon.com) 的主頁也遵循了以上規(guī)則，但是由于更偏重于風(fēng)格上的一致，所以在響應(yīng)時(shí)間上有一點(diǎn)損失。
乍一看，好像有兩種不同的方式來確定相應(yīng)時(shí)間需求：
·平均響應(yīng)時(shí)間(Average response time )
·絕對響應(yīng)時(shí)間（Absolute response time）;即， 所有的響應(yīng)時(shí)間必須低于某一閥值
指定平均響應(yīng)時(shí)間比較簡單一些（straightforward），但是由于數(shù)據(jù)變化的干擾，這個(gè)需求往往難以實(shí)現(xiàn)。為什么取樣中的20%的響應(yīng)時(shí)間要比平均值高3倍以上呢？請注意，JMeter 計(jì)算平均響應(yīng)時(shí)間與圖形結(jié)果監(jiān)視器中的標(biāo)準(zhǔn)偏差是一致的。
另一方面， 對絕對響應(yīng)時(shí)間需求過于苛求是不實(shí)際的。 如果只有0。5%的取樣不能通過測試該怎么辦？如果再測一次，又會有很大的變化。 幸運(yùn)的是， 使用置信區(qū)間（confidence interva）分析這種正規(guī)的統(tǒng)計(jì)方法可以顧及到取樣變化的影響。
在繼續(xù)進(jìn)行前，讓我們首先回顧一些基本的統(tǒng)計(jì)學(xué)知識。
中心極限定理（The central limit theorem） 中心極限定理表明如果總體的分布有一個(gè)平均值μ和標(biāo)準(zhǔn)偏差σ，那么對于一個(gè)十分大的n(>30)，其取樣平均值的分布將接近于正態(tài)分布，其平均值μmean = μ ，標(biāo)準(zhǔn)偏差σmean = σ/√n。
注意取樣平均值的分布是正態(tài)的，而取樣自身的分布不必是正態(tài)的。也就是說如果多次運(yùn)行測試腳本則測試結(jié)果的平均響應(yīng)時(shí)間將會是正態(tài)的。
圖 5 和圖 6 分別展示了兩個(gè)正態(tài)分布。 在這里橫坐標(biāo)是采樣響應(yīng)時(shí)間的均值， 總體的均值被調(diào)整到坐標(biāo)的原點(diǎn)（shifted so the population mean is at the origin）。 圖5 表明90%的時(shí)間里，采樣均值位于±Zσ的區(qū)間里（percent of the time， the sampling means are within the interval ±Zσ，），這里的Z=1.645 和 σ 是標(biāo)準(zhǔn)偏差。 圖 6 表明了99%的情況下的情形這時(shí)的Z=2.576。 在給定的概率下，如90%， 我們可以看到相應(yīng)的Z呈現(xiàn)正態(tài)曲線，反之亦然。
Figure 5。 Z value for 90 percent
Figure 6。 Z value for 99 percent
在相關(guān)資料中所列的是可提供正態(tài)曲線計(jì)算的一些網(wǎng)站。在這些網(wǎng)站，我們可以計(jì)算隨意的相對區(qū)間內(nèi)的概率(如，-1.5 < X < 1.5)或者在一個(gè)聚集的區(qū)域（cumulated area）內(nèi) ，(如， X < 1.5)。 也可以從下面的表中得到近似值。
表 1。 對應(yīng)于給定的置信區(qū)間（confidence interval）的標(biāo)準(zhǔn)偏差范圍（Standard deviation range）
表 2。 對應(yīng)于給定的標(biāo)準(zhǔn)偏差范圍（Standard deviation）的置信區(qū)間（confidence interval）
置信區(qū)間（Confidence interval） 置信區(qū)間（confidence interval）的定義是[取樣平均值- Z*σ/√n， 取樣平均值+ Z*σ/√n]。 例如， 如果置信區(qū)間（概率）是90%， 經(jīng)查找可知Z 值是1。645， 于是置信區(qū)間就是 [取樣平均值- 1。645*σ/√n， 取樣平均值+ 1。645*σ/√n]， 這意味著在90%的時(shí)間里， 總體平均值（population mean）(是未知的) 會落入這個(gè)置信區(qū)間內(nèi)。 也就是說， 我們的測試結(jié)果是十分接近的。 如果 σ（標(biāo)準(zhǔn)偏差） 更大一些， 置信區(qū)間也會更大，這就意味著置信區(qū)間的上限就會更可能會越過可以接受的范圍，即σ 越大，結(jié)果越不可信。
響應(yīng)時(shí)間需求（Response-time requirements ） 現(xiàn)在我們把所有的信息都?xì)w結(jié)到響應(yīng)時(shí)間需求上來。首先。必須要定義性能需求，如: %95概率的置信區(qū)間的平均響應(yīng)時(shí)間的上限必須小于5秒。 當(dāng)然，最好有相應(yīng)的需求或場景。
在性能測試結(jié)束后，假設(shè)進(jìn)分析得出結(jié)論是平均響應(yīng)時(shí)間是4.5秒，標(biāo)準(zhǔn)偏差時(shí)4.9秒，樣本數(shù)量是120個(gè)，然后就可以計(jì)算%95概率的置信區(qū)間了。 通過查表1，找到Z值是 1。95996。 于是置信區(qū)間就是 [4.5 – 1.95996*4.9/√120， 4.5 + 1.95996*4.9/√120]， 也就是 [3.62， 5.38]。 盡管看起來這個(gè)響應(yīng)時(shí)間看起來很不錯，但這個(gè)結(jié)果（因?yàn)槌隽诵枨蟮囊?，因而）是不可接受的?實(shí)際上， 可以檢驗(yàn)的是即使是對于80%概率的可信區(qū)間，這個(gè)測試結(jié)果也是不能接受的。正如你所看到的，使用了置信區(qū)間分析后，會得到一個(gè)十分精確的方法來估算測試質(zhì)量。
在web應(yīng)用中，為了測定某一場景的響應(yīng)時(shí)間，我們一般要通過測試工具來發(fā)送多個(gè)訪問請求，例如：
4. 登陸
5. 顯示表單
6. 提交表單
假設(shè)我們對請求3更感興趣。為進(jìn)行置信區(qū)間分析，我們需要的僅是請求3的所有樣本的響應(yīng)時(shí)間均值和標(biāo)準(zhǔn)偏差，而不是全部被統(tǒng)計(jì)的樣本的。
在Jmeter的圖表結(jié)果監(jiān)聽器中計(jì)算的卻是全部請求的響應(yīng)時(shí)間均值和標(biāo)準(zhǔn)偏差。 而Jmeter的聚合報(bào)告監(jiān)聽器計(jì)算的是獨(dú)立的采樣器的響應(yīng)時(shí)間均值，可惜沒有計(jì)算標(biāo)準(zhǔn)偏差。
總之， 僅僅指定響應(yīng)時(shí)間均值是危險(xiǎn)的， 因?yàn)椴荒芊从吵鰯?shù)據(jù)的變化。 即使響應(yīng)時(shí)間均值是可以接受的，但是置信區(qū)間僅有75％，這個(gè)結(jié)果也不能令人信服。但是，使用置信區(qū)間分析還是會帶來更多的確定性。
結(jié)論本文討論了以下內(nèi)容:
·詳細(xì)講解了Jmeter 線程組在加載負(fù)載時(shí)的特別設(shè)置
·使用Jmeter代理服務(wù)器(Proxy Server)元件自動建立測試腳本的指導(dǎo)方針，其重點(diǎn)在于模擬用戶思考時(shí)間（user think time ）。
·置信區(qū)間分析（Confidence interval analysis）， 一種我們可以用來更好地滿足響應(yīng)時(shí)間需求的統(tǒng)計(jì)分析方法
通過使用本文提及的技術(shù)可以改善測試腳本的質(zhì)量，更廣泛地說，本文所討論的內(nèi)容屬于是性能測試的一個(gè)工作流程的一部分， 是其中的一個(gè)較困難的部分。性能測試包括并不僅限于以下內(nèi)容：
·編寫性能測試需求
·選擇測試情景
·準(zhǔn)備測試環(huán)境
·編寫測試腳本
·執(zhí)行測試
·回顧測試腳本和測試結(jié)果
·指出性能瓶頸
·書寫測試報(bào)告
此外， 性能測試結(jié)果，包括確定下來的瓶頸， 都需要反饋給開發(fā)團(tuán)隊(duì)或者架構(gòu)師進(jìn)行優(yōu)化設(shè)計(jì)。 在這個(gè)過程中，并寫測試腳本和回顧測試腳本是其中很重要的部分，要精心籌劃和管理實(shí)施。憑借測試腳本指導(dǎo)和一個(gè)好的性能測試流程，你將會有更多的機(jī)會來在較重負(fù)載下優(yōu)化軟件性能。
關(guān)于作者Chi-Chang Kung 是臺灣Sun 公司的java系統(tǒng)架構(gòu)師，也是IEEE 和ACM的成員。
相關(guān)資源 ·JMeter: http://jakarta.apache.org/jmeter/index.html
·《中心極限理論以及經(jīng)典推論》（"Central Limit Theorem and Classical Inference" ）Scott M。 Lynch (2005年2月):
http://www.princeton.edu/~slynch/clt_inference.pdf
·置信區(qū)間（Confidence intervals）:
http://people.hofstra.edu/faculty/Stefan_Waner/RealWorld/finitetopic1/confint.html
·《java網(wǎng)站的性能分析》（Performance Analysis for Java Websites）， Stacy Joines et al. (Addison-Wesley， 2002年9月; ISBN: 0201844540):
http://www.amazon.com/exec/obidos/ASIN/0201844540/javaworld
·《響應(yīng)時(shí)間：三個(gè)重要的限制條件》("Response Times: The Three Important Limits") 引自《實(shí)用工程學(xué)》( Usability Engineering)， Jakob Nielsen (Morgan Kaufmann， 1994; ISBN 0125184069):
http://www.useit.com/papers/responsetime.html
·一些提供了正態(tài)曲線計(jì)算功能的網(wǎng)站(Websites for normal curve calculation):
o http://www.psychstat.smsu.edu/introbook/normal.htm
o http://www.ecositebr.bio.br/curva_normal.htm
o http://statistik.wu-wien.ac.at/mathstat/hatz/vo/applets/probCalc/normal_z_p.html
·更多關(guān)于測試的文章，請參照J(rèn)avaWorld‘s 標(biāo)題索引的Testing 部分:
http://www.javaworld.com/channel_content/jw-testing-index.shtml
·關(guān)于JAVA開發(fā)工具，參見JavaWorld‘s 標(biāo)題索引的Development Tools 部分:
http://www.javaworld.com/channel_content/jw-tools-index.shtml
