CTS4.0測試步驟 V1.2
第一:平臺準備工作
第二:新建CTS測試任務
第三:關于CTS4.0測試報告
第四:繼續(xù)測試未完成的計劃
第五:單獨對fail/notExecuted/timeout的測試項進行測試
第六:單獨測試某個Case
第七:注意事項
----------------------------------------------
第一部分:平臺準備工作
----------------------------------------------
1.進入settings->Privacy->Factorydata reset,對平臺進行reset一次
2.平臺插入一張空的TF卡
3.平臺安裝兩個APK:CtsDelegatingAccessibilityService.apk,CtsDeviceAdmin.apk
4. 進入settings打開Wi-Fi并連接AP (AP需要連外網(wǎng))
5.進入settings->Security->Screenlock設為None
6.進入settings->Security->EnableUnknown sources
7.進入settings->Security->Deviceadministrators->Enable兩個選項
8.進入Language&input->language設為English(UnitedStates)
9.進入settings->Display->Sleep設為30minutes或None
10.進入settings->Accessibility->EnableDelegating Accessibility Service
11.進入settings->Developeroptions->Enable USB debugging、Stay awake、Allowmock locations
----------------------------------------------
第二部分:新建CTS測試任務(每次輸入后加回車)
----------------------------------------------
1.平臺用USB線連接LinuxPC (連通后平臺左上方會顯示usb和debug icon)
2.打開終端
3.輸入sudosu -
輸入root密碼
4.輸入cd ../..
輸入 cd /home/linux/cts/android-cts-4.0.3_r1-linux_x86-arm/android-cts/tools (這個是cts-tradefed文件所在路徑,各位需要輸入實際路徑)
輸入 ./cts-tradefed
終端顯示 01-16 15:44:05 I/DeviceManager: Detected newdevice 0123456789ABCDEF(如果沒有這行,說明設備沒有和PC聯(lián)通)
Android CTS 4.0.3_r1
cts-tf >
5.輸入run cts --plan CTS
終端顯示 cts-tf > run cts --plan CTS
cts-tf> 01-16 15:45:34 I/TestInvocation: Starting invocation for 'cts' on build'4.0.3_r1' on device 0123456789ABCDEF
01-16 15:45:35I/0123456789ABCDEF: Created result dir 2012.01.16_15.45.34
開始測試CTS
----------------------------------------------
第三部分:關于CTS4.0測試報告
----------------------------------------------
1.CTS測試報告是自動生成一個xml報表,并自動填寫的,不需要測試人員干預
2.當一個CTS測試任務開始時,會在android-cts-4.0.3_r1-linux_x86-arm/android-cts/repository/results中,為這個任務建立一個存放測試報告的文件夾,文件名以任務開始的日期和時間命名。
例如:2012.01.12_13.00.03
3.CTS4.0生成測試報告的速度比CTS2.3/2.2要慢不少,特別是在測試過程中中斷測試,CTS4.0需要70秒才會開始生成報告。如果你在此過程中按ctrl+c終止CTS進程,測試報告就無法生成,以后也無法繼續(xù)測試未完成的計劃。
下方是中途斷開后生成報告的例子:
01-1813:50:19I/0123456789ABCDEF: android.accounts.cts.AccountManagerTest#testHasFeature FAIL
Testfailed to run to completion. Reason: 'Test run failed to complete. Expected 1tests, received 0'. Check device logcat for details
01-1813:51:29I/0123456789ABCDEF: android.accounts package complete: Passed 20, Failed 2, NotExecuted 6
01-1813:51:29 I/0123456789ABCDEF: -----------------------------------------
01-1813:51:29 I/0123456789ABCDEF: Test package android.admin started
01-1813:51:29 I/0123456789ABCDEF: -----------------------------------------
……
01-1813:51:30 I/0123456789ABCDEF: -----------------------------------------
01-1813:51:30 I/0123456789ABCDEF: Test package android.widget started
01-1813:51:30 I/0123456789ABCDEF: -----------------------------------------
01-1813:51:30 I/0123456789ABCDEF: Saved log device_logcat_8558243668624894128.zip
01-1813:51:30 I/0123456789ABCDEF: Saved log host_log_6087775957743010530.zip
01-1813:51:30 I/0123456789ABCDEF: android.widget package complete: Passed 0, Failed0, Not Executed 988
01-1813:51:30 I/0123456789ABCDEF: Created xml report file at
file:///home/linux/cts/android-cts-4.0.3_r1-linux_x86-arm/android-cts/tools/./../../android-cts/repository/results/2012.01.18_13.43.56/testResult.xml
01-1813:51:31 I/0123456789ABCDEF: XML test result file generated at2012.01.18_13.43.56. Passed 28, Failed 20, Not Executed 17110
01-1813:51:31 I/0123456789ABCDEF: Time: 2m 45s
01-1813:51:33 W/DeviceManager: Freed device 0123456789ABCDEF is unavailable.Removing from use.
01-1813:52:38 E/BackgroundDeviceAction: Device 0123456789ABCDEF not online
3.CTS測試任務完成后,會生成testResult.xml和2012.01.12.zip打開這個文件夾中的testResult.xml(用firefox或IE瀏覽器打開),查看報表是否完全。
4.確認報表后,將整個文件夾復制出來,然后壓縮后發(fā)給相關人員
----------------------------------------------
第四部分:繼續(xù)測試未完成的計劃
----------------------------------------------
CTS4.0對未完成的測試計劃不會生成xml報告,這個和CTS2.3/2.2不同。但是,這并不意味測試中斷后無法繼續(xù)未完成的測試。
1. 前提條件是有未完成的測試計劃
2. 平臺用USB線連接LinuxPC (連通后平臺右下方會顯示usb和debugicon)
3. 打開終端
4. 輸入sudo su –
輸入root密碼
5. 輸入cd ../..
輸入cd /home/linux/cts/android-cts-4.0.3_r1-linux_x86-arm/android-cts/tools(這個是startcts文件所在路徑,各位需要輸入實際路徑)
輸入 ./cts-tradefed
終端顯示 01-16 15:44:05 I/DeviceManager: Detected newdevice 0123456789ABCDEF(如果沒有這行,說明設備沒有和PC聯(lián)通)
Android CTS 4.0.3_r1
cts-tf >
6.輸入l r
終端顯示
Session Pass Fail Not Executed Start time Planname
0 7 0 0 2012.01.16_16.09.19 NA
1 13 0 0 2012.01.16_16.13.01 NA
2 19 19 17120 2012.01.18_13.43.56 CTS
(根據(jù)start time時間,確定你要的任務的session編號)
7. 輸入 run cts –continue-session session_id (session編號)
終端顯示
cts-tf> 01-18 13:48:45 I/TestInvocation: Starting invocation for 'cts' on build'4.0.3_r1' on device 0123456789ABCDEF
01-1813:49:59 I/0123456789ABCDEF: Collecting device info
01-1813:50:00 I/0123456789ABCDEF: -----------------------------------------
01-1813:50:00 I/0123456789ABCDEF: Test package android.accounts started
01-1813:50:00 I/0123456789ABCDEF: -----------------------------------------
----------------------------------------------
第五部分:單獨對fail/notExecuted/timeout的測試項進行測試
----------------------------------------------
1.前提條件是已經(jīng)有完成的測試結果testResult.xml文件 add derivedplan --plan plane_name --session/-s session_id-r [pass/fail/notExecuted/timeout]
2.平臺用USB線連接LinuxPC (連通后平臺左上方會顯示usb和debugicon)
3.打開終端
4.輸入sudosu -
輸入root密碼
5.輸入cd ../..
輸入 cd /home/linux/cts/android-cts-4.0.3_r1-linux_x86-arm/android-cts/tools (這個是startcts文件所在路徑,各位需要輸入實際路徑)
輸入 ./cts-tradefed
終端顯示 01-16 15:44:05 I/DeviceManager: Detected newdevice 0123456789ABCDEF(如果沒有這行,說明設備沒有和PC聯(lián)通)
Android CTS 4.0.3_r1
cts-tf >
6.輸入l r
終端顯示
Session Pass Fail Not Executed Start time Plan name
0 7 0 0 2012.01.16_16.09.19 NA
1 13 0 0 2012.01.16_16.13.01 NA
(根據(jù)start time時間,確定你要的任務的session編號)
7.輸入addderivedplan --plan plane_name(新建一個測試計劃) --session/-s session_id -r[pass/fail/notExecuted/timeout] (只能選擇其中一項)
8.輸入run cts –plan plane_name(新建的測試計劃名稱) 開始測試
9.測試完成后,CTS會自動生成一個新測試報表文件夾
----------------------------------------------
第六:單獨測試某個Case
----------------------------------------------
1.目前對單個Case每單獨測試一次,就會生成一個Session(和測試報告xml)。所以,一般在有需求的情況下才會進行測試。
2.平臺用USB線連接LinuxPC (連通后平臺左上方會顯示usb和debugicon)
3.打開終端
4.輸入sudosu -
輸入root密碼
5.輸入cd ../..
輸入 cd /home/linux/cts/android-cts-4.0.3_r1-linux_x86-arm/android-cts/tools (這個是startcts文件所在路徑,各位需要輸入實際路徑)
輸入 ./cts-tradefed
終端顯示 01-16 15:44:05 I/DeviceManager: Detected newdevice 0123456789ABCDEF(如果沒有這行,說明設備沒有和PC聯(lián)通)
Android CTS 4.0.3_r1
cts-tf >
6.從CTS測試報告XML文件中查找需要測試的Case的packagename 和 method name
例如:
按上方的例子:android.acceleration.cts.HardwareAccelerationTest是package name,testIsHardwareAccelerated是method name
7.輸入runcts -c android.acceleration.cts.HardwareAccelerationTest --m testIsHardwareAccelerated開始測試這個Case
8. 測試完成后,CTS會自動生成一個新測試報告文件夾----------------------------------------------
第七部分:注意事項:
----------------------------------------------
1.CTS4.0的命令和CTS2.3/2.3完全不同,所以在進入CTS后,先輸入help看看命令的格式和意思。
2.CTS要求測試平臺的硬件和Android內(nèi)置APK功能完好
3.正常測試一次CTS,需要8小時。所以,測試時請接上電源,并盡量在晚上測試,不會影響平臺的使用
4.CTS是自動化測試,測試過程中一般不需要人的干預。如果在上班時間,每1-2小時觀察下即可
5.CTS4.0在測試過程中斷開、終止都不會生成測試報告,所以,測試前要保證USB連接穩(wěn)定和平臺設置
6.CTS每次執(zhí)行run cts –plan CTS時,CTS會搜索android-cts-4.0.3_r1-linux_x86-arm/android-cts/repository/results中的歷史報表文件夾。如果文件有很多,啟動速度會非常慢。所以,請定期清理results文件夾中的歷史報表(直接刪除報表文件夾即可)