近日,國際安全評測機構AV-C發(fā)布反病毒測試成績,遭到海外安全軟件廠商賽門鐵克質疑,賽門鐵克在其官方博客上發(fā)文,譴責這種執(zhí)行按需掃描惡意軟件測試的評測方法,實為對用戶的“誤導”。
圖:賽門鐵克質疑AV-C
賽門鐵克方面表示,在早年間的反病毒測試中,每個測試都是按需掃描。反病毒測試研究人員將收集一系列已知的惡意軟件,進行完整的掃描,并記錄樣本的檢測率。而現代實驗室更考慮到絕大多數感染來自于互聯網,因此努力設計測試方法,以便更接近于真實世界環(huán)境下的用戶實測。賽門鐵克認為,只有用戶實測的排名才是有效的,因此并不能完全同意目前的測試方式。
存在漏洞的防護?
賽門鐵克公司高級產品總監(jiān)Alejandro Borgia在博客中明確說道:這種測試中所引用的檢測率是對用戶的誤導,它并不能代表真實的產品功效。Alejandro Borgia表示,“這些類型的測試樣本在人造的環(huán)境下運行,測試結果并不準確?!?/font>
雖然AV-C確保測試過程有接入互聯網,賽門鐵克能夠安裝并接入強大的基于云端的諾頓Insight識別系統(tǒng)。但由于測試文件是如何獲取的,什么時候獲取的,從哪獲取的(例如URL或者IP地址),無法了解這些按需掃描的文件和用戶實際下載的文件是否相同。如果測試如此,那就跟用戶用殺毒軟件查殺一個已知的惡意軟件一樣。Alejandro Borgia總結。
網絡安全防護組件也沒能幫上忙,因為文件樣本是在安裝殺毒軟件之前下載的。用戶可能遇到類似的情況:在已經被病毒感染的系統(tǒng)中首次安裝殺毒軟件;在被病毒感染的系統(tǒng)中首次使用殺毒軟件。當然在殺毒軟件真正開始運行前,實際有效的檢測根本不會發(fā)生。
對此,賽門鐵克指出“behavior”包含超出程序所采取的行為。“我們的行為技術考慮到程序的位置,它是如何在系統(tǒng)中注冊(例如,哪些注冊表項指向它)”,以及許多其他因素。他解釋道“一般情況下,程序在它遭受破壞之前已停止運行?!?/font>
是否存在誤導?
對于賽門鐵克方面的質疑,AV-C機構就該測評是否誤導用戶持否認態(tài)度。在該測試報告中指出:“文件檢測率只是一個方面”,重點在于“其他的測試報告涵蓋了不同方面的內容”。
AV-C合伙人Peter Stelzhammer指出,很明顯,這項測試僅針對產品的某一特性,如果文件檢測這一功能真的像賽門鐵克所說的這么一無是處,那為何還要把這一功能加入到自己的產品中呢?”Stelzhammer評論:個人計算機并非時刻處于聯網狀態(tài),而文件檢測只需要在初始化清存階段進行。即便如此,“賽門鐵克的測試還是在聯網狀態(tài)下進行,以便其云服務實現交互”
他打了個比方給Alejandro Borgia:轎車安全系統(tǒng)測試時,首先做的就是排除安全帶以外的其他一切無關因素,如果說該測試完全是錯誤的,就忽視了這項測試的功績了。因此,完全錯誤未免有夸張之嫌。
AV-C:唯真實世界測試結果才有意義?
Borgia在博客中表示,賽門鐵克積極擁護用戶實測,這種測試“是最能代表威脅所存在的環(huán)境并且可以為成品提供所有的前沿技術?!盤eter Stelzhammer認為這種觀點難以被否定,但是,這種測試極其耗時耗力。Dennis實驗室阻塞測試就能說明這一點:Dennis實驗室記錄了用戶實測中病毒進程,然后用在線復演系統(tǒng)在不同軟件環(huán)境下完全重復系統(tǒng)被感染過程。這實測成果顯著,但無疑極其費時。
為挑戰(zhàn)殺毒軟件,AV-C每天都在相同測試環(huán)境下進行用戶實測,阻止了千百計惡意軟件入侵的企圖。他們每個月整理一次數據庫,每季度發(fā)表一次實測報告。這種測試需要大量勞動力,所以他們需要因斯布魯克大學及奧地利政府的扶持。
Stelzhammer進一步闡述:“你一定期待賽門鐵克在AV-C的幫助下會大放光彩,但不幸的是賽門鐵克提出由于AV-C拒絕為供銷商提供僅關注用戶實測訂閱的服務,并且退出文件檢測測試的聲明,故賽門鐵克并不愿加入我們的主要測試環(huán)節(jié)。然而,事態(tài)的發(fā)展總是出人意料,即使賽門鐵克并未同意,結果卻是受與讀者及媒體的強烈關注,它還是被AV-C推到了風口浪尖上?!?/font>
賽門鐵克:反復測試更有效
賽門鐵克的博客文章總結道,“我們期待有一天測試機構所發(fā)表的測試是用戶實測。同時,讀者們需要注意一下人工測試展示對于帶有誤導性的產品的比較。我也一樣,會作為一個普通用戶去看更多的測試結果,這樣更接近用戶實測。
考慮到這種情況,如果你為一個沒有任何保護的系統(tǒng)購買一個殺毒軟件,你會期望它能清理任何的惡意軟件,并不會抱怨它的網絡防護系統(tǒng)。你可能會根據你的情況,在一個像AV-C一樣的測試中選擇一個分數高的殺毒軟件。
對于正在使用防護軟件的你會希望在用戶實測下也獲得高分。所以在選擇產品時,選擇在各項測試中都獲得高分的,并且在多個實驗室進行測試的產品更為穩(wěn)妥。