日志統(tǒng)計系統(tǒng)在站點的用戶行為分析中扮演了重要的角色，尤其是對于來自搜索引擎的關(guān)鍵詞訪問統(tǒng)計：是很有效的用戶行為分析數(shù)據(jù)來源。隨著互聯(lián)網(wǎng)多年的發(fā)展，WEB日志統(tǒng)計工具已經(jīng)越來越成熟，功能也越來越豐富。其中有很多是開放源代碼的，AWStats就是其中非常優(yōu)秀的一款。
AWStats: Advanced Web Statistics
AWStats是最近發(fā)展很快的一個基于Perl的WEB日志分析工具。相對于另外一個非常優(yōu)秀的開放源代碼的日志分析工具Webalizer，AWStats的優(yōu)勢在于：
界面友好：可以根據(jù)瀏覽器直接調(diào)用相應(yīng)語言界面（有簡體中文版）
參考輸出樣例：http://awstats.sourceforge.net/cgi-bin/awstats.pl
基于Perl：并且很好的解決了跨平臺問題，系統(tǒng)本身可以運行在GNU/Linux上或Windows上（安裝了ActivePerl后）；分析的日志直接支持Apache格式(combined)和IIS格式(需要修改)。Webalizer雖然也有Windows平臺版，但目前已經(jīng)缺乏維護；
AWStats完全可以實現(xiàn)用一套系統(tǒng)完成對自身站點不同服務(wù)器：GNU/Linux/Apache和Windows/IIS服務(wù)器的統(tǒng)一統(tǒng)計。
效率比較高：AWStats輸出統(tǒng)計項目比Webalizer豐富了很多，速度仍可以達到Webalizer的1/3左右，對于一個日訪問量百萬級的站點，這個速度都是足夠的；
配置/定制方便：系統(tǒng)提供了足夠靈活但缺省也很合理的配置規(guī)則，需要修改的缺省配置不超過3，4項就可以開始運行，而且修改和擴展的插件還是比較多的；
AWStats的設(shè)計者是面向精確的"Human visits"設(shè)計的，因此很多搜索引擎的機器人訪問都被過濾掉了，因此有可能比其他日志統(tǒng)計工具統(tǒng)計的數(shù)字要低，來自公司內(nèi)部的訪問也可以通過IP過濾設(shè)置過濾掉。
提供了很多擴展的參數(shù)統(tǒng)計功能：使用ExtraXXXX系列配置生成針對具體應(yīng)用的參數(shù)分析會對產(chǎn)品分析非常有用。
更多與其他工具：Webalizer, analog的比較請參考：
http://awstats.sourceforge.net/#COMPARISON
AWStats安裝備忘
AWStats的運行模式是這樣的：
分析日志：運行后將這樣的日志統(tǒng)計結(jié)果歸檔到一個AWStats的數(shù)據(jù)庫（純文本）里；
然后是輸出：分兩種形式
一種是通過cgi程序讀取統(tǒng)計結(jié)果數(shù)據(jù)庫輸出；
一種是運行后臺腳本將輸出導出成靜態(tài)文件；
以下是2個針對單個站點日志統(tǒng)計例子：
一個是在GNU/Linux上通過CGI方式的輸出，
一個是在Windows 2000上的基于靜態(tài)頁面的導出
下載/安裝
http://sourceforge.net/projects/awstats/ 下載安裝包后：
GNU/Linux：tar zxf awstats-5.4.tgz
#部署awstats cgi程序到/path/to/apache/cgi-bin/awstats
mv awstats-5.4/wwwroot/cgi-bin /path/to/apache/cgi-bin/awstats
#把圖標icon目錄復制到WEB發(fā)布目錄下：/path/to/apache/htdocs/icon/
Windows 2000： 直接解包，然后移動到D:\AWStats目錄下
把圖標icon目錄復制到IIS的發(fā)布目錄下：inetpub/icon
數(shù)據(jù)源日志格式和按天的截斷規(guī)則
對于Apache：日志格式好設(shè)置：設(shè)置成combined格式即可，日志截斷麻煩一點：需要安裝cronolog工具，將日志設(shè)置成按天截斷：
CustomLog "|/usr/local/sbin/cronolog /path/to/apache/logs/access_%y%m%d.log" combined
比如：logs/access_030327.log logs/access_030326.log
對于IIS：缺省有比較好的日志按天截斷規(guī)則，但是IIS的日志格式比較不適合AWStats統(tǒng)計，
因此最好直接去掉所有日志字段，然后嚴格按照以下列表設(shè)置
日期 date
時間 time
客戶IP地址 c-ip
用戶名 cs-username
方法 cs-method
URI資源 cs-uri-stem
協(xié)議狀態(tài) sc-status
發(fā)送字節(jié)數(shù) sc-bytes
協(xié)議版本 cs-version
用戶代理 cs(User-Agent)
參照 cs(Referer)
相比IIS缺省設(shè)置：
減少的有：
服務(wù)器IP地址
服務(wù)器端口
URI查詢
增加的有：
發(fā)送字節(jié)數(shù)
協(xié)議版本
參照
配置文件的命名規(guī)則：awstats.sitename.conf
AWStats的主程序awstats.pl會自動根據(jù)站點名調(diào)用相應(yīng)站點的配置文件：awstats.sitename.conf
比如：運行./awstats.pl -config=chedong 調(diào)用的就是同目錄下的 awstats.chedong.conf 配置文件；
如果沒有指定-config，還會找當前目錄下的awstats.conf或者/etc/awstats.conf作為缺省配置文件。
所以最好把缺省的awstats.model.conf 重命名成 awstats.yoursite.conf；比如：awstats.chedong.conf，
對于多個站點的統(tǒng)計，AWStats的配置文件包含功能還是非常有用的，我們可以把通用的配置放在一個文檔中，然后用5.4開始支持的Include配置將通用配置包含在各個具體配置文件的頭部，然后用其他配置覆蓋通用配置中的相應(yīng)屬性，比如：
Include="chedong.common.conf"
LogFile="/path/to/bbs/access_log"
SiteName="bbs.chedong.com"
最少的配置文件修改：LogFile SiteDomain LogFormat
對于在GNU/Linux上統(tǒng)計Apache日志只需修改：LogFile SiteDomain這2個選項
GNU/Linux LogFile="/path/to/apache/logs/access_%YY-24%MM-24%DD-24.log"
Windows 2000 LogFile="d:\iis_logs\W3SV3\ex%YY-24%MM-24%DD-24.log"
這個配置的意思是用24小時前的年份，月份，日期拼出的日志文件名；
SiteDomain="www.chedong.com"
站點的名稱，缺省是空的，如果為空，AWStats將拒絕運行；
對于統(tǒng)計IIS日志需要多修改一個：
LogFormat=2
缺省值是1：Apache日志，2是IIS日志
其他需要注意的事項：
AWStats缺省不過濾swf文件，會把.swf算成PageView，所以如果站點上swf文件主要是廣告的話最好還是要過濾掉：
日志分析
./awstats.pl -update -config=sitename
比如：./awstats.pl -update -config=chedong
統(tǒng)計輸出
GNU/Linux http://localhost/cgi-bin/awstats/awstats.pl?config=chedong
Windows 2000 http://localhost/awstats/awstats.chedong.html
日志統(tǒng)計自動運行
GNU/Linux上：crontab -e: 每天8點10分運行
#update awstats
10 8 * * * (cd /path/to/apache/cgi-bin/awstats/; ./awstats.pl －update -config=chedong)
Windows 2000上：設(shè)置每天8點10分運行
D:\Perl\bin\perl.exe d:\AWStats\tools\awstats_buildstaticpages.pl -update -config=chedong -lang=cn -dir=c:\inetpub\awstats\ -awstatsprog=d:\awstats\wwwroot\cgi-bin\awstats.pl
多站點日志統(tǒng)計
AWStats自帶了一個批處理工具：tools/awstats_updateall.pl，可以批量地遍歷一個目錄下所有地配置文件并運行統(tǒng)計。因此剩下的工作就主要是日志的同步問題了。
針對多個站點，很多配置選項是重復的，如果每個配置文件都修改維護起來會很麻煩，AWStats從5.4開始提供了配置文件包含的功能，所以我們可以配置一個通用配置，比如：chedong.common.conf
然后其他站點的配置設(shè)置為：可以通過后面的選項覆蓋和缺省不一致的配置。
awstats.bbs.chedong.conf
Include "chedong.common.conf"
LogFile "/path/to/bbs_log"
SiteName "bbs.chedong.com"
awstats.www.chedong.conf
Include "chedong.common.conf"
LogFile "/path/to/www_log"
SiteName "www.chedong.com"
HostAliases="chedong.com"
統(tǒng)計指標說明
參觀者：按來訪者不重復的IP統(tǒng)計，一個IP代表一個參觀者；
參觀次數(shù)：一個參觀者可能1天之內(nèi)參觀多次（比如：上午一次，下午一次），所以按一定時間內(nèi)（比如：1個小時），不重復的IP數(shù)統(tǒng)計，參觀者的訪問次數(shù)；
網(wǎng)頁數(shù)：不包括圖片，CSS, JavaScript文件等的純頁面訪問總數(shù)，但如果一個頁面使用了多個幀，每個幀都算一個頁面請求；
文件數(shù)：來自瀏覽器客戶端的文件請求總數(shù)，包括圖片，CSS，JavaScript等，用戶請求一個頁面是，如果頁面中包含圖片等，所以對服務(wù)器會發(fā)出多次文件請求，文件數(shù)一般遠遠大于文件數(shù)；
字節(jié)：傳給客戶端的數(shù)據(jù)總流量；
來自REFERER中的數(shù)據(jù)：日志中的參考（REFERER）字段，記錄了訪問相應(yīng)網(wǎng)頁之前地址，因此如果用戶是通過搜索引擎的搜索結(jié)果點擊進入網(wǎng)站的，日志中就會有用戶在相應(yīng)搜索引擎的查詢地址，這個地址中就可以通過解析將用戶查詢使用的關(guān)鍵詞提取出來：
比如：
2003-03-26 15:43:58 123.123.123.123 - GET /index.html 200 192 HTTP/1.1 Mozilla/4.0+(compatible;+MSIE+5.01;+Windows+NT+5.0) http://www.google.com/search?q=chedong
AWStats在搜索引擎的關(guān)鍵短語和關(guān)鍵詞統(tǒng)計方面的功能還是比較完整的：可以對全世界3百多種機器爬蟲進行識別，并且可以識別大部分主流國際化搜索引擎和很多地區(qū)的本地語言搜索引擎。
Hacking AWStats
IIS按GMT時間的補丁：awstats.pl
IIS的日志時間是格林威治之間，中國本地時間和GMT有+8個小時差距，如果直接用TIMEZONE插件從格林威治時間轉(zhuǎn)換會有40％的性能下降，這里有一個將時間按本地時間修改時間坐標的補丁：
7696d7695
< my $TIME_ZONE = 8;
7698,7702c7697
< my $ix_local = $ix + $TIME_ZONE;
< if ($ix_local >= 24) {
< $ix_local = $ix_local - 24;
< }
< print "<TH width=19>$ix_local</TH>\n"; # width=19 instead of 18 to avoid a MacOS browser bug.
---
> print "<TH width=19>$ix</TH>\n"; # width=19 instead of 18 to avoid a MacOS browser bug.
7708,7712c7703
< my $ix_local = $ix + $TIME_ZONE;
< if ($ix_local >= 24) {
< $ix_local = $ix_local - 24;
< }
< my $hr= $ix_local + 1 ; if ($hr>12) { $hr=$hr-12; }
---
> my $hr=($ix+1); if ($hr>12) { $hr=$hr-12; }
針對中文搜索引擎的補?。?br>AWStats的搜索引擎中缺省沒有中文搜索引擎的定義，因此會漏掉很多來自國內(nèi)主流搜速引擎的統(tǒng)計：3721，搜狐，新浪，百度，網(wǎng)易等，以下是針對這些的補?。篶gi-bin/lib/search_engine.pm
58a59,60
> # Minor Chinese search engines
> "baidu\.", "163\.com", "sohu\.","sina\.","3721\.com",
140a143,148
> # Minor Chinese search engines
> "baidu\.","word=",
> "sina\.", "word=",
> "sohu\.","word=",
> "163\.com","q=",
> "3721\.com","name=",
228a237,238
> # Minor Chinese search engines
> "baidu\.","Baidu", "163\.com","NetEase","sina\.","Sina","sohu\.","Sohu","3721\.com","3721",
針對Google的Unicode查詢補丁：
因為Google對于Windows 2000上的IE瀏覽器缺省發(fā)送的查詢都是UTF-8格式的，而其他搜索引擎大部分使用的是系統(tǒng)本地編碼：GB2312，因此需要將查詢URI解碼后，還要根據(jù)是否使用UTF-8進行到GB2312的轉(zhuǎn)碼，否則同樣的單詞會在統(tǒng)計中留有UTF-8和GB2312兩條記錄。
15,16c15,16
< use Encode;
< use URI::Escape;
---
>
>
5692,5694d5691
< #UTF-8 encoding detection
< my $UnicodeDetected = 0;
< my $SearchQuery = "";
5696,5701d5692
< # Google use: ie=utf-8
< # AllTheWeb use: cs=utf-8
< if ($param eq "ie=utf-8" || $param eq "cs=utf-8") {
< $UnicodeDetected = 1;
< }
<
5704d5694
< $param = uri_unescape($param);
5708,5712c5698,5700
< $param =~ s/^ +//;
< $param =~ s/ +$//;
< $param =~ tr/ /\+/s;
< $param =~ s/\+/ /s;
< $SearchQuery = $param;
---
> $param =~ s/^ +//; $param =~ s/ +$//; $param =~ tr/ /\+/s;
> if ((length $param) > 0) { $_keyphrases{$param}++; }
> last;
5714,5719d5701
<
< }
< #decoding unicode to GBK
< if ( $UnicodeDetected ) {
< $SearchQuery = decode("utf-8", $SearchQuery);
< $SearchQuery = encode("euc-cn", $SearchQuery);
5721,5722d5702
< print "$SearchQuery\n";
< if ((length $SearchQuery) > 0) { $_keyphrases{$SearchQuery}++; }
AWStats本身也包含了很多插件，包括將多個站點的統(tǒng)計再次匯總輸出，IIS日志時間轉(zhuǎn)換，URL的標題映射等；
http://awstats.sourceforge.net/awstats_contrib.html
參考資料：
AWStats:
http://awstats.sourceforge.net/
Webalizer:
http://www.webalizer.org/
日志分析工具：
http://directory.google.com/Top/Computers/Software/Internet/Site_Management/Log_Analysis/
商業(yè)日志統(tǒng)計/分析工具
http://directory.google.com/Top/Computers/Software/Internet/Site_Management/Log_Analysis/Commercial/
多站點的日志合并統(tǒng)計：
http://www.chedong.com/tech/rotate_merge_log.html
本站僅提供存儲服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請
點擊舉報。
