国产一级a片免费看高清,亚洲熟女中文字幕在线视频,黄三级高清在线播放,免费黄色视频在线看

打開APP
userphoto
未登錄

開通VIP,暢享免費電子書等14項超值服

開通VIP
AWStats的使用簡介和配置一些改進說明
日志統(tǒng)計系統(tǒng)在站點的用戶行為分析中扮演了重要的角色,尤其是對于來自搜索引擎的關(guān)鍵詞訪問統(tǒng)計:是很有效的用戶行為分析數(shù)據(jù)來源。隨著互聯(lián)網(wǎng)多年的發(fā)展,WEB日志統(tǒng)計工具已經(jīng)越來越成熟,功能也越來越豐富。其中有很多是開放源代碼的,AWStats就是其中非常優(yōu)秀的一款。

AWStats: Advanced Web Statistics
AWStats是最近發(fā)展很快的一個基于Perl的WEB日志分析工具。相對于另外一個非常優(yōu)秀的開放源代碼的日志分析工具Webalizer,AWStats的優(yōu)勢在于:


界面友好:可以根據(jù)瀏覽器直接調(diào)用相應(yīng)語言界面(有簡體中文版)
參考輸出樣例:http://awstats.sourceforge.net/cgi-bin/awstats.pl

基于Perl:并且很好的解決了跨平臺問題,系統(tǒng)本身可以運行在GNU/Linux上或Windows上(安裝了ActivePerl后);分析的日志直接支持Apache格式(combined)和IIS格式(需要修改)。Webalizer雖然也有Windows平臺版,但目前已經(jīng)缺乏維護;
AWStats完全可以實現(xiàn)用一套系統(tǒng)完成對自身站點不同服務(wù)器:GNU/Linux/Apache和Windows/IIS服務(wù)器的統(tǒng)一統(tǒng)計。
效率比較高:AWStats輸出統(tǒng)計項目比Webalizer豐富了很多,速度仍可以達到Webalizer的1/3左右,對于一個日訪問量百萬級的站點,這個速度都是足夠的;

配置/定制方便:系統(tǒng)提供了足夠靈活但缺省也很合理的配置規(guī)則,需要修改的缺省配置不超過3,4項就可以開始運行,而且修改和擴展的插件還是比較多的;
AWStats的設(shè)計者是面向精確的"Human visits"設(shè)計的,因此很多搜索引擎的機器人訪問都被過濾掉了,因此有可能比其他日志統(tǒng)計工具統(tǒng)計的數(shù)字要低,來自公司內(nèi)部的訪問也可以通過IP過濾設(shè)置過濾掉。
提供了很多擴展的參數(shù)統(tǒng)計功能:使用ExtraXXXX系列配置生成針對具體應(yīng)用的參數(shù)分析會對產(chǎn)品分析非常有用。

更多與其他工具:Webalizer, analog的比較請參考:
http://awstats.sourceforge.net/#COMPARISON


AWStats安裝備忘
AWStats的運行模式是這樣的:


分析日志:運行后將這樣的日志統(tǒng)計結(jié)果歸檔到一個AWStats的數(shù)據(jù)庫(純文本)里;
然后是輸出:分兩種形式
一種是通過cgi程序讀取統(tǒng)計結(jié)果數(shù)據(jù)庫輸出;
一種是運行后臺腳本將輸出導出成靜態(tài)文件;
以下是2個針對單個站點日志統(tǒng)計例子:
一個是在GNU/Linux上通過CGI方式的輸出,
一個是在Windows 2000上的基于靜態(tài)頁面的導出


下載/安裝
http://sourceforge.net/projects/awstats/ 下載安裝包后:

GNU/Linux:tar zxf awstats-5.4.tgz
#部署awstats cgi程序到/path/to/apache/cgi-bin/awstats
mv awstats-5.4/wwwroot/cgi-bin /path/to/apache/cgi-bin/awstats
#把圖標icon目錄復制到WEB發(fā)布目錄下:/path/to/apache/htdocs/icon/


Windows 2000: 直接解包,然后移動到D:\AWStats目錄下
把圖標icon目錄復制到IIS的發(fā)布目錄下:inetpub/icon


數(shù)據(jù)源日志格式和按天的截斷規(guī)則

對于Apache:日志格式好設(shè)置:設(shè)置成combined格式即可,日志截斷麻煩一點:需要安裝cronolog工具,將日志設(shè)置成按天截斷:
CustomLog "|/usr/local/sbin/cronolog /path/to/apache/logs/access_%y%m%d.log" combined
比如:logs/access_030327.log logs/access_030326.log
對于IIS:缺省有比較好的日志按天截斷規(guī)則,但是IIS的日志格式比較不適合AWStats統(tǒng)計,
因此最好直接去掉所有日志字段,然后嚴格按照以下列表設(shè)置

日期 date
時間 time
客戶IP地址 c-ip
用戶名 cs-username
方法 cs-method
URI資源 cs-uri-stem
協(xié)議狀態(tài) sc-status
發(fā)送字節(jié)數(shù) sc-bytes
協(xié)議版本 cs-version
用戶代理 cs(User-Agent)
參照 cs(Referer)
相比IIS缺省設(shè)置:

減少的有:

服務(wù)器IP地址
服務(wù)器端口
URI查詢
增加的有:

發(fā)送字節(jié)數(shù)
協(xié)議版本
參照
配置文件的命名規(guī)則:awstats.sitename.conf
AWStats的主程序awstats.pl會自動根據(jù)站點名調(diào)用相應(yīng)站點的配置文件:awstats.sitename.conf
比如:運行./awstats.pl -config=chedong 調(diào)用的就是同目錄下的 awstats.chedong.conf 配置文件;
如果沒有指定-config,還會找當前目錄下的awstats.conf或者/etc/awstats.conf作為缺省配置文件。
所以最好把缺省的awstats.model.conf 重命名成 awstats.yoursite.conf;比如:awstats.chedong.conf,


對于多個站點的統(tǒng)計,AWStats的配置文件包含功能還是非常有用的,我們可以把通用的配置放在一個文檔中,然后用5.4開始支持的Include配置將通用配置包含在各個具體配置文件的頭部,然后用其他配置覆蓋通用配置中的相應(yīng)屬性,比如:
Include="chedong.common.conf"
LogFile="/path/to/bbs/access_log"
SiteName="bbs.chedong.com"


最少的配置文件修改:LogFile SiteDomain LogFormat
對于在GNU/Linux上統(tǒng)計Apache日志只需修改:LogFile SiteDomain這2個選項


GNU/Linux LogFile="/path/to/apache/logs/access_%YY-24%MM-24%DD-24.log"
Windows 2000 LogFile="d:\iis_logs\W3SV3\ex%YY-24%MM-24%DD-24.log"
這個配置的意思是用24小時前的年份,月份,日期拼出的日志文件名;
SiteDomain="www.chedong.com"
站點的名稱,缺省是空的,如果為空,AWStats將拒絕運行;
對于統(tǒng)計IIS日志需要多修改一個:
LogFormat=2
缺省值是1:Apache日志,2是IIS日志
其他需要注意的事項:
AWStats缺省不過濾swf文件,會把.swf算成PageView,所以如果站點上swf文件主要是廣告的話最好還是要過濾掉:


日志分析
./awstats.pl -update -config=sitename
比如:./awstats.pl -update -config=chedong


統(tǒng)計輸出
GNU/Linux http://localhost/cgi-bin/awstats/awstats.pl?config=chedong
Windows 2000 http://localhost/awstats/awstats.chedong.html

日志統(tǒng)計自動運行
GNU/Linux上:crontab -e: 每天8點10分運行
#update awstats
10 8 * * * (cd /path/to/apache/cgi-bin/awstats/; ./awstats.pl -update -config=chedong)


Windows 2000上:設(shè)置每天8點10分運行
D:\Perl\bin\perl.exe d:\AWStats\tools\awstats_buildstaticpages.pl -update -config=chedong -lang=cn -dir=c:\inetpub\awstats\ -awstatsprog=d:\awstats\wwwroot\cgi-bin\awstats.pl


多站點日志統(tǒng)計
AWStats自帶了一個批處理工具:tools/awstats_updateall.pl,可以批量地遍歷一個目錄下所有地配置文件并運行統(tǒng)計。因此剩下的工作就主要是日志的同步問題了。


針對多個站點,很多配置選項是重復的,如果每個配置文件都修改維護起來會很麻煩,AWStats從5.4開始提供了配置文件包含的功能,所以我們可以配置一個通用配置,比如:chedong.common.conf

然后其他站點的配置設(shè)置為:可以通過后面的選項覆蓋和缺省不一致的配置。
awstats.bbs.chedong.conf
Include "chedong.common.conf"
LogFile "/path/to/bbs_log"
SiteName "bbs.chedong.com"

awstats.www.chedong.conf
Include "chedong.common.conf"
LogFile "/path/to/www_log"
SiteName "www.chedong.com"
HostAliases="chedong.com"


統(tǒng)計指標說明
參觀者:按來訪者不重復的IP統(tǒng)計,一個IP代表一個參觀者;
參觀次數(shù):一個參觀者可能1天之內(nèi)參觀多次(比如:上午一次,下午一次),所以按一定時間內(nèi)(比如:1個小時),不重復的IP數(shù)統(tǒng)計,參觀者的訪問次數(shù);
網(wǎng)頁數(shù):不包括圖片,CSS, JavaScript文件等的純頁面訪問總數(shù),但如果一個頁面使用了多個幀,每個幀都算一個頁面請求;
文件數(shù):來自瀏覽器客戶端的文件請求總數(shù),包括圖片,CSS,JavaScript等,用戶請求一個頁面是,如果頁面中包含圖片等,所以對服務(wù)器會發(fā)出多次文件請求,文件數(shù)一般遠遠大于文件數(shù);
字節(jié):傳給客戶端的數(shù)據(jù)總流量;
來自REFERER中的數(shù)據(jù):日志中的參考(REFERER)字段,記錄了訪問相應(yīng)網(wǎng)頁之前地址,因此如果用戶是通過搜索引擎的搜索結(jié)果點擊進入網(wǎng)站的,日志中就會有用戶在相應(yīng)搜索引擎的查詢地址,這個地址中就可以通過解析將用戶查詢使用的關(guān)鍵詞提取出來:
比如:
2003-03-26 15:43:58 123.123.123.123 - GET /index.html 200 192 HTTP/1.1 Mozilla/4.0+(compatible;+MSIE+5.01;+Windows+NT+5.0) http://www.google.com/search?q=chedong
AWStats在搜索引擎的關(guān)鍵短語和關(guān)鍵詞統(tǒng)計方面的功能還是比較完整的:可以對全世界3百多種機器爬蟲進行識別,并且可以識別大部分主流國際化搜索引擎和很多地區(qū)的本地語言搜索引擎。

Hacking AWStats
IIS按GMT時間的補丁:awstats.pl
IIS的日志時間是格林威治之間,中國本地時間和GMT有+8個小時差距,如果直接用TIMEZONE插件從格林威治時間轉(zhuǎn)換會有40%的性能下降,這里有一個將時間按本地時間修改時間坐標的補丁:
7696d7695
< my $TIME_ZONE = 8;
7698,7702c7697
< my $ix_local = $ix + $TIME_ZONE;
< if ($ix_local >= 24) {
< $ix_local = $ix_local - 24;
< }
< print "<TH width=19>$ix_local</TH>\n"; # width=19 instead of 18 to avoid a MacOS browser bug.
---
> print "<TH width=19>$ix</TH>\n"; # width=19 instead of 18 to avoid a MacOS browser bug.
7708,7712c7703
< my $ix_local = $ix + $TIME_ZONE;
< if ($ix_local >= 24) {
< $ix_local = $ix_local - 24;
< }
< my $hr= $ix_local + 1 ; if ($hr>12) { $hr=$hr-12; }
---
> my $hr=($ix+1); if ($hr>12) { $hr=$hr-12; }


針對中文搜索引擎的補?。?br>AWStats的搜索引擎中缺省沒有中文搜索引擎的定義,因此會漏掉很多來自國內(nèi)主流搜速引擎的統(tǒng)計:3721,搜狐,新浪,百度,網(wǎng)易等,以下是針對這些的補?。篶gi-bin/lib/search_engine.pm
58a59,60
> # Minor Chinese search engines
> "baidu\.", "163\.com", "sohu\.","sina\.","3721\.com",
140a143,148
> # Minor Chinese search engines
> "baidu\.","word=",
> "sina\.", "word=",
> "sohu\.","word=",
> "163\.com","q=",
> "3721\.com","name=",
228a237,238
> # Minor Chinese search engines
> "baidu\.","Baidu", "163\.com","NetEase","sina\.","Sina","sohu\.","Sohu","3721\.com","3721",


針對Google的Unicode查詢補丁:
因為Google對于Windows 2000上的IE瀏覽器缺省發(fā)送的查詢都是UTF-8格式的,而其他搜索引擎大部分使用的是系統(tǒng)本地編碼:GB2312,因此需要將查詢URI解碼后,還要根據(jù)是否使用UTF-8進行到GB2312的轉(zhuǎn)碼,否則同樣的單詞會在統(tǒng)計中留有UTF-8和GB2312兩條記錄。
15,16c15,16
< use Encode;
< use URI::Escape;
---
>
>
5692,5694d5691
< #UTF-8 encoding detection
< my $UnicodeDetected = 0;
< my $SearchQuery = "";
5696,5701d5692
< # Google use: ie=utf-8
< # AllTheWeb use: cs=utf-8
< if ($param eq "ie=utf-8" || $param eq "cs=utf-8") {
< $UnicodeDetected = 1;
< }
<
5704d5694
< $param = uri_unescape($param);
5708,5712c5698,5700
< $param =~ s/^ +//;
< $param =~ s/ +$//;
< $param =~ tr/ /\+/s;
< $param =~ s/\+/ /s;
< $SearchQuery = $param;
---
> $param =~ s/^ +//; $param =~ s/ +$//; $param =~ tr/ /\+/s;
> if ((length $param) > 0) { $_keyphrases{$param}++; }
> last;
5714,5719d5701
<
< }
< #decoding unicode to GBK
< if ( $UnicodeDetected ) {
< $SearchQuery = decode("utf-8", $SearchQuery);
< $SearchQuery = encode("euc-cn", $SearchQuery);
5721,5722d5702
< print "$SearchQuery\n";
< if ((length $SearchQuery) > 0) { $_keyphrases{$SearchQuery}++; }



AWStats本身也包含了很多插件,包括將多個站點的統(tǒng)計再次匯總輸出,IIS日志時間轉(zhuǎn)換,URL的標題映射等;
http://awstats.sourceforge.net/awstats_contrib.html





參考資料:

AWStats:
http://awstats.sourceforge.net/


Webalizer:
http://www.webalizer.org/


日志分析工具:
http://directory.google.com/Top/Computers/Software/Internet/Site_Management/Log_Analysis/


商業(yè)日志統(tǒng)計/分析工具
http://directory.google.com/Top/Computers/Software/Internet/Site_Management/Log_Analysis/Commercial/


多站點的日志合并統(tǒng)計:
http://www.chedong.com/tech/rotate_merge_log.html

本站僅提供存儲服務(wù),所有內(nèi)容均由用戶發(fā)布,如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點擊舉報。
打開APP,閱讀全文并永久保存 查看更多類似文章
猜你喜歡
類似文章
AWStats 安裝其它參考
[教程]windows下安裝awstats來分析apache的訪問日志
強大的日志分析工具AWStats
網(wǎng)站日志_SEO術(shù)語解析
IIS日志導致C盤空間不斷減少處理辦法【敲黑板,劃重點】
老司機實戰(zhàn)Windows Server Docker:4 單節(jié)點Windows Docker服務(wù)器簡...
更多類似文章 >>
生活服務(wù)
分享 收藏 導長圖 關(guān)注 下載文章
綁定賬號成功
后續(xù)可登錄賬號暢享VIP特權(quán)!
如果VIP功能使用有故障,
可點擊這里聯(lián)系客服!

聯(lián)系客服