window平臺Redis安裝
下載地址: http://code.google.com/p/servicestack/wiki/RedisWindowsDownload
Redis文件夾有以下幾個文件
redis-server.exe:服務(wù)程序
redis-check-dump.exe:本地數(shù)據(jù)庫檢查
redis-check-aof.exe:更新日志檢查
redis-benchmark.exe:性能測試,用以模擬同時由N個客戶端發(fā)送M個 SETs/GETs 查詢 (類似于 Apache 的ab 工具).
指定redis的配置文件,如沒有指定,則使用默認(rèn)設(shè)置
解壓目錄:\>redis-server.exe redis.conf
redis-cli.exe:命令行客戶端,測試用
設(shè)置一個Key并獲取返回的值:
如何添加值到list:
redis-benchmark.exe:性能測試,用以模擬同時由N個客戶端發(fā)送M個 SETs/GETs 查詢 (類似于 Apache 的 ab 工具).
Windows下測試并發(fā)客戶端極限為60
linux平臺Redis安裝:
啟動
./redis-server redis.conf
進入命令交互模式,兩種:
1: ./redis-cli
2: telnet 127.0.0.1 6379 (ip接端口)
=============================================================
配置文件參數(shù)說明:
1. Redis默認(rèn)不是以守護進程的方式運行,可以通過該配置項修改,使用yes啟用守護進程
daemonize no
2. 當(dāng)Redis以守護進程方式運行時,Redis默認(rèn)會把pid寫入/var/run/redis.pid文件,可以通過pidfile指定
pidfile /var/run/redis.pid
3. 指定Redis監(jiān)聽端口,默認(rèn)端口為6379,作者在自己的一篇博文中解釋了為什么選用6379作為默認(rèn)端口,因為6379在手機按鍵上MERZ對應(yīng)的號碼,而MERZ取自意大利歌女Alessia Merz的名字
port 6379
4. 綁定的主機地址
bind 127.0.0.1
5.當(dāng) 客戶端閑置多長時間后關(guān)閉連接,如果指定為0,表示關(guān)閉該功能
timeout 300
6. 指定日志記錄級別,Redis總共支持四個級別:debug、verbose、notice、warning,默認(rèn)為verbose
loglevel verbose
7. 日志記錄方式,默認(rèn)為標(biāo)準(zhǔn)輸出,如果配置Redis為守護進程方式運行,而這里又配置為日志記錄方式為標(biāo)準(zhǔn)輸出,則日志將會發(fā)送給/dev/null
logfile stdout
8. 設(shè)置數(shù)據(jù)庫的數(shù)量,默認(rèn)數(shù)據(jù)庫為0,可以使用SELECT <dbid>命令在連接上指定數(shù)據(jù)庫id
databases 16
9. 指定在多長時間內(nèi),有多少次更新操作,就將數(shù)據(jù)同步到數(shù)據(jù)文件,可以多個條件配合
save <seconds> <changes>
Redis默認(rèn)配置文件中提供了三個條件:
save 900 1
save 300 10
save 60 10000
分別表示900秒(15分鐘)內(nèi)有1個更改,300秒(5分鐘)內(nèi)有10個更改以及60秒內(nèi)有10000個更改。
10. 指定存儲至本地數(shù)據(jù)庫時是否壓縮數(shù)據(jù),默認(rèn)為yes,Redis采用LZF壓縮,如果為了節(jié)省CPU時間,可以關(guān)閉該選項,但會導(dǎo)致數(shù)據(jù)庫文件變的巨大
rdbcompression yes
11. 指定本地數(shù)據(jù)庫文件名,默認(rèn)值為dump.rdb
dbfilename dump.rdb
12. 指定本地數(shù)據(jù)庫存放目錄
dir ./
13. 設(shè)置當(dāng)本機為slav服務(wù)時,設(shè)置master服務(wù)的IP地址及端口,在Redis啟動時,它會自動從master進行數(shù)據(jù)同步
slaveof <masterip> <masterport>
14. 當(dāng)master服務(wù)設(shè)置了密碼保護時,slav服務(wù)連接master的密碼
masterauth <master-password>
15. 設(shè)置Redis連接密碼,如果配置了連接密碼,客戶端在連接Redis時需要通過AUTH <password>命令提供密碼,默認(rèn)關(guān)閉
requirepass foobared
16. 設(shè)置同一時間最大客戶端連接數(shù),默認(rèn)無限制,Redis可以同時打開的客戶端連接數(shù)為Redis進程可以打開的最大文件描述符數(shù),如果設(shè)置 maxclients 0,表示不作限制。當(dāng)客戶端連接數(shù)到達限制時,Redis會關(guān)閉新的連接并向客戶端返回max number of clients reached錯誤信息
maxclients 128
17. 指定Redis最大內(nèi)存限制,Redis在啟動時會把數(shù)據(jù)加載到內(nèi)存中,達到最大內(nèi)存后,Redis會先嘗試清除已到期或即將到期的Key,當(dāng)此方法處理 后,仍然到達最大內(nèi)存設(shè)置,將無法再進行寫入操作,但仍然可以進行讀取操作。Redis新的vm機制,會把Key存放內(nèi)存,Value會存放在swap區(qū)
maxmemory <bytes>
18. 指定是否在每次更新操作后進行日志記錄,Redis在默認(rèn)情況下是異步的把數(shù)據(jù)寫入磁盤,如果不開啟,可能會在斷電時導(dǎo)致一段時間內(nèi)的數(shù)據(jù)丟失。因為 redis本身同步數(shù)據(jù)文件是按上面save條件來同步的,所以有的數(shù)據(jù)會在一段時間內(nèi)只存在于內(nèi)存中。默認(rèn)為no
appendonly no
19. 指定更新日志文件名,默認(rèn)為appendonly.aof
appendfilename appendonly.aof
20. 指定更新日志條件,共有3個可選值:
no:表示等操作系統(tǒng)進行數(shù)據(jù)緩存同步到磁盤(快)
always:表示每次更新操作后手動調(diào)用fsync()將數(shù)據(jù)寫到磁盤(慢,安全)
everysec:表示每秒同步一次(折衷,默認(rèn)值)
appendfsync everysec
21. 指定是否啟用虛擬內(nèi)存機制,默認(rèn)值為no,簡單的介紹一下,VM機制將數(shù)據(jù)分頁存放,由Redis將訪問量較少的頁即冷數(shù)據(jù)swap到磁盤上,訪問多的頁面由磁盤自動換出到內(nèi)存中(在后面的文章我會仔細(xì)分析Redis的VM機制)
vm-enabled no
22. 虛擬內(nèi)存文件路徑,默認(rèn)值為/tmp/redis.swap,不可多個Redis實例共享
vm-swap-file /tmp/redis.swap
23. 將所有大于vm-max-memory的數(shù)據(jù)存入虛擬內(nèi)存,無論vm-max-memory設(shè)置多小,所有索引數(shù)據(jù)都是內(nèi)存存儲的(Redis的索引數(shù)據(jù) 就是keys),也就是說,當(dāng)vm-max-memory設(shè)置為0的時候,其實是所有value都存在于磁盤。默認(rèn)值為0
vm-max-memory 0
24. Redis swap文件分成了很多的page,一個對象可以保存在多個page上面,但一個page上不能被多個對象共享,vm-page-size是要根據(jù)存儲的 數(shù)據(jù)大小來設(shè)定的,作者建議如果存儲很多小對象,page大小最好設(shè)置為32或者64bytes;如果存儲很大大對象,則可以使用更大的page,如果不 確定,就使用默認(rèn)值
vm-page-size 32
25. 設(shè)置swap文件中的page數(shù)量,由于頁表(一種表示頁面空閑或使用的bitmap)是在放在內(nèi)存中的,,在磁盤上每8個pages將消耗1byte的內(nèi)存。
vm-pages 134217728
26. 設(shè)置訪問swap文件的線程數(shù),最好不要超過機器的核數(shù),如果設(shè)置為0,那么所有對swap文件的操作都是串行的,可能會造成比較長時間的延遲。默認(rèn)值為4
vm-max-threads 4
27. 設(shè)置在向客戶端應(yīng)答時,是否把較小的包合并為一個包發(fā)送,默認(rèn)為開啟
glueoutputbuf yes
28. 指定在超過一定的數(shù)量或者最大的元素超過某一臨界值時,采用一種特殊的哈希算法
hash-max-zipmap-entries 64
hash-max-zipmap-value 512
29. 指定是否激活重置哈希,默認(rèn)為開啟(后面在介紹Redis的哈希算法時具體介紹)
activerehashing yes
30. 指定包含其它的配置文件,可以在同一主機上多個Redis實例之間使用同一份配置文件,而同時各個實例又擁有自己的特定配置文件
include /path/to/local.conf
1. Redis官方文檔對VM的使用提出了一些建議:
當(dāng)你的key很小而value很大時,使用VM的效果會比較好.因為這樣節(jié)約的內(nèi)存比較大.
當(dāng)你的key不小時,可以考慮使用一些非常方法將很大的key變成很大的value,比如你可以考慮將key,value組合成一個新的value.
最好使用linux ext3 等對稀疏文件支持比較好的文件系統(tǒng)保存你的swap文件.
vm-max-threads這個參數(shù),可以設(shè)置訪問swap文件的線程數(shù),設(shè)置最好不要超過機器的核數(shù).如果設(shè)置為0,那么所有對swap文件的操作都是串行的.可能會造成比較長時間的延遲,但是對數(shù)據(jù)完整性有很好的保證.
2. 關(guān)于Redis新的存儲模式diskstore(http://timyang.net/data/redis-diskstore),節(jié)選:適合Web 2.0數(shù)據(jù)訪問最佳的方式就是完全基于內(nèi)存,比如用Memcached或者Redis snapshot方式。但是更多的業(yè)務(wù)場景是數(shù)據(jù)規(guī)模會超過RAM容量,因此有幾種不同的設(shè)計模式。VM方式: 將數(shù)據(jù)分頁存放,由應(yīng)用(如Redis)或者操作系統(tǒng)(如Varnish)將訪問量較少的頁即冷數(shù)據(jù)swap到磁盤上,訪問多的頁面由磁盤自動換出到內(nèi)存中。應(yīng)用實現(xiàn)VM缺點是代碼邏輯復(fù)雜,如果業(yè)務(wù)上冷熱數(shù)據(jù)邊界并不分明,則換入換出代價太高,系統(tǒng)整體性能低。不少搶鮮的網(wǎng)友在微博上也反饋過使用VM種種不穩(wěn)定情況。操作系統(tǒng)實現(xiàn)缺點在于主要OS的VM換入換出是基于Page概念,比如OS VM1個Page是4K, 4K中只要還有一個元素即使只有1個字節(jié)被訪問,這個頁也不會被SWAP,換入也同樣道理,讀到一個字節(jié)可能會換入4K無用的內(nèi)存。而Redis自己實現(xiàn)則可以達到控制換入的粒度。另外訪問操作系統(tǒng)SWAP內(nèi)存區(qū)域時block進程,也是導(dǎo)致Redis要自己實現(xiàn)VM原因之一。 磁盤方式: 所有的數(shù)據(jù)讀寫訪問都是基于磁盤,由操作系統(tǒng)來只能的緩存訪問的數(shù)據(jù)。由于現(xiàn)代操作系統(tǒng)都非常聰明,會將頻繁訪問的數(shù)據(jù)加入到內(nèi)存中,因此應(yīng)用并不需要過多特殊邏輯。MongoDB就是這種設(shè)計方式。這種方式也有一些已知的缺點,比如操作MMap寫入磁盤由操作系統(tǒng)控制,操作系統(tǒng)先寫哪里后寫哪里應(yīng)用并不知情,如果寫入過程中發(fā)生了crash則數(shù)據(jù)一致性會存在問題。這個也是MongoDB飽受爭議的單機Durability問題硬盤存儲+cache方式: 實際原理和mysql+memcache方式類似,只不過將兩者功能合二為一到一個底層服務(wù)中,簡化了調(diào)用。
在上面幾種方式中,除去VM,antirez覺得MongoDB方式也不太適合,因此選擇了disktore方式來實現(xiàn)新的磁盤存儲,具體細(xì)節(jié)是1) 讀操作,使用read through以及LRU方式。內(nèi)存中不存在的數(shù)據(jù)從磁盤拉取并放入內(nèi)存,內(nèi)存中放不下的數(shù)據(jù)采用LRU淘汰。
2) 寫操作,采用另外spawn一個線程單獨處理,寫線程通常是異步的,當(dāng)然也可以把cache-flush-delay配置設(shè)成0,Redis盡量保證即時寫入。但是在很多場合延遲寫會有更好的性能,比如一些計數(shù)器用Redis存儲,在短時間如果某個計數(shù)反復(fù)被修改,Redis只需要將最終的結(jié)果寫入磁盤。這種做法作者叫per key persistence。由于寫入會按key合并,因此和snapshot還是有差異,disk store并不能保證時間一致性。由于寫操作是單線程,即使cache-flush-delay設(shè)成0,多個client同時寫則需要排隊等待,如果隊列容量超過cache-max-memory,Redis設(shè)計會進入等待狀態(tài),造成調(diào)用方卡住。Google Group上有熱心網(wǎng)友迅速完成了壓力測試,當(dāng)內(nèi)存用完之后,set每秒處理速度從25k下降到10k再到后來幾乎卡住。雖然通過增加cache-flush-delay可以提高相同key重復(fù)寫入性能;通過增加cache-max-memory可以應(yīng)對臨時峰值寫入。但是diskstore寫入瓶頸最終還是在IO。
3) rdb 和新 diskstore 格式關(guān)系rdb是傳統(tǒng)Redis內(nèi)存方式的存儲格式,diskstore是另外一種格式,那兩者關(guān)系如何?
1.通過BGSAVE可以隨時將diskstore格式另存為rdb格式,而且rdb格式還用于Redis復(fù)制以及不同存儲方式之間的中間格式。
2.通過工具可以將rdb格式轉(zhuǎn)換成diskstore格式。
=============================================================