Redis為持久化提供了兩種方式:
本文將通過下面內容的介紹,希望能夠讓大家更全面、清晰的認識這兩種持久化方式,同時理解這種保存數(shù)據的思路,應用于自己的系統(tǒng)設計中。
為了使用持久化的功能,我們需要先知道該如何開啟持久化的功能。
# 時間策略save 900 1save 300 10save 60 10000# 文件名稱dbfilename dump.rdb# 文件保存路徑dir /home/work/app/redis/data/# 如果持久化出錯,主進程是否停止寫入stop-writes-on-bgsave-error yes# 是否壓縮rdbcompression yes# 導入時是否檢查rdbchecksum yes
配置其實非常簡單,這里說一下持久化的時間策略具體是什么意思。
save 900 1
表示900s內如果有1條是寫入命令,就觸發(fā)產生一次快照,可以理解為就進行一次備份save 300 10
表示300s內有10條寫入,就產生快照下面的類似,那么為什么需要配置這么多條規(guī)則呢?因為Redis每個時段的讀寫請求肯定不是均衡的,為了平衡性能與數(shù)據安全,我們可以自由定制什么情況下觸發(fā)備份。所以這里就是根據自身Redis寫入情況來進行合理配置。
stop-writes-on-bgsave-error yes
這個配置也是非常重要的一項配置,這是當備份進程出錯時,主進程就停止接受新的寫入操作,是為了保護持久化的數(shù)據一致性問題。如果自己的業(yè)務有完善的監(jiān)控系統(tǒng),可以禁止此項配置, 否則請開啟。
關于壓縮的配置 rdbcompression yes
,建議沒有必要開啟,畢竟Redis本身就屬于CPU密集型服務器,再開啟壓縮會帶來更多的CPU消耗,相比硬盤成本,CPU更值錢。
當然如果你想要禁用RDB配置,也是非常容易的,只需要在save的最后一行寫上:save ""
# 是否開啟aofappendonly yes# 文件名稱appendfilename "appendonly.aof"# 同步方式appendfsync everysec# aof重寫期間是否同步no-appendfsync-on-rewrite no# 重寫觸發(fā)配置auto-aof-rewrite-percentage 100auto-aof-rewrite-min-size 64mb# 加載aof時如果有錯如何處理aof-load-truncated yes# 文件重寫策略aof-rewrite-incremental-fsync yes
還是重點解釋一些關鍵的配置:
appendfsync everysec
它其實有三種模式:
一般情況下都采用 everysec 配置,這樣可以兼顧速度與安全,最多損失1s的數(shù)據。
aof-load-truncated yes
如果該配置啟用,在加載時發(fā)現(xiàn)aof尾部不正確是,會向客戶端寫入一個log,但是會繼續(xù)執(zhí)行,如果設置為 no
,發(fā)現(xiàn)錯誤就會停止,必須修復后才能重新加載。
關于原理部分,我們主要來看RDB與AOF是如何完成持久化的,他們的過程是如何。
在介紹原理之前先說下Redis內部的定時任務機制,定時任務執(zhí)行的頻率可以在配置文件中通過 hz 10
來設置(這個配置表示1s內執(zhí)行10次,也就是每100ms觸發(fā)一次定時任務)。該值最大能夠設置為:500,但是不建議超過:100,因為值越大說明執(zhí)行頻率越頻繁越高,這會帶來CPU的更多消耗,從而影響主進程讀寫性能。
定時任務使用的是Redis自己實現(xiàn)的 TimeEvent,它會定時去調用一些命令完成定時任務,這些任務可能會阻塞主進程導致Redis性能下降。因此我們在配置Redis時,一定要整體考慮一些會觸發(fā)定時任務的配置,根據實際情況進行調整。
在Redis中RDB持久化的觸發(fā)分為兩種:自己手動觸發(fā)與Redis定時觸發(fā)。
針對RDB方式的持久化,手動觸發(fā)可以使用:
而自動觸發(fā)的場景主要是有以下幾點:
save m n
配置規(guī)則自動觸發(fā);bgsave
;debug reload
時;shutdown
時,如果沒有開啟aof,也會觸發(fā)。由于 save
基本不會被使用到,我們重點看看 bgsave
這個命令是如何完成RDB的持久化的。
這里注意的是 fork
操作會阻塞,導致Redis讀寫性能下降。我們可以控制單個Redis實例的最大內存,來盡可能降低Redis在fork時的事件消耗。以及上面提到的自動觸發(fā)的頻率減少fork次數(shù),或者使用手動觸發(fā),根據自己的機制來完成持久化。
AOF的整個流程大體來看可以分為兩步,一步是命令的實時寫入(如果是 appendfsync everysec
配置,會有1s損耗),第二步是對aof文件的重寫。
對于增量追加到文件這一步主要的流程是:命令寫入=》追加到aof_buf =》同步到aof磁盤。那么這里為什么要先寫入buf在同步到磁盤呢?如果實時寫入磁盤會帶來非常高的磁盤IO,影響整體性能。
aof重寫是為了減少aof文件的大小,可以手動或者自動觸發(fā),關于自動觸發(fā)的規(guī)則請看上面配置部分。fork的操作也是發(fā)生在重寫這一步,也是這里會對主進程產生阻塞。
手動觸發(fā): bgrewriteaof
,自動觸發(fā) 就是根據配置規(guī)則來觸發(fā),當然自動觸發(fā)的整體時間還跟Redis的定時任務頻率有關系。
下面來看看重寫的一個流程圖:
對于上圖有四個關鍵點補充一下:
不能是RDB還是AOF都是先寫入一個臨時文件,然后通過 rename
完成文件的替換工作。
數(shù)據的備份、持久化做完了,我們如何從這些持久化文件中恢復數(shù)據呢?如果一臺服務器上有既有RDB文件,又有AOF文件,該加載誰呢?
其實想要從這些文件中恢復數(shù)據,只需要重新啟動Redis即可。我們還是通過圖來了解這個流程:
啟動時會先檢查AOF文件是否存在,如果不存在就嘗試加載RDB。那么為什么會優(yōu)先加載AOF呢?因為AOF保存的數(shù)據更完整,通過上面的分析我們知道AOF基本上最多損失1s的數(shù)據。
通過上面的分析,我們都知道RDB的快照、AOF的重寫都需要fork,這是一個重量級操作,會對Redis造成阻塞。因此為了不影響Redis主進程響應,我們需要盡可能降低阻塞。
在線上我們到底該怎么做?我提供一些自己的實踐經驗。
本文的內容主要是運維上的一些注意點,但我們開發(fā)者了解到這些知識,在某些時候有助于我們發(fā)現(xiàn)詭異的bug。接下來會介紹Redis的主從復制與集群的知識。