Redis是什么不管你是從事Python、Java、Go、PHP、Ruby等等......Redis都應(yīng)該是一個(gè)比較熟悉的中間件。而大部分經(jīng)常寫業(yè)務(wù)代碼的程序員,實(shí)際工作中或許只用到了set value、GetValue兩個(gè)操作,而對(duì)Redis缺乏一個(gè)整體的認(rèn)識(shí)。今天就來(lái)對(duì)Redis的常見(jiàn)問(wèn)題做一個(gè)總結(jié)。希望能夠幫助到大家。
Redis是一個(gè)開(kāi)源的底層使用C語(yǔ)言編寫的Key-Value存儲(chǔ)數(shù)據(jù)庫(kù)。可用于緩存、事件發(fā)布訂閱、高速隊(duì)列等場(chǎng)景。而且支持豐富的數(shù)據(jù)類型:string(字符串)、Hash(哈希)、List(列表)、Set(無(wú)序集合)、Zset(sorted set:有序集合)。
Redis在項(xiàng)目中的應(yīng)用場(chǎng)景:
1、緩存數(shù)據(jù)
最常用,對(duì)經(jīng)常需要查詢且變動(dòng)不是很頻繁的數(shù)據(jù) 常稱作熱點(diǎn)數(shù)據(jù)。
2、消息隊(duì)列
相當(dāng)于消息訂閱系統(tǒng),比如ActiveMQ、RocketMQ。如果對(duì)數(shù)據(jù)有較高一致性要求時(shí),還是建議使用MQ。
3、計(jì)數(shù)器
比如統(tǒng)計(jì)點(diǎn)擊率、點(diǎn)贊率,Redis具有原子性,可以避免并發(fā)問(wèn)題。
4、電商網(wǎng)站信息
大型電商平臺(tái)初始化頁(yè)面數(shù)據(jù)的緩存。比如去哪兒網(wǎng)購(gòu)買機(jī)票的時(shí)候首頁(yè)的價(jià)格和你點(diǎn)進(jìn)去的價(jià)格會(huì)有差異。
5、熱點(diǎn)數(shù)據(jù)
比如新聞網(wǎng)站實(shí)時(shí)熱點(diǎn)、微博熱搜等,需要頻繁更新??倲?shù)據(jù)量比較大的時(shí)候直接從數(shù)據(jù)庫(kù)查詢會(huì)影響性能。
給個(gè)愛(ài)的理由
在單節(jié)點(diǎn)服務(wù)器我們通常是這樣的。
隨著企業(yè)的發(fā)展、業(yè)務(wù)的擴(kuò)展。面對(duì)海量的數(shù)據(jù),直接使用MySQL會(huì)導(dǎo)致性能下降,數(shù)據(jù)的讀寫也會(huì)非常慢。于是我們就可以搭配緩存來(lái)處理海量數(shù)據(jù)。
于是現(xiàn)在我們是這樣的:
上圖只是簡(jiǎn)述了緩存的作用,當(dāng)數(shù)據(jù)繼續(xù)增大我們需要利用主從復(fù)制技術(shù)來(lái)達(dá)到讀寫分離。
數(shù)據(jù)庫(kù)層直接與緩存進(jìn)行交互,如果緩存中有數(shù)據(jù)直接返回客戶端,如果沒(méi)有才會(huì)從MySQL中去查詢。從而減小了數(shù)據(jù)庫(kù)的壓力,提升了效率。
平時(shí)發(fā)布了一款新手機(jī),會(huì)有搶購(gòu)活動(dòng)。同一時(shí)間段,服務(wù)端會(huì)收到很多的下單請(qǐng)求。
我們需要使用Redis的原子操作來(lái)實(shí)現(xiàn)這個(gè)“單線程”。首先我們把庫(kù)存存在一個(gè)列表中,假設(shè)有10件庫(kù)存,就往列表中push10個(gè)數(shù),這個(gè)數(shù)沒(méi)有實(shí)際意義,僅僅只是代表10件庫(kù)存。
搶購(gòu)開(kāi)始后,每到來(lái)一個(gè)用戶,就從列表中POP一個(gè)數(shù),表示用戶搶購(gòu)成功。當(dāng)列表為空時(shí),表示已經(jīng)被搶光了。因?yàn)榱斜淼腜OP操作是原子的,即使有很多用戶同時(shí)到達(dá),也是依次執(zhí)行的。
題外話:還有的搶購(gòu)是直接在前端頁(yè)面限制請(qǐng)求,這些請(qǐng)求直接被前端攔截,并沒(méi)有到后端服務(wù)器。
Redis為什么會(huì)這么快?
1、Redis是純內(nèi)存操作,需要的時(shí)候需要我們手動(dòng)持久化到硬盤中。
2、Redis是單線程,從而避開(kāi)了多線程中上下文頻繁切換的操作。
3、Redis數(shù)據(jù)結(jié)構(gòu)簡(jiǎn)單、對(duì)數(shù)據(jù)的操作也比較簡(jiǎn)單。
4、使用底層模型不同,它們之間底層實(shí)現(xiàn)方式以及與客戶端之間通信的應(yīng)用協(xié)議不一樣,Redis直接自己構(gòu)建了VM機(jī)制 ,因?yàn)橐话愕南到y(tǒng)調(diào)用系統(tǒng)函數(shù)的話,會(huì)浪費(fèi)一定的時(shí)間去移動(dòng)和請(qǐng)求
5、使用多路I/O復(fù)用模型,非阻塞I/O。
多路I/O復(fù)用
I/O多路復(fù)用技術(shù),是為了解決進(jìn)程或線程阻塞到某個(gè)I/O系統(tǒng)調(diào)用而出現(xiàn)的技術(shù),可以監(jiān)視多個(gè)描述符,一旦某個(gè)描述符就緒(一般是讀就緒或者寫就緒,就是這個(gè)文件描述符進(jìn)行讀寫操作之前),能夠通知程序進(jìn)行相應(yīng)的讀寫操作。
Redis數(shù)據(jù)類型應(yīng)用場(chǎng)景
前面提到了Redis支持五種豐富的數(shù)據(jù)類型,那么在不同場(chǎng)景下我們?cè)撛趺催x擇呢?
String
字符串是最常用的數(shù)據(jù)類型,他能夠存儲(chǔ)任何類型的字符串,當(dāng)然也包括二進(jìn)制、JSON化的對(duì)象、甚至是Base64編碼之后的圖片。在Redis中一個(gè)字符串最大的容量為512MB,可以說(shuō)是無(wú)所不能了。
Hash
常用作存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)、比如論壇系統(tǒng)中可以用來(lái)存儲(chǔ)用戶的ID、昵稱、頭像、積分等信息。如果需要修改其中的信息,只需要通過(guò)Key取出Value進(jìn)行反序列化修改某一項(xiàng)的值,再序列化存儲(chǔ)到Redis中。
對(duì)于Hash結(jié)構(gòu)存儲(chǔ),由于Hash結(jié)構(gòu)會(huì)在單個(gè)Hash元素在不足一定數(shù)量時(shí)進(jìn)行壓縮存儲(chǔ),所以可以大量節(jié)約內(nèi)存。這一點(diǎn)在String結(jié)構(gòu)里是不存在的。
List
List的實(shí)現(xiàn)為一個(gè)雙向鏈表,即可以支持反向查找和遍歷,更方便操作,不過(guò)帶來(lái)了部分額外的內(nèi)存開(kāi)銷,Redis內(nèi)部的很多實(shí)現(xiàn),包括發(fā)送緩沖隊(duì)列等也都是用的這個(gè)數(shù)據(jù)結(jié)構(gòu)。另外,可以利用lrange命令,做基于Redis的分頁(yè)功能,性能極佳,用戶體驗(yàn)好。
Set
set對(duì)外提供的功能與List類似是一個(gè)列表的功能,特殊之處在于set是可以自動(dòng)排重的,當(dāng)你需要存儲(chǔ)一個(gè)列表數(shù)據(jù),又不希望出現(xiàn)重復(fù)數(shù)據(jù)時(shí),這個(gè)時(shí)候就可以選擇使用set。
Sorted Set
可以按照某個(gè)條件的權(quán)重進(jìn)行排序,比如可以通過(guò)點(diǎn)擊數(shù)做出排行榜的數(shù)據(jù)應(yīng)用。
Redis緩存的數(shù)據(jù)一致性
真正意義上來(lái)講數(shù)據(jù)庫(kù)的數(shù)據(jù)和緩存的數(shù)據(jù)是不可能一致的,數(shù)據(jù)分為最終一致和強(qiáng)一致兩類。如果業(yè)務(wù)中對(duì)數(shù)據(jù)的要求必須強(qiáng)一致那么就不能使用緩存。緩存能做的只能保證數(shù)據(jù)的最終一致性。
我們能做的只能是盡可能地保證數(shù)據(jù)的一致性。不管是先刪庫(kù)再刪緩存還是先刪緩存再刪庫(kù),都可能出現(xiàn)數(shù)據(jù)不一致的情況,因?yàn)樽x和寫操作是并發(fā)的,我們沒(méi)辦法保證他們的先后順序。具體應(yīng)對(duì)策略還是要根據(jù)業(yè)務(wù)需求來(lái)定,這里就不贅述了。
Redis的過(guò)期和內(nèi)存淘汰
Redis存儲(chǔ)數(shù)據(jù)時(shí)我們可以設(shè)置他的過(guò)期時(shí)間。但是這個(gè)Key是怎么刪除的呢?
一開(kāi)始我認(rèn)為是定時(shí)刪除,后來(lái)發(fā)現(xiàn)并不是這樣,因?yàn)槿绻〞r(shí)刪除,需要一個(gè)定時(shí)器來(lái)不斷地負(fù)責(zé)監(jiān)控這個(gè)Key,雖然內(nèi)存釋放了,但是非常消耗CPU資源。
Redis過(guò)期刪除采用的是定期刪除,默認(rèn)是每100ms檢測(cè)一次,遇到過(guò)期的Key則進(jìn)行刪除,這里的檢測(cè)并不是順序檢測(cè),而是隨機(jī)檢測(cè)。
那這樣會(huì)不會(huì)有漏網(wǎng)之魚?顯然Redis也考慮到了這一點(diǎn),當(dāng)我們?nèi)プx/寫一個(gè)已經(jīng)過(guò)期的Key時(shí),會(huì)觸發(fā)Redis的惰性刪除策略,直接回干掉過(guò)期的Key。
內(nèi)存淘汰是指用戶存儲(chǔ)的一部分Key是可以被Redis自動(dòng)的刪除,從而會(huì)出現(xiàn)從緩存中查不到數(shù)據(jù)的情況。加入我們的服務(wù)器內(nèi)存為2G、但是隨著業(yè)務(wù)的發(fā)展緩存的數(shù)據(jù)已經(jīng)超過(guò)2G了。
但是這并不影響我們程序的運(yùn)行,因?yàn)椴僮飨到y(tǒng)的可見(jiàn)內(nèi)存并不受物理內(nèi)存的限制。物理內(nèi)存不夠用沒(méi)關(guān)系,計(jì)算機(jī)會(huì)從硬盤中劃出一片空間來(lái)作為虛擬內(nèi)存。這就是Redis設(shè)計(jì)兩種應(yīng)用場(chǎng)景的初衷:緩存、持久存儲(chǔ)。
緩存擊穿
緩存只是為了緩解數(shù)據(jù)庫(kù)壓力而添加的一層保護(hù)層,當(dāng)從緩存中查詢不到我們需要的數(shù)據(jù)就要去數(shù)據(jù)庫(kù)中查詢了。如果被黑客利用,頻繁去訪問(wèn)緩存中沒(méi)有的數(shù)據(jù),那么緩存就失去了存在的意義,瞬間所有請(qǐng)求的壓力都落在了數(shù)據(jù)庫(kù)上,這樣會(huì)導(dǎo)致數(shù)據(jù)庫(kù)連接異常。
解決方案:
1、后臺(tái)設(shè)置定時(shí)任務(wù),主動(dòng)地去更新緩存數(shù)據(jù)。這種方案容易理解,但是當(dāng)Key比較分散的時(shí)候,操作起來(lái)還是比較復(fù)雜的。
2、分級(jí)緩存。比如設(shè)置兩層緩存保護(hù)層,1級(jí)緩存失效時(shí)間短,2級(jí)緩存失效時(shí)間長(zhǎng)。有請(qǐng)求過(guò)來(lái)優(yōu)先從1級(jí)緩存中去查找,如果在1級(jí)緩存中沒(méi)有找到相應(yīng)數(shù)據(jù),則對(duì)該線程進(jìn)行加鎖,這個(gè)線程再?gòu)臄?shù)據(jù)庫(kù)中取到數(shù)據(jù),更新至1級(jí)和2級(jí)緩存。其他線程則直接從2級(jí)線程中獲取。
3、提供一個(gè)攔截機(jī)制,內(nèi)部維護(hù)一系列合法的Key值。當(dāng)請(qǐng)求的Key不合法時(shí),直接返回。
緩存雪崩
緩存雪崩就是指緩存由于某些原因(比如宕機(jī)、Cache服務(wù)掛了或者不響應(yīng))整體Crash掉了,導(dǎo)致大量請(qǐng)求到達(dá)后端數(shù)據(jù)庫(kù),從而導(dǎo)致數(shù)據(jù)庫(kù)崩潰,整個(gè)系統(tǒng)崩潰、發(fā)生災(zāi)難,也就是上面提到的緩存擊穿。
作者:初一,曾在知名互聯(lián)網(wǎng)公司擔(dān)任Java研發(fā)一職,項(xiàng)目帶頭人。2018年中旬轉(zhuǎn)行Python,熱愛(ài)爬蟲喜歡折騰新東西。Coding與樂(lè)趣同在。Talk is cheap,Show me the code。
聯(lián)系客服