XXXX項(xiàng)目緩存方案總結(jié)
XXXX項(xiàng)目是目前在實(shí)際工作中正在做的事情，該項(xiàng)目是一個(gè)大型系統(tǒng)的內(nèi)容管理內(nèi)核，負(fù)責(zé)最核心的meta data的集中管理，性能有較高的要求，設(shè)計(jì)初期就要求能夠支持cluster。項(xiàng)目使用hibernate 3.2，針對(duì)開發(fā)過程中對(duì)于各種緩存的不同看法，撰寫了本文。重點(diǎn)在于澄清一些hibernate的緩存細(xì)節(jié)，糾正一些錯(cuò)誤的緩存用法。
一、hibernate的二級(jí)緩存
如果開啟了二級(jí)緩存，hibernate在執(zhí)行任何一次查詢的之后，都會(huì)把得到的結(jié)果集放到緩存中，緩存結(jié)構(gòu)可以看作是一個(gè)hash table，key是數(shù)據(jù)庫(kù)記錄的id，value是id對(duì)應(yīng)的pojo對(duì)象。當(dāng)用戶根據(jù)id查詢對(duì)象的時(shí)候（load、iterator方法），會(huì)首先在緩存中查找，如果沒有找到再發(fā)起數(shù)據(jù)庫(kù)查詢。但是如果使用hql發(fā)起查詢（find, query方法）則不會(huì)利用二級(jí)緩存，而是直接從數(shù)據(jù)庫(kù)獲得數(shù)據(jù)，但是它會(huì)把得到的數(shù)據(jù)放到二級(jí)緩存?zhèn)溆?。也就是說，基于hql的查詢，對(duì)二級(jí)緩存是只寫不讀的。
針對(duì)二級(jí)緩存的工作原理，采用iterator取代list來提高二級(jí)緩存命中率的想法是不可行的。Iterator的工作方式是根據(jù)檢索條件從數(shù)據(jù)庫(kù)中選取所有目標(biāo)數(shù)據(jù)的id，然后用這些id一個(gè)一個(gè)的到二級(jí)緩存里面做檢索，如果找到就直接加載，找不到就向數(shù)據(jù)庫(kù)做查詢。因此假如iterator檢索100條數(shù)據(jù)的話，最好情況是100%全部命中，最壞情況是0%命中，執(zhí)行101條sql把所有數(shù)據(jù)選出來。而list雖然不利用緩存，但是它只會(huì)發(fā)起1條sql取得所有數(shù)據(jù)。在合理利用分頁查詢的情況下，list整體效率高于iterator。
二級(jí)緩存的失效機(jī)制由hibernate控制，當(dāng)某條數(shù)據(jù)被修改之后，hibernate會(huì)根據(jù)它的id去做緩存失效操作?；诖藱C(jī)制，如果數(shù)據(jù)表不是被hibernate獨(dú)占（比如同時(shí)使用jdbc或者ado等），那么二級(jí)緩存無法得到有效控制。
由于hibernate的緩存接口很靈活，cache provider可以方便的切換，因此支持cluster環(huán)境不是大問題，通過使用swarmcache、jboss cache等支持分布式的緩存方案，可以實(shí)現(xiàn)。但是問題在于:
1、 分布式緩存本身成本偏高（比如使用同步復(fù)制模式的jboss cache）
2、 分布式環(huán)境通常對(duì)事務(wù)控制有較高要求，而目前的開源緩存方案對(duì)事務(wù)緩存（transaction cache）支持得不夠好。當(dāng)jta事務(wù)發(fā)生會(huì)滾，緩存的最后更新結(jié)果很難預(yù)料。這一點(diǎn)會(huì)帶來很大的部署成本，甚至得不償失。
結(jié)論：XXXX不應(yīng)把hibernate二級(jí)緩存作為優(yōu)化的主要手段，一般情況下建議不要使用。
原因如下：
1、 XXXX的DAO類大部分是從1.0升級(jí)過來，由于1.0采用的是hibernate 2.1，所以在批量刪除數(shù)據(jù)的時(shí)候采用了native sql的方式。雖然XXXX2.0已經(jīng)完全升級(jí)到hibernate 3.2，支持hibernate原生的批量刪改，但是由于hibernate批量操作的性能不如sql，而且為了兼容1.0的dao類，所以很多地方保留了sql操作。哪些數(shù)據(jù)表是單純被hibernate獨(dú)占無法統(tǒng)計(jì)，而且隨著將來業(yè)務(wù)的發(fā)展可能會(huì)有很大變數(shù)。因此不宜采用二級(jí)緩存。
2、 針對(duì)系統(tǒng)業(yè)務(wù)來說，基于id檢索的二級(jí)緩存命中率極為有限，hql被大量采用，二級(jí)緩存對(duì)性能的提升很有限。
3、 hibernate 3.0在做批量修改、批量更新的時(shí)候，是不會(huì)同步更新二級(jí)緩存的，該問題在hibernate 3.2中是否仍然存在尚不確定。
二、hibernate的查詢緩存
查詢緩存的實(shí)現(xiàn)機(jī)制與二級(jí)緩存基本一致，最大的差異在于放入緩存中的key是查詢的語句，value是查詢之后得到的結(jié)果集的id列表。表面看來這樣的方案似乎能解決hql利用緩存的問題，但是需要注意的是，構(gòu)成key的是：hql生成的sql、sql的參數(shù)、排序、分頁信息等。也就是說如果你的hql有小小的差異，比如第一條hql取1-50條數(shù)據(jù)，第二條hql取20-60條數(shù)據(jù)，那么hibernate會(huì)認(rèn)為這是兩個(gè)完全不同的key，無法重復(fù)利用緩存。因此利用率也不高。
另外一個(gè)需要注意的問題是，查詢緩存和二級(jí)緩存是有關(guān)聯(lián)關(guān)系的，他們不是完全獨(dú)立的兩套東西。假如一個(gè)查詢條件hql_1，第一次被執(zhí)行的時(shí)候，它會(huì)從數(shù)據(jù)庫(kù)取得數(shù)據(jù)，然后把查詢條件作為key，把返回?cái)?shù)據(jù)的所有id列表作為value（請(qǐng)注意僅僅是id）放到查詢緩存中，同時(shí)整個(gè)結(jié)果集放到class緩存（也就是二級(jí)緩存），key是id，value是pojo對(duì)象。當(dāng)你再次執(zhí)行hql_1，它會(huì)從緩存中得到id列表，然后根據(jù)這些列表一個(gè)一個(gè)的到class緩存里面去找pojo對(duì)象，如果找不到就向數(shù)據(jù)庫(kù)發(fā)起查詢。也就是說，如果二級(jí)緩存配置了超時(shí)時(shí)間（或者發(fā)呆時(shí)間），就有可能出現(xiàn)查詢緩存命中了，獲得了id列表，但是class里面相應(yīng)的pojo已經(jīng)因?yàn)槌瑫r(shí)(或發(fā)呆)被失效，hibernate就會(huì)根據(jù)id清單，一個(gè)一個(gè)的去向數(shù)據(jù)庫(kù)查詢，有多少個(gè)id，就執(zhí)行多少個(gè)sql。該情況將導(dǎo)致性能下降嚴(yán)重。
查詢緩存的失效機(jī)制也由hibernate控制，數(shù)據(jù)進(jìn)入緩存時(shí)會(huì)有一個(gè)timestamp，它和數(shù)據(jù)表的timestamp對(duì)應(yīng)。當(dāng)hibernate環(huán)境內(nèi)發(fā)生save、update等操作時(shí)，會(huì)更新被操作數(shù)據(jù)表的timestamp。用戶在獲取緩存的時(shí)候，一旦命中就會(huì)檢查它的timestamp是否和數(shù)據(jù)表的timestamp匹配，如果不，緩存會(huì)被失效。因此查詢緩存的失效控制是以數(shù)據(jù)表為粒度的，只要數(shù)據(jù)表中任何一條記錄發(fā)生一點(diǎn)修改，整個(gè)表相關(guān)的所有查詢緩存就都無效了。因此查詢緩存的命中率可能會(huì)很低。
結(jié)論：XXXX不應(yīng)把hibernate二級(jí)緩存作為優(yōu)化的主要手段，一般情況下建議不要使用。
原因如下：
1、 XXXX的上層業(yè)務(wù)中檢索條件都比較復(fù)雜，尤其是涉及多表操作的地方。很少出現(xiàn)重復(fù)執(zhí)行一個(gè)排序、分頁、參數(shù)一致的查詢，因此命中率很難提高。
2、 查詢緩存必須配合二級(jí)緩存一起使用，否則極易出現(xiàn)1+N的情況，否則性能不升反降
3、 使用查詢緩存必須在執(zhí)行查詢之前顯示調(diào)用Query.setCacheable(true)才能激活緩存，這勢(shì)必會(huì)對(duì)已有的hibernate封裝類帶來問題。
總結(jié)
詳細(xì)分析hibernate的二級(jí)緩存和查詢緩存之后，針對(duì)XXXX項(xiàng)目的具體情況做出結(jié)論，在底層使用通用緩存方案的想法基本上是不可取的。比較好的做法是在高層次中（業(yè)務(wù)邏輯層面），針對(duì)具體的業(yè)務(wù)邏輯狀況手動(dòng)使用數(shù)據(jù)緩存，不僅可以完全控制緩存的生命周期，還可以針對(duì)業(yè)務(wù)具體調(diào)整緩存方案提交命中率。Cluster中的緩存同步可以完全交給緩存本身的同步機(jī)制來完成。比如開源緩存swarmcache采用invalidate的機(jī)制，可以根據(jù)用戶指定的策略，在需要的時(shí)候向網(wǎng)絡(luò)中的其他swarmcache節(jié)點(diǎn)發(fā)送失效消息，這一機(jī)制和XXXX1.0中已經(jīng)采用的MappingCache的同步方案基本一致。建議采用。
