2.如果是其他的分表方式,建議用sphinx先建索引,然后查詢分頁,我們公司現(xiàn)在就是這樣干的
Mysql分庫分表方案
1.為什么要分表:
當一張表的數(shù)據(jù)達到幾千萬時,你查詢一次所花的時間會變多,如果有聯(lián)合查詢的話,我想有可能會死在那兒了。分表的目的就在于此,減小數(shù)據(jù)庫的負擔,縮短查詢時間。
mysql中有一種機制是表鎖定和行鎖定,是為了保證數(shù)據(jù)的完整性。表鎖定表示你們都不能對這張表進行操作,必須等我對表操作完才行。行鎖定也一樣,別的sql必須等我對這條數(shù)據(jù)操作完了,才能對這條數(shù)據(jù)進行操作。
2. mysql proxy:amoeba
做mysql集群,利用amoeba。
從上層的java程序來講,不需要知道主服務器和從服務器的來源,即主從數(shù)據(jù)庫服務器對于上層來講是透明的。可以通過amoeba來配置。
3.大數(shù)據(jù)量并且訪問頻繁的表,將其分為若干個表
比如對于某網站平臺的數(shù)據(jù)庫表-公司表,數(shù)據(jù)量很大,這種能預估出來的大數(shù)據(jù)量表,我們就事先分出個N個表,這個N是多少,根據(jù)實際情況而定。
某網站現(xiàn)在的數(shù)據(jù)量至多是5000萬條,可以設計每張表容納的數(shù)據(jù)量是500萬條,也就是拆分成10張表,
那么如何判斷某張表的數(shù)據(jù)是否容量已滿呢?可以在程序段對于要新增數(shù)據(jù)的表,在插入前先做統(tǒng)計表記錄數(shù)量的操作,當<500萬條數(shù)據(jù),就直接插入,當已經到達閥值,可以在程序段新創(chuàng)建數(shù)據(jù)庫表(或者已經事先創(chuàng)建好),再執(zhí)行插入操作。
4. 利用merge存儲引擎來實現(xiàn)分表
如果要把已有的大數(shù)據(jù)量表分開比較痛苦,最痛苦的事就是改代碼,因為程序里面的sql語句已經寫好了。用merge存儲引擎來實現(xiàn)分表, 這種方法比較適合.
舉例子:
------------------- ----------華麗的分割線--------------------------------------
數(shù)據(jù)庫架構
1、簡單的MySQL主從復制:
MySQL的主從復制解決了數(shù)據(jù)庫的讀寫分離,并很好的提升了讀的性能,其圖如下:
其主從復制的過程如下圖所示:
但是,主從復制也帶來其他一系列性能瓶頸問題:
1. 寫入無法擴展
2. 寫入無法緩存
3. 復制延時
4. 鎖表率上升
5. 表變大,緩存率下降
那問題產生總得解決的,這就產生下面的優(yōu)化方案,一起來看看。
2、MySQL垂直分區(qū)
如果把業(yè)務切割得足夠獨立,那把不同業(yè)務的數(shù)據(jù)放到不同的數(shù)據(jù)庫服務器將是一個不錯的方案,而且萬一其中一個業(yè)務崩潰了也不會影響其他業(yè)務的正常進行,并且也起到了負載分流的作用,大大提升了數(shù)據(jù)庫的吞吐能力。經過垂直分區(qū)后的數(shù)據(jù)庫架構圖如下:
然而,盡管業(yè)務之間已經足夠獨立了,但是有些業(yè)務之間或多或少總會有點聯(lián)系,如用戶,基本上都會和每個業(yè)務相關聯(lián),況且這種分區(qū)方式,也不能解決單張表數(shù)據(jù)量暴漲的問題,因此為何不試試水平分割呢?
3、MySQL水平分片(Sharding)
這是一個非常好的思路,將用戶按一定規(guī)則(按id哈希)分組,并把該組用戶的數(shù)據(jù)存儲到一個數(shù)據(jù)庫分片中,即一個sharding,這樣隨著用戶數(shù)量的增加,只要簡單地配置一臺服務器即可,原理圖如下:
如何來確定某個用戶所在的shard呢,可以建一張用戶和shard對應的數(shù)據(jù)表,每次請求先從這張表找用戶的shard id,再從對應shard中查詢相關數(shù)據(jù),如下圖所示: