CPU緩存（Cache Memory）位于CPU與內(nèi)存之間的臨時存儲器，它的容量比內(nèi)存小但交換速度快。在緩存中的數(shù)據(jù)是內(nèi)存中的一小部分，但這一小部分是短時間內(nèi)CPU即將訪問的，當(dāng)CPU調(diào)用大量數(shù)據(jù)時，就可避開內(nèi)存直接從緩存中調(diào)用，從而加快讀取速度。而二級緩存則是介于一級緩存和內(nèi)存之間的存儲器，其容量較大于一級緩存、遠小于內(nèi)存，主要用來協(xié)調(diào)一級緩存于內(nèi)存之間的速率差。)
緩存的工作原理是當(dāng)CPU要讀取一個數(shù)據(jù)時，首先從緩存中查找，如果找到就立即讀取并送給CPU處理；如果沒有找到，就用相對慢的速度從內(nèi)存中讀取并送給CPU處理，同時把這個數(shù)據(jù)所在的數(shù)據(jù)塊調(diào)入緩存中，可以使得以后對整塊數(shù)據(jù)的讀取都從緩存中進行，不必再調(diào)用內(nèi)存。
正是這樣的讀取機制使CPU讀取緩存的命中率非常高（大多數(shù)CPU可達90%左右），也就是說CPU下一次要讀取的數(shù)據(jù)90%都在緩存中，只有大約10%需要從內(nèi)存讀取。這大大節(jié)省了CPU直接讀取內(nèi)存的時間，也使CPU讀取數(shù)據(jù)時基本無需等待?？偟膩碚f，CPU讀取數(shù)據(jù)的順序是先緩存后內(nèi)存。
最早先的CPU緩存是個整體的，而且容量很低，英特爾公司從Pentium時代開始把緩存進行了分類。當(dāng)時集成在CPU內(nèi)核中的緩存已不足以滿足CPU的需求，而制造工藝上的限制又不能大幅度提高緩存的容量。因此出現(xiàn)了集成在與CPU同一塊電路板上或主板上的緩存，此時就把 CPU內(nèi)核集成的緩存稱為一級緩存，而外部的稱為二級緩存。一級緩存中還分數(shù)據(jù)緩存（Data Cache，D-Cache）和指令緩存（Instruction Cache，I-Cache）。二者分別用來存放數(shù)據(jù)和執(zhí)行這些數(shù)據(jù)的指令，而且兩者可以同時被CPU訪問，減少了爭用Cache所造成的沖突，提高了處理器效能。英特爾公司在推出Pentium 4處理器時，用新增的一種一級追蹤緩存替代指令緩存，容量為12KμOps，表示能存儲12K條微指令。
二級緩存
隨著CPU制造工藝的發(fā)展，二級緩存也能輕易的集成在CPU內(nèi)核中，容量也在逐年提升。現(xiàn)在再用集成在CPU內(nèi)部與否來定義一、二級緩存，已不確切。而且隨著二級緩存被集成入CPU內(nèi)核中，以往二級緩存與CPU大差距分頻的情況也被改變，此時其以相同于主頻的速度工作，可以為CPU提供更高的傳輸速度。
二級緩存是CPU性能表現(xiàn)的關(guān)鍵之一，在CPU核心不變化的情況下，增加二級緩存容量能使性能大幅度提高。而同一核心的CPU高低端之分往往也是在二級緩存上有差異，由此可見二級緩存對于CPU的重要性。
CPU在緩存中找到有用的數(shù)據(jù)被稱為命中，當(dāng)緩存中沒有CPU所需的數(shù)據(jù)時（這時稱為未命中），CPU才訪問內(nèi)存。從理論上講，在一顆擁有二級緩存的CPU中，讀取一級緩存的命中率為80%。也就是說CPU一級緩存中找到的有用數(shù)據(jù)占數(shù)據(jù)總量的80%，剩下的20%從二級緩存中讀取。由于不能準(zhǔn)確預(yù)測將要執(zhí)行的數(shù)據(jù)，讀取二級緩存的命中率也在80%左右（從二級緩存讀到有用的數(shù)據(jù)占總數(shù)據(jù)的16%）。那么還有的數(shù)據(jù)就不得不從內(nèi)存調(diào)用，但這已經(jīng)是一個相當(dāng)小的比例了。目前的較高端的CPU中，還會帶有三級緩存，它是為讀取二級緩存后未命中的數(shù)據(jù)設(shè)計的—種緩存，在擁有三級緩存的CPU中，只有約5%的數(shù)據(jù)需要從內(nèi)存中調(diào)用，這進一步提高了CPU的效率。
為了保證CPU訪問時有較高的命中率，緩存中的內(nèi)容應(yīng)該按一定的算法替換。一種較常用的算法是“最近最少使用算法”（LRU算法），它是將最近一段時間內(nèi)最少被訪問過的行淘汰出局。因此需要為每行設(shè)置一個計數(shù)器，LRU算法是把命中行的計數(shù)器清零，其他各行計數(shù)器加1。當(dāng)需要替換時淘汰行計數(shù)器計數(shù)值最大的數(shù)據(jù)行出局。這是一種高效、科學(xué)的算法，其計數(shù)器清零過程可以把一些頻繁調(diào)用后再不需要的數(shù)據(jù)淘汰出緩存，提高緩存的利用率。
緩存容量
