OLAP介紹
一、發(fā)展背景
二、什么是OLAP？
三、相關(guān)基本概念
四、OLAP特性
五、OLAP多維數(shù)據(jù)結(jié)構(gòu)
六、OLAP多維數(shù)據(jù)分析
七、OLAP分類
八、OLAP評價(jià)準(zhǔn)則
九、流行的OLAP工具
十、OLAP發(fā)展
十一、OLAP展望
一、發(fā)展背景
60年代，關(guān)系數(shù)據(jù)庫之父E.F.Codd提出了關(guān)系模型，促進(jìn)了聯(lián)機(jī)事務(wù)處理(OLTP)的發(fā)展(數(shù)據(jù)以表格的形式而非文件方式存儲)。1993年，E.F.Codd提出了OLAP概念，認(rèn)為OLTP已不能滿足終端用戶對數(shù)據(jù)庫查詢分析的需要，SQL對大型數(shù)據(jù)庫進(jìn)行的簡單查詢也不能滿足終端用戶分析的要求。用戶的決策分析需要對關(guān)系數(shù)據(jù)庫進(jìn)行大量計(jì)算才能得到結(jié)果，而查詢的結(jié)果并不能滿足決策者提出的需求。因此，E.F.Codd提出了多維數(shù)據(jù)庫和多維分析的概念，即OLAP。
OLTP數(shù)據(jù) OLAP數(shù)據(jù)
原始數(shù)據(jù) 導(dǎo)出數(shù)據(jù)
細(xì)節(jié)性數(shù)據(jù) 綜合性和提煉性數(shù)據(jù)
當(dāng)前值數(shù)據(jù) 歷史數(shù)據(jù)
可更新 不可更新，但周期性刷新
一次處理的數(shù)據(jù)量小 一次處理的數(shù)據(jù)量大
面向應(yīng)用，事務(wù)驅(qū)動(dòng) 面向分析，分析驅(qū)動(dòng)
面向操作人員，支持日常操作 面向決策人員，支持管理需要
二、什么是OLAP？
定義1 ：OLAP(聯(lián)機(jī)分析處理)是針對特定問題的聯(lián)機(jī)數(shù)據(jù)訪問和分析。通過對信息(維數(shù)據(jù))的多種可能的觀察形式進(jìn)行快速、穩(wěn)定一致和交互性的存取，允許管理決策人員對數(shù)據(jù)進(jìn)行深入觀察。
定義2 ：OLAP(聯(lián)機(jī)分析處理) 是使分析人員、管理人員或執(zhí)行人員能夠從多種角度對從原始數(shù)據(jù)中轉(zhuǎn)化出來的、能夠真正為用戶所理解的、并真實(shí)反映企業(yè)維特性的信息進(jìn)行快速、一致、交互地存取，從而獲得對數(shù)據(jù)的更深入了解的一類軟件技術(shù)。(OLAP委員會的定義)
OLAP的目標(biāo)是滿足決策支持或多維環(huán)境特定的查詢和報(bào)表需求，它的技術(shù)核心是“維”這個(gè)概念，因此OLAP也可以說是多維數(shù)據(jù)分析工具的集合。
三、相關(guān)基本概念
1.維：是人們觀察數(shù)據(jù)的特定角度，是考慮問題時(shí)的一類屬性，屬性集合構(gòu)成一個(gè)維(時(shí)間維、地理維等)。
2.維的層次：人們觀察數(shù)據(jù)的某個(gè)特定角度(即某個(gè)維)還可以存在細(xì)節(jié)程度不同的各個(gè)描述方面(時(shí)間維：日期、月份、季度、年)。
3.維的成員：維的一個(gè)取值。是數(shù)據(jù)項(xiàng)在某維中位置的描述。(“某年某月某日”是在時(shí)間維上位置的描述)
4.多維數(shù)組：維和變量的組合表示。一個(gè)多維數(shù)組可以表示為：(維1，維2，…，維n，變量)。(時(shí)間，地區(qū)，產(chǎn)品，銷售額)
5.數(shù)據(jù)單元(單元格)：多維數(shù)組的取值。(2000年1月，上海，筆記本電腦，$100000)
四、OLAP特性
(1)快速性:用戶對OLAP的快速反應(yīng)能力有很高的要求。系統(tǒng)應(yīng)能在5秒內(nèi)對用戶的大部分分析要求做出反應(yīng)。
(2)可分析性:OLAP系統(tǒng)應(yīng)能處理與應(yīng)用有關(guān)的任何邏輯分析和統(tǒng)計(jì)分析。
(3)多維性:多維性是OLAP的關(guān)鍵屬性。系統(tǒng)必須提供對數(shù)據(jù)的多維視圖和分析,包括對層次維和多重層次維的完全支持。。
(4)信息性:不論數(shù)據(jù)量有多大，也不管數(shù)據(jù)存儲在何處，OLAP系統(tǒng)應(yīng)能及時(shí)獲得信息，并且管理大容量信息。
五、OLAP多維數(shù)據(jù)結(jié)構(gòu)
1.超立方結(jié)構(gòu)(Hypercube)
超立方結(jié)構(gòu)指用三維或更多的維數(shù)來描述一個(gè)對象,每個(gè)維彼此垂直。數(shù)據(jù)的測量值發(fā)生在維的交叉點(diǎn)上,數(shù)據(jù)空間的各個(gè)部分都有相同的維屬性。(收縮超立方結(jié)構(gòu)。這種結(jié)構(gòu)的數(shù)據(jù)密度更大,數(shù)據(jù)的維數(shù)更少,并可加入額外的分析維)。
2.多立方結(jié)構(gòu)(Multicube)
即將超立方結(jié)構(gòu)變?yōu)樽恿⒎浇Y(jié)構(gòu)。面向某一特定應(yīng)用對維進(jìn)行分割, 它具有很強(qiáng)的靈活性,提高了數(shù)據(jù)(特別是稀疏數(shù)據(jù))的分析效率。
六、OLAP多維數(shù)據(jù)分析
1.切片和切塊(Slice and Dice)
在多維數(shù)據(jù)結(jié)構(gòu)中,按二維進(jìn)行切片,按三維進(jìn)行切塊,可得到所需要的數(shù)據(jù)。如在“城市、產(chǎn)品、時(shí)間”三維立方體中進(jìn)行切塊和切片,可得到各城市、各產(chǎn)品的銷售情況。
2.鉆取(Drill)
鉆取包含向下鉆取(Drill-down)和向上鉆取(Drill-up)/上卷(Roll-up)操作， 鉆取的深度與維所劃分的層次相對應(yīng)。
3.旋轉(zhuǎn)(Rotate)/轉(zhuǎn)軸(Pivot)
通過旋轉(zhuǎn)可以得到不同視角的數(shù)據(jù)。
七、OLAP分類
按照存儲方式：ROLAP、MOLAP、HOLAP。
按照處理地點(diǎn)：ServerOLAP、ClientOLAP
ROLAP優(yōu)勢：
沒有大小限制
現(xiàn)有的關(guān)系數(shù)據(jù)庫的技術(shù)可以沿用.
可以通過SQL實(shí)現(xiàn)詳細(xì)數(shù)據(jù)與概要數(shù)據(jù)的存儲
現(xiàn)有關(guān)系型數(shù)據(jù)庫已經(jīng)對OLAP做了很多優(yōu)化，包括并行存儲、并行查詢、并行數(shù)據(jù)管理、基于成本的查詢優(yōu)化、位圖索引、SQL 的OLAP擴(kuò)展(cube,rollup)等大大提高ROALP的速度
MOLAP優(yōu)勢：
性能好、響應(yīng)速度快
專為OLAP所設(shè)計(jì)
支持高性能的決策支持計(jì)算
復(fù)雜的跨維計(jì)算
多用戶的讀寫操作
行級的計(jì)算
ROLAP缺點(diǎn)：
一般比MDD響應(yīng)速度慢
不支持有關(guān)預(yù)計(jì)算的讀寫操作
SQL無法完成部分計(jì)算
無法完成多行的計(jì)算
無法完成維之間的計(jì)算
MOLAP缺點(diǎn)
增加系統(tǒng)復(fù)雜度，增加系統(tǒng)培訓(xùn)與維護(hù)費(fèi)用
受操作系統(tǒng)平臺中文件大小的限制，難以達(dá)到TB 級(只能10~20G)
需要進(jìn)行預(yù)計(jì)算，可能導(dǎo)致數(shù)據(jù)爆炸
無法支持維的動(dòng)態(tài)變化
缺乏數(shù)據(jù)模型和數(shù)據(jù)訪問的標(biāo)準(zhǔn)
八、OLAP評價(jià)準(zhǔn)則
準(zhǔn)則1 OLAP模型必須提供多維概念模型
準(zhǔn)則2 透明性準(zhǔn)則
準(zhǔn)則3 存取能力準(zhǔn)則
準(zhǔn)則4 穩(wěn)定的報(bào)表性能
準(zhǔn)則5 客戶/服務(wù)器體系結(jié)構(gòu)
準(zhǔn)則6 維的等同性準(zhǔn)則
準(zhǔn)則7 動(dòng)態(tài)稀疏矩陣處理準(zhǔn)則
準(zhǔn)則8 多用戶支持能力準(zhǔn)則
準(zhǔn)則9 非受限的跨維操作
準(zhǔn)則10 直觀的數(shù)據(jù)處理
準(zhǔn)則11 靈活的報(bào)表生成
準(zhǔn)則12 非受限的維與維的層次
九、、流行的OLAP工具介紹
OLAP產(chǎn)品：
Hyperion Essbase
Oracle Express
IBM DB2 OLAP Server
Sybase Power dimension
Informix Metacube
Microsoft Plato
Brio
Cognos
Business Object
MicroStrategy
OLAP產(chǎn)品涉及的業(yè)務(wù)操作：
由外部或內(nèi)部數(shù)據(jù)源批量裝入數(shù)據(jù)
由業(yè)務(wù)系統(tǒng)增量裝入數(shù)據(jù)
沿?cái)?shù)據(jù)層次匯總數(shù)據(jù)
對基于業(yè)務(wù)模型的新數(shù)據(jù)進(jìn)行計(jì)算
時(shí)間序列分析
高復(fù)雜的查詢
沿?cái)?shù)據(jù)層次細(xì)化分析
隨機(jī)查詢
多個(gè)聯(lián)機(jī)會話(多用戶同時(shí)訪問)
•Hyperion Essbase
以服務(wù)器為中心的分布式體系結(jié)構(gòu)
有超過100個(gè)的應(yīng)用程序
有300多個(gè)用Essbase作為平臺的開發(fā)商
具有幾百個(gè)計(jì)算公式，支持多種計(jì)算
用戶可以自己構(gòu)件復(fù)雜的查詢。
快速的響應(yīng)時(shí)間，支持多用戶同時(shí)讀寫
有30多個(gè)前端工具可供選擇
支持多種財(cái)務(wù)標(biāo)準(zhǔn)
能與ERP或其他數(shù)據(jù)源集成
全球用戶超過1500家
Oracle Express
Oracle DW支持GB~TB數(shù)量級
采用類似數(shù)組的結(jié)構(gòu)，避免了連接操作，提高分析性能
提供一組存儲過程語言來支持對數(shù)據(jù)的抽取
用戶可通過Web和電子表格使用
靈活的數(shù)據(jù)組織方式，數(shù)據(jù)可以存放在Express Server內(nèi)，也可直接在RDB上使用
有內(nèi)建的分析函數(shù)和4GL用戶自己定制查詢
全球超過3000家
IBM DB2 OLAP Server
把Hyperion Essbase的OLAP引擎和DB2的關(guān)系數(shù)據(jù)庫集成在一起。
與Essbase API完全兼容
數(shù)據(jù)用星型模型存放在關(guān)系數(shù)據(jù)庫DB2中
Informix Metacube
采用metacube技術(shù)，通過OLE和ODBC對外開放，
采用中間表技術(shù)實(shí)現(xiàn)多維分析引擎，提高響應(yīng)時(shí)間和分析能力
開放的體系結(jié)構(gòu)可以方便地與其他數(shù)據(jù)庫及前臺工具進(jìn)行集成
Sybase Power dimension
數(shù)據(jù)垂直分割（按“列”存儲）
采用了突破性的數(shù)據(jù)存取方法------bit-wise索引技術(shù)
在數(shù)據(jù)壓縮和并行處理方面有多到之處
提供有效的預(yù)連接（Pro-Jion）技術(shù)
十、OLAP發(fā)展
應(yīng)用領(lǐng)域
市場和銷售分析(Marketing and Sales analysis)
電子商務(wù)分析(Clickstream analysis)
基于歷史數(shù)據(jù)的營銷(Database marketing)
預(yù)算(Budgeting)
財(cái)務(wù)報(bào)告與整合(Financial reporting and consolidation)
管理報(bào)告(Management reporting)
利益率分析(Profitability analysis)
質(zhì)量分析(Quality analysis)
OLAP標(biāo)準(zhǔn)APB-1(AQT-Analytical Query Time作為統(tǒng)計(jì)指標(biāo))
從聯(lián)機(jī)分析處理到聯(lián)機(jī)分析挖掘(OLAM/OLAP挖掘)
將聯(lián)機(jī)分析處理與數(shù)據(jù)挖掘以及在多維數(shù)據(jù)庫中發(fā)現(xiàn)知識集成在一起。
聯(lián)機(jī)分析挖掘提供在不同的數(shù)據(jù)子集和不同的抽象層上進(jìn)行數(shù)據(jù)挖掘的工具.
聯(lián)機(jī)分析挖掘?yàn)橛脩暨x擇所期望的數(shù)據(jù)挖掘功能動(dòng)態(tài)修改挖掘任務(wù)提供了靈活性 。
超立方體計(jì)算與傳統(tǒng)挖掘算法的結(jié)合
先進(jìn)行立方體計(jì)算，后進(jìn)行數(shù)據(jù)挖掘
先對多維數(shù)據(jù)作數(shù)據(jù)挖掘，然后再利用立方體計(jì)算算法對挖掘結(jié)果分析
立方體計(jì)算與數(shù)據(jù)挖掘同時(shí)進(jìn)行
回溯特性
OLAP基于Web的應(yīng)用
靜態(tài)方法 靜態(tài)HTML報(bào)表
動(dòng)態(tài)方法 通過HTML模板及元數(shù)據(jù)動(dòng)態(tài)生成報(bào)表
改進(jìn)方法 使用Java或ActiveX
十一、 OLAP展望
面向?qū)ο蟮穆?lián)機(jī)分析處理
O3LAP(Object-Oriented OLAP)
對象關(guān)系的聯(lián)機(jī)分析處理
OROLAP (Object Relational OLAP)
分布式聯(lián)機(jī)分析處理
DOLAP (Distributed OLAP)
時(shí)態(tài)聯(lián)機(jī)分析處理
TOLAP (Temporal OLAP)
