一種新型的數(shù)據(jù)管理系統(tǒng)——數(shù)據(jù)倉庫
任錦鸞 張閩 曾珍香
摘要 在比較了數(shù)據(jù)倉庫與傳統(tǒng)數(shù)據(jù)庫的區(qū)別的基礎(chǔ)上，討論了數(shù)據(jù)倉庫系統(tǒng)的基本結(jié)構(gòu)、數(shù)據(jù)倉庫化的步驟和技術(shù)；認(rèn)為數(shù)據(jù)倉庫、聯(lián)機分析處理和數(shù)據(jù)挖掘的結(jié)合將成為決策支持系統(tǒng)的重要組成部分；并且提出了數(shù)據(jù)市場是實現(xiàn)數(shù)據(jù)倉庫的中間過渡形式，以企業(yè)銷售情況分析為例做了數(shù)據(jù)市場中數(shù)據(jù)存儲形式的初步設(shè)計．
關(guān)鍵詞 數(shù)據(jù)倉庫，數(shù)據(jù)倉庫化，聯(lián)機分析處理，數(shù)據(jù)挖掘，決策支持系統(tǒng)，數(shù)據(jù)市場
A New System for Data Management—Data Warehouse
Ren Jinluan Zhang Min Zeng Zhenxiang
Abstract Based on the comparing data warehouse （DW）with database, this paper discusses the structure of DW,the stages and technology of data warehousing.The paper puts forward that DW,OLAP and data mining will become new important parts of DSS.AS a transitional pattern of data warehouse,Data mart is researched.And its initial design is discussed with the background of sales analysis for business.
Key words Data Warehouse (DW),Data Warehousing On-line Analytical Processing (OLAP),Data Mining,Decision Support System,Data Mart1
0 概述
數(shù)據(jù)倉庫（ Data Warehouse DW）是是支持經(jīng)營管理決策過程的、面向主體的、集成的、隨時間而變的、持久的數(shù)據(jù)集合．而以數(shù)據(jù)倉庫為核心的系統(tǒng)則從事物發(fā)展和歷史的角度對來自于異地、異構(gòu)的數(shù)據(jù)源或數(shù)據(jù)庫的信息進(jìn)行收集、轉(zhuǎn)換、提取、過濾、集成和維護(hù)，為復(fù)雜的數(shù)據(jù)分析和高層決策提供支持．
在錯綜復(fù)雜的現(xiàn)實世界中，決策者在分析當(dāng)前商業(yè)狀況時受到很大的競爭壓力，對信息的需要已超過了信息技術(shù)所能提供的范圍，這就產(chǎn)生了信息危機，信息危機刺激了信息技術(shù)的發(fā)展，從而信息技術(shù)推陳出新，不斷進(jìn)步．從五十年代用于成本、工資計算的自動化軟件到六、七十年代用于數(shù)據(jù)集成的數(shù)據(jù)庫管理系統(tǒng)，在八十年代出現(xiàn)了用于在網(wǎng)絡(luò)上數(shù)據(jù)處理的聯(lián)機事物處理（ OLTP）系統(tǒng)[1]．當(dāng)前為了解決數(shù)據(jù)庫管理系統(tǒng)的缺點，改變數(shù)據(jù)庫管理系統(tǒng)只能進(jìn)行數(shù)據(jù)管理，而不能提供綜合性分析的不足，以便更好地支持自動化的商業(yè)過程，為高層決策提供快速、有力的支持，數(shù)據(jù)倉庫應(yīng)運而生了．
1 數(shù)據(jù)倉庫與數(shù)據(jù)庫的比較
數(shù)據(jù)倉庫與傳統(tǒng)的數(shù)據(jù)庫相比有很大的不同．傳統(tǒng)的數(shù)據(jù)庫技術(shù)在對決策支持系統(tǒng)的支持方面存在以下不足[2]：
1.1 各種來源的數(shù)據(jù)在定義和組織方式上不同，為決策者統(tǒng)一調(diào)用數(shù)據(jù)和進(jìn)行不同系統(tǒng)的比較帶來了困難，數(shù)據(jù)倉庫提供了數(shù)據(jù)融合技術(shù)，將不同來源，不同定義的數(shù)據(jù)統(tǒng)一定義、管理，使不同部門、機構(gòu)、產(chǎn)品、區(qū)域間情況的比較成為可能；
1.2 數(shù)據(jù)庫提供的數(shù)據(jù)是事物性的、操作性的．?dāng)?shù)據(jù)倉庫的設(shè)計是面向主題的，通過數(shù)據(jù)聯(lián)機分析技術(shù)（On-line Analytical Processing OLAP），將數(shù)據(jù)轉(zhuǎn)化為信息，為決策者提供更直觀的幫助；
1.3 數(shù)據(jù)庫中保存的是當(dāng)前數(shù)據(jù)，無法進(jìn)行歷史趨勢分析，數(shù)據(jù)倉庫同時提供當(dāng)前數(shù)據(jù)和歷史數(shù)據(jù)，并可作出歷史趨勢變化分析．
總之，數(shù)據(jù)倉庫技術(shù)是在收集各種數(shù)據(jù)和信息的基礎(chǔ)之上，對數(shù)據(jù)進(jìn)行提取、清理、轉(zhuǎn)換和合成，改變了數(shù)據(jù)庫只提供數(shù)據(jù)支持的形式，為決策者提供總結(jié)性的信息知識，趨勢分析，情況描述等更直觀的內(nèi)容，幫助決策者探索業(yè)務(wù)活動規(guī)律，為制定全局范圍的戰(zhàn)略決策和長期趨勢分析提供更有效支持．
2 數(shù)據(jù)倉庫系統(tǒng)的基本結(jié)構(gòu)
數(shù)據(jù)倉庫系統(tǒng)是在原有關(guān)系型數(shù)據(jù)庫的基礎(chǔ)上發(fā)展形成的，但為了完成更優(yōu)化的查詢功能，它的組織結(jié)構(gòu)形式和數(shù)據(jù)庫的組織結(jié)構(gòu)形式是不同的，如圖1所示．[3]
圖1數(shù)據(jù)倉庫系統(tǒng)基本結(jié)構(gòu)
它主要由四部分組成：信息源、包裝器/監(jiān)視器、集成器和數(shù)據(jù)倉庫．在這一系統(tǒng)中信息源一般包括原始數(shù)據(jù)庫，知識庫，HTML文檔，操作系統(tǒng)數(shù)據(jù)等．在包裝器/監(jiān)視器模塊中，包裝器把各種信息源提供的不同形式的數(shù)據(jù)轉(zhuǎn)換為數(shù)據(jù)倉庫系統(tǒng)統(tǒng)一的格式，監(jiān)視器負(fù)責(zé)對本地信息源中需提取的數(shù)據(jù)及其變化做自動地跟蹤調(diào)查，把結(jié)果輸送到集成器．集成器匯總各種數(shù)據(jù)并把集成結(jié)果裝載到數(shù)據(jù)倉庫中．本系統(tǒng)是開放的，可根據(jù)需要加入新的信息源、新的包裝器/監(jiān)視器模塊，再與集成器相連，這不會影響原系統(tǒng)的操作和運行．系統(tǒng)的數(shù)據(jù)傳輸還可以是逆向進(jìn)行的，集成器合成的具有新的結(jié)構(gòu)，新的意義的數(shù)據(jù)可通過包裝器/監(jiān)視器模塊發(fā)送給信息源，為將來其它的信息需求提供素材．
3 數(shù)據(jù)倉庫化的基本過程
數(shù)據(jù)倉庫化是指把可操作數(shù)據(jù)提煉和轉(zhuǎn)化成信息數(shù)據(jù)并存儲到數(shù)據(jù)倉庫中的過程．?dāng)?shù)據(jù)倉庫化的過程主要包括五個階段[1]．
3.1 數(shù)據(jù)模型化數(shù)據(jù)倉庫系統(tǒng)將數(shù)據(jù)庫中組織數(shù)據(jù)的二維關(guān)系表轉(zhuǎn)化為多維立方體模式，這樣用戶可以進(jìn)行涉及到多種因素的描述性查詢．
3.2 在源數(shù)據(jù)中提取信息這一過程要利用各種提取技術(shù)從多種信息源提取數(shù)據(jù)．無論在舊有的系統(tǒng)如DB2、IMS、ORACL 還是在Sybase、Informix 等新的數(shù)據(jù)倉庫系統(tǒng)中的數(shù)據(jù)都可以提取到．在存儲空間允許的情況下，以前提取的數(shù)據(jù)可以存儲在機器中，用之與當(dāng)前的數(shù)據(jù)進(jìn)行比較，通過數(shù)據(jù)捕捉技術(shù)，在新的提取過程中可只提取已改變的數(shù)據(jù)，這樣就大大提高了系統(tǒng)運行的有效性．
3.3 清理數(shù)據(jù)、修補不完善的記錄在提取數(shù)據(jù)的過程中，數(shù)據(jù)含義不明確，拼寫錯誤，漏填記錄都是常見的，清理數(shù)據(jù)就是清除這些無效輸入的過程．隨時間的變化，企業(yè)的部門名稱，產(chǎn)品代號，地理位置等常常發(fā)生變化，這就要重新裝入，即對記錄進(jìn)行修補．
3.4 數(shù)據(jù)轉(zhuǎn)換和集成不同來源的數(shù)據(jù)的形式、定義、內(nèi)涵都有很大的差別，為了進(jìn)行比較和分析，數(shù)據(jù)倉庫系統(tǒng)把它們轉(zhuǎn)化成統(tǒng)一的表示形式和代碼，可以進(jìn)行向整數(shù)、浮點數(shù)、ASCⅡ等形式的轉(zhuǎn)換，并可完成時間的統(tǒng)一表示．系統(tǒng)按一定的邏輯規(guī)則將一定維的數(shù)據(jù)進(jìn)行提前組合和計算，即數(shù)據(jù)的集成．
3.5 數(shù)據(jù)裝載數(shù)據(jù)裝載和分析的過程是非同時進(jìn)行的．
數(shù)據(jù)倉庫系統(tǒng)是通過何種技術(shù)實現(xiàn)這些過程的呢？許多公司都提出了不同的解決方法，其中紅磚（Red Brick）倉庫系統(tǒng)比較有代表意義，它是一種特殊化的關(guān)系數(shù)據(jù)庫管理系統(tǒng)（RDBMS），可完成數(shù)據(jù)倉庫化的任務(wù)，它由3個部分組成： ANSI 標(biāo)準(zhǔn)的SQL 和決策支持?jǐn)U展系統(tǒng)；優(yōu)良的桌面管理系統(tǒng)（TMU）；數(shù)據(jù)倉庫通道．
4 數(shù)據(jù)倉庫與OLAP、數(shù)據(jù)挖掘的關(guān)系
設(shè)計數(shù)據(jù)倉庫的目的就是為決策提供信息，在提供支持的過程中如何來利用這些數(shù)據(jù)呢？這就要開發(fā)其它的技術(shù)，OLAP技術(shù)和數(shù)據(jù)挖掘技術(shù)就是與之相關(guān)的近期發(fā)展起來的新型技術(shù)．[5]
OLAP技術(shù)以客戶/服務(wù)器的方式來完成多維數(shù)據(jù)分析．多維數(shù)據(jù)有兩種存儲方式，關(guān)系數(shù)據(jù)庫存儲和多維數(shù)據(jù)庫存儲，相應(yīng)的OLAP也有兩種處理技術(shù)，ROLAP和MOLAP．ROLAP是基于技術(shù)較成熟的關(guān)系數(shù)據(jù)庫的，它操作靈活，但數(shù)據(jù)冗于量大．MOLAP是基于多維數(shù)據(jù)庫的，結(jié)構(gòu)簡明，利用多維數(shù)據(jù)查詢語言可實現(xiàn)數(shù)據(jù)的高度綜合性分析，它是一種新型的技術(shù)，各方面還有待進(jìn)一步提高.
數(shù)據(jù)挖掘是從大型數(shù)據(jù)庫或數(shù)據(jù)倉庫中發(fā)現(xiàn)并提取隱藏在其中的技術(shù)，目的就是幫助決策者尋找數(shù)據(jù)間的關(guān)系，發(fā)現(xiàn)被忽略的因素．它實現(xiàn)的具體方法有：決策樹方法，神經(jīng)網(wǎng)絡(luò)方法、遺傳算法、模糊方法論、統(tǒng)計分析方法等．?dāng)?shù)據(jù)倉庫技術(shù)、OLAP技術(shù)和數(shù)據(jù)挖掘技術(shù)的共同結(jié)合為決策支持系統(tǒng)的研究提供了新的方向．?dāng)?shù)據(jù)倉庫技術(shù)通過對各種基礎(chǔ)數(shù)據(jù)的轉(zhuǎn)換、集成和綜合，形成了面向主題的綜合數(shù)據(jù)．OLAP技術(shù)則在這些這數(shù)據(jù)的基礎(chǔ)上，分析其規(guī)律性和趨勢性．?dāng)?shù)據(jù)挖掘技術(shù)通過智能技術(shù)和其它工具對各種信息進(jìn)行比較，發(fā)現(xiàn)其內(nèi)在的、隱藏的規(guī)律性，為決策者提供新的知識點．三者的結(jié)合使大量數(shù)據(jù)的管理更為方便，且把數(shù)據(jù)轉(zhuǎn)化為信息，為決策提供參考．
但是，這三者的結(jié)合并不是完整的決策支持系統(tǒng)，必須把它與傳統(tǒng)的決策支持系統(tǒng)相融合，實現(xiàn)定量和定性分析的充分結(jié)合，才可使決策支持系統(tǒng)的水平達(dá)到更高的層次．
5 數(shù)據(jù)倉庫的過渡形式—數(shù)據(jù)市場
雖然全球在大力鼓勵信息技術(shù) （IT ）的建設(shè)和研究，數(shù)據(jù)倉庫的研究也是一個新的研究方向，但它的建設(shè)也面臨許多的困難．這主要是由于數(shù)據(jù)倉庫是大型的數(shù)據(jù)處理系統(tǒng)，它的建立需要大量的資金、時間和不同組織間的合作，而且投資風(fēng)險也大，許多企業(yè)不愿為沒保障的項目投資，各種合作者在數(shù)據(jù)定義和處理上也有很大的差異，矛盾很難調(diào)和．當(dāng)前提出了一種建設(shè)數(shù)據(jù)倉庫的過渡項目—數(shù)據(jù)市場（Data Mart DM）[6，7]．?dāng)?shù)據(jù)市場是一種高度集中的數(shù)據(jù)倉庫版本，它不同于數(shù)據(jù)倉庫自頂向下的建設(shè)步驟，而進(jìn)行由底向上的組織過程，針對某一具體的部門，如財務(wù)、銷售、生產(chǎn)部門，建立專門的具有數(shù)據(jù)倉庫特征的數(shù)據(jù)管理系統(tǒng)，這些系統(tǒng)只涉及到較少的使用者、資金和數(shù)據(jù)，在較短的時間內(nèi)就可建設(shè)完成，實現(xiàn)投資的回收．同時，這種小型系統(tǒng)又是開放的，可添加的，當(dāng)數(shù)據(jù)倉庫技術(shù)發(fā)展到更成熟的階段，就可把各種數(shù)據(jù)市場融合為大型的數(shù)據(jù)倉庫．這種設(shè)計方法在開發(fā)資金和技術(shù)上都能得到可靠的保障，是現(xiàn)實可行的．
下面以銷售情況分析為例,進(jìn)行數(shù)據(jù)市場中數(shù)據(jù)存儲形式的初步設(shè)計．
5.1 設(shè)計主題：銷售情況分析．
5.2 需求要求：本廠產(chǎn)品不同時期銷售情況比較，本廠產(chǎn)品不同地區(qū)銷售情況比較，產(chǎn)品銷售預(yù)測分析，預(yù)測情況與實際情況比較，各銷售部銷售業(yè)績比較，本廠產(chǎn)品與競爭廠家銷售情況比較．
5.3 數(shù)據(jù)模型化，根據(jù)需求的內(nèi)容，設(shè)計系統(tǒng)數(shù)據(jù)存儲模型．在本例中設(shè)計為星型多維模型圖，見圖2．
圖2銷售分析星形多維模型圖
以上建立了數(shù)據(jù)市場的星型多維模型圖，為OLAP技術(shù)、數(shù)據(jù)挖掘技術(shù)的實施提供了良好的基礎(chǔ)，但只是做了初步的工作，還有許多工作正待進(jìn)一步的研究和實踐．
6 數(shù)據(jù)倉庫系統(tǒng)研究和發(fā)展動態(tài)
數(shù)據(jù)倉庫系統(tǒng)的研究現(xiàn)在正處于在理論研究向應(yīng)用研究過渡的時期，它的建設(shè)還有許多的問題正待解決，例如：數(shù)據(jù)系統(tǒng)的實時更新，優(yōu)化索引的建立，實現(xiàn)在聯(lián)機狀態(tài)下對數(shù)據(jù)的維護(hù)和數(shù)據(jù)倉庫的物理結(jié)構(gòu)的設(shè)計等．但毋庸質(zhì)疑的是數(shù)據(jù)倉庫技術(shù)將為決策者提供更有力的支持，據(jù)國外的調(diào)查研究表明，它的投資回收率三年內(nèi)平均可達(dá)101%，最高達(dá)401%．我國中國銀行廣東省分行建立的金融管理信息系統(tǒng)，是數(shù)據(jù)倉庫系統(tǒng)在我國金融業(yè)應(yīng)用的一個實例，并已取得了明顯的經(jīng)濟(jì)效益和社會效益．
數(shù)據(jù)倉庫技術(shù)應(yīng)與計算機硬件技術(shù)、人工智能、數(shù)據(jù)挖掘技術(shù)、聯(lián)機分析等先進(jìn)的現(xiàn)代化技術(shù)結(jié)合起來，才能更容易的從海量的數(shù)據(jù)中提取有價值的信息，分析商業(yè)變化的規(guī)律，為決策者，特別是高層決策提供可靠的幫助．它必將成為信息時代的一種有效的、必不可少的技術(shù)．
作者簡介：任錦鸞 女 1972年生 碩士在讀
作者單位：河北工業(yè)大學(xué) 管理學(xué)院 天津 300130
參考文獻(xiàn)
1 Peter J Weyman.The case for a process-driven approach to data warehousing.Database & Network Journal,1997,27(1)
2 Red Brick Systems.The data warehouse:achieving better decision faster.Database & Network Journal,1998,28(3)
3 Waynew W Eckerson.The case foe the datamart.Database & Network Journal,1997,27(5)
4 李子木.數(shù)據(jù)倉庫技術(shù)的研究現(xiàn)狀及未來方向.計算機科學(xué)，1998,25(4):57～59
5 張宜紅.數(shù)據(jù)倉庫的實現(xiàn)技術(shù).計算機科學(xué)，1998,25(2):67～69
6 黃啟春.面向主題的數(shù)據(jù)倉庫結(jié)構(gòu).計算機應(yīng)用研究，1998(5):18～20
7 陳文偉.決策支持系統(tǒng)新結(jié)構(gòu)體系.管理科學(xué)學(xué)報，1998,1(3):54～58
