下面這些東西是轉(zhuǎn)載自demo@virushuo的,不過原站登不上去,這些是百度的快照.沒有告訴demo@virushuo希望不要罵偶,不同意偶轉(zhuǎn)的話通知下偶,呵呵.
最近,因為某些原因,接觸了一些數(shù)據(jù)倉庫的東西,整理了一下思路,胡亂寫寫。決不抄概念，就說我的理解。
首先說數(shù)據(jù)倉庫。數(shù)據(jù)倉庫是一種專門用來輔助決策分析的數(shù)據(jù)庫。其數(shù)據(jù)量一般比較大，數(shù)據(jù)來源比較多，也許是數(shù)據(jù)庫，也許是文件，總之，就是能用到的所有信息，甚至包括歷史信息，都在這里保存。為什么要保存這么多？就是為了用來做復雜的分析和決策。
數(shù)據(jù)倉庫有了，需要裝入數(shù)據(jù)。前面說數(shù)據(jù)來源比較多，這句話說得很簡單，但事實上，很復雜。因為，企業(yè)可能會有很多現(xiàn)存的數(shù)據(jù)庫系統(tǒng)，甚至是一些excel表格，沒準文本文件也有。這些格式，接口各不相同的數(shù)據(jù)，如何變成符合數(shù)據(jù)倉庫模型的數(shù)據(jù)，并裝入這個數(shù)據(jù)倉庫，實在是個問題。
于是,ETL出現(xiàn)了。ETL就是數(shù)據(jù)抽?。‥xtract）、轉(zhuǎn)換（Transform）、清洗（Cleansing）、裝載（Load）的過程。一般來說，這是一個工具。也許每個程序員都有“倒庫”的經(jīng)驗，這是個常見的動作，甚至你換了論壇的數(shù)據(jù)庫，都需要做一次這個工作。這，似乎可以算作最簡單的ETL。當然，ETL是比復雜得多過程，而且，應該為客戶提供一個ETL工具，支持腳本也是必要的。這樣，用戶就可以定期或?qū)崟r將數(shù)據(jù)庫的數(shù)據(jù)抽取到數(shù)據(jù)倉庫中，用戶數(shù)據(jù)就是這樣裝載進來的。
數(shù)據(jù)有了，下面做什么？用戶如果只是需要簡單的查詢，那當然簡單，不過如果這樣，也就用不著數(shù)據(jù)倉庫了。使用數(shù)據(jù)倉庫，一定是要進行復雜的決策分析。比如說，銷售額，時間，人員，產(chǎn)品種類，銷售渠道，要用這些屬性進行匯總分析，這就是2維的報表和查詢難以實現(xiàn)的了。那么，OLAP出場。OLAP（聯(lián)機數(shù)據(jù)分析），OLAP一般是建立一個計算模型，然后把大量的數(shù)據(jù)轉(zhuǎn)化為多維數(shù)據(jù)，保存在一個多維數(shù)據(jù)庫中。這就不需要每次都要重新計算了，速度也快多了。事實上，如果不怕速度慢，不厭其煩，不怕計算復雜，不使用OLAP,都自己計算，也不是不可能，不過，這何必呢？
這些都完成了，最后做什么？數(shù)據(jù)展現(xiàn)。一切都要以客戶的眼睛為準。用戶說不好看，說不好用，你的系統(tǒng)再NB,你也死定了。所以，數(shù)據(jù)占現(xiàn)是非常重要的。其實，數(shù)據(jù)展現(xiàn)也就是報表，只不過，要具有展現(xiàn)復雜數(shù)據(jù)的能力，速度還不能太慢。切換維度也要方便。
概念都說完了，那么，一個數(shù)據(jù)倉庫的工作過程，大概就是：數(shù)據(jù)倉庫建模，ETL，OLAP，展現(xiàn)。大部分項目中，最重要的過程是ETL。畢竟，這個事情千變?nèi)f化，可能會因為用戶的現(xiàn)存系統(tǒng)，導致非常復雜的情況。也會耗費大量的時間。其次重要的，我認為應該算數(shù)據(jù)展現(xiàn)，剛才說了，好系統(tǒng)的意思不是技術高明的系統(tǒng)，而是用戶說好的系統(tǒng)。所以，強大不強大放在一邊，先搞漂亮再說。(就憑這一點，oracle就應該出局了)。大部分項目中，其實OLAP是很可以偷工減料的，大部分客戶，其實并不需要OLAP這么復雜，只不過，因為某些目的(把項目搞大，騙投資，廠商蠱惑，顯示自己牛)，非說要OLAP。事實上他們的數(shù)據(jù)維度和數(shù)量，遠遠達不到，可能幾年都未必能達到。那么。。。偷工減料吧！作項目，省點是點。
看完了本文，你未必學到了什么東西，但是，至少你應該學會吹牛。我堅信，國內(nèi)80%的項目，其實根本用不到這么復雜的東西。你只要能應付好，其實都可以簡單搞定。
