国产一级a片免费看高清,亚洲熟女中文字幕在线视频,黄三级高清在线播放,免费黄色视频在线看

傳統(tǒng)數(shù)據(jù)庫與操作型處理

傳統(tǒng)分析處理問題

        由于傳統(tǒng)數(shù)據(jù)庫的事務(wù)處理方式和決策支持的分析處理方式對數(shù)據(jù)管理的需求有明顯的沖突， 導(dǎo)致傳統(tǒng)數(shù)據(jù)庫無法很好的支持決策分析活動。人門已逐漸認(rèn)識到事務(wù)處理和分析處理具有完全不同的特點(diǎn)，直接使用事務(wù)處理環(huán)境來支持分析處理是行不通的，其中主要原因如以下幾個(gè)方面。

（1）分析處理的系統(tǒng)影響問題

在傳統(tǒng)的事務(wù)處理系統(tǒng)中，用戶對數(shù)據(jù)系統(tǒng)的響應(yīng)要求是實(shí)時(shí)性，即數(shù)據(jù)存取頻率高，處理時(shí)間短，用戶的業(yè)務(wù)操作請求行往希望在很短的時(shí)間內(nèi)完成，這就要求系統(tǒng)在多用戶的情況下，也可以保持較知的系統(tǒng)響應(yīng)時(shí)間，在決策分析的數(shù)據(jù)處理中，用戶對系統(tǒng)的處理要求則發(fā)生了很大的變化。有些次策問題的分析處理請求，可能會導(dǎo)致系統(tǒng)長數(shù)小時(shí)的運(yùn)行；有決策問題的解決，則需要詢歷數(shù)據(jù)庫中人部分甚至全部數(shù)據(jù)，這些分析處理過程必然消耗大量的系統(tǒng)資源，嚴(yán)重影響享務(wù)處理的實(shí)時(shí)性要求，這是聯(lián)機(jī)事務(wù)處理系統(tǒng)無法忍受的。

（2）分析處理的數(shù)據(jù)需求問題

數(shù)據(jù)倉庫系統(tǒng)的基本體系結(jié)構(gòu)如圖所示。它不僅描述了數(shù)據(jù)倉庫系統(tǒng)的所有組成部分，還描述了包括從數(shù)據(jù)源中抽取數(shù)據(jù)、轉(zhuǎn)換并加載到數(shù)據(jù)倉庫中進(jìn)行存儲管理，用各種工具對數(shù)據(jù)進(jìn)行分析從而支持用戶決策等組成部分之間的相互關(guān)系。它為數(shù)據(jù)倉庫系統(tǒng)的開發(fā)和部署提供了一個(gè)整體的框架結(jié)構(gòu)和實(shí)施路線圖。

數(shù)據(jù)管理

數(shù)據(jù)管理就是對數(shù)據(jù)倉庫數(shù)據(jù)，元數(shù)據(jù)和數(shù)據(jù)集市的存儲管理，并為用戶的數(shù)據(jù)查詢檢索提供支持，是整個(gè)數(shù)據(jù)倉庫系統(tǒng)的環(huán)境支持部分。數(shù)據(jù)倉庫管理系統(tǒng)(DWMS)對數(shù)據(jù)倉庫數(shù)據(jù)的管理功能，相當(dāng)于數(shù)據(jù)庫管理系統(tǒng)(DBMS)對數(shù)據(jù)庫數(shù)據(jù)的管理，通常包括數(shù)據(jù)存儲、數(shù)據(jù)的安全性、一致性和并發(fā)控制管理以及數(shù)據(jù)的維護(hù)、備份和恢復(fù)等管理工作。

1    企業(yè)級數(shù)據(jù)倉庫

企業(yè)級數(shù)據(jù)倉庫包含從企業(yè)所有可能的數(shù)據(jù)源抽取得到的明細(xì)數(shù)據(jù)和匯總數(shù)據(jù)。

2    數(shù)據(jù)集市

數(shù)據(jù)集市(Data Mart，DMt)是企業(yè)級數(shù)據(jù)倉庫的一個(gè)子集，通常稱為部門級數(shù)據(jù)倉庫，因?yàn)樗饕嫦虿块T級業(yè)務(wù)的決策分析，并且通常只面向某個(gè)特定的主題。

數(shù)據(jù)集市存儲的是為特定部門預(yù)先計(jì)算好的數(shù)據(jù)，以滿足部門用戶對分析處理的性能需求，在一定程度上緩解了訪問數(shù)據(jù)倉庫的壓力。

3    元數(shù)據(jù)的概念

元數(shù)據(jù)(Meta Data)是“關(guān)于數(shù)據(jù)的數(shù)據(jù)”，即描述其他數(shù)據(jù)的基礎(chǔ)數(shù)據(jù)。傳統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)字典就是一種元數(shù)據(jù)，但在數(shù)據(jù)倉庫中，元數(shù)據(jù)的內(nèi)容比數(shù)據(jù)庫中的數(shù)據(jù)字典內(nèi)容更加豐富、關(guān)系更為復(fù)雜。元數(shù)據(jù)作為描述其他數(shù)據(jù)的基礎(chǔ)數(shù)據(jù)，可對數(shù)據(jù)倉庫中的各種數(shù)據(jù)進(jìn)行詳細(xì)的描述與說明，除了描述數(shù)據(jù)來源、類型、長度、是否主鍵和外鍵等基本信息外，還要描述數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)轉(zhuǎn)換規(guī)則、加載方法和環(huán)境，使每個(gè)數(shù)據(jù)具有符合現(xiàn)實(shí)的真實(shí)含義，使最終用戶了解這些數(shù)據(jù)及其相互之間的關(guān)系。

按照元數(shù)據(jù)的用途，可將其分為兩種類型：技術(shù)元數(shù)據(jù)和商業(yè)元數(shù)據(jù)。

(1)技術(shù)元數(shù)據(jù)(Technical Metadata)是關(guān)于數(shù)據(jù)源、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)倉庫的描述，包括數(shù)據(jù)倉庫中對象和數(shù)據(jù)結(jié)構(gòu)的定義、數(shù)據(jù)清理和數(shù)據(jù)更新的規(guī)則、元數(shù)據(jù)到目的數(shù)據(jù)的映射、用戶訪問權(quán)限等。它主要供數(shù)據(jù)倉庫設(shè)計(jì)和管理人員使用，因此也稱為管理元數(shù)據(jù)(Administrative Metadata)。

(2)商業(yè)元數(shù)據(jù)(Business Metadata)是從商業(yè)應(yīng)用的角度，使用業(yè)務(wù)術(shù)語描述數(shù)據(jù)倉庫中的數(shù)據(jù)，包括對業(yè)務(wù)主題、數(shù)據(jù)來源和數(shù)據(jù)訪問規(guī)則，各種分析方法及報(bào)表展示形式的描述，以便使數(shù)據(jù)倉庫管理人員和用戶更好地理解和使用數(shù)據(jù)倉庫。因此，也被稱為用戶元數(shù)據(jù)(User Metadata)。

4    元數(shù)據(jù)的作用

(1)為決策支持系統(tǒng)分析員和高層決策人員提供便利。數(shù)據(jù)倉庫元數(shù)據(jù)的廣義索引(詳見2.6.2節(jié))中存有每次數(shù)據(jù)裝載時(shí)產(chǎn)生的有關(guān)決策的匯總數(shù)據(jù)項(xiàng)，在做決策時(shí)，可以先查詢該部分?jǐn)?shù)據(jù)，再決定是否進(jìn)行下一步的搜索。

(2)解決面向應(yīng)用的操作型環(huán)境和數(shù)據(jù)倉庫的復(fù)雜關(guān)系。從面向應(yīng)用的操作型環(huán)境到數(shù)據(jù)倉庫的轉(zhuǎn)換是復(fù)雜的、多方面的，元數(shù)據(jù)包括對這種轉(zhuǎn)換的描述，即包含了所有數(shù)據(jù)源的對象名、屬性及其在數(shù)據(jù)倉庫中的轉(zhuǎn)換。

5    元數(shù)據(jù)的使用

(1)元數(shù)據(jù)在數(shù)據(jù)倉庫開發(fā)期間的使用。數(shù)據(jù)倉庫的開發(fā)過程是一個(gè)構(gòu)造工程，必須提供清晰的文檔。在此過程產(chǎn)生的元數(shù)據(jù)主要描述DW目錄表及其運(yùn)作模式，如數(shù)據(jù)的轉(zhuǎn)化、凈化、轉(zhuǎn)移、概括和綜合的規(guī)則與處理規(guī)則。

(2)元數(shù)據(jù)在數(shù)據(jù)源抽取中使用。元數(shù)據(jù)對多個(gè)來源的數(shù)據(jù)集成發(fā)揮著關(guān)鍵作用。利用元數(shù)據(jù)可以確定將數(shù)據(jù)源的哪些資源加載到DW中；跟蹤歷史數(shù)據(jù)結(jié)構(gòu)變化過程；描述屬性到屬性的映射、屬性轉(zhuǎn)換等。

(3)元數(shù)據(jù)在數(shù)據(jù)清理與綜合中的使用。數(shù)據(jù)清理與綜合負(fù)責(zé)凈化資源中的數(shù)據(jù)、增加資源戳和時(shí)間戳，將數(shù)據(jù)轉(zhuǎn)換為符合數(shù)據(jù)倉庫的數(shù)據(jù)格式，計(jì)算綜合數(shù)據(jù)的值。元數(shù)據(jù)在這個(gè)過程中作為清理和綜合數(shù)據(jù)的依據(jù)。

數(shù)據(jù)倉庫數(shù)據(jù)的粒度與組織

1.數(shù)據(jù)的粒度

數(shù)據(jù)的粒度是指數(shù)據(jù)倉庫的數(shù)據(jù)單元中所保存數(shù)據(jù)的綜合程度。數(shù)據(jù)的綜合程度越高其粒度也就越粗，反之，數(shù)據(jù)的綜合程度超低，其粒度也就超細(xì)，比如，某個(gè)數(shù)據(jù)單元A一路的是某個(gè)旅第一天的人整是說，新合單是B存放的是該旅館某一個(gè)月的人住人次，因此，我們說A的教度比合的和談詞的是得是人的綜合程度比B的綜合程度低。

數(shù)據(jù)的粒度設(shè)計(jì)問題是數(shù)據(jù)倉庫設(shè)計(jì)的一個(gè)重要方面，數(shù)據(jù)倉庫存儲的數(shù)據(jù)粒度越智，則占用的存解空間越大，但可以提民豐苦的用書查詢，反之，占用存儲空間小，卻只能提供相略的查詢。因此，數(shù)據(jù)的表度選擇是石節(jié)寫，不僅對數(shù)據(jù)倉庫中數(shù)據(jù)量的大小有直接影的，同時(shí)還影響數(shù)據(jù)倉庫所能回答的查詢是型和查詢深度。因此，在數(shù)據(jù)倉庫設(shè)計(jì)時(shí)，數(shù)據(jù)粒度的大小應(yīng)根據(jù)數(shù)據(jù)量的大小與查詢需要的詳細(xì)程度做出權(quán)衡。

2.雙重粒度

雙重粒度是指數(shù)據(jù)倉庫中僅存放真實(shí)細(xì)節(jié)數(shù)據(jù)(最低粒度)和輕度的綜合數(shù)據(jù)。在很多情況下，數(shù)據(jù)倉庫既希望占用盡可能少的存儲空間，擁有較高的數(shù)據(jù)查詢效率，又希望能提供非常詳細(xì)的數(shù)據(jù)分析能力。為了使數(shù)據(jù)倉庫在費(fèi)用、效率、訪問便利性，以及回答任何可能的查詢方面得到較好的平衡。雙重粒度成了許多機(jī)構(gòu)在數(shù)據(jù)倉庫粒度設(shè)計(jì)時(shí)的默認(rèn)選擇。當(dāng)然，我們應(yīng)該根據(jù)實(shí)際應(yīng)用需要，在數(shù)據(jù)倉庫的細(xì)節(jié)部分考慮選擇單一粒度或多重粒度級別

3.數(shù)據(jù)倉庫數(shù)據(jù)的粒度層級

在數(shù)據(jù)倉庫設(shè)計(jì)時(shí)，通常可以將數(shù)據(jù)按照3重粒度級別4個(gè)層次的方式存儲(見圖1-5)，即將數(shù)據(jù)分為早期細(xì)節(jié)層、當(dāng)前細(xì)節(jié)層、輕度綜合層、高度綜合層4個(gè)層級。數(shù)據(jù)源經(jīng)過最低粒度級別的綜合，首先進(jìn)入當(dāng)前細(xì)節(jié)層，并根據(jù)具體需要進(jìn)行更高一層的綜合，從而形成輕度綜合層乃至高度綜合層的數(shù)據(jù)。另外，按照遷移周期，將當(dāng)前細(xì)節(jié)層的過期數(shù)據(jù)遷移到早期細(xì)節(jié)層存儲，同時(shí)還要刪除超過保存期的早期細(xì)節(jié)數(shù)據(jù)。

4.數(shù)據(jù)倉庫的數(shù)據(jù)組織

數(shù)據(jù)倉庫主要有簡單堆積文件、輪轉(zhuǎn)綜合文件、簡單直接文件和連續(xù)數(shù)據(jù)文件4種數(shù)據(jù)組織方式。

(1)簡單堆積文件。它將每日從OLTP數(shù)據(jù)庫中提取轉(zhuǎn)換加工得到的數(shù)據(jù)逐天積累存儲起來形成一個(gè)數(shù)據(jù)文件。

(2)輪轉(zhuǎn)綜合文件。數(shù)據(jù)存儲單位被分為日、周、月、年等幾個(gè)粒度級別(見圖1-6(b))。在一個(gè)星期的七天中，數(shù)據(jù)被逐一記錄在每日數(shù)據(jù)集中；然后，7天的數(shù)據(jù)被綜合為周的數(shù)據(jù)，并記錄在周數(shù)據(jù)集中；接下去的一個(gè)星期，日數(shù)據(jù)集被重新覆蓋，以記錄新的日數(shù)據(jù)。同理，當(dāng)周數(shù)據(jù)集達(dá)到4或5個(gè)記錄后，數(shù)據(jù)再一次被綜合并記入月數(shù)據(jù)集，以此類推；輪轉(zhuǎn)綜合結(jié)構(gòu)十分簡潔，數(shù)據(jù)量比簡單堆積結(jié)構(gòu)大大減少。當(dāng)然，它是以損失數(shù)據(jù)細(xì)節(jié)為代價(jià)的，越久遠(yuǎn)的數(shù)據(jù)，細(xì)節(jié)損失越多。

(3)簡單直接文件、它把操作型環(huán)境的數(shù)據(jù)直接拖大數(shù)據(jù)倉庫環(huán)境中存放較長的時(shí)間，且不做任何累積或綜合計(jì)算，因此，它本質(zhì)上是操作型數(shù)據(jù)在某個(gè)時(shí)間段的一個(gè)全真快照。

1連續(xù)數(shù)據(jù)文件。它是依據(jù)兩個(gè)或更多的簡單直接文件快照進(jìn)行合并創(chuàng)建或追加形成的數(shù)據(jù)組織方法。