文章目錄
- 1、數(shù)據(jù)倉庫是什么
- 2、數(shù)據(jù)建模
- 雪花模型
- 星型模型
- 全量數(shù)據(jù)、增量數(shù)據(jù)
- 3、傳統(tǒng)數(shù)據(jù)倉庫及代表產(chǎn)品
- 4、大數(shù)據(jù)架構(gòu)下的數(shù)據(jù)倉庫
-
- 5、數(shù)據(jù)湖是什么?
- 6、數(shù)據(jù)湖、數(shù)據(jù)倉庫有何區(qū)別
- 7、數(shù)據(jù)湖應(yīng)用場景有哪些
- 8、參考材料
- 從數(shù)據(jù)倉庫到數(shù)據(jù)湖——淺談數(shù)據(jù)架構(gòu)演進(jìn)
- martin-flower-about-Datalake
- 數(shù)據(jù)倉庫的架構(gòu)與設(shè)計
- etl-開發(fā)過程介紹
數(shù)據(jù)庫–>數(shù)據(jù)倉庫–>數(shù)據(jù)湖的架構(gòu)演變,反映的是數(shù)據(jù)需求變更
了解最近技術(shù)發(fā)展動態(tài),記錄一下相關(guān)知識點,跟上技術(shù)發(fā)展的步伐。
- 上半年參加系統(tǒng)分析師考試,論文部分有個論題 是關(guān)于AIOPS的。我在想實際工作中,我們連DEVOPS流程還沒做好呢,AIOPS已經(jīng)在一些大公司實施了。
- 剛剛過去的周六,參加系統(tǒng)架構(gòu)設(shè)計師考試,論文部分又出現(xiàn)了數(shù)據(jù)湖的應(yīng)用實踐,數(shù)據(jù)湖與數(shù)據(jù)倉庫的差異性有哪些?新的概念不斷的冒出,基礎(chǔ)知識,歷史淵源做一個整理記錄。
1、數(shù)據(jù)倉庫是什么
“A data warehouseis a subject-oriented, integrated, time-variant, and nonvolatile collection ofdata in support of management’s decision-making process.”
—W. H. Inmon
數(shù)據(jù)倉庫和數(shù)據(jù)庫的區(qū)別就是OLAP和OLTP的區(qū)別。
數(shù)據(jù)庫支持是OLTP,數(shù)據(jù)倉庫支持的是OLAP
數(shù)據(jù)倉庫一般基于數(shù)據(jù)庫實現(xiàn),數(shù)據(jù)倉庫可以是基于關(guān)系數(shù)據(jù)庫實現(xiàn)的稱為ROLAP,數(shù)據(jù)倉庫也可以是基于多維數(shù)據(jù)結(jié)構(gòu)實現(xiàn)的為MOLAP
2、數(shù)據(jù)建模
數(shù)據(jù)倉庫最為核心的內(nèi)容分類兩部分:
- 基于關(guān)系數(shù)據(jù)庫的多維建模(RDBMS-based dimensional modeling)
建模方法論-結(jié)合RDBMS的范式理論,建模過程中涉及的幾個概念:
雪花模型
星型模型
全量數(shù)據(jù)、增量數(shù)據(jù)
- 解決數(shù)據(jù)存儲的拉鏈設(shè)計模式
- 基于數(shù)據(jù)立方體的OLAP查詢(cube-based OLAP)
3、傳統(tǒng)數(shù)據(jù)倉庫及代表產(chǎn)品
4、大數(shù)據(jù)架構(gòu)下的數(shù)據(jù)倉庫
lamda架構(gòu)
kappa架構(gòu)
5、數(shù)據(jù)湖是什么?
6、數(shù)據(jù)湖、數(shù)據(jù)倉庫有何區(qū)別
7、數(shù)據(jù)湖應(yīng)用場景有哪些
8、參考材料
本站僅提供存儲服務(wù),所有內(nèi)容均由用戶發(fā)布,如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請
點擊舉報。