1、SQL用于訪問和處理數(shù)據(jù)庫的標準的計算機語言。用來訪問和操作數(shù)據(jù)庫系統(tǒng)。SQL語句用于取回和更新數(shù)據(jù)庫中的數(shù)據(jù)。SQL可與數(shù)據(jù)庫程序系統(tǒng)工作。比如MS Access,DB2,Infermix,MS SQL Server,Oracle,Sybase以及其他數(shù)據(jù)庫系統(tǒng)。SQL可以面向數(shù)據(jù)庫執(zhí)行查詢,從數(shù)據(jù)庫取回數(shù)據(jù),在數(shù)據(jù)庫中插入新的記錄,更新數(shù)據(jù)庫中的數(shù)據(jù),從數(shù)據(jù)庫刪除記錄,創(chuàng)建新數(shù)據(jù)庫,在數(shù)據(jù)庫中創(chuàng)建新表,在數(shù)據(jù)庫中創(chuàng)建存儲過程,在數(shù)據(jù)庫中創(chuàng)建視圖和設(shè)置表、存儲過程和視圖的權(quán)限等。
2、Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架。但是Hadoop是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop是可好的,因為他假設(shè)計算單元和存戶會失敗,因此他維護多個工作數(shù)據(jù)副本,確保能夠針對失敗的節(jié)點重新分布處理。Hadoop是高效的,因為他以并行的方式工作,通過并行處理加快處理速度。Hadoop還是可伸縮的,能夠處理PB級數(shù)據(jù)。此外,Hadoop依賴于社區(qū)服務(wù)器,因此他的成本較低,任何人都可以使用。
3、HPCC(high performance computinggand communications)高性能計算與通信的縮寫。1993年,由美國科學(xué)、工程技術(shù)聯(lián)邦協(xié)調(diào)理事會向國會提交了“重大挑戰(zhàn)項目”高性能計算與通信的報告,也就是被稱為HPCC計劃的報告,及美國總統(tǒng)科學(xué)戰(zhàn)略項目,其目的是通過加強研究與開發(fā)解決一批重要的科學(xué)與技術(shù)挑戰(zhàn)問題。HPCC是美國實施信息高速公路而上實施的計劃,該計劃的實施將耗資百億美元,其主要目標要達到:開發(fā)可擴展的計算系統(tǒng)及相關(guān)軟件,以支持太位級網(wǎng)絡(luò)傳輸性能,開發(fā)千兆比特網(wǎng)絡(luò)技術(shù),擴展研究和教育機構(gòu)及網(wǎng)絡(luò)連接能力。
4、Strom是自由的開源軟件,一個分布式的、容錯的實時計算系統(tǒng)。Strom可以非??煽康奶幚睚嫶蟮臄?shù)據(jù)流,用于處理Hadoop的批量出具,Strom很簡單,支持許多種編程語言,使用起來非常有趣。Strom由Twitter開元而來,其他知名的應(yīng)用企業(yè)包括Groupon、淘寶、支付寶、阿里巴巴、樂元素、Admaster等等。Strom有許多應(yīng)用領(lǐng)域:實時分析、在線機器學(xué)習(xí)、不停頓的計算,分布式RPC(員過程調(diào)用協(xié)議,一種通過網(wǎng)絡(luò)從遠程計算機程序上請求服務(wù))、ETL(Extraction Transformation Lcading 的縮寫,即數(shù)據(jù)抽取、轉(zhuǎn)換和加載)等等。Strom的處理速度驚人:經(jīng)測試,每個節(jié)點每秒鐘可以處理100萬個數(shù)據(jù)元組。Strom是可擴展、容錯,很容易設(shè)置和操作。
5、Rapidminer是世界領(lǐng)先的數(shù)據(jù)挖掘解決方案,在一個非常大的程度上有著先進技術(shù)。它數(shù)據(jù)挖掘任務(wù)涉及范圍廣泛,包括各種數(shù)據(jù)以叔能簡化數(shù)據(jù)挖掘過程的涉及和評價。功能和特點:免費提供數(shù)據(jù)挖掘技術(shù)和庫;100%用JAVA代碼(可運行在操作系統(tǒng));數(shù)據(jù)挖掘過程簡單,強大和直觀;內(nèi)部XML保證了標準化的格式來表示交換數(shù)據(jù)挖掘過程;可以用簡單腳本語言自動進行大規(guī)模進程;多層次的數(shù)據(jù)視圖,確保有效和透明的數(shù)據(jù);圖形用戶界面的互動原型;命令行(批處理模式)自動大規(guī)模應(yīng)用;JAVA API(應(yīng)用編程接口);簡單的插件和推廣機制;強大的可視化引擎,許多尖端的高位數(shù)據(jù)的可視化建模;400過個數(shù)據(jù)挖掘運營商支持。
6、Pentaho BI平臺不同于傳統(tǒng)的BI產(chǎn)品,他是一個以流程為中心的,面向解決方案(Soiution、)的框架。其目的在于將一系列企業(yè)級BI產(chǎn)品、開源軟件、API等等組件集成起來,方便商務(wù)智能應(yīng)用的開發(fā)。它的出現(xiàn),使得一些列的面向商務(wù)智能的獨立產(chǎn)品如Free\Quartz等等,能夠集成在一起,構(gòu)成一項項復(fù)雜的、完整的商務(wù)智能解決方案。Pentaho SDK共包含五個部分:Pentaho 平臺、Pentaho 示例數(shù)據(jù)庫、可獨立運行的Pentaho 平臺、Pentaho 解決方案示例和一個預(yù)先配置好的Pentaho 網(wǎng)絡(luò)服務(wù)器。其中Pentaho 平臺是Pentaho 平臺最主要的部分,囊括了Pentaho 平臺源代碼的主題。
什么是Power BI?Power BI是軟件服務(wù)、應(yīng)用和連接器的集合。他們協(xié)同工作以將相關(guān)數(shù)據(jù)來源轉(zhuǎn)換為連貫的視覺逼真的交互式見解。無論你的數(shù)據(jù)是簡單的Excel電子表格還是基于云和本地混合數(shù)據(jù)倉庫的集合,Power BI都可以讓你輕松地連接到數(shù)據(jù)源,直觀看到(或發(fā)現(xiàn))重要內(nèi)容,與任何所希望的人進行共享。
Power BI的組成部分:Power BI包含Windows桌面應(yīng)用程序(稱為Power BI Desktop)、聯(lián)機SAAS(軟件及服務(wù))服務(wù)(稱為Power BI服務(wù))。及移動Power BI應(yīng)用(可在Windows手機和平板電腦及IOS和Android設(shè)備上使用)。這三個元素、Desktop、服務(wù)和移動,旨在使用戶通過最有效的方式創(chuàng)建、共享和使用商業(yè)見解。
Power BI的操作一般流程:1、將數(shù)據(jù)導(dǎo)入Power BI Desktop,并創(chuàng)建報表。2、發(fā)布到Power BI服務(wù),你可在該服務(wù)中創(chuàng)建新的可視化效果或構(gòu)建儀表板。3、與他人(尤其是差旅人員)共享你的儀表板4、在Power BI Desktop應(yīng)用中查看共享儀表板和報表并與其交互。
Power BI的基本構(gòu)建模塊:
可視化效果:有時稱之為視覺對象,是數(shù)據(jù)的可視化表示形成,例如圖標、圖形、彩色編碼的地圖或其他你可創(chuàng)建用以直觀呈現(xiàn)你的數(shù)據(jù)的有趣事物。
數(shù)據(jù)集:Power BI用來創(chuàng)建其可視化效果的數(shù)據(jù)集合,基于EXCEL工作簿中的單個表,你可以有一個簡單的數(shù)據(jù)集,數(shù)據(jù)集也可以是許多不同源的組合,你可以篩選和組合以提供一個用在Power BI中的唯一集合數(shù)據(jù)。
報表:在Power BI中,報表是一起顯示在一個或多個頁面的可視化效果集合。就想你可能會對銷售演示文稿創(chuàng)建的任何其他報表,或者你將對學(xué)校分配編寫報表一樣,在Power BI中,報表是批次相關(guān)的項目的集合。
儀表盤:Power BI儀表板非常類似與汽車中的儀表板,是單個頁面中你可與其他人共享的視覺對象的集合。通常,這是提供對你嘗試呈現(xiàn)的數(shù)據(jù)以及情景的快速了解的選定視覺對象組。
磁貼:在Power BI中,磁貼是在報表或儀表板中找到單個可視化效果。他是包含每個單個視覺對象的矩形框。當(dāng)你在Power BI中創(chuàng)建報表或儀表板時,可以以任何你想要呈現(xiàn)信息的方式來穎或排列磁貼。
Power BI高顏值、可交互、鉆取的儀表板;高智商、問與答功能,讓你的報告會說話;高效率、數(shù)據(jù)源可配置自動更新實現(xiàn)實時的儀表板展現(xiàn);可拓展的可視化圖表。
Power Query 是負責(zé)抓取和整理數(shù)據(jù)的,他可以抓取幾乎市面上所有格式的源數(shù)據(jù),然后再按照我們需要的格式整理出來。通過Power Query我們可以快速將多個數(shù)據(jù)源的數(shù)據(jù)合并、追加到一起,任意組合數(shù)據(jù)、將數(shù)據(jù)進行分組、透視等整理操作。Power Query是微軟Power BI系列工具的大腦,負責(zé)建模分析。Power Wiew是嵌套在Excel里的交互式圖表工具,只用Excel也可以制作高大上的儀表板。Power Map也是直接嵌套在Excel里的基于地圖的可視化工具。