業(yè)務(wù)需求
某家位列國內(nèi)五大電信運(yùn)營商之列的通信公司(以下簡稱“通信公司”)在多年的運(yùn)營過程中,積累了大量的業(yè)務(wù)數(shù)據(jù),分散在各個運(yùn)營系統(tǒng)中(計(jì)費(fèi)系統(tǒng)、九七工程、網(wǎng)管系統(tǒng)等)。這些系統(tǒng)主要是面向公司的日常運(yùn)行和維護(hù),雖擁有最全面詳細(xì)的內(nèi)容,但是卻無法滿足公司如市場分析、客戶分析的需求。也就是說,這些數(shù)據(jù)庫系統(tǒng)像一個個孤島,很難得到綜合利用。而這些數(shù)據(jù)分析對于公司的發(fā)展來說卻是至關(guān)重要的。
互聯(lián)網(wǎng)技術(shù)的發(fā)展,為電信的企業(yè)信息、客戶信息、服務(wù)信息在企業(yè)內(nèi)部、企業(yè)和客戶間暢通傳遞奠定了技術(shù)基礎(chǔ)。在數(shù)據(jù)庫應(yīng)用系統(tǒng)領(lǐng)域,也提出了數(shù)據(jù)倉庫的概念。數(shù)據(jù)倉庫系統(tǒng)就是通過集成企業(yè)多種新舊業(yè)務(wù)的數(shù)據(jù),建立完備的數(shù)據(jù)信息庫,并對其進(jìn)行深度統(tǒng)計(jì)分析挖掘,以針對不同的用戶群,進(jìn)行精確市場營銷、銷售,改進(jìn)服務(wù)、創(chuàng)造新的業(yè)務(wù)模式,最大程度滿足客戶個性化需求,并把客戶的滿意度轉(zhuǎn)化為企業(yè)的核心價值。因此,該通信公司急需一套可以對歷史數(shù)據(jù)進(jìn)行有效整合并根據(jù)需求進(jìn)行展現(xiàn)的綜合報表和決策分析系統(tǒng)。
為了終結(jié)該電信公司系統(tǒng)內(nèi)部的信息孤島,利用先進(jìn)的工具實(shí)現(xiàn)信息的共享和傳遞,使豐富的歷史數(shù)據(jù)可以為決策做出強(qiáng)有力的支持,我方的技術(shù)人員與該通信公司的相關(guān)部門人員進(jìn)行了深入溝通,掌握了通信公司的現(xiàn)有系統(tǒng)特點(diǎn)和客戶的需求。著眼于未來發(fā)展的趨勢,提出了系統(tǒng)目標(biāo)如下:
系統(tǒng)目標(biāo)
利用數(shù)據(jù)倉庫技術(shù)和OLAP技術(shù),對電信業(yè)務(wù)的實(shí)際計(jì)費(fèi)數(shù)據(jù)進(jìn)行分析,了解和掌握通信公司的業(yè)務(wù)特點(diǎn),將通信公司內(nèi)部各系統(tǒng)的有用數(shù)據(jù)(尤其是計(jì)費(fèi)數(shù)據(jù))進(jìn)行抽取、轉(zhuǎn)換、整合,根據(jù)各個部門的實(shí)際需求進(jìn)行展現(xiàn),以支持企業(yè)進(jìn)行分析和決策。為企業(yè)級的數(shù)據(jù)倉庫的建立奠定良好的基礎(chǔ)。
這套綜合報表和決策分析系統(tǒng)以計(jì)費(fèi)系統(tǒng)為主,其他運(yùn)行系統(tǒng)為輔,提供市場經(jīng)營部的業(yè)務(wù)需求,在系統(tǒng)構(gòu)架建成之后,可以滿足公司各經(jīng)營、維護(hù)部門、各種人員的全部需要。
對于一個電信公司來說,計(jì)費(fèi)系統(tǒng)的重要性不言而喻,但計(jì)費(fèi)系統(tǒng)的開發(fā)角度決定了無法靈活的對各種計(jì)費(fèi)數(shù)據(jù)信息進(jìn)行綜合的、靈活的分析。而我們的綜合報表和決策分析系統(tǒng)這些分析報表卻正好可以彌補(bǔ)這個遺憾,能更充分、直觀的了解公司的經(jīng)營現(xiàn)狀,以及更好的幫助領(lǐng)導(dǎo)進(jìn)行決策和分析。
解決方案
該套綜合報表和決策分析的數(shù)據(jù)倉庫應(yīng)用系統(tǒng)是在現(xiàn)有的九七、計(jì)費(fèi)等系統(tǒng)的基礎(chǔ)上,結(jié)合一些外部數(shù)據(jù)和文檔資料,對數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、集成,按照主題進(jìn)行重組,并裝載到數(shù)據(jù)倉庫中。同時針對分析需求對數(shù)據(jù)倉庫中的數(shù)據(jù)建立有效存儲和高效索引機(jī)制,從而提高系統(tǒng)分析、統(tǒng)計(jì)的效率。在此基礎(chǔ)上,對電信業(yè)務(wù)的各個指標(biāo)多角度、多層次的分析,完成電信業(yè)務(wù)分析系統(tǒng)的功能,最終支持輔助決策。
一個典型的企業(yè)數(shù)據(jù)倉庫系統(tǒng)通常包含數(shù)據(jù)源、數(shù)據(jù)存儲與管理、OLAP服務(wù)器以及前端工具與應(yīng)用四個部分。如圖:
(1)數(shù)據(jù)源
此部分是數(shù)據(jù)倉庫系統(tǒng)的基礎(chǔ),是整個系統(tǒng)的數(shù)據(jù)源泉。通常包括企業(yè)內(nèi)部信息和外部信息。內(nèi)部信息包括存放于企業(yè)操作型數(shù)據(jù)庫中(通常存放在RDBMS中)的各種業(yè)務(wù)、運(yùn)營數(shù)據(jù)和辦公自動化(OA)系統(tǒng)包含的各類文檔數(shù)據(jù)。外部信息包括各類法律法規(guī)、市場信息、競爭對手的信息以及各類外部統(tǒng)計(jì)數(shù)據(jù)及各類文檔等。對于通信公司的實(shí)際情況,數(shù)據(jù)源包括:九七、計(jì)費(fèi)、網(wǎng)管等現(xiàn)有業(yè)務(wù)系統(tǒng)及其它外部數(shù)據(jù)源。
(2)數(shù)據(jù)存儲與管理
此部分是整個數(shù)據(jù)倉庫系統(tǒng)的核心。在現(xiàn)有各業(yè)務(wù)系統(tǒng)的基礎(chǔ)上,對數(shù)據(jù)進(jìn)行抽取、清理,并有效集成,按照主題進(jìn)行重新組織,最終確定數(shù)據(jù)倉庫的物理存儲結(jié)構(gòu),同時組織存儲數(shù)據(jù)倉庫元數(shù)據(jù)(具體包括數(shù)據(jù)倉庫的數(shù)據(jù)字典、記錄系統(tǒng)定義、數(shù)據(jù)轉(zhuǎn)換規(guī)則、數(shù)據(jù)加載頻率以及業(yè)務(wù)規(guī)則等信息)。按照數(shù)據(jù)的覆蓋范圍,數(shù)據(jù)倉庫存儲可以分為企業(yè)級數(shù)據(jù)倉庫和部門級數(shù)據(jù)倉庫(通常稱為“數(shù)據(jù)集市”,Data Mart)。數(shù)據(jù)倉庫的管理包括數(shù)據(jù)的安全、歸檔、備份、維護(hù)、恢復(fù)等工作。這些功能與目前的DBMS基本一致。
(3)OLAP服務(wù)器
對分析需要的數(shù)據(jù)按照多維數(shù)據(jù)模型進(jìn)行再次重組,以支持用戶多角度、多層次的分析,發(fā)現(xiàn)數(shù)據(jù)趨勢。其具體實(shí)現(xiàn)可以分為:ROLAP、MOLAP和HOLAP。ROLAP基本數(shù)據(jù)和聚合數(shù)據(jù)均存放在RDBMS之中;MOLAP基本數(shù)據(jù)和聚合數(shù)據(jù)均存放于多維數(shù)據(jù)庫中;而HOLAP是ROLAP與MOLAP的綜合,基本數(shù)據(jù)存放于RDBMS之中,聚合數(shù)據(jù)存放于多維數(shù)據(jù)庫中。
(4)前端工具與應(yīng)用
前端工具主要包括各種數(shù)據(jù)分析工具、報表工具、查詢工具、數(shù)據(jù)挖掘工具以及各種基于數(shù)據(jù)倉庫或數(shù)據(jù)集市開發(fā)的應(yīng)用。其中數(shù)據(jù)分析工具主要針對OLAP服務(wù)器,報表工具、數(shù)據(jù)挖掘工具既針對數(shù)據(jù)倉庫,同時也針對OLAP服務(wù)器。此部分由MIS提供。
結(jié)構(gòu)特點(diǎn)
根據(jù)通信公司的實(shí)際需求,本系統(tǒng)的實(shí)際結(jié)構(gòu)如下圖:
(1)靈活的體系設(shè)計(jì)
·Browser/Server體系結(jié)構(gòu),零客戶端,支持移動辦公,滿足決策支持的隨機(jī)性和及時性
·支持與各種主流數(shù)據(jù)庫平臺、多維分析引擎、數(shù)據(jù)挖掘引擎和前端展示工具的無縫集成,便于擴(kuò)展
·采用動態(tài)維等特有的設(shè)計(jì)技術(shù),適應(yīng)需求的靈活變化,可以隨時根據(jù)實(shí)際需求進(jìn)行功能的靈活擴(kuò)充。
(2)完善的業(yè)務(wù)分析功能
·完善而豐富的業(yè)務(wù)分析模型,更好地實(shí)現(xiàn)更具個性化的決策支持應(yīng)用
·積極參加行業(yè)內(nèi)相關(guān)系統(tǒng)規(guī)范的制定,對業(yè)務(wù)需求了解深刻
·全面的主題分析及專題分析
·快速構(gòu)造企業(yè)商業(yè)智能信息門戶,為各類用戶提供豐富多彩的決策支持信息服務(wù),如信息廣播、告警預(yù)警等
·采用數(shù)據(jù)挖掘技術(shù)建立分析模型
(3)完整的具有前瞻性的系列解決方案
·本解決方案,面向電信企業(yè),具有很強(qiáng)的擴(kuò)充性,各個方面的建設(shè)都以構(gòu)建企業(yè)級的數(shù)據(jù)倉庫為目標(biāo)。適應(yīng)電信行業(yè)市場競爭的需要
·支持與業(yè)務(wù)支撐系統(tǒng)(OSS/BSS)的互動,經(jīng)營分析結(jié)果反饋到業(yè)務(wù)運(yùn)營系統(tǒng)中,形成閉環(huán)系統(tǒng)(Close-Loop)
·與操作型CRM的實(shí)現(xiàn)無縫集成
實(shí)施方案
綜合報表和決策分析系統(tǒng)主要以計(jì)費(fèi)系統(tǒng)為主要數(shù)據(jù)源,針對市場經(jīng)營部的業(yè)務(wù)需要而建設(shè)的。
通信公司計(jì)費(fèi)系統(tǒng)為Oracle數(shù)據(jù)庫。Oracle公司作為世界上最大的數(shù)據(jù)庫廠家之一,憑借其在技術(shù)、資源和經(jīng)驗(yàn)上的優(yōu)勢,一直致力于為企業(yè)提供最能滿足企業(yè)競爭需要的數(shù)據(jù)倉庫解決方案。因此,我公司為本系統(tǒng)設(shè)計(jì)也是以此為核心的。
實(shí)施的全過程共分成5個階段,依次完成并通過驗(yàn)收。
(1) 方案的第一階段為需求調(diào)研
分為兩個部分:業(yè)務(wù)需求調(diào)研和技術(shù)需求調(diào)研。
對于業(yè)務(wù)需求調(diào)研,主要是指對進(jìn)一步了解通信公司市場經(jīng)營部業(yè)務(wù)需求,熟悉計(jì)費(fèi)業(yè)務(wù)的產(chǎn)品結(jié)構(gòu)和工作流程,此部分是整個項(xiàng)目的基礎(chǔ)。
對于技術(shù)需求的調(diào)研,主要是完成對目前系統(tǒng)狀況的分析,確定數(shù)據(jù)庫類型,操作系統(tǒng)類型,接口與接口程序語言等等。
(2) 方案的第二階段為概要設(shè)計(jì)
分為兩個部分:數(shù)據(jù)層設(shè)計(jì)和應(yīng)用層設(shè)計(jì)。
第一步為數(shù)據(jù)層設(shè)計(jì),主要是指根據(jù)需求調(diào)研,制定本系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)。如數(shù)據(jù)倉庫的建立方式、表空間的劃分、用戶組的制定、以及一期報表對應(yīng)的數(shù)據(jù)流程、數(shù)據(jù)結(jié)構(gòu)的設(shè)計(jì)等。
第二步為應(yīng)用層設(shè)計(jì),此部分包括數(shù)據(jù)抽取應(yīng)用的結(jié)構(gòu)設(shè)計(jì)、模塊劃分以及針對一期報表的數(shù)據(jù)提取計(jì)劃的設(shè)計(jì)。
(3) 方案的第三階段為詳細(xì)設(shè)計(jì)
分為兩部分:數(shù)據(jù)抽取系統(tǒng)的設(shè)計(jì)和報表部分的設(shè)計(jì)。
對于數(shù)據(jù)抽取系統(tǒng)的設(shè)計(jì),主要包括抽取系統(tǒng)后臺參數(shù)表結(jié)構(gòu)的設(shè)計(jì)以及前臺具體應(yīng)用模塊具體實(shí)現(xiàn)細(xì)節(jié)的設(shè)計(jì)。如系統(tǒng)應(yīng)用流程、編碼規(guī)范、系統(tǒng)的過程與函數(shù)的劃分、接口的設(shè)置以及存儲過程的調(diào)用方式等等。
對于報表部分的設(shè)計(jì),主要包括后臺數(shù)據(jù)的具體存儲方式、前段展現(xiàn)方式的設(shè)計(jì),如:數(shù)據(jù)表結(jié)構(gòu)的設(shè)計(jì)、表分區(qū)的劃分,報表展現(xiàn)的樣式、風(fēng)格、鉆取方式等。
(4) 方案的第四階段為編碼
分為兩個部分:編碼和系統(tǒng)整合、測試。
編碼分為對應(yīng)數(shù)據(jù)抽取系統(tǒng)的開發(fā)和針對報表的數(shù)據(jù)整理定制開發(fā)與編碼兩個部分。
對于抽取系統(tǒng)的開發(fā),開發(fā)的技術(shù)難點(diǎn)主要是抽取系統(tǒng)的配置的靈活性、擴(kuò)展性和靈活性方面,所以此部分需要時間較長。
對于報表的后臺數(shù)據(jù)整合開發(fā)與編碼,此部分主要是工作是編寫用于抽取系統(tǒng)觸發(fā)、調(diào)用的后臺存儲過程,以便根據(jù)展現(xiàn)的需要對數(shù)據(jù)進(jìn)行處理。
對一期報表的前段展現(xiàn)的開發(fā)與編碼,主要是根據(jù)經(jīng)營部的需要通過展現(xiàn)工具制作OLAP立方體,建立多維數(shù)據(jù)庫,并最終生成報表。
對于內(nèi)部整合、測試,主要工作就是將抽取系統(tǒng)與針對一期報表編寫的用于后臺數(shù)據(jù)處理的存儲過程連接、調(diào)用并測試提取速度和數(shù)據(jù)準(zhǔn)確性。需要在以上三部分全部完成后統(tǒng)一進(jìn)行。
(5)方案的第五階段為實(shí)施及用戶級測試。
對于系統(tǒng)實(shí)施階段,主要是指應(yīng)用系統(tǒng)軟、硬件環(huán)境的搭建,以及相關(guān)數(shù)據(jù)結(jié)構(gòu)的建立。
而對于具體報表的實(shí)施,則是采取串行方式提交,根據(jù)編碼進(jìn)度逐個提交。
對于用戶級測試階段,主要是指指導(dǎo)、配合用戶對系統(tǒng)進(jìn)行測試,以便系統(tǒng)能夠真正為用戶所用。
實(shí)施效果
(1)信息共享度提高
原來各運(yùn)營系統(tǒng)間數(shù)據(jù)共享不暢通的現(xiàn)象大為改善,相同數(shù)據(jù)在不同部門、不同統(tǒng)計(jì)口徑方面的不一致現(xiàn)象得于杜絕,信息共享度提高。
(2)系統(tǒng)報表提升統(tǒng)計(jì)效率
系統(tǒng)報表的統(tǒng)計(jì)功能大大縮短了通信公司原先的數(shù)據(jù)統(tǒng)計(jì)時間,而且準(zhǔn)確度更高,操作更便捷。
(3)數(shù)據(jù)分析效率大為提高
通過該系統(tǒng),客戶對數(shù)據(jù)的分析更加及時、準(zhǔn)確,分析操作加工更為便捷,數(shù)據(jù)分析的內(nèi)容更為豐富。
(4)對企業(yè)管理層決策提供了強(qiáng)有力的數(shù)據(jù)支持
由于對數(shù)據(jù)的深度提煉,企業(yè)在經(jīng)營決策時有了充分的數(shù)據(jù)支持,為企業(yè)提升自身競爭力提供了動力。