摘 要 本文在解決遠程開放教育系統(tǒng)的信息孤島問題的基礎(chǔ)上，總結(jié)出了一個通用的主題數(shù)據(jù)平臺架構(gòu)。并進一步針對它在不同的環(huán)境、采用不同的策略，給出了實現(xiàn)框架。
關(guān)鍵詞 SOA；數(shù)據(jù)平臺；信息暴露
1 引言
本課題來源于中央廣播電視大學教務管理系統(tǒng)的后續(xù)開發(fā)。隨著中央電大在開放式教育思想指導下的教學改革的展開，系統(tǒng)業(yè)務量急劇猛增，原有的教學管理系統(tǒng)已經(jīng)逐漸的滿足不了應用需求。所以新一代教學管理系統(tǒng)正在開發(fā)中，同時由于教育業(yè)務本身的連貫性，導致了新舊系統(tǒng)并行的局面出現(xiàn)。但是由于新舊系統(tǒng)間缺少關(guān)聯(lián)和通信以及必要的規(guī)范，導致信息“孤島”現(xiàn)象嚴重，而舊系統(tǒng)又恰恰是電大不可放棄的重要投資。同時由于各個系統(tǒng)集成度不足，運行業(yè)務的數(shù)據(jù)庫和應用程序也是在不同時期部署的，它們來自不同的供應商，使用各不相同的定制技術(shù)。從而面臨著如何構(gòu)建一個強壯的、可靠的，將新舊系統(tǒng)中的分散功能組織成可共用的標準服務來滿足業(yè)務要求的平臺，成為我們需要研究的難點。
通過實踐我們可以發(fā)現(xiàn)，應用程序始終都與數(shù)據(jù)有關(guān)，企業(yè)級的服務程序更是如此。今天，企業(yè)應用程序開發(fā)中有高達70％的時間都是用于訪問不同的數(shù)據(jù)。因此，對企業(yè)信息和數(shù)據(jù)按業(yè)務邏輯進行梳理和抽取，形成企業(yè)數(shù)據(jù)的統(tǒng)一表現(xiàn)實體，該實體可以在全企業(yè)范圍內(nèi)得到一致性的使用，是邁向面向服務的體系架構(gòu)的第一步。因此我們提出了主題數(shù)據(jù)平臺的概念。
2 主題數(shù)據(jù)平臺結(jié)構(gòu)
主題數(shù)據(jù)平臺結(jié)構(gòu)見圖1。主題數(shù)據(jù)平臺由：主題數(shù)據(jù)服務層、數(shù)據(jù)處理構(gòu)件、數(shù)據(jù)處理管道、適配器構(gòu)件組成。
圖1 數(shù)據(jù)主題平臺的設計構(gòu)架
主題數(shù)據(jù)服務層：是底層接口與上層應用的中間層，用于屏蔽底層接口，向上提供統(tǒng)一的服務。有兩種角色：一種角色是數(shù)據(jù)中轉(zhuǎn)站，用于保存臨時數(shù)據(jù)，并等數(shù)據(jù)傳輸完整之后，進一步對數(shù)據(jù)進行分析和處理；另一種角色是主題數(shù)據(jù)服務層角色，用于保存數(shù)據(jù)處理的最終結(jié)果：主題數(shù)據(jù)。
數(shù)據(jù)處理構(gòu)件：是數(shù)據(jù)處理的基礎(chǔ)構(gòu)件，每一個數(shù)據(jù)處理構(gòu)件都封裝了一部分相對獨立的數(shù)據(jù)處理邏輯，包括刪除不需要的數(shù)據(jù)、補充缺少的數(shù)據(jù)、對數(shù)據(jù)進行簡單的四則運算、代碼轉(zhuǎn)換和按主題建立新的數(shù)據(jù)結(jié)構(gòu)等功能。
數(shù)據(jù)處理管道：是由多個數(shù)據(jù)處理構(gòu)件組成，它合理的組合和安排這些數(shù)據(jù)處理構(gòu)件，從而完成復雜的數(shù)據(jù)處理邏輯。
適配器構(gòu)件： 用于實現(xiàn)異構(gòu)數(shù)據(jù)庫與數(shù)據(jù)處理管道的無縫連接，從而能夠方便的從異構(gòu)數(shù)據(jù)庫中抽取或插入數(shù)據(jù)。
3 基于局域網(wǎng)的主題數(shù)據(jù)平臺的實現(xiàn)方案
基于局域網(wǎng)的主題數(shù)據(jù)平臺的實現(xiàn)方案見圖2。
圖2 基于局域網(wǎng)的數(shù)據(jù)主題平臺的實現(xiàn)方案
由于局域網(wǎng)有著：網(wǎng)絡傳輸速度快、網(wǎng)絡故障率低、即時性強、服務器固定等優(yōu)點。所以我們采用：DTS技術(shù)、Nmake技術(shù)、臨時庫等技術(shù)來解決基于局域網(wǎng)的主題數(shù)據(jù)平臺的實現(xiàn)問題。
3.1 DTS技術(shù)的應用
采用DTS技術(shù)可以實現(xiàn)在局域網(wǎng)中從異構(gòu)的數(shù)據(jù)庫中提取或插入數(shù)據(jù)，并能對數(shù)據(jù)進行簡單的邏輯操作。它可以把相對獨立的數(shù)據(jù)處理邏輯封裝在對應的DTS包中，從而把公用的數(shù)據(jù)處理邏輯從數(shù)據(jù)處理業(yè)務中提煉了出來，以備復用。并提供了工作流支持，保證了DTS包中數(shù)據(jù)處理業(yè)務的事務性和完整性。
⑴ 適配器構(gòu)件
適配器構(gòu)件只是一個數(shù)據(jù)處理通道和異構(gòu)數(shù)據(jù)源的連接器，它負責從異構(gòu)數(shù)據(jù)源中抽取或者插入數(shù)據(jù)并將數(shù)據(jù)轉(zhuǎn)移到數(shù)據(jù)處理通道中。每一個數(shù)據(jù)源對應一個或多個適配器構(gòu)件，每個適配器構(gòu)件包含在對應的DTS包中。整個DTS包中包含一個原數(shù)據(jù)源、一個目標數(shù)據(jù)源和一個數(shù)據(jù)對應轉(zhuǎn)換任務。將整個數(shù)據(jù)轉(zhuǎn)換邏輯封裝為一個構(gòu)件，有利于適配器構(gòu)件的復用。
⑵ 數(shù)據(jù)處理構(gòu)件
數(shù)據(jù)處理構(gòu)件封裝了數(shù)據(jù)處理邏輯，這些處理邏輯由數(shù)據(jù)業(yè)務驅(qū)動，包括刪除不需要的數(shù)據(jù)、從不同的數(shù)據(jù)來源補齊缺少的數(shù)據(jù)、對數(shù)據(jù)進行簡單的四則運算、不同信息系統(tǒng)之間的代碼轉(zhuǎn)換等功能。數(shù)據(jù)處理邏輯按其獨立性和公用性被封裝在不同的DTS包中，增強了數(shù)據(jù)處理構(gòu)件的可變性和復用性。DTS包提供了驗證機制這既可以保證數(shù)據(jù)處理邏輯的正確性，又可以保證數(shù)據(jù)處理邏輯的事務性。DTS包內(nèi)包含工作流，可以針對不同的情況做出不同的處理，極大地提高了數(shù)據(jù)處理構(gòu)件的復用性，并可對業(yè)務性錯誤做出必要的處理。
3.2 Nmake技術(shù)的應用
Microsoft程序維護實用工具Nmake 是一個 32 位基于說明文件中包含的命令生成項目的工具。NMake具有豐富的選項，可以完成復雜的處理操作，并有樹狀文件任務處理結(jié)構(gòu)，并且易于編寫，結(jié)構(gòu)清晰，對于實現(xiàn)復雜的數(shù)據(jù)處理業(yè)務提供了很大的方便。采用Nmake技術(shù)可以有效的將結(jié)構(gòu)松散的、相對獨立的數(shù)據(jù)處理構(gòu)件聚合起來，從而能夠處理復雜的數(shù)據(jù)處理業(yè)務。
數(shù)據(jù)處理管道
數(shù)據(jù)處理管道是將數(shù)據(jù)處理構(gòu)件有機的組合起來并封裝好，對主題數(shù)據(jù)服務層提供統(tǒng)一的訪問接口，從而把數(shù)據(jù)服務邏輯與數(shù)據(jù)處理邏輯分割開來。數(shù)據(jù)處理管道可以極大地提高數(shù)據(jù)處理構(gòu)件的復用率，并把復雜的數(shù)據(jù)處理邏輯從數(shù)據(jù)處理構(gòu)件中抽離了出來，當數(shù)據(jù)處理業(yè)務變動的時候不需要修改構(gòu)件只要按著業(yè)務需求，重新組織構(gòu)件即可解決問題。Nmake可以按著業(yè)務需求輕松地把數(shù)據(jù)處理構(gòu)件組合起來形成帶有業(yè)務邏輯關(guān)系的數(shù)據(jù)處理管道，并且Nmake提供了業(yè)務流功能，針對不同的業(yè)務需求可以提供不同的業(yè)務流支持，從而極大的提高業(yè)務本身的靈活性。當業(yè)務需求變動時，Nmake可以通過重新組合數(shù)據(jù)處理構(gòu)件來完成業(yè)務，而不需修改或者重新編寫數(shù)據(jù)處理構(gòu)件，從而提高數(shù)據(jù)處理構(gòu)件的可復用性。
4 基于互聯(lián)網(wǎng)的主題數(shù)據(jù)平臺的解決方案
基于互聯(lián)網(wǎng)的主題數(shù)據(jù)平臺面臨的主要問題是如何通過遠程數(shù)據(jù)傳輸將互聯(lián)網(wǎng)的異地、異構(gòu)的數(shù)據(jù)源中的數(shù)據(jù)傳輸?shù)街黝}數(shù)據(jù)服務層中。數(shù)據(jù)一旦進入主題數(shù)據(jù)平臺的主題數(shù)據(jù)服務層，就可以使用和基于局域網(wǎng)的解決方案相同的技術(shù)對數(shù)據(jù)進行整理。通過遠程數(shù)據(jù)傳輸將互聯(lián)網(wǎng)的異構(gòu)數(shù)據(jù)傳輸?shù)街黝}數(shù)據(jù)服務層之后的功能與基于局域網(wǎng)的數(shù)據(jù)轉(zhuǎn)換接口的功能相同。
中央廣播電視大學遠程開放教育的教務管理系統(tǒng)是一個跨越44個省面向全國的開放式教育體系結(jié)構(gòu)。該系統(tǒng)包含四級平臺、五種角色，由于其獨特性中央電大教務管理系統(tǒng)基于互聯(lián)網(wǎng)的主題數(shù)據(jù)平臺的搭建有如下4方面需求：
1） 中央電大各個系統(tǒng)之間、中央電大教務管理系統(tǒng)各級平臺之間需要能進行靈活的數(shù)據(jù)交換。
2）每次交換數(shù)據(jù)的數(shù)據(jù)量可能達到GB級。
3）部分數(shù)據(jù)交換有實時性要求，在規(guī)定時間內(nèi)客戶端必須收到響應，不能因為數(shù)據(jù)傳輸而推遲業(yè)務進度。
4）需要在網(wǎng)絡狀況不穩(wěn)定的情況下完成數(shù)據(jù)交換，因為中央電大教務系統(tǒng)是跨越44個省的開放式教育系統(tǒng)，所以中央電大需要同44所省電大交換數(shù)據(jù)，在這種情況下網(wǎng)絡狀況不可預知、穩(wěn)定性難以保證，但傳輸仍然需要進行。
4.1 SOAP協(xié)議與Hessian協(xié)議的比較
目前，Web服務技術(shù)是解決異構(gòu)平臺系統(tǒng)的集成及互操作問題的主流技術(shù)[1]。它所基于的XML已經(jīng)是Internet上交換數(shù)據(jù)的實際標準，基于通用的進程間通信協(xié)議和網(wǎng)絡傳輸協(xié)議屏蔽平臺的差異，可以將各種異構(gòu)環(huán)境下的通信及調(diào)用請求均統(tǒng)一為標準的Web服務格式[3]。
但是由于SOAP協(xié)議的結(jié)構(gòu)問題會使封裝的數(shù)據(jù)膨脹數(shù)倍。當傳輸數(shù)據(jù)量比較小時，問題不是那么明顯，但是當進行大數(shù)據(jù)量傳輸時就會導致Web服務的傳輸性能在實際運用中降低了很多。這對于經(jīng)常有大數(shù)據(jù)量數(shù)據(jù)交換的應用系統(tǒng)來說是不適用的。
Caucho Technology公司制定的HBWSP（Hessian Binary Web Service Protocol）[2]在這方面的有所突破。Hessian協(xié)議和web service常用的SOAP協(xié)議類似，也是將協(xié)議報文封裝在HTTP封包中，通過HTTP信道進行傳輸?shù)?。因此Hessian協(xié)議具有與SOAP協(xié)議同樣的優(yōu)點，即傳輸不受防火墻的限制（防火墻通常不限制HTTP信道）。Hessian協(xié)議的優(yōu)勢在于：它把本地格式的數(shù)據(jù)編碼為二進制數(shù)據(jù)，僅用一個字符作為結(jié)構(gòu)化標記，HBWSP封裝后的數(shù)據(jù)增量明顯小于SOAP封裝后的數(shù)據(jù)增量。并且相對于SOAP，Hessian協(xié)議的外部數(shù)據(jù)表示有3個顯著的優(yōu)勢：
1）采用簡單的結(jié)構(gòu)化標記。簡單的結(jié)構(gòu)化標記減少了編碼、解碼操作對內(nèi)存的占用量。編碼時，只需寫少量的數(shù)據(jù)，就可以標記結(jié)構(gòu)；解碼時，只需讀少量的數(shù)據(jù)就可以確定結(jié)構(gòu)。而且，簡單的結(jié)構(gòu)化標記減少了編碼后的數(shù)據(jù)增量。
2）采用定長的字節(jié)記錄值。用定長的字節(jié)記錄值，解碼時，就可以使用位操作從固定長度的位獲得值。這樣不僅操作簡單，而且可以獲得較高的性能。
3）采用引用取代重復遇到的對象。使用引用取代重復遇到的對象可以避免對重復對象的編碼，而且也減少了編碼后的數(shù)據(jù)量。
因此使用Hessian協(xié)議傳輸數(shù)據(jù)量比SOAP協(xié)議要小得多。實踐證明，傳輸同樣的對象Hessian協(xié)議傳輸?shù)臄?shù)據(jù)量比SOAP協(xié)議低一個數(shù)量級。因此Hessian協(xié)議比SOAP協(xié)議更適用于分布式應用系統(tǒng)間大數(shù)據(jù)量的數(shù)據(jù)交換。
4.2 Hessian協(xié)議的實現(xiàn)構(gòu)架
Hessian協(xié)議的實現(xiàn)構(gòu)架如圖３所示：為了實現(xiàn)Hessian 構(gòu)架，設計了下列組件：編碼組件、解碼組件、通信組件、報告故障組件、代理組件、調(diào)用服務過程組件。
圖3 Hessian協(xié)議的實現(xiàn)構(gòu)架
首先客戶端發(fā)出本地請求，代理組件響應請求依據(jù)服務接口，生成客戶端存根，并調(diào)用編碼組件對本地請求進行基于Hessian Binary Web Service Protocol標準的二進制編碼。然后調(diào)用通信組件將請求發(fā)送給服務器端。服務器端通信組件接收到請求后把請求轉(zhuǎn)發(fā)給調(diào)用服務過程組件，調(diào)用服務過程組件會首先調(diào)用解碼組件，得到過程標識，將過程標識轉(zhuǎn)給服務器端存根，并依據(jù)部署文件和客戶端的請求加載服務過程的實現(xiàn)類。然后根據(jù)過程標識、過程參數(shù)調(diào)用服務過程。最后調(diào)用編碼組件將響應結(jié)果進行編碼并通過通信組件返回給客戶端。
當數(shù)據(jù)傳輸、通信發(fā)生錯誤的時候就需要啟用報告故障組件，它可以以異常的形式，報告發(fā)送端、接收端、或者網(wǎng)絡連接發(fā)生的故障，并把錯誤記錄以日志的方式記錄下來保存在文件中，以備日后查閱。
4.3 實現(xiàn)結(jié)構(gòu)
針對教務管理系統(tǒng)互聯(lián)網(wǎng)傳輸存在的一系列問題，基于互聯(lián)網(wǎng)的主體數(shù)據(jù)平臺采用基于HBWSP的輕量級跨平臺通信技術(shù)實現(xiàn)數(shù)據(jù)交換，如圖4所示。在客戶端，應用服務器從主題數(shù)據(jù)服務層中抽取數(shù)據(jù)，并按著HBWSP的外部數(shù)據(jù)表示對本地格式數(shù)據(jù)進行編碼。然后通過internet網(wǎng)進行傳輸，在服務器端，數(shù)據(jù)交換的服務負責按照HBWSP的外部數(shù)據(jù)表示對接收到的數(shù)據(jù)進行解碼，然后再對數(shù)據(jù)進行分析、處理后把數(shù)據(jù)插入到服務器端的主題數(shù)據(jù)服務層中。
圖4非持久同步方式的數(shù)據(jù)交換解決方案
該解決方案的主要特點包括：
1）采用了HBWSP的二進制編碼方式解決了異地、異構(gòu)平臺系統(tǒng)的通信問題，并使數(shù)據(jù)交互具有了一定的實時性。
2）由于HBWSP簡潔的編碼方式以及編碼、解碼性能高等特點使數(shù)據(jù)交換具有交換GB級數(shù)據(jù)的能力。
3）采用了HBWSP的二進制編碼方式有助于縮短整個數(shù)據(jù)交換所需要的時間。其編碼性能高的特點，有助于提高編碼速度，減少發(fā)送方編碼本地數(shù)據(jù)的時間。其解碼性能高的特點，可以減少接收方解碼、重構(gòu)本地數(shù)據(jù)的時間。從而減少了數(shù)據(jù)交換的響應時間。
4）采用了HBWSP的二進制編碼方式和數(shù)據(jù)分批傳送技術(shù)有助于充分利用網(wǎng)絡狀況良好的時段?？梢栽诰W(wǎng)絡狀況良好的時段盡可能多的完成數(shù)據(jù)交換。
5）采用了斷點續(xù)傳技術(shù)，保證了當網(wǎng)絡斷連或響應超時導致正在進行的數(shù)據(jù)交換被中斷，在故障修復后仍然可以從中斷處開始，繼續(xù)完成上次沒有完成的數(shù)據(jù)交換的能力。斷點的粒度可以調(diào)節(jié)，可以是一條數(shù)據(jù)，也可以是多條數(shù)據(jù)。
6）采用了事務保護機制，把每批要傳輸?shù)臄?shù)據(jù)定義為一個事務，本批要傳輸?shù)臄?shù)據(jù)的事務完整性不依賴于已經(jīng)完成的各批數(shù)據(jù)，本批數(shù)據(jù)傳輸發(fā)生錯誤也不會對已經(jīng)完成的各批數(shù)據(jù)造成影響。采用這種方法，可以在數(shù)據(jù)交換過程被中斷的情況下保證數(shù)據(jù)交換事務的完整性。
5 總結(jié)和展望
本文在SOA理論的基礎(chǔ)上提出了一個主題數(shù)據(jù)平臺的概念，力圖把異地、異構(gòu)的數(shù)據(jù)綜合起來，組成一個強壯的、高可靠性的、可共用的標準數(shù)據(jù)服務平臺。從而解決中央電大新舊教學管理系統(tǒng)數(shù)據(jù)“孤島”的問題。我們再進一步針對現(xiàn)實環(huán)境：局域網(wǎng)和互聯(lián)網(wǎng)兩種情況進行了分析，并給出了實現(xiàn)框架和技術(shù)細節(jié)。
但是如何在信息暴露的基礎(chǔ)上，對業(yè)務應用進行進一步的梳理、劃分、整合，從而封裝成用戶可以隨意組合、使用的標準服務，從而實現(xiàn)真正的SOA，是需要我們進一步研究的內(nèi)容。
參考文獻
[1] George Coulouris， Jean Dollimore， Tim Kindberg. Distributed Systems Concepts and Design.金蓓弘.第3版.機械工業(yè)出版社， 2003： 134-150
[2] Caucho Technology，inc.Hessian 1.0.1 Specification.
http：//www.caucho.com/hessian/hessian-draft-spec.xtp[3] Ramesh Nagappan， Robert Skoczylas， Rima Patel Sriganesh.Developing Java Web Services architecting and developing Secure Web Services Using Java.龐太剛， 陶程.清華大學出版社，2004：17-18
收稿日期：3月13日 修改日期： 3月19日
基金項目：中央廣播電視大學教務管理系統(tǒng)
作者簡介：聶靖松（1981-），河北石家莊，碩士，研究方向：分布式應用系統(tǒng)的研究與開發(fā)；李維銘（1962-），男，北京，高級工程師，研究方向：分布式計算；邸瑞華（1947-），女，河北鹽縣，教授，博士生導師，研究方向：網(wǎng)絡分布式計算與分布式系統(tǒng)。
