. 突破“全文檢索極限，引領(lǐng)信息整合風(fēng)暴”
龍卷風(fēng)信息整合系列談之三
日期：2003 年 06 月 13日 - 北京
資料的多元化
隨著信息種類的日益變化，企業(yè)內(nèi)的資料的存儲方式也發(fā)生了變化。大多數(shù)信息資源已不再只以結(jié)構(gòu)性資料（各種類型的數(shù)據(jù)庫）來存取，而是以半結(jié)構(gòu)化（XML文件，LOG文件）或非結(jié)構(gòu)化資料（例如MS Word、Excel文件、PDF、WPS，Exchange、Lotus Notes等應(yīng)用系統(tǒng)中的資料，以及附件，甚至于圖片，OCR文件等等）的方式進(jìn)行存取。各種格式、各個時期、各種應(yīng)用的異構(gòu)環(huán)境下的復(fù)雜數(shù)據(jù)源并存，企業(yè)面臨著數(shù)據(jù)多元化的挑戰(zhàn)。因此，對信息的整理和快速檢索等成為最迫切的需要。
針對企業(yè)對資源整合和檢索的巨大需求，國內(nèi)外眾多的軟件廠商紛紛推出了相關(guān)的解決方案，例如：文件管理系統(tǒng)（Document Management）、內(nèi)容管理系統(tǒng)（Content Management）、企業(yè)入口網(wǎng)站（EIP）…等等。伴隨各種信息管理系統(tǒng)應(yīng)運而生之后，信息內(nèi)容勢必會分散儲存在不同的應(yīng)用程序之中，因此，信息內(nèi)容的獲取、應(yīng)用、鏈接與整合的需求，將隨信息數(shù)字化而日益迫切，不論何種應(yīng)用解決方案，信息檢索（Information Retrieval）將會是其中不可或缺的關(guān)鍵技術(shù)。
傳統(tǒng)的搜索概念
信息檢索作為一門學(xué)科，其歷史可追溯到20世紀(jì)中期。在此之前，信息存儲和傳播主要以紙質(zhì)介質(zhì)為載體，信息檢索活動也圍繞著文獻(xiàn)的獲取和控制展開。20世紀(jì)50年代，計算機(jī)技術(shù)開始得到實際應(yīng)用，“情報檢索”也開始與IT技術(shù)緊密結(jié)合，從而產(chǎn)生了現(xiàn)代意義的“信息檢索”。隨著通信技術(shù)與計算機(jī)技術(shù)的緊密結(jié)合，信息載體類型的多樣化及傳播手段的改進(jìn)，情報檢索研究和文獻(xiàn)檢索研究逐漸歸入信息檢索研究這一具兼容性的概念。
全文檢索技術(shù)最早出現(xiàn)在美國Pittsburgh大學(xué)1959年建立的法律情報檢索中，進(jìn)入80年代以后，許多商業(yè)檢索系統(tǒng)都開始大力推行并發(fā)展全文檢索技術(shù)。與其他檢索技術(shù)相比，全文檢索的新穎之處在于，它可以使用原文中任何一個有實際意義的詞作為檢索入口，而且得到的檢索結(jié)果是源文獻(xiàn)而不是文獻(xiàn)線索。
盡管全文檢索技術(shù)得到了多年的發(fā)展和廣泛應(yīng)用，但也仍然存在著不少的弊端和局限性，表現(xiàn)在：
1. 不能靈活處理多元化的數(shù)據(jù)；
2. 無法及時、有效的同步更新的數(shù)據(jù)；
3. 難以和其他應(yīng)用系統(tǒng)整合。
因此，由于傳統(tǒng)搜索軟件存在的弊端和局限性，用戶仍然很難從大量的數(shù)據(jù)中搜尋出有價值的信息來，同時也無法解決企業(yè)當(dāng)前存在的知識管理困難、檢索困難等根本問題。
龍卷風(fēng)科技IRMS R2
在過去，DBMS（數(shù)據(jù)庫管理信息系統(tǒng)）在資料存取和檢索中占了非常重要的地位，但隨著半結(jié)構(gòu)化及非結(jié)構(gòu)化的資料量的增加，DBMS的處理效能日益銳減（如圖所示），針對此一問題，北京龍卷風(fēng)信息科技有限公司以經(jīng)營企業(yè)市場多年的經(jīng)驗，結(jié)合優(yōu)異的IR核心技術(shù)，開發(fā)出的新一代信息管理系統(tǒng)——IRMS （Information Retrieval Management System）R2企業(yè)信息應(yīng)用基礎(chǔ)平臺，來彌補(bǔ)DBMS在處理效能上逐漸降低的不足。它將極大地改善企業(yè)信息管理的現(xiàn)狀，為企業(yè)提供“信息經(jīng)濟(jì)”時代的“倚天”利器。
龍卷風(fēng)科技認(rèn)為，要解決企業(yè)信息化中所出現(xiàn)的問題，答案在于如何執(zhí)行，而不是將信息檢索當(dāng)作企業(yè)應(yīng)用的關(guān)鍵來實施。為了使信息檢索功能能夠真正的成為企業(yè)信息化的應(yīng)用平臺，需要針對這些功能特別建置一個架構(gòu)體系。就如同將數(shù)據(jù)庫管理系統(tǒng)作為財務(wù)軟件系統(tǒng)、ERP 和 CRM 的基礎(chǔ)設(shè)施組件一般，龍卷風(fēng)科技期望能將 IRMS R2作為一種關(guān)鍵性的基礎(chǔ)設(shè)施組件，作為任何企業(yè)的信息整合應(yīng)用平臺的管理工具并提供非結(jié)構(gòu)化資料的處理機(jī)制。
龍卷風(fēng)科技是一家提供信息檢索（Information Retrieval）及其相關(guān)應(yīng)用基礎(chǔ)件（自然語言技術(shù)，智能型代理和自動分類等等）的信息整合供應(yīng)商。在日益凸顯的擴(kuò)展企業(yè)鏈環(huán)境下滿足用戶要求，意味著將信息檢索技術(shù)更深入地嵌入企業(yè)應(yīng)用基礎(chǔ)平臺中。不過，龍卷風(fēng)與其它初期開發(fā)廠商的策略不同是在于，強(qiáng)調(diào)將更徹底的檢索技術(shù)轉(zhuǎn)向作為信息檢索的整合應(yīng)用平臺提供者。通過以 IRMS R2作為信息檢索平臺的基礎(chǔ)結(jié)構(gòu)，使IRMS R2系統(tǒng)成為基于開放行業(yè)標(biāo)準(zhǔn)技術(shù)的松散耦合的組件模塊，IRMS R2提升為企業(yè)應(yīng)用基礎(chǔ)平臺層面，并克服過度強(qiáng)調(diào)專有技術(shù)的競爭性基礎(chǔ)設(shè)施策略的局限。
為了使信息檢索技術(shù)在支持企業(yè)價值鏈時發(fā)揮信息整合的作用，信息檢索技術(shù)除為各種企業(yè)數(shù)據(jù)庫中任何格式的資料提供最新的新的索引建置(Indexing)、搜索(Searching)和檢索(Retrieving)機(jī)制外，它還應(yīng)該要具備其它更多的功能，如信息集取(Information Aggregation) , 信息再加工（Information Refining） 等。信息檢索技術(shù)若要提升成為企業(yè)應(yīng)用基礎(chǔ)平臺，需要參考企業(yè)環(huán)境的復(fù)雜性和異質(zhì)性（Heterogeneity）來建置架構(gòu)體系，并面對參與企業(yè)應(yīng)用平臺開發(fā)及需求變更的挑戰(zhàn)。
IRMS R2的設(shè)計理念正是以一種平臺理念來設(shè)計的，希望能協(xié)助企業(yè)在面對日趨復(fù)雜和不同的應(yīng)用平臺時，能將信息檢索技術(shù)更深入的嵌入企業(yè)的應(yīng)用基礎(chǔ)平臺上。IRMS R2設(shè)計的優(yōu)勢能讓軟件開發(fā)商、系統(tǒng)整合商和經(jīng)銷商能夠?qū)⑿畔z索技術(shù)作為應(yīng)用基礎(chǔ)平臺，進(jìn)而對企業(yè)所有存在的資料資源提供更有價值，更及時性及更具相關(guān)性的搜索服務(wù)。
未來的發(fā)展
如何快速、準(zhǔn)確、完整地找到有效信息，在知識經(jīng)濟(jì)時代顯得特別重要。Ovum對于下一代檢索技術(shù)有一種新的說明與解釋：
“the technologies and products that are bringing new levels of intelligence, order, and personalization to the search process.”
至于中文檢索技術(shù)的下一步發(fā)展趨勢，將需要從全文檢索為出發(fā)，藉由信息內(nèi)容的整合，進(jìn)而發(fā)展成為知識檢索。
知識檢索 Knowledge Retrieval
知識檢索有賴于語言學(xué)工程的突破，以及自然語言處理的技術(shù)應(yīng)用，中國IBM和微軟中國研究院在這方面均早已投入極龐大的研發(fā)資源。知識檢索需要更加注重內(nèi)容挖掘的功能，現(xiàn)階段如果稱得上知識檢索系統(tǒng)，至少應(yīng)該具備智能化（Intelligence）與自動化（Automation）的技術(shù)。首先，智能化知識檢索包含以下一些功能：
（1） 基本的檢索功能，例如：拼音檢索、同音檢索等功能。
（2） 廣義同義詞檢索，例如檢索“計算機(jī)”，可以把包含“計算器”、“Computer”的內(nèi)容檢索出來。
（3） 中文斷詞技術(shù)，比如檢索“華人”，包含“中華人民共和國”的內(nèi)容將不會被檢索出來。
（4） 具有主題詞典與大規(guī)模實例描述的漢語分詞知識庫。
（5） 具有內(nèi)容挖掘功能，比如對數(shù)字的理解，新詞學(xué)習(xí)等。
（6） 智能代理檢索。
除了智能型的知識檢索外，自動化的學(xué)習(xí)與反饋機(jī)制，也將是升華技術(shù)應(yīng)用的基石，相關(guān)技術(shù)項目如：
(1) 具有基于內(nèi)容的相似性檢索功能
(2) 具有自動分類（自動聚類）和自動摘要功能
(3) 具有知識壓縮和去除重復(fù)(去重)內(nèi)容的功能
信息內(nèi)容（Content）
企業(yè)數(shù)字化之后，將會需要整合更多不同的信息，因此，必須有提供不同內(nèi)容混合檢索的機(jī)制，相關(guān)信息內(nèi)容類型如：
(1) 非結(jié)構(gòu)性內(nèi)容：一般文本文件、HTML網(wǎng)頁、MS Word, Powerpoint, Excel, PDF…等文件。
(2) 結(jié)構(gòu)性內(nèi)容，例如各種關(guān)系型數(shù)據(jù)庫系統(tǒng)（RDBMS）的內(nèi)容。
(3) 圖片、語音、影像等多媒體信息。
(4) 半結(jié)構(gòu)化XML內(nèi)容，XML已經(jīng)逐漸成為資料描述和交換的標(biāo)準(zhǔn)，對于XML半結(jié)構(gòu)化信息的支持，可以實現(xiàn)更好的檢索效果。
總結(jié)
整合應(yīng)用，集成化、一體化的管理平臺，是未來信息管理和知識管理以及其他相關(guān)領(lǐng)域的大趨勢。如何把已經(jīng)積累的大量的處于分散狀態(tài)的原始數(shù)據(jù)進(jìn)行整合，如何將多個應(yīng)用、多種功能進(jìn)行充分整合，這是在信息整合當(dāng)中一個非常重要的題目，同時市場前景廣闊。而龍卷風(fēng)IRMS R2信息整合應(yīng)用平臺的推出，將領(lǐng)導(dǎo)這一領(lǐng)域朝著更深、更全面、更實用的方向發(fā)展。
本資料內(nèi)容屬龍卷風(fēng)科技有限公司所有，任何人未經(jīng)該公司同意，不得自行翻印、節(jié)錄其中文字使用。
