信息發(fā)現(xiàn)往往是一個令人快樂的事情.尤其是現(xiàn)在有了支持全文檢索的web搜索引擎,這使得我們在獲取信息來說提供了更大的方便.然而事實并不是想像的那么簡單,比如現(xiàn)在的搜索引擎對文本信息可能比較有效,而超越了這個范圍就不在顯得那么威力無比,再有就是搜索引擎處理的網(wǎng)頁文本也通常受到網(wǎng)頁設(shè)計的結(jié)構(gòu)和輸出方式等等的影響.總結(jié)起來大體有4個方面問題:
1 從搜索引擎的技術(shù)能力目前是有限的,盡管搜索引擎在網(wǎng)絡(luò)上發(fā)現(xiàn)文本信息方面的作用很大,但是我們知道一些個更有價值的東東往往是非文本格式的,比如pdf,Caj等甚至更多的音頻視頻，圖片等多媒體的信息.據(jù)一份調(diào)查（IDG.NET）顯示,現(xiàn)在網(wǎng)絡(luò)上非文本信息與文本信息的比例是3:1,那是什么含義呢,就是說互聯(lián)網(wǎng)上有近75%的信息是以非文本格式存放的, 所以盡管目前最強(qiáng)的全球引擎Google能支持12中文件格式,但是對龐大浩瀚的信息的海洋還是九牛一毛,
2 更何況現(xiàn)在的搜索引擎還存在著被稱之為搜索引擎黑洞的東東,就是對動態(tài)文本的抓取和索引問題.搜索引擎還處理不了諸如,框架,動態(tài)輸出文本等.(百度的robot已經(jīng)能處理一些動態(tài)程序生成的數(shù)據(jù))
3 從運(yùn)營成本上將,運(yùn)行一個綜合搜索引擎并時常更新索引,這樣成本非常之高的.
4 還有就是搜索引擎必須同那些利用引擎特點(diǎn)而惡意設(shè)置無聊的垃圾頁面來破壞其索引的作斗爭,不是改變或這優(yōu)化一些規(guī)則,從而保證其質(zhì)量.但這時候就難免會出現(xiàn)一些正常的或這非常有用的網(wǎng)頁被spam掉.
5 再有就是一些專業(yè)的數(shù)據(jù)庫的,網(wǎng)頁搜索引擎并不能實現(xiàn)對其的查詢功能.而這些專業(yè)數(shù)據(jù)庫相對來說對你也許會更有用!
所以,通過上面四條總括,我是想說明互聯(lián)網(wǎng)上存在很多內(nèi)容其實我們通過這種常規(guī)的辦法我們是沒法發(fā)現(xiàn)的,被稱之為:invisible-web,其實往往這些不可見的網(wǎng)頁更具有商業(yè)價值或?qū)W術(shù)價值.那這就成為一個矛盾了，那么這個與我們在網(wǎng)路上要求發(fā)現(xiàn)信息的愿望恰好相背。那么怎么來發(fā)現(xiàn)這些不可見網(wǎng)頁,并充分利用之,是本文所要探討的目的，進(jìn)入一個搜索引擎未曾進(jìn)入的領(lǐng)域,去更好的詮釋"我們?nèi)裟芡咨扑褜べY料,實在已經(jīng)改變世界了"
我對這些信息作了一些大致的分類,具體介紹如下:
1 專業(yè)數(shù)據(jù)庫信息,比如Cnki,,數(shù)據(jù)庫,中國大百科知識文庫,專利檢索數(shù)據(jù)庫,醫(yī)學(xué)專業(yè)數(shù)據(jù)庫等當(dāng)然大多數(shù)專業(yè)數(shù)據(jù)庫需要付費(fèi),但是網(wǎng)絡(luò)上往往會有專業(yè)數(shù)據(jù)庫的賬號密碼,是網(wǎng)友共享.大家可以參考huangwei98給大家提供的密碼檢索方法.還有這些數(shù)據(jù)庫有的還提供某些網(wǎng)站提供免費(fèi)檢索入口.比如:http://vip.tidti.ac.cn/zk/bin/home.htm,還有
http://highwire.stanford.edu2 實時更新信息,有新聞,氣象信息,股票信息,股市行情,電視節(jié)目等無法實現(xiàn)實時查詢，（當(dāng)然現(xiàn)在更新的頻率已經(jīng)大有提高，據(jù)說5分鐘）
3 公共詞典,包括行業(yè)詞典,專業(yè)術(shù)語,語言工具等.
4 特定資源庫,包括Bt資源庫,電子地圖,列車航班,電話號碼,郵編,ip地址之類 要發(fā)現(xiàn)或使用這些信息的辦法,目前根據(jù)公共普通搜索引擎,發(fā)現(xiàn)這些特定資源的標(biāo)志,然后到相關(guān)的網(wǎng)站去查找相應(yīng)的信息.但是往往時我們根本就不知道任何關(guān)于這個標(biāo)志（或稱之為關(guān)鍵詞）時，我們?nèi)绾稳ニ阉骼霉菜阉饕嫣峁┑臄U(kuò)展功能去查詢相應(yīng)的信息,比如google提供的windows,mac,linux信息查詢庫等,和百度提供的生活搜索入口,http://life.baidu.com，新浪提供的網(wǎng)址精品，其實大家都在做的是讓用戶更方便的去找到你需要的，
5 關(guān)注特定網(wǎng)站的特定信息,比如yahoo財經(jīng),提供的財經(jīng)信息,股市行情比較有用,當(dāng)然具體信息你可以去特定的網(wǎng)站去發(fā)現(xiàn).
當(dāng)然我們更希望能在一個特定的入口去發(fā)現(xiàn)這么多我們想關(guān)注的信息,但是這個特定入口如何實現(xiàn).
信息發(fā)現(xiàn)與Invisible-Web （2) [2004-2-15]
不可見網(wǎng)頁搜索的問題會隨著搜索引擎的技術(shù)的進(jìn)步逐漸得到一些改善，但是永遠(yuǎn)都不可能完全解決之。為什么？這不是一個哲學(xué)問題，所以不需要回答。
搜索引擎9238說過的，搜索之前的重要的一環(huán)節(jié)是思考。那我的理解應(yīng)該是你首先要思考你要找什么，不僅如此你還要思考你要找的東東用文字怎么來表達(dá)，盡量用書面化的比較正規(guī)的表達(dá)方式來表達(dá)來描述你的搜索對象。這與另一觀點(diǎn)：自然語言搜索，是有區(qū)別的，自然語言不是口語，更不是地方語言。而某些人恰好就走到這個極端了。另有篇章敘述之。
我要說明的是對不可見資源，你通過搜索引擎可能會找到其入口。那這也就是目前的搜索引擎對與不可見資源的終極意義了。運(yùn)用恰當(dāng)?shù)年P(guān)鍵字你能很迅速很準(zhǔn)確的找到您需要的資源的入口那也不能不說是很好的事情。所以，百度推出所謂的生活搜索，
http://www.baidu.com/life/,它是百度為用戶提供的一些個比較重要的服務(wù)導(dǎo)航性的搜索工具的列表。
