美女视频男,郭德纲柳岩视频

Internet Archive 的海量存儲淺析-存儲,IA,草根網(wǎng)IT資訊精讀(20ju...

2007.02.27

I

nternet Archive(IA)(http://www./) 這個站點大家應(yīng)該都不陌生。IA 旨在建立所有互聯(lián)網(wǎng)站點的"檔案庫"，如果說 Google 是互聯(lián)網(wǎng)的數(shù)據(jù)庫的話，那么 IA 就是互聯(lián)網(wǎng)的數(shù)據(jù)倉庫了，定期對每個 Web 頁面保存快照，數(shù)據(jù)量之大可想而知。

先看看 IA 每天需要面對的處理能力：
存儲超過 850 億個 Web 頁面；
每天大約 600 萬次的下載；
Wayback Machine 收到大約 1000 萬次點擊，每秒鐘要處理 100-200 個點擊;
每天10萬次左右通過 URL 查找;
每天 400 萬次返回請求;
存儲的內(nèi)容包括本文、音頻、視頻...等各種 Web 可見的格式。

顯然 IA 需要的是一種前所未有的存儲解決解決方案--廉價、可靠、低功耗...總之用起來要省錢。IA 的志愿者不得不考慮自己動手建立符合他們需要的存儲系統(tǒng)，這下子可不簡單，2004 年，第一個 100GB 容量的近線存儲投入使用。IA 的志愿者之一 Saikley 干脆抽身而出成立了 Capricorn Technologies 公司，專為類似組織提供存儲解決方案。前面提到的 100TB 容量的產(chǎn)品即為該公司 GB 系列的產(chǎn)品?，F(xiàn)在 IA 已經(jīng)采用 PS(PowerStore) 系列的 PetaBox，是量身定做的，裝機容量 1.5T，目前容量已經(jīng)超過 3PB(怕是遠遠超過 3PB 了)。PS 系列產(chǎn)品每節(jié)點原始容量可以達到 3T，使用日立 Deskstar 硬盤，僅僅占 1U 的機柜空間。IA 也在站點上介紹了定制的這臺 PetaBox 的一些規(guī)格要求以及參數(shù)。

PetaBox 也是 Linux 在企業(yè)級應(yīng)用取得成功的一個范例。

PetaBox 存儲產(chǎn)品給存儲界帶來了不小的震撼。每 GB 的成本僅僅是 2 美元。這還是 2005 年的價格，現(xiàn)在應(yīng)該更便宜了。搜索了一下，這家公司目前還沒有進入中國。

PetaBox 系統(tǒng)通過一個集中式的 PXE 啟動服務(wù)器運行在 Debian 或是 Fedora Linux ，通過 Nagios 進行整個環(huán)境的監(jiān)控。管理成本也并不高--每 PB 一個人。

作者：Fenng
網(wǎng)址：http://www.dbanotes.net/database/internet_archive_storage.html

本站僅提供存儲服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請點擊舉報。

打開APP，閱讀全文并永久保存查看更多類似文章

分享：30件你不知道可以通過Internet來辦到的事

用了一年多之后才搞懂阿里云OSS收費細則

批量添加并且導(dǎo)入導(dǎo)出IE受限站點

流量是KB是千字節(jié)，MB是兆，GB是千兆，TB是千千兆對嗎？他們誰大誰??？

如何解決“這些文件可能會對您的計算機有害”

瀏覽器無法打開internet站點已停止操作的解決方法

更多類似文章 >>

国产一级a片免费看高清,亚洲熟女中文字幕在线视频,黄三级高清在线播放,免费黄色视频在线看