Yahoo用Hadoop開源項目挑戰(zhàn)Google
Yahoo用Hadoop開源項目挑戰(zhàn)Google

國外媒體消息，如果你想接觸一些Google核心技術的開源版本，也許你應該問Yahoo.
　　
　　Yahoo已經(jīng)成為Hadoop的主要發(fā)起者之一。Hadoop是一個開源項目，該項目的目標是復制Google的技術來在成百上千日常的個人電腦之間保存和處理大量的分布式數(shù)據(jù)。去年Hadoop項目的創(chuàng)始人Doug Cutting加入了Yahoo，并在六月的Oscon開源大會上與Yahoo公司網(wǎng)狀式計算部門的主管Eric Baldeschwieler詳細介紹了他們是如何應用這項技術的。
　　
　　Cutting，曾經(jīng)在Excite和Xerox的PARC工作，建立或合作建立了一系列項目，這些項目涉及在Apache軟件小組的領導下建立一個開源的搜索平臺。他在Lucene（一個頁面索引和搜索的Java軟件庫）和Nutch（一個建立在Lucene上的搜索引擎應用程序）方面的工作產(chǎn)生了Hadoop,Hadoop開始是作為一個Nutch的輔助項目，目標是在多臺電腦間編譯一個搜索索引用來有效地擴展工作量。因為Cutting不在Yahoo辦公，他表示他的工作實際更像是有人支付薪水讓他為他的Apache項目全職工作，并且?guī)椭鶼ahoo和開源社區(qū)有效地合作。另一方面，他不參與Yahoo大多數(shù)技術以外的東西。
情緣XIUGOO站長之家 網(wǎng)賺聯(lián)盟 Yahoo專題

　　Hadoop使用的基礎技術是另一項技術的一部分，該技術使得Google管理大量的與為頁面加索引相關的數(shù)據(jù)處理的挑戰(zhàn)，并且經(jīng)濟地處理。Google沒有發(fā)布其Google文件系統(tǒng)或關聯(lián)的分布計算環(huán)境的源代碼，知名的有MapReduce。但是Google所做的是在計算機科學雜志發(fā)表學術白皮書，大概他們完全清楚競爭對手和開源的程序員很可能建立他們自己的項目。

　　除了在Oscan介紹Hadoop,Cutting還參加了一個由O'Reilly傳媒公司的首席執(zhí)行官Tim O'Reilly主持的關于新的系統(tǒng)規(guī)劃和架構(gòu)技術的討論座談。當Cutting謝絕推測Yahoo支持這個項目的動機時，O'Reilly稱之為開源在市場上成為“兩個選手的天然同盟”的一個例子，也是保持市場平等的一種方式。

　　在后續(xù)的博客中，O'Reilly寫到Y(jié)ahoo顯然想用這個“表現(xiàn)的舞臺”來展示它對項目的支持。“實際上，我甚至打電話問David Filo確認我所知的來自高端的支持。”他寫到。O'Reilly認為Yahoo正在嘗試通過接觸開源社區(qū)包括像Hadoop這樣的項目以及它自己的Yahoo Hack Day活動來展示自己。