国产一级a片免费看高清,亚洲熟女中文字幕在线视频,黄三级高清在线播放,免费黄色视频在线看

 方法介紹

MapReduce是一種計(jì)算模型，簡(jiǎn)單的說(shuō)就是將大批量的工作（數(shù)據(jù)）分解（MAP）執(zhí)行，然后再將結(jié)果合并成最終結(jié)果（REDUCE）。這樣做的好處是可以在任務(wù)被分解后，可以通過(guò)大量機(jī)器進(jìn)行并行計(jì)算，減少整個(gè)操作的時(shí)間。但如果你要我再通俗點(diǎn)介紹，那么，說(shuō)白了，Mapreduce的原理就是一個(gè)歸并排序。

適用范圍：數(shù)據(jù)量大，但是數(shù)據(jù)種類(lèi)小可以放入內(nèi)存

基本原理及要點(diǎn)：將數(shù)據(jù)交給不同的機(jī)器去處理，數(shù)據(jù)劃分，結(jié)果歸約。

基礎(chǔ)架構(gòu)

想讀懂此文，讀者必須先要明確以下幾點(diǎn)，以作為閱讀后續(xù)內(nèi)容的基礎(chǔ)知識(shí)儲(chǔ)備：

1. MapReduce是一種模式。
2. Hadoop是一種框架。
3. Hadoop是一個(gè)實(shí)現(xiàn)了MapReduce模式的開(kāi)源的分布式并行編程框架。

所以，你現(xiàn)在，知道了什么是MapReduce，什么是hadoop，以及這兩者之間最簡(jiǎn)單的聯(lián)系，而本文的主旨即是，一句話概括：在hadoop的框架上采取MapReduce的模式處理海量數(shù)據(jù)。下面，咱們可以依次深入學(xué)習(xí)和了解MapReduce和hadoop這兩個(gè)東西了。

MapReduce模式

前面說(shuō)了，MapReduce是一種模式，一種什么模式呢?一種云計(jì)算的核心計(jì)算模式，一種分布式運(yùn)算技術(shù)，也是簡(jiǎn)化的分布式編程模式，它主要用于解決問(wèn)題的程序開(kāi)發(fā)模型，也是開(kāi)發(fā)人員拆解問(wèn)題的方法。

Ok，光說(shuō)不上圖，沒(méi)用。如下圖所示，MapReduce模式的主要思想是將自動(dòng)分割要執(zhí)行的問(wèn)題（例如程序）拆解成Map（映射）和Reduce（化簡(jiǎn)）的方式，流程圖如下圖1所示：

在數(shù)據(jù)被分割后通過(guò)Map函數(shù)的程序?qū)?shù)據(jù)映射成不同的區(qū)塊，分配給計(jì)算機(jī)機(jī)群處理達(dá)到分布式運(yùn)算的效果，在通過(guò)Reduce 函數(shù)的程序?qū)⒔Y(jié)果匯整，從而輸出開(kāi)發(fā)者需要的結(jié)果。

MapReduce借鑒了函數(shù)式程序設(shè)計(jì)語(yǔ)言的設(shè)計(jì)思想，其軟件實(shí)現(xiàn)是指定一個(gè)Map函數(shù)，把鍵值對(duì)(key/value)映射成新的鍵值對(duì)(key/value)，形成一系列中間結(jié)果形式的key/value 對(duì)，然后把它們傳給Reduce(規(guī)約)函數(shù)，把具有相同中間形式key的value合并在一起。Map和Reduce函數(shù)具有一定的關(guān)聯(lián)性。函數(shù)描述如表1 所示：

MapReduce致力于解決大規(guī)模數(shù)據(jù)處理的問(wèn)題，因此在設(shè)計(jì)之初就考慮了數(shù)據(jù)的局部性原理，利用局部性原理將整個(gè)問(wèn)題分而治之。MapReduce集群由普通PC機(jī)構(gòu)成，為無(wú)共享式架構(gòu)。在處理之前，將數(shù)據(jù)集分布至各個(gè)節(jié)點(diǎn)。處理時(shí)，每個(gè)節(jié)點(diǎn)就近讀取本地存儲(chǔ)的數(shù)據(jù)處理（map），將處理后的數(shù)據(jù)進(jìn)行合并（combine）、排序（shuffle and sort）后再分發(fā)（至reduce節(jié)點(diǎn)），避免了大量數(shù)據(jù)的傳輸，提高了處理效率。無(wú)共享式架構(gòu)的另一個(gè)好處是配合復(fù)制（replication）策略，集群可以具有良好的容錯(cuò)性，一部分節(jié)點(diǎn)的down機(jī)對(duì)集群的正常工作不會(huì)造成影響。

ok，你可以再簡(jiǎn)單看看下副圖，整幅圖是有關(guān)hadoop的作業(yè)調(diào)優(yōu)參數(shù)及原理，圖的左邊是MapTask運(yùn)行示意圖，右邊是ReduceTask運(yùn)行示意圖：

如上圖所示，其中map階段，當(dāng)map task開(kāi)始運(yùn)算，并產(chǎn)生中間數(shù)據(jù)后并非直接而簡(jiǎn)單的寫(xiě)入磁盤(pán)，它首先利用內(nèi)存buffer來(lái)對(duì)已經(jīng)產(chǎn)生的buffer進(jìn)行緩存，并在內(nèi)存buffer中進(jìn)行一些預(yù)排序來(lái)優(yōu)化整個(gè)map的性能。而上圖右邊的reduce階段則經(jīng)歷了三個(gè)階段，分別Copy->Sort->reduce。我們能明顯的看出，其中的Sort是采用的歸并排序，即merge sort。

問(wèn)題實(shí)例

1. The canonical example application of MapReduce is a process to count the appearances of each different word in a set of documents:
2. 海量數(shù)據(jù)分布在100臺(tái)電腦中，想個(gè)辦法高效統(tǒng)計(jì)出這批數(shù)據(jù)的TOP10。
3. 一共有N個(gè)機(jī)器，每個(gè)機(jī)器上有N個(gè)數(shù)。每個(gè)機(jī)器最多存O(N)個(gè)數(shù)并對(duì)它們操作。如何找到N^2個(gè)數(shù)的中數(shù)(median)