国产一级a片免费看高清,亚洲熟女中文字幕在线视频,黄三级高清在线播放,免费黄色视频在线看

改變項原框架中新框架中（Yarn）備注配置文件位置${hadoop_home_dir}/conf${hadoop_home_dir}/etc/hadoop/Yarn 框架也兼容老的 ${hadoop_home_dir}/conf 位置配置，啟動時會檢測是否存在老的 conf 目錄，如果存在將加載 conf 目錄下的配置，否則加載 etc 下配置啟停腳本${hadoop_home_dir}/bin/start（stop）-all.sh${hadoop_home_dir}/sbin/start（stop）-dfs.sh${hadoop_home_dir}/bin/start(stop)-all.sh新的 Yarn 框架中啟動分布式文件系統(tǒng)和啟動 Yarn 分離，啟動 / 停止分布式文件系統(tǒng)的命令位于 ${hadoop_home_dir}/sbin 目錄下，啟動 / 停止 Yarn 框架位于 ${hadoop_home_dir}/bin/ 目錄下JAVA_HOME 全局變量${hadoop_home_dir}/bin/start-all.sh 中${hadoop_home_dir}/etc/hadoop/hadoop-env.sh${hadoop_home_dir}/etc/hadoop/Yarn-env.shYarn 框架中由于啟動 hdfs 分布式文件系統(tǒng)和啟動 MapReduce 框架分離，JAVA_HOME 需要在 hadoop-env.sh 和 Yarn-env.sh 中分別配置HADOOP_LOG_DIR 全局變量不需要配置${hadoop_home_dir}/etc/hadoop/hadoop-env.sh老框架在 LOG，conf，tmp 目錄等均默認為腳本啟動的當前目錄下的 log,conf，tmp 子目錄Yarn 新框架中 Log 默認創(chuàng)建在 Hadoop 用戶的 home 目錄下的 log 子目錄，因此最好在 ${hadoop_home_dir}/etc/hadoop/hadoop-env.sh 配置 HADOOP_LOG_DIR，否則有可能會因為你啟動 hadoop 的用戶的 .bashrc 或者 .bash_profile 中指定了其他的 PATH 變量而造成日志位置混亂，而該位置沒有訪問權限的話啟動過程中會報錯由于新的 Yarn 框架與原 Hadoop MapReduce 框架相比變化較大，核心的配置文件中很多項在新框架中已經(jīng)廢棄，而新框架中新增了很多其他配置項，看下表所示會更加清晰：配置文件配置項Hadoop 0.20.X 配置Hadoop 0.23.X 配置說明core-site.xml系統(tǒng)默認分布式文件 URIfs.default.namefs.defaultFShdfs-site.xmlDFS name node 存放 name table 的目錄dfs.name.dirdfs.namenode.name.dir新框架中 name node 分成 dfs.namenode.name.dir( 存放 naname table 和DFS data node 存放數(shù)據(jù) block 的目錄dfs.data.dirdfs.datanode.data.dir新框架中 DataNode 增加更多細節(jié)配置，位于 dfs.datanode. 配置項下，如分布式文件系統(tǒng)數(shù)據(jù)塊復制數(shù)dfs.replicationdfs.replication新框架與老框架一致，值建議配置為與分布式 cluster 中實際的 DataNode 主機數(shù)一致mapred-site.xmlJob 監(jiān)控地址及端口mapred.job.tracker無新框架中已改為 Yarn-site.xml 中的 resouceManager 及 nodeManager 具體配置項，新框架中歷史 job 的查詢已從 Job tracker 剝離，歸入單獨的第三方 MapReduce 框架無mapreduce.framework.name新框架支持第三方 MapReduce 開發(fā)框架以支持如 SmartTalk/DGSG 等非 Yarn 架構(gòu)，注意通常情況下這個配置的值都設置為 Yarn，如果沒有配置這項，那么提交的 Yarn job 只會運行在 locale 模式，而不是分布式模式。Yarn-site.xmlThe address of the applications manager interface in the RM無Yarn.resourcemanager.address新框架中 NodeManager 與 RM 通信的接口地址The address of the scheduler interface無Yarn.resourcemanager.scheduler.address同上，NodeManger 需要知道 RM 主機的 scheduler 調(diào)度服務接口地址The address of the RM web application無Yarn.resourcemanager.webapp.address新框架中各個 task 的資源調(diào)度及運行狀況通過通過該 web 界面訪問The address of the resource tracker interface無Yarn.resourcemanager.resource-tracker.address新框架中 NodeManager 需要向 RM 報告任務運行狀態(tài)供 Resouce 跟蹤，因此 NodeManager 節(jié)點主機需要知道 RM 主機的 tracker 接口地址回頁首了解了 hadoop 新的 Yarn 框架的架構(gòu)和思路后，我們用一個 Demo 示例來檢驗新 Yarn 框架下 Map-Reduce 程序的開發(fā)部署。我們考慮如下應用場景：用戶的生產(chǎn)系統(tǒng)由多臺 Weblogic 應用服務器組成，每天需要每臺對應用服務器的日志內(nèi)容進行檢查，統(tǒng)計其日志級別和日志模塊的總數(shù)。WebLogic 的日志范例如下圖所示：如上圖所示，<Info> 為 weblogic 的日志級別，<Security>，<Management> 為 Weblogic 的日志模塊，我們主要分析 loglevel 和 logmodule 這兩個維度分別在 WebLogic 日志中出現(xiàn)的次數(shù)，每天需要統(tǒng)計出 loglevel 和 logmodule 分別出現(xiàn)的次數(shù)總數(shù)。由于 Weblogic 應用服務器分布于不同的主機，且日志數(shù)據(jù)量巨大，我們采用 hadoop 框架將 WebLogic 各個應用服務器主機上建立分布式目錄，每天將 WebLogic 日志裝載進 hadoop 分布式文件系統(tǒng)，并且編寫基于 Yarn 框架的 MapReduce 程序?qū)θ罩具M行處理，分別統(tǒng)計出 LogLevel 和 Logmodule 在日志中出現(xiàn)的次數(shù)并計算總量，然后輸出到分布式文件系統(tǒng)中，輸出目錄命名精確到小時為后綴以便區(qū)分每次 Demo 程序運行的處理結(jié)果。我們搭建一個 Demo 測試環(huán)境以驗證 Yarn 框架下分布式程序處理該案例的功能，以兩臺虛擬機作為該 Demo 的運行平臺，兩機均為 Linux 操作系統(tǒng)，機器 hostname 為 OEL 和 Stephen，OEL 作為 NameNode 和 ResouceManager 節(jié)點主機，64 位，Stephen 作為 DataNode 和 NodeManager 節(jié)點主機，32 位（Hadoop 支持異構(gòu)性）, 具體如下：主機名角色備注OEL(192.168.137.8)NameNode 節(jié)點主機ResourceManager 主機linux 操作系統(tǒng)32bitStephen(192.168.l37.2)DataNode 節(jié)點主機NodeManager 主機linux 操作系統(tǒng)64bit我們把 hadoop 安裝在兩臺測試機的 /hadoop 文件系統(tǒng)目錄下，安裝后的 hadoop 根目錄為：/hadoop/hadoop-0.23.0，規(guī)劃分布式文件系統(tǒng)存放于 /hadoop/dfs 的本地目錄，對應分布式系統(tǒng)中的目錄為 /user/oracle/dfs我們根據(jù) Yarn 框架要求，分別在 core-site.xml 中配置分布式文件系統(tǒng)的 URL，詳細如下：<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://192.168.137.8:9100</value> </property> </configuration>在 hdfs-site.xml 中配置 nameNode，dataNode 的本地目錄信息，詳細如下：<configuration> <property> <name>dfs.namenode.name.dir</name> <value>/hadoop/dfs/name</value> <description> </description> </property> <property> <name>dfs.datanode.data.dir</name> <value>/hadoop/dfs/data</value> <description> </description> </property> <property> <name>dfs.replication</name> <value>2</value> </property> </configuration>在 mapred-site.xml 中配置其使用 Yarn 框架執(zhí)行 map-reduce 處理程序，詳細如下：<configuration> <property> <name>mapreduce.framework.name</name> <value>Yarn</value> </property> </configuration>最后在 Yarn-site.xml 中配置 ResourceManager，NodeManager 的通信端口，web 監(jiān)控端口等，詳細如下：<?xml version="1.0"?> <configuration> <!-- Site specific YARN configuration properties --> <property> <name>Yarn.nodemanager.aux-services</name> <value>mapreduce.shuffle</value> </property> <property> <description>The address of the applications manager interface in the RM.</description> <name>Yarn.resourcemanager.address</name> <value>192.168.137.8:18040</value> </property> <property> <description>The address of the scheduler interface.</description> <name>Yarn.resourcemanager.scheduler.address</name> <value>192.168.137.8:18030</value> </property> <property> <description>The address of the RM web application.</description> <name>Yarn.resourcemanager.webapp.address</name> <value>192.168.137.8:18088</value> </property> <property> <description>The address of the resource tracker interface.</description> <name>Yarn.resourcemanager.resource-tracker.address</name> <value>192.168.137.8:8025</value> </property> </configuration>hadoop 0.23.0 官方配置模板。以下我們詳細介紹一下新的 Yarn 框架下針對該應用場景的 Demo 代碼的開發(fā)， 在 Demo 程序的每個類都有詳細的注釋和說明，Yarn 開發(fā)為了兼容老版本，API 變化不大，可以參考 官方 Hadoop Yarn 框架 API。在 Map 程序中，我們以行號為 key，行文本為 value 讀取每一行 WebLogic 日志輸入，將 loglevel 和 logmodule 的值讀出作為 Map 處理后的新的 key 值，由于一行中 loglevel 和 logmodule 的出現(xiàn)次數(shù)應該唯一，所以經(jīng) Map 程序處理后的新的 record 記錄的 value 應該都為 1：public static class MapClass extends Mapper<Object, Text, Text, IntWritable> { private Text record = new Text(); private static final IntWritable recbytes = new IntWritable(1); public void map(Object key, Text value,Context context) throws IOException,InterruptedException { String line = value.toString(); // 沒有配置 RecordReader，所以默認采用 line 的實現(xiàn)， //key 就是行號，value 就是行內(nèi)容， // 按行 key-value 存放每行 loglevel 和 logmodule 內(nèi)容 if (line == null || line.equals("")) return; String[] words = line.split("> <"); if (words == null || words.length < 2) return; String logLevel = words[1]; String moduleName = words[2]; record.clear(); record.set(new StringBuffer("logLevel::").append(logLevel).toString()); context.write(record, recbytes); // 輸出日志級別統(tǒng)計結(jié)果，通過 logLevel:: 作為前綴來標示。 record.clear(); record.set(new StringBuffer("moduleName::").append(moduleName).toString()); context.write(record, recbytes); // 輸出模塊名的統(tǒng)計結(jié)果，通過 moduleName:: 作為前綴來標示 } }由于有 loglevel 和 logmodule 兩部分的分析工作，我們設定兩個 Reduce 來分別處理這兩部分，loglevel 的交給 reduce1，logmodule 交給 reduce2。因此我們編寫 Patitioner 類，根據(jù) Map 傳過來的 Key 中包含的 logLevel 和 moduleName 的前綴，來分配到不同的 Reduce：public static class PartitionerClass extends Partitioner<Text, IntWritable>{public int getPartition(Text key, IntWritable value, int numPartitions){if (numPartitions >= 2)//Reduce 個數(shù)，判斷 loglevel 還是 logmodule 的統(tǒng)計，分配到不同的 Reduceif (key.toString().startsWith("logLevel::"))return 0;else if(key.toString().startsWith("moduleName::"))return 1;else return 0;elsereturn 0;}}在 Reduce 程序中，累加并合并 loglevel 和 logmodule 的出現(xiàn)次數(shù)public static class ReduceClass extends Reducer<Text, IntWritable,Text, IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context context)throws IOException, InterruptedException { int tmp = 0; for (IntWritable val : values) { tmp = tmp + val.get(); } result.set(tmp); context.write(key, result);// 輸出最后的匯總結(jié)果 } }以上完成了 MapReduce 的主要處理邏輯，對于程序入口，我們使用 Hadoop 提供的 Tools 工具包方便的進行 May-Reduce 程序的啟動和 Map/Reduce 對應處理 class 的配置。import java.io.File; import java.io.IOException; import java.text.SimpleDateFormat; import java.util.Date; import java.util.Iterator; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Partitioner; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.Tool; import org.apache.hadoop.util.ToolRunner; public class LogAnalysiser extends Configured implements Tool { public static void main(String[] args) { try { int res; res = ToolRunner.run(new Configuration(),new LogAnalysiser(), args); System.exit(res); } catch (Exception e) { e.printStackTrace(); } } public int run(String[] args) throws Exception { if (args == null || args.length <2) { System.out.println("need inputpath and outputpath"); return 1; } String inputpath = args[0]; String outputpath = args[1]; String shortin = args[0]; String shortout = args[1]; if (shortin.indexOf(File.separator) >= 0) shortin = shortin.substring(shortin.lastIndexOf(File.separator)); if (shortout.indexOf(File.separator) >= 0) shortout = shortout.substring(shortout.lastIndexOf(File.separator)); SimpleDateFormat formater = new SimpleDateFormat("yyyy.MM.dd.HH.mm"); shortout = new StringBuffer(shortout).append("-") .append(formater.format(new Date())).toString(); if (!shortin.startsWith("/")) shortin = "/" + shortin; if (!shortout.startsWith("/")) shortout = "/" + shortout; shortin = "/user/oracle/dfs/" + shortin; shortout = "/user/oracle/dfs/" + shortout; File inputdir = new File(inputpath); File outputdir = new File(outputpath); if (!inputdir.exists() || !inputdir.isDirectory()) { System.out.println("inputpath not exist or isn't dir!"); return 0; } if (!outputdir.exists()) { new File(outputpath).mkdirs(); } // 以下注釋的是 hadoop 0.20.X 老版本的 Job 代碼，在 hadoop0.23.X 新框架中已經(jīng)大大簡化 // Configuration conf = getConf(); // JobConf job = new JobConf(conf, LogAnalysiser.class); // JobConf conf = new JobConf(getConf(),LogAnalysiser.class);// 構(gòu)建 Config // conf.setJarByClass(MapClass.class); // conf.setJarByClass(ReduceClass.class); // conf.setJarByClass(PartitionerClass.class); // conf.setJar("hadoopTest.jar"); // job.setJar("hadoopTest.jar"); // 以下是新的 hadoop 0.23.X Yarn 的 Job 代碼 job job = new Job(new Configuration()); job.setJarByClass(LogAnalysiser.class); job.setJobName("analysisjob"); job.setOutputKeyClass(Text.class);// 輸出的 key 類型，在 OutputFormat 會檢查 job.setOutputValueClass(IntWritable.class); // 輸出的 value 類型，在 OutputFormat 會檢查 job.setJarByClass(LogAnalysiser.class); job.setMapperClass(MapClass.class); job.setCombinerClass(ReduceClass.class); job.setReducerClass(ReduceClass.class); job.setPartitionerClass(PartitionerClass.class); job.setNumReduceTasks(2);// 強制需要有兩個 Reduce 來分別處理流量和次數(shù)的統(tǒng)計 FileInputFormat.setInputPaths(job, new Path(shortin));//hdfs 中的輸入路徑 FileOutputFormat.setOutputPath(job,new Path(shortout));//hdfs 中輸出路徑 Date startTime = new Date(); System.out.println("Job started: " + startTime); job.waitForCompletion(true); Date end_time = new Date(); System.out.println("Job ended: " + end_time); System.out.println("The job took " + (end_time.getTime() - startTime.getTime()) /1000 + " seconds."); // 刪除輸入和輸出的臨時文件 // fileSys.copyToLocalFile(new Path(shortout),new Path(outputpath)); // fileSys.delete(new Path(shortin),true); // fileSys.delete(new Path(shortout),true); return 0; } }Demo 輸入輸出的控制本 demo 中我們將從 Weblogic 日志目錄中拷貝原始待處理日志文件作為 Yarn 程序的輸入，使用 hadoop dfs 命令將其放入分布式目錄的 input 目錄，處理完后將生成以時間戳為文件目錄后綴的輸出目錄Weblogic 日志存放的原始目錄位于：/u01/app/Oracle/Middleware/user_projects/domains/test_domain/AdminServer/logs分布式文件系統(tǒng)中的輸入目錄：/user/oracle/dfs/input分布式文件系統(tǒng)中的輸出目錄：/user/oracle/dfs/output_%YYYY-MM-DD-hh-mm%Demo 打包和部署可以使用 JDeveloper 或者 Eclipse 等 IDE 工具將開發(fā)的 Hadoop Demo 代碼打包為 jar，并指定 Main 類為 LoyAnalyze，本文中我們采用 JDeveloper 打包 Demo 代碼，如下圖示例：從上圖可以看出 dfs 分布式文件系統(tǒng)已經(jīng)在 OEL 和 Stephen 主機上成功啟動，我們通過默認的分布式文件系統(tǒng) Web 監(jiān)控 http://192.168.137.8:50070（也可以在上文中 core-site.xml 中配置 dfs.namenode.http-address 項指定其他端口 ) 來驗證其文件系統(tǒng)情況：從上圖中我們可以看到 /user/oracle/dfs 分布式文件系統(tǒng)已成功建立。接下來我們在 NameNode 主機（OEL，192.168.137.8）上啟動 Yarn 框架：從上圖我們可以看到 ResouceManager 在 OEL 主機上成功啟動，NodeManager 進程在 Stephen 節(jié)點主機上也已經(jīng)啟動，至此整個新的 Hadoop Yarn 框架已經(jīng)成功啟動。我們將打好的 testHadoop.jar 包上傳至 NameNode 主機（OEL）的 /hadoop/hadoop-0.23.0/ 根目錄下，我們使用 Hadoop 自帶的 hadoop 命令行工具執(zhí)行 Demo 的 jar 包，具體步驟為，先使用 hadoop dfs 命令將輸入文件（weblogic 原始日志）拷貝至 dfs 分布式目錄的 input 輸入目錄，清理 dfs 分布式目錄下的 output 輸出子目錄。然后使用 hadoop jar 命令執(zhí)行 testHadoop 的 jar 包。執(zhí)行 Demo 的 shell 腳本示例如下：./bin/hadoop dfs -rmr /user/oracle/dfs/output* ./bin/hadoop dfs -rmr /user/oracle/dfs/input ./bin/hadoop dfs -mkdir /user/oracle/dfs/input ./bin/hadoop dfs -copyFromLocal ./input/*.log /user/oracle/dfs/input/ ./bin/hadoop jar ./hadoopTest.jar /hadoop/hadoop-0.23.0/input /hadoop/hadoop-0.23.0/output清單 9.Demo 執(zhí)行腳本然后我們使用上文中的腳本啟動 demo 并執(zhí)行：查看大圖從上圖的 console 輸出中我們可以看到 Demo 程序的結(jié)果和各項統(tǒng)計信息輸出，下面我們通過 Web 監(jiān)控界面詳細中觀察程序執(zhí)行的執(zhí)行流程和步驟細節(jié)。Job 啟動后我們可以通過 ResourceManager 的 Web 端口（在上文中 Yarn-site.xml 配置文件中 Yarn.resourcemanager.webapp.address 配置項） http://192.168.137.8:18088 來監(jiān)控其 job 的資源調(diào)度。查看大圖上圖中我們可以看到 Yarn 框架接受到客戶端請求 , 如上圖所示 ID 為 application_1346564668712_0003 的 job 已經(jīng)是 accepted 狀態(tài)我們點擊該 ID 的鏈接進入到該 application 的 Map-Reduce 處理監(jiān)控頁面，該界面中有動態(tài)分配的 ApplicationMaster 的 Web 跟蹤端口可以監(jiān)視 MapReduce 程序的步驟細節(jié)點擊上圖中 ApplicationMaster 的 URL 可以進入該 ApplicationMaster 負責管理的 Job 的具體 Map-Reduce 運行狀態(tài)：上圖中我們可以看到 ID 為 application_1346564668712_0003 的 Job 正在執(zhí)行，有 2 個 Map 進程，已經(jīng)處理完畢，有 2 個 Reduce 正在處理，這跟我們程序設計預期的是一樣的。當狀態(tài)變?yōu)?successful 后，進入 dfs 文件系統(tǒng)可以看到，輸出的 dfs 文件系統(tǒng)已經(jīng)生成，位置位于 /user/oracle/dfs 下，目錄名為 output-2012.09.02.13.52，可以看到格式和命名方式與 Demo 設計是一致的，如下圖所示：我們進入具體的輸出目錄，可以清楚的看到程序處理的輸出結(jié)果，正如我們 Demo 中設計的，兩個 Reduce 分別生成了兩個輸出文件，分別是 part-r-00000 和 part-r-00001，對應 Module 和 Log Level 的處理輸出信息：點擊 part-r-00000 的輸出文件鏈接，可以看到程序處理后的 log level 的統(tǒng)計信息：點擊 part-r-00001 的輸出文件鏈接，可以看到程序處理后 Module 的統(tǒng)計信息：至此我們基于新的 Yarn 框架的 Demo 完全成功運行，實現(xiàn)功能與預期設計完全一致，運行狀態(tài)和 NameNode/DataNode 部署，Job/MapReduece 程序的調(diào)度均和設計一致。讀者可參考該 Demo 的配置及代碼進行修改，做為實際生產(chǎn)環(huán)境部署和實施的基礎。回頁首下載描述名字大小下載方法樣例代碼source_code.zip4.7KBHTTP樣例代碼config_files.zip2.1KBHTTP關于下載方法的信息學習參考 hadoop 0.23.0 官方配置模板：core-site.xml 配置模板及詳解。參考 hadoop 0.23.0 官方配置模板：hdfs-site.xml 配置摹本及詳解。參考 hadoop 0.23.0 官方配置模板：Yarn-site.xml 配置模板及詳解。參考 hadoop 0.23.0 官方配置模板：mapred-site.xml 配置模板及詳解。隨時關注 developerWorks 技術活動和 網(wǎng)絡廣播。訪問 developerWorks Open source 專區(qū)獲得豐富的 how-to 信息、工具和項目更新以及 最受歡迎的文章和教程，幫助您用開放源碼技術進行開發(fā)，并將它們與 IBM 產(chǎn)品結(jié)合使用。討論加入 developerWorks 中文社區(qū)，developerWorks 社區(qū)是一個面向全球 IT 專業(yè)人員，可以提供博客、書簽、wiki、群組、聯(lián)系、共享和協(xié)作等社區(qū)功能的專業(yè)社交網(wǎng)絡社區(qū)。加入 IBM 軟件下載與技術交流群組，參與在線交流。唐清原，現(xiàn)供職于一家知名 500 強 IT 企業(yè)從事高級咨詢顧問工作，對 Java，Unix/Linux，數(shù)據(jù)庫及應用服務器方面有超過 8 年豐富經(jīng)驗，曾在 developerWorks 發(fā)表過相關文章（如 《在 Hibernate 中直接操作 JDBC 接口》。