国产一级a片免费看高清,亚洲熟女中文字幕在线视频,黄三级高清在线播放,免费黄色视频在线看

歡迎轉(zhuǎn)載，轉(zhuǎn)載請注明出處，徽滬一郎。

楔子

Hive是基于Hadoop的開源數(shù)據(jù)倉庫工具，提供了類似于SQL的HiveQL語言，使得上層的數(shù)據(jù)分析人員不用知道太多MapReduce的知識(shí)就能對存儲(chǔ)于Hdfs中的海量數(shù)據(jù)進(jìn)行分析。由于這一特性而收到廣泛的歡迎。

Hive的整體框架中有一個(gè)重要的模塊是執(zhí)行模塊，這一部分是用Hadoop中MapReduce計(jì)算框架來實(shí)現(xiàn)，因而在處理速度上不是非常令人滿意。由于Spark出色的處理速度，有人已經(jīng)成功將HiveQL的執(zhí)行利用Spark來運(yùn)行，這就是已經(jīng)非常聞名的Shark開源項(xiàng)目。

在Spark 1.0中，Spark自身提供了對Hive的支持。本文不準(zhǔn)備分析Spark是如何來提供對Hive的支持的，而只著重于如何搭建Hive On Spark的測試環(huán)境。

安裝概覽

整體的安裝過程分為以下幾步

1. 搭建Hadoop集群 (整個(gè)cluster由3臺(tái)機(jī)器組成，一臺(tái)作為Master,另兩臺(tái)作為Slave)
2. 編譯Spark 1.0，使其支持Hadoop 2.4.0和Hive
3. 運(yùn)行Hive on Spark的測試用例 (Spark和Hadoop Namenode運(yùn)行在同一臺(tái)機(jī)器)

Hadoop集群搭建

創(chuàng)建虛擬機(jī)

創(chuàng)建基于kvm的虛擬機(jī)，利用libvirt提供的圖形管理界面，創(chuàng)建3臺(tái)虛擬機(jī)，非常方便。內(nèi)存和ip地址分配如下

1. master 2G    192.168.122.102
2. slave1  4G    192.168.122.103
3. slave2  4G    192.168.122.104

在虛擬機(jī)上安裝os的過程就略過了，我使用的是arch linux，os安裝完成之后，確保以下軟件也已經(jīng)安裝

1. jdk
2. openssh

創(chuàng)建用戶組和用戶

在每臺(tái)機(jī)器上創(chuàng)建名為hadoop的用戶組，添加名為hduser的用戶，具體bash命令如下所示

groupadd hadoopuseradd -b /home -m -g hadoop hduserpasswd hduser

無密碼登錄

在啟動(dòng)slave機(jī)器上的datanode或nodemanager的時(shí)候需要輸入用戶名密碼，為了避免每次都要輸入密碼，可以利用如下指令創(chuàng)建無密碼登錄。注意是從master到slave機(jī)器的單向無密碼。

cd $HOME/.sshssh-keygen -t dsa

將id_dsa.pub復(fù)制為authorized_keys，然后上傳到slave1和slave2中的$HOME/.ssh目錄

cp id_dsa.pub authorized_keys#確保在slave1和slave2機(jī)器中，hduser的$HOME目錄下已經(jīng)創(chuàng)建好了.ssh目錄scp authorized_keys slave1:$HOME/.sshscp authorized_keys slave2:$HOME/.ssh

更改每臺(tái)機(jī)器上的/etc/hosts

在組成集群的master, slave1和slave2中，向/etc/hosts文件添加如下內(nèi)容

192.168.122.102 master192.168.122.103 slave1192.168.122.104 slave2

如果更改完成之后，可以在master上執(zhí)行ssh slave1來進(jìn)行測試，如果沒有輸入密碼的過程就直接登錄入slave1就說明上述的配置成功。

下載hadoop 2.4.0

以hduser身份登錄master，執(zhí)行如下指令

cd /home/hduserwget http://mirror.esocc.com/apache/hadoop/common/hadoop-2.4.0/hadoop-2.4.0.tar.gzmkdir yarntar zvxf hadoop-2.4.0.tar.gz -C yarn

修改hadoop配置文件

添加如下內(nèi)容到.bashrc

export HADOOP_HOME=/home/hduser/yarn/hadoop-2.4.0export HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoopexport YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

修改$HADOOP_HOME/libexec/hadoop-config.sh

在hadoop-config.sh文件開頭處添加如下內(nèi)容

export JAVA_HOME=/opt/java

$HADOOP_CONF_DIR/yarn-env.sh

在yarn-env.sh開頭添加如下內(nèi)容

export JAVA_HOME=/opt/javaexport HADOOP_HOME=/home/hduser/yarn/hadoop-2.4.0export HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoopexport YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

 xml配置文件修改

文件1： $HADOOP_CONF_DIR/core-site.xml

<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration>  <property>    <name>fs.default.name</name>    <value>hdfs://master:9000</value>  </property>  <property>    <name>hadoop.tmp.dir</name>    <value>/home/hduser/yarn/hadoop-2.4.0/tmp</value>  </property></configuration>

文件2: $HADOOP_CONF_DIR/hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration>   <property>     <name>dfs.replication</name>     <value>2</value>   </property>   <property>     <name>dfs.permissions</name>     <value>false</value>   </property> </configuration>

 文件3: $HADOOP_CONF_DIR/mapred-site.xml

<?xml version="1.0"?><configuration> <property>   <name>mapreduce.framework.name</name>   <value>yarn</value> </property></configuration>

文件4: $HADOOP_CONF_DIR/yarn-site.xml

<?xml version="1.0"?> <configuration>  <property>    <name>yarn.nodemanager.aux-services</name>    <value>mapreduce_shuffle</value>  </property>  <property>    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>    <value>org.apache.hadoop.mapred.ShuffleHandler</value>  </property>  <property>    <name>yarn.resourcemanager.resource-tracker.address</name>    <value>master:8025</value>  </property>  <property>    <name>yarn.resourcemanager.scheduler.address</name>    <value>master:8030</value>  </property>  <property>    <name>yarn.resourcemanager.address</name>    <value>master:8040</value>  </property> </configuration>

 文件5: $HADOOP_CONF_DIR/slaves

在文件中添加如下內(nèi)容

slave1slave2

創(chuàng)建tmp目錄

在$HADOOP_HOME下創(chuàng)建tmp目錄

mkdir $HADOOP_HOME/tmp

復(fù)制yarn目錄到slave1和slave2

剛才所作的配置文件更改發(fā)生在master機(jī)器上，將整個(gè)更改過的內(nèi)容全部復(fù)制到slave1和slave2。

for target in slave1 slave2do     scp -r yarn $target:~/    scp $HOME/.bashrc $target:~/done

批量處理是不是很爽

格式化namenode

在master機(jī)器上對namenode進(jìn)行格式化

bin/hadoop namenode -format

啟動(dòng)cluster集群

sbin/hadoop-daemon.sh start namenodesbin/hadoop-daemons.sh start datanodesbin/yarn-daemon.sh start resourcemanagersbin/yarn-daemons.sh start nodemanagersbin/mr-jobhistory-daemon.sh start historyserver

 注意： daemon.sh表示只在本機(jī)運(yùn)行，daemons.sh表示在所有的cluster節(jié)點(diǎn)上運(yùn)行。

驗(yàn)證hadoop集群安裝正確與否

跑一個(gè)wordcount示例，具體步驟不再列出，可參考本系列中的第11篇

編譯Spark 1.0

Spark的編譯還是很簡單的，所有失敗的原因大部分可以歸結(jié)于所依賴的jar包無法正常下載。

為了讓Spark 1.0支持hadoop 2.4.0和hive，請使用如下指令編譯

SPARK_HADOOP_VERSION=2.4.0 SPARK_YARN=true   SPARK_HIVE=true sbt/sbt assembly

如果一切順利將會(huì)在assembly目錄下生成 spark-assembly-1.0.0-SNAPSHOT-hadoop2.4.0.jar

創(chuàng)建運(yùn)行包

編譯之后整個(gè)$SPARK_HOME目錄下所有的文件體積還是很大的，大概有兩個(gè)多G。有哪些是運(yùn)行的時(shí)候真正需要的呢，下面將會(huì)列出這些目錄和文件。

1. $SPARK_HOME/bin
2. $SPARK_HOME/sbin
3. $SPARK_HOME/lib_managed
4. $SPARK_HOME/conf
5. $SPARK_HOME/assembly/target/scala-2.10

將上述目錄的內(nèi)容復(fù)制到/tmp/spark-dist，然后創(chuàng)建壓縮包

mkdir /tmp/spark-distfor i in $SPARK_HOME/{bin,sbin,lib_managed,conf,assembly/target/scala-2.10}do   cp -r $i /tmp/spark-distdonecd /tmp/tar czvf spark-1.0-dist.tar.gz spark-dist

上傳運(yùn)行包到master機(jī)器

將生成的運(yùn)行包上傳到master(192.168.122.102)

scp spark-1.0-dist.tar.gz hduser@192.168.122.102:~/

運(yùn)行hive on spark測試用例

經(jīng)過上述重重折磨，終于到了最為緊張的時(shí)刻了。

以hduser身份登錄master機(jī)，解壓spark-1.0-dist.tar.gz

#after login into the master as hdusertar zxvf spark-1.0-dist.tar.gzcd spark-dist

更改conf/spark-env.sh

export SPARK_LOCAL_IP=127.0.0.1export SPARK_MASTER_IP=127.0.0.1

運(yùn)行最簡單的example

用bin/spark-shell指令啟動(dòng)shell之后,運(yùn)行如下scala代碼

val sc: SparkContext // An existing SparkContext.val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)// Importing the SQL context gives access to all the public SQL functions and implicit conversions.import hiveContext._hql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")hql("LOAD DATA LOCAL INPATH 'examples/src/main/resources/kv1.txt' INTO TABLE src")// Queries are expressed in HiveQLhql("FROM src SELECT key, value").collect().foreach(println)

如果一切順利，最后一句hql會(huì)返回key及value

參考資料

1. Steps to install Hadoop 2.x release (Yarn or Next-Gen) on multi-node cluster