Hadoop集群怎样安装

Hadoop集群怎样安装

这篇文章主要为大家展示了“Hadoop集群怎样安装”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“Hadoop集群怎样安装”这篇文章吧。

一、安装环境

因为安装Hadoop集群需要的主机数量必须为奇数，这里我用虚拟机搭了三台主机。为了防止IP变动，IP应该设为静态IP。

IP	主机名	操作系统	作用
192.168.121.201	Master.Hadoop	CentOS6.6_x64	NameNode ResourceManager SecondaryNameNode
192.168.121.202	Slave1.Hadoop	CentOS6.6_x64	DataNode NodeManager
192.168.121.203	Slave2.Hadoop	CentOS6.6_x64	DataNode NodeManager

 

二、所需软件

1 JDK

可以去下载JDK，也可以用CentOS系统自带的OpenJDK。

若用系统自带的OpenJDK，只需在/etc/profile中设置并激活:

# vi /etc/profile

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

    使变量立马生效并检验

# source /etc/profile

# echo $JAVA_HOME

/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64

2 Hadoop

下载地址：http://hadoop.apache.org/releases.html

这里我下载的是2.8.0的binary版本。

三、配置主机间的无密码登录

在每台主机的/etc/hosts中添加

192.168.121.201 Master.Hadoop

192.168.121.202 Slave1.Hadoop

192.168.121.203 Slave2.Hadoop

接下来，可参考http://blog.chinaunix.net/uid-29485627-id-4232161.html

四、Hadoop集群安装

1 解压缩hadoop并移动到/usr/Hadoop

[root@Master 桌面]# mv hadoop-2.8.0.tar.gz /usr/

[root@Master 桌面]# cd /usr/

[root@Master usr]# tar -zxvf hadoop-2.8.0.tar.gz

[root@Master usr]# mv hadoop-2.8.0 hadoop

 

2 创建hadoop存放临时文件的文件夹

# cd /usr/hadoop

# mkdir tmp

 

3 修改配置文件

(1)配置hadoop-env.sh中的JAVA_HOME

[root@Master usr]# cd etc/hadoop/

[root@Master hadoop]# vi hadoop-env.sh

将export JAVA_HOME=${JAVA_HOME}

改为export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64

(2)配置core-site.xml

<configuration>

        <!– 指定hdfs的nameservice为ns1 –>

        <property>

                <name>fs.defaultFS</name>

                <value>hdfs://Master.Hadoop:9000</value>

        </property>

        <!– Size of read/write buffer used in SequenceFiles. –>

        <property>

         <name>io.file.buffer.size</name>

         <value>131072</value>

       </property>

        <!– 指定hadoop临时目录,自行创建 –>

        <property>

                <name>hadoop.tmp.dir</name>

                <value>/usr/hadoop/tmp</value>

        </property>

</configuration>

(3)配置hdfs-site.xml

<configuration>

    <property>

      <name>dfs.namenode.secondary.http-address</name>

      <value>Master.Hadoop:50090</value>

    </property>

    <property>

      <name>dfs.replication</name>

      <value>2</value>

    </property>

    <property>

      <name>dfs.namenode.name.dir</name>

      <value>file:/usr/hadoop/hdfs/name</value>

    </property>

    <property>

      <name>dfs.datanode.data.dir</name>

      <value>file:/usr/hadoop/hdfs/data</value>

    </property>

</configuration>

(4)配置yarn-site.xml

<configuration>

<!– Site specific YARN configuration properties –>

<!– Configurations for ResourceManager –>

     <property>

          <name>yarn.nodemanager.aux-services</name>

          <value>mapreduce_shuffle</value>

     </property>

     <property>

           <name>yarn.resourcemanager.address</name>

           <value>Master.Hadoop:8032</value>

     </property>

     <property>

          <name>yarn.resourcemanager.scheduler.address</name>

          <value>Master.Hadoop:8030</value>

      </property>

     <property>

         <name>yarn.resourcemanager.resource-tracker.address</name>

         <value>Master.Hadoop:8031</value>

     </property>

     <property>

         <name>yarn.resourcemanager.admin.address</name>

         <value>Master.Hadoop:8033</value>

     </property>

     <property>

         <name>yarn.resourcemanager.webapp.address</name>

         <value>Master.Hadoop:8088</value>

     </property>

</configuration>

(5)配置mapred-site.xml

<configuration>

  <property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

  </property>

  <property>

          <name>mapreduce.jobhistory.address</name>

          <value>Master.Hadoop:10020</value>

  </property>

  <property>

          <name>mapreduce.jobhistory.address</name>

          <value>Master.Hadoop:19888</value>

  </property>

</configuration>

(6)配置slaves文件

[root@Master hadoop]# vi slaves

Slave1.Hadoop

Slave2.Hadoop

4 复制hadoop配置好的包到其他主机上

# scp -r /usr/hadoop Slave1.Hadoop:/usr/

# scp -r /usr/hadoop Slave2.Hadoop:/usr/

5 在三台机器上配置Hadoop环境变量

# vi /etc/profile

export HADOOP_HOME=/usr/hadoop

export PATH=$PATH:$HADOOP_HOME/bin

使变量立马生效并检验：

# source /etc/profile

# echo $HADOOP_HOME

# echo $PATH

五、格式化节点

在Master.Hadoop主机上执行

# cd /usr/hadoop/bin

# ./hdfs namenode -format

 

 

六、Hadoop集群全部启动

1 在Master.Hadoop主机上执行

# cd /usr/hadoop/sbin

# ./start-dfs.sh

# ./start-yarn.sh

2 在Master.Hadoop主机上执行jps

[root@Master sbin]# jps

6348 NameNode

6694 ResourceManager

6960 Jps

6546 SecondaryNameNode

3 在Slave1.Hadoop主机上执行jps

[root@Slave1 hadoop]# jps

6016 DataNode

6251 Jps

6126 NodeManager

4 在Slave2.Hadoop主机上执行jps

[root@Slave2 hadoop]# jps

5815 DataNode

6051 Jps

5923 NodeManager

5 在三台CentOS主机上随便打开firefox浏览器，输入http://192.168.121.201:8088

以上是“Hadoop集群怎样安装”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注高防服务器网行业资讯频道！

[微信提示：高防服务器能助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。

[图文来源于网络，不代表本站立场，如有侵权，请联系高防服务器网删除]
[