1.一共需要搭建3台节点，1个主节点2个从节点。在安装之前需要配置好虚拟机网络静态IP，同步时间，关闭防火墙和使用Linux SSH（安全Shell）。

1.网络配置

（1）编辑VMware的网络配置

编辑-虚拟网络编辑器-点击NAT模式子网网关中第三个修改为10

（2）Windows的网络配置

找到网络和Internet设置-更改适配器选项-点击修改vmnet8-属性-internet协议版本4

修改ip地址 192.168.10.1

子网掩码 255.255.255.0

默认网关192.168.10.2

dns服务器 192.168.10.2

（3）虚拟机网络IP修改地址配置

root@hadoop100 ~]#vim /etc/sysconfig/network-scripts/ifcfg-ens33

 

TYPE="Ethernet"    #网络类型（通常是Ethemet）
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"   #IP的配置方法[none|static|bootp|dhcp]（引导时不使用协议|静态分配IP|BOOTP协议|DHCP协议）
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"   
UUID="e83804c1-3257-4584-81bb-660665ac22f6"   #随机id
DEVICE="ens33"   #接口名（设备,网卡）
ONBOOT="yes"   #系统启动的时候网络接口是否有效（yes/no）
#IP地址
IPADDR=192.168.10.100  
#网关  
GATEWAY=192.168.10.2      
#域名解析器
DNS1=192.168.10.2

执行systemctl restart network命令，重启网络服务。如果报错，则执行“reboot”命令，重启虚拟机

 

修改主机名和hosts文件

1）修改主机名称

[root@hadoop100 ~]# vim /etc/hostname

hadoop100

2）配置Linux克隆机主机名称映射hosts文件，打开/etc/hosts

[root@hadoop100 ~]# vim /etc/hosts

添加如下内容

192.168.10.100 hadoop100

192.168.10.101 hadoop101

192.168.10.102 hadoop102

192.168.10.103 hadoop103

192.168.10.104 hadoop104

192.168.10.105 hadoop105

192.168.10.106 hadoop106

192.168.10.107 hadoop107

192.168.10.108 hadoop108

 远程工具逐步安装即可

在/opt目录下创建文件夹

（1）在/opt目录下创建module、software文件夹

[root@hadoop100 ~]# mkdir /opt/module

[root@hadoop100 ~]# mkdir /opt/software

 安装jdk

用XShell传输工具将JDK导入到opt目录下面的software文件夹下面

在Linux系统下的opt目录中查看软件包是否导入成功

[atguigu@hadoop102 ~]$ ls /opt/software/

看到如下结果：

jdk-8u212-linux-x64.tar.gz

解压JDK到/opt/module目录下

[atguigu@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

配置JDK环境变量

（1）新建/etc/profile.d/my_env.sh文件

[atguigu@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh

添加如下内容

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_212

export PATH=$PATH:$JAVA_HOME/bin

保存后退出

:wq

（3）source一下/etc/profile文件，让新的环境变量PATH生效

[atguigu@hadoop102 ~]$ source /etc/profile

测试JDK是否安装成功

[atguigu@hadoop102 ~]$ java -version

如果能看到以下结果，则代表Java安装成功。

java version "1.8.0_212"

注意：重启（如果java -version可以用就不用重启）

[atguigu@hadoop102 ~]$ sudo reboot

安装Hadoop

1）用XShell文件传输工具将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面

2）进入到Hadoop安装包路径下

[atguigu@hadoop102 ~]$ cd /opt/software/

3）解压安装文件到/opt/module下面

[atguigu@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

4）查看是否解压成功

[atguigu@hadoop102 software]$ ls /opt/module/

hadoop-3.1.3

5）将Hadoop添加到环境变量

（1）获取Hadoop安装路径

[atguigu@hadoop102 hadoop-3.1.3]$ pwd

/opt/module/hadoop-3.1.3

（2）打开/etc/profile.d/my_env.sh文件

[atguigu@hadoop102 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh

• 在my_env.sh文件末尾添加如下内容：（shift+g）

#HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-3.1.3

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

• 保存并退出： :wq

（3）让修改后的文件生效

[atguigu@hadoop102 hadoop-3.1.3]$ source /etc/profile

6）测试是否安装成功

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop version

Hadoop 3.1.3

7）重启（如果Hadoop命令不能用再重启虚拟机）

[atguigu@hadoop102 hadoop-3.1.3]$ sudo reboot

配置集群

1）核心配置文件

配置core-site.xml

[atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop

[atguigu@hadoop102 hadoop]$ vim core-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <!-- 指定NameNode的地址 -->

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://hadoop102:8020</value>

    </property>

    <!-- 指定hadoop数据的存储目录 -->

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/module/hadoop-3.1.3/data</value>

    </property>

    <!-- 配置HDFS网页登录使用的静态用户为atguigu -->

    <property>

        <name>hadoop.http.staticuser.user</name>

        <value>atguigu</value>

    </property>

</configuration>

（2）HDFS配置文件

配置hdfs-site.xml

[atguigu@hadoop102 hadoop]$ vim hdfs-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<!-- nn web端访问地址-->

<property>

        <name>dfs.namenode.http-address</name>

        <value>hadoop102:9870</value>

    </property>

<!-- 2nn web端访问地址-->

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>hadoop104:9868</value>

    </property>

</configuration>

（3）YARN配置文件

配置yarn-site.xml

[atguigu@hadoop102 hadoop]$ vim yarn-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <!-- 指定MR走shuffle -->

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <!-- 指定ResourceManager的地址-->

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>hadoop103</value>

    </property>

    <!-- 环境变量的继承 -->

    <property>

        <name>yarn.nodemanager.env-whitelist</name>

        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>

    </property>

</configuration>

（4）MapReduce配置文件

配置mapred-site.xml

[atguigu@hadoop102 hadoop]$ vim mapred-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<!-- 指定MapReduce程序运行在Yarn上 -->

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

</configuration>

4）在集群上分发配置好的Hadoop配置文件

[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/

Zookeeper安装

下载zookeeper-3.4.10.tar.gz。上传到目录/opt/software下。通过以下命令解压到目录/opt/module中。

[root@slave0 ~]# tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/

（2）配置Zookeeper环境变量

在/etc/profile文件最后追加相关内容。

[root@slave0 ~]# vi /etc/profile

内容如下：

#ZOOKEEPER export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10 export PATH=$PATH:$ZOOKEEPER_HOME/bin

（3）在/opt/module/zookeeper-3.4.10/ 这个目录下创建data/zkData

[root@slave0 zookeeper-3.4.10]#  mkdir -p data/zkData

（4）重命名/opt/module/zookeeper-3.4.10/conf这个目录下的zoo_sample.cfg为zoo.cfg

[root@slave0 conf]#  mv zoo_sample.cfg zoo.cfg

（5）配置zoo.cfg文件

dataDir=/opt/module/zookeeper-3.4.10/data/zkData ###增加如下配置 #######################cluster########################## server.1=slave0:2888:3888 server.2=slave1:2888:3888 server.3=slave2:2888:3888

（6）配置Zookeeper集群

① 在/opt/module/zookeeper-3.4.10/data/zkData目录下创建一个myid的文件。

[root@slave0 zkData]#  touch myid

编辑myid文件，在文件中添加与server对应的编号：如1。

② 分发配置好的zookeeper到其他机器上，并分别修改myid文件中内容为2、3。

③ 分别启动zookeeper

[root@slave0 zookeeper-3.4.10]# bin/zkServer.sh start [root@slave1 zookeeper-3.4.10]# bin/zkServer.sh start [root@slave2 zookeeper-3.4.10]# bin/zkServer.sh start

接下来，在集群上分发以上所有文件。

 HBase安装

1）下载安装Zookeeper

下载zookeeper-3.4.10.tar.gz。上传到目录/opt/software下。通过以下命令解压到目录/opt/module中。

[root@slave0 ~]# tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/

（2）配置HBase环境变量

在/etc/profile文件最后追加相关内容。

[root@slave0 ~]# vi /etc/profile

内容如下：

#HBASE_HOME export HBASE_HOME=/opt/module/hbase-1.3.3 export PATH=$PATH:$HBASE_HOME/bin

（3）修改HBase的配置文件

hbase-site.xml文件：

<configuration> <property> <name>hbase.master.maxclockskew</name> <value>180000</value> </property> <property> <name>hbase.rootdir</name> <value>hdfs://slave0:9000/hbase</value> </property> <property>   <name>hbase.cluster.distributed</name>   <value>true</value> </property> <property>      <name>hbase.zookeeper.property.dataDir</name>      <value>/opt/module/zookeeper-3.4.10/data/zkData</value>   </property> <property>   <name>hbase.zookeeper.quorum</name>   <value>slave0,slave1,slave2</value> </property> </configuration>

hbase-env.sh：

export JAVA_HOME=/opt/module/jdk1.7.0_79 export HBASE_MANAGES_ZK=false

regionservers：

slave0 slave1 slave2

（4）将Hadoop配置文件拷贝到HBase的conf目录下

将Hadoop的配置文件core-site.xml和hdfs-site.xml拷贝到HBase的conf目录下，接下来，在集群上分发以上所有文件。

（5）启动停止HBase集群

$ bin/start-hbase.sh 对应的停止命令： $ bin/stop-hbase.sh

至此，HBase集群的安装配置完毕。