Hadoop系列005-Hadoop运行模式(下)

本人微信公众号,欢迎扫码关注!

Hadoop运行模式(下)

2.3、完全分布式部署Hadoop
  • 1)分析:
    • 1)准备3台客户机(关闭防火墙、静态ip、主机名称)
    • 2)安装jdk
    • 3)配置环境变量
    • 4)安装hadoop
    • 5)配置环境变量
    • 6)安装ssh
    • 7)配置集群
    • 8)启动测试集群
  • 2)操作

    • (1) 虚拟机准备

      • 克隆三台干净的虚拟机
    • (2) 主机名设置

    • (3) scp

      • 1)scp可以实现服务器与服务器之间的数据拷贝。

      • 2)案例实操

        • (1)将hadoop101中/opt/module和/opt/software文件拷贝到hadoop102、hadoop103和hadoop104上。

          1
          2
          3
          4
          5
          6
          [root@hadoop101 /]# scp -r /opt/module/  root@hadoop102:/opt
          [root@hadoop101 /]# scp -r /opt/software/ root@hadoop102:/opt
          [root@hadoop101 /]# scp -r /opt/module/ root@hadoop103:/opt
          [root@hadoop101 /]# scp -r /opt/software/ root@hadoop103:/opt
          [root@hadoop101 /]# scp -r /opt/module/ root@hadoop104:/opt
          [root@hadoop101 /]# scp -r /opt/software/ root@hadoop105:/opt
        • (2)将192.168.1.102服务器上的文件拷贝到当前用户下。

          1
          [root@hadoop101 opt]# scp  root@hadoop102:/etc/profile  /opt/tmp/
        • (3)实现两台远程机器之间的文件传输(hadoop103主机文件拷贝到hadoop104主机上)

          1
          [atguigu@hadoop102 test]$ scp atguigu@hadoop103:/opt/test/haha atguigu@hadoop104:/opt/test/
    • (4)SSH无密码登录

      • 1)配置ssh

        • (1)基本语法

          1
          ssh 另一台电脑的ip地址
        • (2)ssh连接时出现Host key verification failed的解决方法

          1
          2
          3
          4
          5
          6
          7
          8
          9
          问题再现
          [root@hadoop2 opt]# ssh 192.168.1.103
          The authenticity of host '192.168.1.103 (192.168.1.103)' can't be established.
          RSA key fingerprint is cf:1e:de:d7:d0:4c:2d:98:60:b4:fd:ae:b1:2d:ad:06.
          Are you sure you want to continue connecting (yes/no)?
          Host key verification failed.

          解决办法
          输入yes,然后输入目标机器的密码即可
      • 2)无密钥配置

        • (1)进入到我的home目录

          1
          cd  ~/.ssh
        • (2)生成公钥和私钥:

          1
          2
          ssh-keygen -t rsa 
          然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
        • (3)将公钥拷贝到要免密登录的目标机器上

          1
          ssh-copy-id 目标机器主机名或IP地址
      • 3).ssh文件夹下的文件功能解释

        • (1)~/.ssh/known_hosts :记录ssh访问过计算机的公钥(public key)
        • (2)id_rsa :生成的私钥
        • (3)id_rsa.pub :生成的公钥
        • (4)authorized_keys :存放授权过得无秘登录服务器公钥
    • (5)rsync

      rsync远程同步工具,主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

      • 1)查看rsync使用说明

        1
        man rsync | more
      • 2)基本语法

        1
        2
        rsync  -rvl                 $pdir/$fname                       $user@hadoop$host:$pdir
        命令 命令参数 要拷贝的文件路径/名称 目的用户@主机:目的路径
      • 3)案例实操

        把本机/opt/tmp目录同步到hadoop103服务器的root用户下的/opt/tmp目录

        1
        rsync –rvl /opt/tmp/*  root@hadoop103:/op	t/tmp
    • (6)编写集群分发脚本xsync

      • 1)需求分析:循环复制文件到所有节点的相同目录下。

        • (1)原始拷贝:

          1
          rsync  –rvl     /opt/module  root@hadoop103:/opt/
        • (2)期望脚本:

          xsync 要同步的文件名称

        • (3)在/usr/local/bin这个目录下存放的脚本,可以在系统任何地方直接执行,需要制定路径。

      • 2)案例实操:

        • (1)在/usr/local/bin目录下创建xsync文件

          1
          2
          3
          4
          5
          6
          7
          8
          9
          10
          11
          12
          13
          14
          15
          16
          17
          18
          19
          20
          21
          22
          23
          24
          25
          26
          #!/bin/bash
          #1 获取输入参数个数,如果没有参数,直接退出
          pcount=$#
          if((pcount==0)); then
          echo no args;
          exit;
          fi

          #2 获取文件名称
          p1=$1
          fname=`basename $p1`
          echo fname=$fname

          #3 获取上级目录到绝对路径
          pdir=`cd -P $(dirname $p1); pwd`
          echo pdir=$pdir

          #4 获取当前用户名称
          user=`whoami`

          #5 循环
          for((host=103; host<105; host++)); do
          #echo $pdir/$fname $user@hadoop$host:$pdir
          echo --------------- hadoop$host ----------------
          rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
          done
        • (2)修改脚本 xsync 具有执行权限

          1
          [root@hadoop102 bin]# chmod 777 xsync
        • (3)调用脚本形式:xsync 文件名称

    • (7)编写分发脚本xcall

      • 1)需求分析:在所有主机上同时执行相同的命令

        1
        xcall +命令
      • 2)具体实现

        • (1)在/usr/local/bin目录下创建xcall文件

          1
          2
          3
          4
          5
          6
          7
          8
          9
          10
          11
          12
          13
          #!/bin/bash
          pcount=$#
          if((pcount==0));then
          echo no args;
          exit;
          fi

          echo -------------localhost----------
          $@
          for((host=101; host<=108; host++)); do
          echo ----------hadoop$host---------
          ssh hadoop$host $@
          done
        • (2)修改脚本 xcall 具有执行权限

          1
          [root@hadoop102 bin]# chmod 777 xcall
        • (3)调用脚本形式: xcall 操作命令

          1
          [root@hadoop102 ~]# xcall rm -rf /opt/tmp/profile
    • (8) 基于伪分布式部署集群

      • 1)集群部署规划

        规划原则:尽量将耗内存的任务分散开来

        | | Hadoop102 | Hadoop103 | Hadoop104 |
        | ——– | ———– | ————— | —————– |
        | HDFS | NameNode | | SecondaryNameNode |
        | | DataNode | DataNode | DataNode |
        | YARN | | ResourceManager | |
        | | NodeManager | NodeManager | NodeManager |

      • 2)配置文件

        • (1)core-site.xml

          1
          2
          3
          4
          5
          6
          7
          8
          9
          10
          11
          <!-- 指定HDFS中NameNode的地址 -->
          <property>
          <name>fs.defaultFS</name>
          <value>hdfs://hadoop102:8020</value>
          </property>

          <!-- 指定hadoop运行时产生文件的存储目录 -->
          <property>
          <name>hadoop.tmp.dir</name>
          <value>/opt/module/hadoop-2.7.2/data/tmp</value>
          </property>
        • (2)Hdfs

          • hadoop-env.sh

            1
            export JAVA_HOME=/opt/module/jdk1.7.0_79
          • hdfs-site.xml

            1
            2
            3
            4
            5
            6
            7
            8
            9
            <property>
            <name>dfs.replication</name>
            <value>3</value>
            </property>

            <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>hadoop104:50090</value>
            </property>
          • slaves

            1
            2
            3
            hadoop102
            hadoop103
            hadoop104
        • (3)yarn

          • yarn-env.sh

            1
            export JAVA_HOME=/opt/module/jdk1.7.0_79
          • yarn-site.xml

            1
            2
            3
            4
            5
            6
            7
            8
            9
            10
            11
            12
            <!-- Site specific YARN configuration properties -->
            <!-- reducer获取数据的方式 -->
            <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
            </property>

            <!-- 指定YARN的ResourceManager的地址 -->
            <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>hadoop103</value>
            </property>
        • (4)mapreduce

          • mapred-env.sh

            1
            export JAVA_HOME=/opt/module/jdk1.7.0_79
          • mapred-site.xml

            1
            2
            3
            4
            5
            <!-- 指定mr运行在yarn上 -->
            <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
            </property>
      • 3)在集群上分发以上所有文件

        1
        2
        cd /opt/module/hadoop-2.7.2/etc
        xsync hadoop/
      • 4)查看文件分发情况

        1
        xcall cat /opt/module/hadoop-2.7.2/etc/hadoop/slaves
    • (9)集群启动及测试

      • 1)启动集群

        • (0)如果集群是第一次启动,需要格式化namenode

          1
          [root@hadoop2 hadoop-2.7.2]# bin/hdfs namenode –format
        • (1)启动HDFS

          1
          2
          3
          4
          5
          6
          7
          8
          9
          10
          11
          12
          13
          14
          15
          16
          [intflag@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh

          启动之后验证
          [intflag@hadoop102 hadoop-2.7.2]$ jps
          3690 DataNode
          9550 Jps
          3583 NameNode

          [intflag@hadoop103 hadoop-2.7.2]$ jps
          9095 Jps
          3435 DataNode

          [intflag@hadoop104 hadoop-2.7.2]$ jps
          3432 DataNode
          9371 Jps
          3518 SecondaryNameNode
        • (2)启动yarn

          注意:Namenode和ResourceManger如果不是同一台机器,不能在NameNode上启动 yarn,应该在ResouceManager所在的机器上启动yarn。

          1
          sbin/start-yarn.sh
      • 2)集群基本测试

        • (1)上传文件到集群

          • 上传小文件

            1
            2
            bin/hdfs dfs –mkdir –p /user/atguigu/tmp/conf
            bin/hdfs dfs –put etc/hadoop/*-site.xml /user/atguigu/tmp/conf
          • 上传大文件

            1
            [atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -put /opt/software/hadoop-2.7.2.tar.gz  /user/atguigu/input
        • (2)上传文件后查看文件存放在什么位置

          • 文件存储路径

            1
            2
            [atguigu@hadoop103 subdir0]$ pwd
            /opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-938951106-192.168.10.107-1495462844069/current/finalized/subdir0/subdir0
          • 查看文件内容

            1
            2
            3
            4
            [atguigu@hadoop108 subdir0]$ cat blk_1073741825
            hadoop
            atguigu
            atguigu
        • (3)拼接

          1
          2
          3
          4
          5
          6
          7
          -rw-rw-r--. 1 atguigu atguigu 134217728 5月  23 16:01 blk_1073741836
          -rw-rw-r--. 1 atguigu atguigu 1048583 5月 23 16:01 blk_1073741836_1012.meta
          -rw-rw-r--. 1 atguigu atguigu 63439959 5月 23 16:01 blk_1073741837
          -rw-rw-r--. 1 atguigu atguigu 495635 5月 23 16:01 blk_1073741837_1013.meta
          [atguigu@hadoop107 subdir0]$ cat blk_1073741836>>tmp.file
          [atguigu@hadoop107 subdir0]$ cat blk_1073741837>>tmp.file
          [atguigu@hadoop107 subdir0]$ tar -zxvf tmp.file
        • (4)下载

          1
          [atguigu@hadoop107 hadoop-2.7.2]$ bin/hadoop fs -get /user/atguigu/input/hadoop-2.7.2.tar.gz
      • 3)集群性能测试

        • 写海量数据
        • 读海量数据
    • (9)Hadoop启动停止方式

      • 1)各个服务组件逐一启动

        • (1)分别启动hdfs组件

          1
          hadoop-daemon.sh  start|stop  namenode|datanode|secondarynamenode
        • (2)启动yarn

          1
          yarn-daemon.sh  start|stop  resourcemanager|nodemanager
      • 2)各个模块分开启动(配置ssh是前提)常用

        • (1)整体启动/停止hdfs

          1
          2
          start-dfs.sh
          stop-dfs.sh
        • (2)整体启动/停止yarn

          1
          2
          start-yarn.sh
          stop-yarn.sh
        • 3)全部启动(不建议使用)

          1
          2
          start-all.sh
          stop-all.sh
    • (11)配置集群常见问题

      • 1)防火墙没关闭、或者没有启动yarn

        1
        INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032
      • 2)主机名称配置错误

      • 3)ip地址配置错误

      • 4)ssh没有配置好

      • 5)root用户和atguigu两个用户启动集群不统一

      • 6)配置文件修改不细心

      • 7)未编译源码

        1
        2
        Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
        17/05/22 15:38:58 INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032
      • 8)datanode不被namenode识别问题

        1
        2
        3
        4
        5
        Namenode在format初始化的时候会形成两个标识,blockPoolId和clusterId。新的datanode加入时,会获取这两个标识作为自己工作目录中的标识。

        一旦namenode重新format后,namenode的身份标识已变,而datanode如果依然持有原来的id,就不会被namenode识别。

        解决办法,删除datanode节点中的数据后,再次重新格式化namenode。
-------------本文结束感谢您的阅读-------------