Hadoop系列003-1-Hadoop运行环境搭建

本人微信公众号,欢迎扫码关注!

Hadoop运行环境搭建详细过程

1、准备

  • 操作系统:Windows 10
  • 虚拟机:VM
  • CentOS版本:6.10_Final
  • 通过镜像安装CentOS到虚拟机中
  • 设置虚拟机网络模式为NAT

    2、克隆虚拟机

  • 在VM中选中要克隆的虚拟机
  • 鼠标右键 -> 管理 -> 克隆
  • 在弹出的克隆界面 -> 下一步 -> 克隆源选择虚拟机当前状态下一步 -> 创建完整克隆 -> 命名并且选择存放位置 —> 完成
  • 完成后开机 -> 使用root用户登录
  • 删除原来的网卡

    1
    2
    3
    4
    5
    6
    vi /etc/udev/rules.d/70-persistent-net.rules
    光标移动到原始网卡所在行,输入dd,删除该行
    移动光标或者直接按 shift+$ 移动到行尾
    将新网卡的NAME值由eth1改为rth0
    将MAC地址00:0c:29:c2:48:d5复制(接下来要用)
    ESC shift + : 输入wq 保存并退出
  • 修改网卡配置

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    vi /etc/sysconfig/network-scripts/ifcfg-eth0
    将HWADDR处替换为刚刚复制的MAC地址
    修改IPADDRR为指定的ip,避免与原始的虚拟机冲突
    修改hosthome:vi /etc/sysconfig/network
    修改为指定的主机名称
    修改本地host列表:vi /etc/hosts
    配置多个指定的host,例如下面:
    192.168.25.111 hadoop111
    192.168.25.112 hadoop112
    192.168.25.113 hadoop113
    192.168.25.114 hadoop114
    192.168.25.115 hadoop115
    192.168.25.116 hadoop116
    192.168.25.117 hadoop117
    192.168.25.118 hadoop118
  • 同步配置:输入sync

  • 重启机器:reboot
  • 重启后输出:ifconfig验证,是否能显示出网卡信息
  • 测试虚拟机的网络是否和外面的主机连通:ping 10.12.2.109
  • 关闭防火墙
    1
    2
    查看防火墙开机启动状态:chkconfig iptables --list
    关闭防火墙:chkconfig iptables off

3、创建工作空间

  • 普通用户提升root权限

    1
    2
    3
    4
    5
    vi /etc/sudoers
    在次数找到root,复制一行,将用户改成intflag
    ## Allow root to run any commands anywhere
    root ALL=(ALL) ALL
    intflag ALL=(ALL) AL
  • 创建工作文件夹

    1
    2
    sudo mkdir module
    sudo mkdir software
  • 将工作文件的拥有者换成普通用户

    1
    sudo chown intflag:intflag module/ software/

4、安装JDK

  • 卸载原有openjdk

    1
    2
    查找JDK:rpm -qa | grep openjdk
    卸载软件包:yum -y remove 软件包名称
  • 通过FTP软件将JDK软件包上传到software目录下

  • 解压到module目录下

    1
    tar -zxvf jdk-7u79-linux-x64.gz -C /opt/module/
  • 复制jdk目录:/opt/module/jdk1.7.0_79

  • 配置JDK环境变量

    1
    2
    3
    4
    5
    6
    7
    sudo vi /etc/profile
    按shift + G 到文件最后一行

    输入下面配置
    #JAVA_HOME
    export JAVA_HOME=/opt/module/jdk1.7.0_79
    export PATH=$PATH:$JAVA_HOME/bin
  • 刷新配置

    1
    source /etc/profile
  • 验证JDK是否安装成功:输入java -version

    5、安装Hadoop

  • 通过FTP软件将Hadoop编译后的、编译后的、编译后的软件包上传到software目录下
  • 解压到module目录下

    1
    tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
  • 复制jdk目录:/opt/module/hadoop-2.7.2

  • 配置Hadoop环境变量

    1
    2
    3
    4
    5
    6
    7
    8
    sudo vi /etc/profile
    按shift + G 到文件最后一行

    输入下面配置
    #HADOOP_HOME
    export HADOOP_HOME=/opt/module/hadoop-2.7.2
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin
  • 刷新配置

    1
    source /etc/profile
  • 验证Hadoop是否安装成功:输入hadoop

  • 配置/opt/module/hadoop-2.7.2/etc/hadoop/hadoop-env.sh(可以不配置)
    1
    2
    sudo vi /opt/module/hadoop-2.7.2/etc/hadoop/hadoop-env.sh
    将JAVA_HOME地址配置成固定的地址
-------------本文结束感谢您的阅读-------------