Hadoop系列003-1-Hadoop运行环境搭建

发表于 | 更新于: | 分类于
字数统计: 803 | 阅读时长 ≈ 3

本人微信公众号，欢迎扫码关注！

Hadoop运行环境搭建详细过程

1、准备

  • 操作系统：Windows 10
  • 虚拟机：VM
  • CentOS版本：6.10_Final
  • 通过镜像安装CentOS到虚拟机中
  • 设置虚拟机网络模式为NAT

    2、克隆虚拟机

  • 在VM中选中要克隆的虚拟机
  • 鼠标右键 -> 管理 -> 克隆
  • 在弹出的克隆界面 -> 下一步 -> 克隆源选择虚拟机当前状态下一步 -> 创建完整克隆 -> 命名并且选择存放位置 —> 完成
  • 完成后开机 -> 使用root用户登录

  • 删除原来的网卡

    1
    2
    3
    4
    5
    6
    vi /etc/udev/rules.d/70-persistent-net.rules
    光标移动到原始网卡所在行，输入dd，删除该行
    移动光标或者直接按 shift+$ 移动到行尾
    将新网卡的NAME值由eth1改为rth0
    将MAC地址00:0c:29:c2:48:d5复制（接下来要用）
    ESC shift + : 输入wq 保存并退出

  • 修改网卡配置

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    vi /etc/sysconfig/network-scripts/ifcfg-eth0
    将HWADDR处替换为刚刚复制的MAC地址
    修改IPADDRR为指定的ip，避免与原始的虚拟机冲突
    修改hosthome：vi /etc/sysconfig/network
    修改为指定的主机名称
    修改本地host列表：vi /etc/hosts
    配置多个指定的host，例如下面：
    192.168.25.111 hadoop111
    192.168.25.112 hadoop112
    192.168.25.113 hadoop113
    192.168.25.114 hadoop114
    192.168.25.115 hadoop115
    192.168.25.116 hadoop116
    192.168.25.117 hadoop117
    192.168.25.118 hadoop118

  • 同步配置：输入sync

  • 重启机器：reboot
  • 重启后输出：ifconfig验证，是否能显示出网卡信息
  • 测试虚拟机的网络是否和外面的主机连通：ping 10.12.2.109
  • 关闭防火墙 
    1
    2
    查看防火墙开机启动状态：chkconfig iptables --list
    关闭防火墙：chkconfig iptables off

3、创建工作空间

  • 普通用户提升root权限

    1
    2
    3
    4
    5
    vi /etc/sudoers
    在次数找到root，复制一行，将用户改成intflag
    ## Allow root to run any commands anywhere
    root    ALL=(ALL)       ALL
    intflag ALL=(ALL)       AL

  • 创建工作文件夹

    1
    2
    sudo mkdir module
    sudo mkdir software

  • 将工作文件的拥有者换成普通用户

    1
    sudo chown intflag:intflag module/ software/

4、安装JDK

  • 卸载原有openjdk

    1
    2
    查找JDK：rpm -qa | grep openjdk
    卸载软件包：yum -y remove 软件包名称

  • 通过FTP软件将JDK软件包上传到software目录下

  • 解压到module目录下

    1
    tar -zxvf jdk-7u79-linux-x64.gz -C /opt/module/

  • 复制jdk目录：/opt/module/jdk1.7.0_79

  • 配置JDK环境变量

    1
    2
    3
    4
    5
    6
    7
    sudo vi /etc/profile
    按shift + G 到文件最后一行

    输入下面配置
    #JAVA_HOME
    export JAVA_HOME=/opt/module/jdk1.7.0_79
    export PATH=$PATH:$JAVA_HOME/bin

  • 刷新配置

    1
    source /etc/profile

  • 验证JDK是否安装成功：输入java -version

    5、安装Hadoop

  • 通过FTP软件将Hadoop编译后的、编译后的、编译后的软件包上传到software目录下

  • 解压到module目录下

    1
    tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

  • 复制jdk目录：/opt/module/hadoop-2.7.2

  • 配置Hadoop环境变量

    1
    2
    3
    4
    5
    6
    7
    8
    sudo vi /etc/profile
    按shift + G 到文件最后一行

    输入下面配置
    #HADOOP_HOME
    export HADOOP_HOME=/opt/module/hadoop-2.7.2
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin

  • 刷新配置

    1
    source /etc/profile

  • 验证Hadoop是否安装成功：输入hadoop

  • 配置/opt/module/hadoop-2.7.2/etc/hadoop/hadoop-env.sh（可以不配置） 
    1
    2
    sudo vi /opt/module/hadoop-2.7.2/etc/hadoop/hadoop-env.sh
    将JAVA_HOME地址配置成固定的地址
-------------本文结束感谢您的阅读-------------