Hadoop分布式搭建全流程记录

前言

本次Hadoop分布式环境搭建,最终目标是使用三个虚拟机来形成一个小的分布式集群,并可以在本机中通过 ip 加端口的方式访问到虚拟机中的 HDFS,也就是说:可以在本机(Windows/Mac OS/Linux)中开发,再通过远程连接虚拟机来运行 MapReduce 程序。

本次搭建过程中,虚拟机所用环境如下:

本机开发环境:

注意 本文不涉及软件破解过程,如果介意该过程可以使用 VirtualBox 作为替代,虽然在使用流程上会与 VMware 稍有不同,但是一样可以达到目的。此外,本文中涉及虚拟机的问题也将与之不同,在 VirtualBox 的安装配置过程中若有问题还请查阅其他文章。

虚拟机配置

新建虚拟机

首先打开 VMWare Workstation,逐步进行以下流程:

  1. 点击菜单栏文件
  2. 新建虚拟机
  3. 选择 “典型(推荐)”
  4. 安装程序光盘映像文件,选择下载好的 CentOS 镜像文件
  5. 修改虚拟机名字(这一步是为了方便管理虚拟机集群,修改名称诸如 hadoop01hadoop101 等类似名字皆可)
  6. 往后一直默认确认,直到虚拟机创建完毕

接着需要修改虚拟机配置,基本配置要求如下:

  • 硬盘: 20G(视自己硬盘空间而定,默认最低为 20G,后续不够还可以手动扩容)
  • 内存: 2G(一般 2G 就够了)
  • 处理器: 2 2 (即处理器数量和每个处理器的内核数量为 2 2,处理器内核总数为 4,如果还需要更高,需要查看自己CPU的个数与核数,设置不能超过本机上限)
  • 网络适配器: NAT 模式(VMware 默认配置)

配置虚拟机

虚拟机配置

确认后即可点击 “开启此虚拟机” 进行虚拟机的启动项配置,语言设置选择中文

语言选择

确认后进入 “安装信息摘要”,先配置 “安装位置”

安装信息摘要

安装目标位置

这里为了方便,我选择了 “自动配置分区”。点击 “完成”,回到 “安装信息摘要界面” 后,在点击 “网络和主机名”

网络和主机名

打开以太网,点击 “完成” 后,继续下一步

用户配置

这里要为root配置密码,等会登陆后需要用到,暂时可以不用创建用户。稍等片刻,安装完成后,选择 “重启”。

重启后会看到终端交互界面,输入root和密码即可登录成功

值得注意的是,在分布式集群的使用过程中,是不需要图形界面的,全程时使用 Xshell 来远程链接操作集群的系统,文件传输则使用 Xftp 来完成。当然,如果不习惯无操作界面的系统或者其他原因需要 GUI,那么可以在 CentOS 启动项配置过程中的 安装信息摘要 -> 软件 -> 软件选择 中选择自己需要的组件,不过使用默认的 “最小安装” 才是符合实际开发场景的。(GUI 安装选项不是本文重点并且也不需要,可以自行查阅其他文章)

获取IP及关闭防火墙

紧接着输入 ip addr 获取本机的 IP 地址,当然前提是在安装时已经打开了以太网的连接

获取IP地址

下一步,我们需要将虚拟机的防火墙关闭,这样主机才能 ping 通虚拟机的 IP。要注意的是,CentOS 7 的防火墙操作指令与 CentOS 7 的不同,具体如下所示:

  • 启动防火墙:systemctl start firewalld.service
  • 关闭防火墙:systemctl stop firewalld.service
  • 重启防火墙:systemctl restart firewalld.service
  • 显示防火墙状态:systemctl status firewalld.service
  • 禁止防火墙开机自启:systemctl disable firewalld.service

这里我们需要先关闭防火墙,然后禁止防火墙开机自启,最后查看一下防火墙状态,出现如下信息则表示防火墙已关闭。

关闭防火墙

接着主机可以尝试 ping 一下虚拟机的 IP,如果能 ping 通则说明没有问题。

修改主机名

接下来修改主机名,这样做是为了在打开多个系统的终端时,可以分得清对应的是哪个。输入 vi /etc/hostname 并将原来的 localhost.localdomain 修改为你需要的主机名,比如 hadoop101,保存之后,重启即可看到主机名已经修改。

修改主机名

Hadoop 安装及各运行模式的配置

搭建已完成,但还没写完 ………… 😂

努力进行中,敬请期待…………

文章作者: Inno Fang
文章链接: https://innofang.github.io/2020/06/22/Hadoop分布式搭建全流程记录/
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-ND 4.0 许可协议。转载请注明来自 Inno's Blog