使用vmware搭建hadoop集群

摘要

本文旨在使用Vmware搭建Hadoop集群，如果你使用的是多台独立的、已安装linux操作系统的计算机搭建Hadoop集群的话，请直接从 开始

阅读须知

阅读此文之前你需要掌握以下知识，以免文中部分用语令你产生疑惑

• 熟练使用鼠标和键盘

• 在windows操作系统下运行.exe文件

• 访问网页并下载内容

• 在windows操作系统下能够定位到本地资源所在文件夹

• 了解ubuntu是linux的一种发行版，如果你不无法理解发行版的概念，可以简单理解成ubuntu是一种linux。

• 了解linux下运行终端的方法，如果不会就按Ctrl+Alt+T

• 在linux的终端下输入命令并执行

• 了解linux的路径概念并能定位到指定路径

• 了解在linux终端中输入密码是不会有任何反馈的

资源说明

• 本例所有资源均可在以下地址下载，本例以资源包中的资源说明，当然你也可以自行在网上下载，只要版本不是差很多，搭建过程大同小异。

• 该资源包中资源仅针对windows系统，其他系统大同小异。

• 该资源包中所有资源都于互联网搜集，本人不对其负责。

安装Vmware

运行Vmware的安装包VMware-workstation-full-15.5.1-15018445.exe，开始Vmware的安装。

安装过程中有部分可勾选选项，如果你没有特殊需求只需要一直点下一步直至安装，即可安装完成。安装完成后界面如下图所示，此时单击许可证，并输入许可证密钥，点击输入，即可完成激活。完成激活后点击完成，并在弹出的是否重新启动系统窗口中选择是即可完成安装。

许可证密钥可由资源包中的VMware 所有版本永久许可证激活秘钥.txt获得，如果你的电脑无法打开记事本这样的集文字查看、编辑、搜索、替换、等功能的大型软件，你可以直接复制下面任一行密钥进行激活。

YG5H2-ANZ0H-M8ERY-TXZZZ-YKRV8

UG5J2-0ME12-M89WY-NPWXX-WQH88

UA5DR-2ZD4H-089FY-6YQ5T-YPRX6

GA590-86Y05-4806Y-X4PEE-ZV8E0

ZF582-0NW5N-H8D2P-0XZEE-Z22VA

YA18K-0WY8P-H85DY-L4NZG-X7RAD

创建虚拟机

创建虚拟机之前，请先下载linux系统镜像，在创建虚拟机的时候直接设置虚拟机镜像，这样在创建虚拟机的时候可以直接安装操作系统，省去了安装操作系统的步骤。

• 你可以直接选用资源包中的镜像ubuntu-18.04.1-desktop-amd64.iso或者使用你自己的镜像。本文以ubuntu-18.04.1-desktop-amd64.iso为例。
• 如果你希望用其他的版本的linux镜像，笔者强烈建议你使用清华大学开源软件镜像站 | Tsinghua Open Source Mirror下载镜像具体使用方法如下：
  • 访问清华大学开源软件镜像站 | Tsinghua Open Source Mirror
  • 点击网页右侧的下载链接
  • 在弹出的窗口中选择你想要的发行版和具体的版本，点击版本进行下载

创建虚拟机

• 运行VMware Workstation Pro，下文皆以Vmware表示VMware Workstation Pro

• 点击Vmware中的文件->新建虚拟机

• 选择经典(推荐)(T)，点击下一步

• 选择安装程序光盘映像文件(iso)(M)，点击浏览，在弹出的文件浏览窗口中定位到资源包的目录并选择ubuntu-18.04.1-desktop-amd64.iso，点击打开以完成镜像的选择，点击下一步

• 在全名，用户名，密码，确认对应的输入框中都输入hadoop，除非你完全理解上述四个名词在linux中是什么意思，否则不建议你填写其他内容。点击下一步

• 为了方便，我们将虚拟机名称改为hadoop1，位置你可以浏览到任意你想要的位置，也可以使用vmware默认的路径。点击下一步

• 最大磁盘大小可以输入任意小于你实际硬盘大小，如果你没有特殊的需求，可以直接点击下一步

• 点击自定义硬件，点击左边的网络适配器，勾掉右边的启动时连接的选项，点击关闭

  • 进行这个步骤的原因是ubuntu在安装的时候会自动检索并更新软件，由于ubuntu的默认服务器在国外，此过程会非常慢(通常在两个小时左右)，此步操作的目的是使虚拟机处于断网状态以确保ubuntu在安装过程中不能自动更新。如果你能非常流畅访问国际互联网，不建议你进行此步操作。

  • 由于此步骤会导致虚拟机无网络，该操作会导致vmware无法自动安装Vmware Tools，会导致虚拟机无法自动适应分辨率等问题。下文中将会介绍如何手动进行安装Vmware Tools，如果你对linux环境不熟悉，不建议你进行此操作。

• 点击完成，虚拟机会自动启动并完成安装。

• 出现如下界面说明虚拟机已经完成安装。

恢复虚拟机网络连接并去掉多余挂载

如果你在创建虚拟机的时候没有进行断网操作，你可以直接略过此节。

• 右键点击hadoop1标签页，点击电源->关闭客户机
• 点击编辑虚拟机设置，点击网络适配器，勾选启动时连接
• 依次点击CD/DVD(SATA)，CD/DVD 2(SATA)，软盘，将里面的连接改成使用物理驱动器
• 点击下方的确认完成设置
• 点击开启此虚拟机，如果开机过程中有弹出窗口，你只需要选否

更换ubuntu的源

源可以简单理解成ubuntu下载软件的地方，由于ubuntu默认源在国外，访问速度慢，我们更换为国内的镜像源来加快访问速度。

更换源步骤如下：

• 点击桌面左下角的，打开应用抽屉
• 找到应用Software&Updates，点击运行
• 选中中间位置的Download from:右边的选择框，点击Other...
• 将进度条往上拉，直到你看到China
• 点击China左边的?，在下面列出的镜像源中任意选择一个，这里我推荐mirrors.tuna.tsinghua.edu.cn
• 选择完成后点击右下角的Choose Server，输入密码hadoop并按回车键
• 点击右下角的Close，在弹出的窗口中点击Reload，等待任务自动完成。完成后程序会自动关闭窗口，这个过程一般需要十秒左右。

上述步骤完成后，虚拟机有可能会弹出窗口Software Update，此时点击Remind Me Later，因为这个过程需要的时间有点久。

安装Vmware Tools

如果你在创建虚拟机的时候没有进行断网操作，Vmware Tools应该已经自动安装；或者如果你并不介意虚拟机的分辨率不自动适配你的屏幕和共享剪切板，你可以直接略过此节。

• 在终端中依次运行以下指令，你可以复制指令后按鼠标右键，命令就会执行，当然你此时如果是在真实系统中浏览该文档，你会发现你并无法复制，此时你可以选择手敲命令或者在虚拟机操作系统中打开此网页，这里我建议手敲命令，毕竟这个命令不多。

sudo apt-get update

执行时此时操作系统会要求你输入密码，输入hadoop，注意，输入过程中是不会有任何变化的。输入完成后敲击回车。

sudo apt-get install open-vm-tools -y
sudo apt-get install open-vm-tools-desktop -y

安装完成后虚拟机会自动适应你的屏幕，如果你观察到你的虚拟机分辨率出现了变化，说明安装已经完成。

• 安装完成后你需要重启虚拟机来启动共享剪切板，重启方法：右键点击hadoop1标签，点击电源->重新启动客户机。

安装Hadoop

明天再更