Ubuntu 15.04 Server 安装 Apache Hadoop 2.7.2

本文所需环境:Linux(Ubuntu 15.04 Server),Hadoop(hadoop-2.7.2),OS(Windows amd 64)

1.安装Java JDK

Hadoop运行依赖环境,安装JDK6及以上版本。首先检查是否存在JDK.

  1. java -version 
java -version

下面表示已经安装了:

Ubuntu 15.04 Server 安装 Apache Hadoop 2.7.2Ubuntu 15.04 Server 安装 Apache Hadoop 2.7.2

  1. root@ubuntu:~# java -version 
  2. java version "1.7.0_95" 
  3. OpenJDK Runtime Environment (IcedTea 2.6.4) (7u95-2.6.4-0ubuntu0.15.04.1) 
  4. OpenJDK 64-Bit Server VM (build 24.95-b01, mixed mode) 
root@ubuntu:~# java -version
java version "1.7.0_95"
OpenJDK Runtime Environment (IcedTea 2.6.4) (7u95-2.6.4-0ubuntu0.15.04.1)
OpenJDK 64-Bit Server VM (build 24.95-b01, mixed mode)

注:因为我自己在Ubuntu上安装过Java的默认版本所以这里就会显示我的java版本。

如果没有安装,可以使用以下命令来安装:

  1. #首先更新apt-get命令 
  2. apt-get update 
  3. #安装jdk:你可以使用jps命令查看是否安装支持jps的jdk版本,jps命令Java1.5以上版本支持 
  4. jps 
  5. #如果不存在会提示jdk的版本,输入如下命令进行安装 
  6. apt-get install openjdk-7-jdk 
#首先更新apt-get命令
apt-get update
#安装jdk:你可以使用jps命令查看是否安装支持jps的jdk版本,jps命令Java1.5以上版本支持
jps
#如果不存在会提示jdk的版本,输入如下命令进行安装
apt-get install openjdk-7-jdk

 

2.安装Apache Hadoop需要做的准备工作

2.1创建专用用户

 

Hadoop需要一个单独的专用用户来执行。 具有对Hadoop可执行文件和数据文件夹的完全控制。要创建新用户,请在终端中使用以下命令。

  1. #create a user group for hadoop   
  2. sudo addgroup hadoop   
  3.    
  4. #create user hduser and add it to the hadoop usergroup   
  5. sudo adduser --ingroup hadoop hduser   
#create a user group for hadoop  
sudo addgroup hadoop  
  
#create user hduser and add it to the hadoop usergroup  
sudo adduser --ingroup hadoop hduser

Ubuntu 15.04 Server 安装 Apache Hadoop 2.7.2

直接默认按Enter即可。

2.3禁用ipv6

下一步是在所有机器上禁用ipv6。 Hadoop设置为使用ipv4,这就是为什么我们需要在创建hadoop集群之前禁用ipv6。使用vi(或您选择的任何其他编辑器,如:nano)以root身份打开/etc/sysctl.conf:

  1. vi /etc/sysctl.conf 
vi /etc/sysctl.conf


并在文件末尾添加以下行:

  1. #commands to disable ipv6   
  2. net.ipv6.conf.all.disable-ipv6=1   
  3. net.ipv6.conf.default.disable-ipv6=1   
  4. net.ipv6.conf.lo.disable-ipv6=1   
#commands to disable ipv6  
net.ipv6.conf.all.disable-ipv6=1  
net.ipv6.conf.default.disable-ipv6=1  
net.ipv6.conf.lo.disable-ipv6=1

Ubuntu 15.04 Server 安装 Apache Hadoop 2.7.2
vi命令——i:进行编辑  ;ESC :wq 保存退出

要检查ipv6是否正确禁用,我们可以使用以下命令:

  1. cat /proc/sys/net/ipv6/conf/all/disable-ipv6 
cat /proc/sys/net/ipv6/conf/all/disable-ipv6

 

2.4安装SSH和设置证书

Hadoop需要SSH访问来管理其远程节点以及本地机器上的节点。对于此示例,我们需要配置SSH访问localhost。

因此,我们将确保我们已经启动并运行SSH并设置公钥访问权限,以允许它在没有密码的情况下登录。 我们将设置SSH证书以允许密码较少的身份验证。使用以下命令执行所需的步骤。

ssh有两个主要组件:

  • ssh:我们用来连接远程机器的命令 - 客户端
  • sshd:在服务器上运行并允许客户端连接到服务器的守护程序

SSH在Ubuntu上预先启用,但为了确保sshd启用,我们需要使用以下命令首先安装ssh。

  1. #installing ssh   
  2. sudo apt-get install ssh   
#installing ssh  
sudo apt-get install ssh

要确保一切都正确设置,请使用以下命令:

  1. #Checking ssh   
  2. which ssh   
  3.    
  4. #Checking sshd   
  5. which sshd   
#Checking ssh  
which ssh  
  
#Checking sshd  
which sshd

验证的输出如下:

  1. root@ubuntu:~# which ssh 
  2. /usr/local/ssh 
  3. root@ubuntu:~# which sshd 
  4. /usr/local/sshd 
root@ubuntu:~# which ssh
/usr/local/ssh
root@ubuntu:~# which sshd
/usr/local/sshd


现在,为了生成ssh证书,我们将切换到hduser用户。在以下命令中,我们保持密码为空,同时生成ssh的密钥,如果您愿意,可以给它一些密码。

  1. #change to user hduser   
  2. su hduser   
  3.    
  4. #generate ssh key   
  5. ssh-keygen -t rsa -P ""   
#change to user hduser  
su hduser  
  
#generate ssh key  
ssh-keygen -t rsa -P ""

Ubuntu 15.04 Server 安装 Apache Hadoop 2.7.2
第二个命令将为机器创建一个RSA密钥对。 此键的密码将为空,如命令中所述。它将要求存储密钥的路径,默认路径为$ HOME / .ssh / id-rsa.pub,当提示保持同一路径时,按Enter键。如果您计划更改路径,请记住它,因为它将在下一步中需要。

使用上一步中创建的密钥启用对机器的SSH访问。为此,我们必须将密钥添加到机器的授权密钥列表。

  1. cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys   
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

Ubuntu 15.04 Server 安装 Apache Hadoop 2.7.2
我们可以检查ssh是否工作如下,是ssh到localhost成功没有密码提示,然后证书正确启用。

  1. ssh localhost 
ssh localhost

到目前为止,我们已经完成了Apache Hadoop的所有先决条件。我们将在下一节中检查如何设置Hadoop。

相关推荐