hadoop配置与wordcount
hadoop配置与wordcount
参考的博客大多都是hadoop2.x和低版本的java之上的，配置过程写出来看似很简单，看别人的博客也感觉步骤都差不多，但是自己配置时候出了很多问题：datanode启动不了，网页不能正常显示，datanode莫名死掉，resourcemanager启动不了，nodemanager启动不了，mapreduce过程中无法连接到slave等等。这个过程看博客看日志折腾了许多时间才弄好，记录一下。
我是在虚拟机中安装了四个linux系统作为节点，所需环境相同，因此这里先配置一台，然后用虚拟机自带的功能直接复制得到其他三台。
环境：
- Macos , Parallels Desktop
- Linux 16.04
- Jdk 1.8.0
- Hadoop 3.2.0
Java 环境配置
在oracle官网下载最新的jdk压缩文件，复制到安装的目标目录下解压：
sudo tar -zxvf jdk-12_linux-x64_bin.tar.gz sudo rm jdk-12_linux-x64_bin.tar.gz
然后配置环境变量。可以写在~/.bashrc或者/etc/profile中，其中~/.bashrc是在用户的主目录下，只对当前用户生效，/etc/profile是所有用户的环境变量。
vim /etc/profile
在末尾加入jdk的环境变量
JAVA_HOME=/usr/lib/jdk-12 CLASSPATH=.:$JAVA_HOME/lib.tools.jar PATH=$JAVA_HOME/bin:$PATH export JAVA_HOME CLASSPATH PATH
之后source /etc/profile生效，java —version检查是否配置正确。
在后面启动resourcemanager时候出现了问题，更换成了jdk8，过程同上。
ssh 免密钥连接
接着安装hadoop，过程放在下一部分，安装好了之后复制生成三个相同环境的虚拟机。我用的是parallels，相比于其他的比较稳定易用。
接着就是分布式的部分了。纯的分布式是很难实现的，hadoop仍然是用一个master来集中式地管理数据节点，master并不存储数据，而是将数据存储在datanode之中，这里命名为slave1, slave2, slave3三个datanode，网络连接均为桥接。因此master需要能免密钥登陆到slave。添加节点的ip地址（为了在ip变化时候不用再重新配置，可以配置静态ip）：
vim /etc/hosts 192.168.31.26 master 192.168.31.136 slave1 192.168.31.47 slave2 192.168.31.122 slave3 vim /etc/hostname master # 分别配置slave1, slave2, slave3 ping slave1 # 测试
安装ssh，这个在ubuntu官方的源里面很慢，我试图换到国内的清华和阿里云等的源，但里面是没有的，也可能是有不同的版本之类的原因吧。懒得去管的话直接耐心等待就好了。
sudo apt-get install ssh
然后生成公钥和私钥：
ssh-keygen -t rsa
这里默认路径是用户主目录下.ssh，一路回车就好了。
使每台主机能够免密钥连接自己：
cp .id_rsa.pub authorized_keys
接着为了使master能够免密钥连接到slave，将master的公钥追加到每个slave的authorized_keys中。
然后测试是否能够正常连接：
ssh slave1
安装配置hadoop
从官网下载hadoop3.2，解压到/usr/lib/。并且将读权限分配给hadoop用户
cd /usr/lib sudo tar –xzvf hadoop-3.2.0.tar.gz chown –R hadoop:hadoop hadoop #将文件夹"hadoop"读权限分配给hadoop普通用户 sudo rm -rf hadoop-3.2.0.tar.gz
添加环境变量：
HADOOP_HOME=/usr/lib/hadoop-3.2.0 PATH=$HADOOP_HOME/bin:$PATH export HADOOP_HOME PATH
接着是最重要的配置hadoop部分，分别配置HADOOP_HOME/etc/hadoop/下的以下几个文件：
hadoop-env.sh
export JAVA_HOME=/usr/lib/jdk1.8.0_201
core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/lib/hadoop-3.2.0/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
</configuration>hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/usr/lib/hadoop-3.2.0/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/lib/hadoop-3.2.0/hdfs/data</value>
</property>
</configuration>yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>master:49001</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/usr/lib/hadoop-3.2.0/var</value>
</property>
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
<property>
<name>mapreduce.map.env</name>
<value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
<property>
<name>mapreduce.reduce.env</name>
<value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
</configuration>workers
slave1 slave2 slave3
这些做完之后就配置完了，接着将整个文件夹复制到其他三台主机就完成了。
启动
格式化namenode
hdfs namenode -format # 前提是已经将HADOOP_HOME添加到环境变量中
如果看到如上INFO说明这一步成功了。然后运行start脚本：
./sbin/start-all.sh # 在hadoop 2.x版本放在./bin/下面
用jps查看Java进程，master应该包含NameNode, SecondaryNameNode, ResourceManager，slave应该包含DataNode, NodeManager。这里很常见的问题包括没有datanodes，没有访问权限，resouecemanager不能启动等，一些原因我写在下面了，大部分都是配置出了问题，查看log文件就能找到原因。
通过master:9870可以网页查看集群状态。
WordCount示例程序
wordcount可以说是hadoop学习过程中的"hello world"，网上可以找到源码，也可以自己写，我这里直接用了官方$HADOOP_HOME/share/hadoop/mapreduce/下的示例程序。
先将输入文件传到dfs中，我这里是自己写了两个含有"hadoop", "hello", "world"单词的txt文件。然后运行示例程序：
hdfs dfs -mkdir /in hdfs dfs -put ~/Desktop/file*.txt /in hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar wordcount /in /out
这里可以看到mapreduce分为map和reduce过程。mapreduce分为map，shuffle，reduce过程，先将大任务分到各个节点分别计算，然后shuffle是按照一定的规则将不同的key值分到不同的节点做整合，然后提交任务再reduce整合。查看结果：
hdfs dfs -cat /out/part-r-00000
至此hadoop集群环境才能说是正确安装了。接下来就是修改wordcount代码自己玩了，上手后就可以自己写了。
一些遇到的问题
- 复制配置好的文件夹时候不小心复制错了，复制成了之前一次配置失败时候用过的文件夹，导致datanode启动一直失败，但是全程无提示。谷歌好久解决不了。后来看datanode的log文件找到错误的地方，是core-site.xml出了问题，修改之后重新格式化，启动成功。
这个悲伤的故事告诉我们，出了问题先去看看log文件定位错误，大家的错误千奇百怪，谷歌不是万能的。
没有resourcemanager和nodemanager：查看日志找到原因为classNoFound(javax.XXXXXXX)。发现是由于java9以上的一些限制，默认禁用了javax的API，参考博客得到解决办法有两个：
在
yarn-env.sh中添加(但是我试过不可行，由于本人不会java，因此放弃深究)export YARN_RESOURCEMANAGER_OPTS="--add-modules=ALL-SYSTEM" export YARN_NODEMANAGER_OPTS="--add-modules=ALL-SYSTEM"
- 更换为jdk8
- 第一次运行wordcount程序时候将$HADOOP_HOME/etc/hadoop整个文件夹全传入作为输入，结果出错，根据log发现是内存不足，我的每个虚拟机只开了1G的内存。由此可见这样的配置只是仅仅能够作为熟悉hadoop分布式环境用途，根本达不到能够解决问题的条件。