配置hadoop本地开发环境
摘要：
配置本地hadoop开发环境
配置在Eclipse环境中管理hdfs目录
hadoop下载：
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common //清华镜像
https://mirror.bit.edu.cn/apache/hadoop/common
https://downloads.apache.org/hadoop/common/
所有Hadoop版本
https://archive.apache.org/dist/hadoop/common/
1.本地hadoop开发环境配置
保证本机配置好jdk、安装好eclipse //我的eclipse是用的绿色版
1）windows安装hadoop
我的分布式环境hadoop版本号是2.7.5，因此下载hadoop2.7.5.zip
解压后路径：E:\java\hadoop
2）配置系统环境变量
配置系统变量HADOOP_HOME：E:\java\hadoop
配置系统变量Path: 在最后追加%HADOOP_HOME%\bin
3）配置本地运行MR程序
E:\java\hadoop \bin目录下的winutils.exe和hadoop.dll拷贝到C:\Windows\System32目录下。
说明：windows本地运行mr程序时(不提交到yarn,运行在jvm单线程执行)，hadoop.dll防止报nativeio异常、winutils.exe没有的话报空指针异常。
2.eclipse中安装hadoop插件
1）下载插件
也可以下载hadoop-eclipse-plugin插件
https://github.com/winghc/hadoop2x-eclipse-plugin
放到eclipse-oxygen\plugins 或 eclipse-oxygen\dropins下
我下载的hadoop-eclipse-plugin-2.7.5.jar，放到E:\java\eclipse-oxygen\plugins中
2）安装配置插件
重启eclipse
进入Windows –Preferences，我们会看见多了一个Hadoop MapReduce，说明我们安装好了eclipse的hadoop插件。
配置插件：点击Hadoop Map/Reduce选项，进入配置页面，点击Browse，选择Hadoop安装路径。 ##我的路径是E:\java\hadoop
3.配置Map/Reduce Location
打开 Windows—> show view —> Other，选择MapReduce Tools下的Map/Reduce Locations。
点击下图右上角位置的小象，进入配置页面。
说明：
Location name自定义一个名字就行；
配置Map/Reduce Master
Host：master节点的hostname
Port：50070
说明：50070是hdfs文件系统的端口，192.168.56.110:50070可以查看你文件系统
配置DFS Master
port为HDFS端口号，默认是9000
User name为安装Hadoop节点用户名称
##我的master节点 [ hadoop]#，因此我的user name是root
4.测试
在Xshell中，连接master，在hdfs中创建文件夹he
[ hadoop]# hadoop fs -mkdir /he
在eclipse中就可以适合地看见hdfs文件的情况。如下图：
通过浏览器也可以查看hdfs的情况：
http://192.168.56.110:50070/explorer.html#/
备注：一定要修改
C:\Windows\System32\drivers\etc\hosts文件
192.168.56.110 master ##在这里耗费了好会儿
到此，eclipse配置本地hadoop环境ok。