Hadoop中MR程序的几种提交运行模式
本地模型运行
1：在Windows的eclipse里面直接运行main方法，就会将job提交给本地执行器localjobrunner执行
----输入输出数据可以放在本地路径下（c:/wc/srcdata/）
----输入输出数据也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)
2：在Linux的eclipse里面直接运行main方法，但是不要添加yarn相关的配置文件，也会提交给localjobrunner执行
----输入输出数据可以放在本地路径下（/home/Hadoop/wc/srcdata/）
----输入输出数据也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)
集群模式运行
1：将工程打成jar包，上传到服务器，然后用hadoop命令提交 hadoop jar wc.jar cn.intsmaze.hadoop.mr.wordcount.WCRunner
程序编写好以后要打包成jar包放到hadoop集群上进行运行。这里打包的jar包名为wc.jar。
先把文件上传到linux目录，然后在该目录下使用指令将该jar分发到hadoop集群中并指定运行哪一个程序。
hadoop jar wc.jar cn.intsmaze.hadoop.mr.WCRunner(指定运行java类的完整路径)这个时候程序就执行了。
2:在linux的eclipse中直接运行main方法，也可以提交到集群中去运行，但是，必须采取以下措施：
----在工程src目录下加入 mapred-site.xml 和 yarn-site.xml （这两个文件在搭建hdfs时修改了的见hdfs文件夹下的搭建日志）
----将工程打成jar包(wc.jar)，同时在main方法中添加一个conf的配置参数
1 2 | Configuration conf = new Configuration();conf.set("mapreduce.job.jar","wc.jar"); |
JAR包的位置要在运行程序的工程里面。
3:在windows的eclipse中直接运行main方法，也可以提交给集群中运行，但是因为平台不兼容，需要做很多的设置修改（很麻烦忽略）
----要在windows中存放一份hadoop的安装包（解压好的）
----要将其中的lib和bin目录替换成根据你的windows版本重新编译出的文件
----再要配置系统环境变量 HADOOP_HOME 和 PATH
----修改YarnRunner这个类的源码
* 假设的你几行代码可以完成某个功能，抽取成一个方法 * 假设在某个业务逻辑层可以共用，往上抽取， * 假设在多个业务层可以共用，提炼成工具类。 * 假设你的这个业务方法在多个系统需要被使用,发布成一个服务.
相关推荐
WeiHHH 2020-09-23
tomli 2020-07-26
eternityzzy 2020-07-19
飞鸿踏雪0 2020-07-09
swazerz 2020-06-22
ViMan0 2020-06-21
zzjmay 2020-06-08
sujins 2020-06-05
strongyoung 2020-06-01
sujins 2020-05-30
sujins 2020-05-29
archive 2020-05-28
changjiang 2020-11-16
飞鸿踏雪0 2020-06-12
minerd 2020-10-28
Aleks 2020-08-19
WeiHHH 2020-08-17