MapReduce实验——WordCount
实验要求及步骤
参考博客:https://blog.csdn.net/qq_41035588/article/details/90514824,但是创建的项目是Map/Reduce项目。其实创建Java项目也可以做,只是需要导入Map/Reduce项目所需要的jar包。
运行结果截图
出现的问题及解决办法
文件buyer_favorite在eclipse上打开会出现空格乱码的情况,但是不影响本次实验,可以忽略不计。或者也可以将空格改为其它间隔符,如“|”。
eclipse里不能对Hadoop上的文件进行创建操作(创建新文件夹,上传文件和文件夹),只能查看和删除。原因是权限不够,需要关闭Hadoop后修改hdfs-site.xml文件再开启Hadoop。
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/hadoop/local/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/hadoop/local/hadoop/tmp/dfs/data</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration>
林子雨的Hadoop配置教程里只有前三项,需要再加上高亮区域那一项。
相关推荐
tomli 2020-07-26
ErixHao 2020-05-16
zhangll00 2020-05-07
香帅 2020-04-15
strongyoung 2020-04-11
sujins 2020-03-06
lixiaotao 2020-03-05
tomli 2020-03-05
WeiHHH 2020-02-23
zzjmay 2020-02-23
通过实现MapReduce计算结果保存到MySql数据库过程,掌握多种方式保存计算结果的技术,加深了对MapReduce的理解;创建maven项目,项目名称hdfs,这里不再说明。红色部分为增加内容:
大白配小猪 2020-02-09
IT智囊 2020-01-01
yogoma 2020-01-10
sujins 2020-01-09