在Hadoop2.3下运行WordCount程序
1、如果hdfs没有启动,则在haoop主目录下启动:
./sbin/start-dfs.sh
./sbin/start-yarn.sh
2、查看状态,保证有数据节点在运行
./bin/hdfs dfsadmin -report
看到如下状态表示一切正常
Datanodes available: 1 (1 total, 0 dead)
这一步也可以用浏览器查看:http://localhost:50070
examples/file2.txt 内容如下:
pmpbox ok
pmpbox v1.0
pmpbox online
I think pmpbox will help you!
4、把文件拷贝到hadoop文件系统
./bin/hadoop fs -mkdir /input
./bin/hadoop fs -put -f examples/file1.txt examples/file2.txt /input
5、运行 WordCount
./bin/hadoop jar ./share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.3.0-sources.jar org.apache.hadoop.examples.WordCount /input /output
运行中会显示进度。
6.
查看结果命令
./bin/hadoop fs -cat /output/part-r-00000
也可把结果从hdfs拷到文件系统中保存
./bin/hadoop fs -cat /output/part-r-00000
相关阅读: