Hadoop：使用 JavaScript 构建
说明
本文所有操作均在 linux 环境下进行。
转载请注明出处。
"任何可以使用JavaScript来编写的应用，最终会由JavaScript编写。"
作为一名小前端，我深受 Jeff Atwood 前辈的鼓舞。上面这条定律便是他提出来的。
背景
最近在学习 Hadoop ，权威指南 中介绍到了 Hadoop Streaming，说 Hadoop Streaming 是 Hadoop 提供的一个编程工具，它允许用户使用任何可执行文件或者脚本文件作为 Mapper 和 Reducer 。书中分别介绍了如何使用 Ruby 和 Python 结合 Hadoop Streaming 进行开发。没有 JS，不开心。我们 JS 这么强大，一定也可以。。。
分析
我们先来分析 Hadoop Streaming 的原理，如下：
mapper 和 reducer 会从标准输入中读取用户数据，一行一行处理后发送给标准输出。Streaming 工具会创建 MapReduce 作业，发送给各个 TaskTracker，同时监控整个作业的执行过程。
分析完原理之后我们知道了只需构造 mapper 和 reducer 即可，他们的工作是从标准输入读取用户数据，以行（hang）为单位处理完成后发送到标准输出。
准备
JavaScript 如何从标准输入输出读写数据呢？别担心，我们有 NodeJS。
准备好 JavaScript 的运行环境之后开始搭建 Hadoop 的运行环境，参考 Hadoop: 单节点集群配置。
编写代码
先贴目录结构：
$ find . . ./map ./reduce ./wordcount.txt
map 中的代码如下：
#!/usr/bin/env node
// 引入readline模块
const readline = require('readline')
// 创建readline接口实例
const rl = readline.createInterface({
input:process.stdin,
output:process.stdout
})
rl.on('line', line => {
// 分离每一行的单词
line.split(' ').map((word) => {
// 将单词以如下格式写入标准输出
console.log(`${word}\t1`)
})
})
rl.on("close", () => {
process.exit(0)
})reduce 中的代码如下：
#!/usr/bin/env node
const readline = require('readline')
const rl = readline.createInterface({
input:process.stdin,
output:process.stdout,
terminal: false
})
// 存储键值对 <String, Number>
let words = new Map()
rl.on('line', line => {
// 解构赋值
const [word, count] = line.split('\t')
// 如果 Map 中没有该单词，则将该单词放入 Map ，即第一次添加
if (!words.has(word)) {
words.set(word, parseInt(count))
} else {
// 如果该单词已存在，则将该单词对应的 count 加 1
words.set(word, words.get(word) + 1)
}
})
rl.on("close", () => {
words.forEach((v, k) => {
// 将统计结果写入标准输出
console.log(`${k}\t${v}`)
})
process.exit(0)
})wordcount.txt 中的内容如下：
JS Java JS Python JS Hadoop
目前 map 和 reduce 这两个程序还无法运行，需要加可执行权限，方法如下：
$ chmod +x map reduce
现在可以在终端测试一下程序是否能正确执行：
$ cat wordcount.txt | ./map | ./reduce JS 3 Java 1 Python 1 Hadoop 1
可以看到，已经正确统计出了词频。
接下来只需把作业提交给 Hadoop ，让它去执行就可以了。
提交作业至 Hadoop
此时要确保 Hadoop 正常运行
在 HDFS 中创建目录：
$ hdfs dfs -mkdir input
将待处理文件上传至 HDFS：
$ hdfs dfs -put wordcount.txt input
此时可以通过 web 接口查看文件是否正确上传：
向 Hadoop 提交作业
$ hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-2.7.3.jar \ > -input input/wordcount.txt \ > -output output \ > -mapper map \ > -reducer reduce
检查计算结果：
$ hdfs dfs -cat output/* Hadoop 1 JS 3 Java 1 Python 1
可以看到与之前的结果一致。
解释一下 Hadoop Streaming 的几个参数：
-input：输入文件路径
-output：输出文件路径
-mapper：用户自己写的 mapper 程序，可以是可执行文件或者脚本
-reducer：用户自己写的 reducer 程序，可以是可执行文件或者脚本
参考资料
Hadoop Streaming 编程
Node.js 命令行程序开发教程
Readline | Node.js v7.7.0 Documentation