Hadoop 配置笔记

1. Hadoop默认的配置文件在:conf/core-site.xml,conf/hdfs-site.xml 和 conf/mapred-site.xml

2. 几个默认参数值：

Hadoop默认的临时文件夹由src/core/core-default.xml中的hadoop.tmp.dir设置，默认值为/tmp/hadoop-${user.name}；

hdfs中namenode的namespace信息保存在${hadoop.tmp.dir}/dfs/name目录下，由src/hdfs/hdfs-default.xml中的dfs.name.dir指定；

hdfs中datanode的block文件保存在${hadoop.tmp.dir}/dfs/data目录下，由src/hdfs/hdfs-default.xml中的dfs.data.dir指定；

3. conf下的maters和slaves文件

从字面意思上来看，masters 是主要的，应该记录的是 namenode 的 IP 或者是域名。但是文件的名称确实有点误导人，它主要记录运行辅助 namenode 的所有机器。slaves 文件记录了运行 datanode 和 tasktracker 的所有机器。用户也可以改变  hadoop-env.sh  的 HADOOP_SLAVES 项的值，将 slaves 文件放在其他地方。这两个文件无需分发到各个工作节点，因为只有运行在 namenode 或 jobtracker 上的控制脚本能使用这些文件。不过，分发了也不会有什么影响。