hadoop 安装和运维
一、基本概念
namenode：dfs的目录、数据块等元数据
datanode：具体的数据
journalnode namenodez 之间元数据的同步
dfs:distributed file system
mapred:map reduce
ResourceManager:总入口和总调度（针对一个app）
ApplicationMaster：具体的作业调度（支持非map reduce）
NodeManager：一个节点的管理daemon
container：节点内执行的环境(资源)
Job History Server（api +RPC）：收集和展现log信息
WebAppProxy：内部与外部访问间的一个中转
yarn.nodemanager.health-checker.script.path:监控node
Rack Awareness：机架感知，提高调度的性能
二、安装：配置+start
1、配置：
etc/hadoop/core-site.xml:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
etc/hadoop/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
etc/hadoop/mapred-site.xml:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
etc/hadoop/yarn-site.xml:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
2、保证可以ssh localhost
3、start：
bin/hdfs namenode -format
sbin/start-dfs.sh
sbin/start-yarn.sh
4、url
http://localhost:50070/ # dfs
http://localhost:8088/ # yarn
$ bin/hdfs dfs -mkdir /user
$ bin/hdfs dfs -mkdir /user/root # 创建用户
$ bin/hdfs dfs -put etc/hadoop input
# 执行jar
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'
bin/hdfs dfs -get output output
cat output/*
5、停止
$ sbin/stop-yarn.sh
$ sbin/stop-dfs.sh
三、命令
hadoop archive -archiveName zoo.har -p /foo/bar -r 3 /outputdir
hadoop classpath --glob
hadoop jar *.jar # 执行jar
hadoop fs -appendToFile localfile /user/hadoop/hadoopfile # fs命令
四、文件系统常用命令
bin/hadoop fs -cat /user/root/output/*
hdfs dfsadmin -disallowSnapshot <path>
hdfs dfs -createSnapshot <path> [<snapshotName>]
hadoop dfs -df /user/hadoop/dir1
bin/hadoop fs -ls /user/root/output/*
五、其他
1、CLI MiniCluster:避免配置，参数化启动一个cluster
bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.3-tests.jar minicluster -rmport RM_PORT -jhsport JHS_PORT
2、Rack Awareness 机架感知 需要用脚本扩展来输出 /myrack/myhost