hadoop经典系列(零)初识hadoop
ApacheHadoop更准确的说是一个基础架构平台。主要提供分布式文件存储,云计算。
具体这个大平台包括Hadoop内核、MapReduce、Hadoop分布式文件系统(HDFS)以及一些相关项目,有ApacheHive和ApacheHBase等等。
使用hadoop,要结合zookeeper,Hbase使用。
目前有2个主要版本,1.0和2.0。其中各个版本的文件结构都是不兼容的。但是原理都差不多。而对于map/reduce,2.0中采用了新的架构yarn。进一步解决了单点问题。
目前hadoop有2个开源版本,一个是Apache的版本,另一个是Cloudera在Apache的基础上进行优化的版本,也称为CDH3版。
参考文章
apache官方网站
http://hadoop.apache.org/
企业版hadoop官方
http://www.cloudera.com/hadoop/
hadoop基础介绍
http://zh.wikipedia.org/wiki/Apache_Hadoop
hadoop版本对比
http://blog.csdn.net/zhaobisha/article/details/6941841
论坛
http://bbs.chinaunix.net/thread-4063597-1-1.html
developerworks
https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop1/
https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop2/
https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop3/
hadoop资料-源码分析
MapReduce的输入输出格式
http://blog.csdn.net/codestinity/article/details/7032158
hadoop精品资料
http://sishuok.com/forum/blogPost/list/5833.html
map/reduce详细介绍
http://blog.csdn.net/a221133/article/details/8605218
namenode与secondarynamenode的区别和作用,配置方式
http://www.cnblogs.com/ggjucheng/archive/2012/04/18/2454692.html
部署注意事项
http://sishuok.com/forum/blogPost/list/5607.html
hadoopnativelibrary
http://www.cnblogs.com/gpcuster/archive/2011/02/17/1957042.html
压力测试工具
hbase:ycsb
map/reduce:terasort,http://grepcode.com/file/repository.cloudera.com/content/repositories/releases/com.cloudera.hadoop/hadoop-examples/0.20.2-320/org/apache/hadoop/examples/terasort/TeraSort.java
性能优化
linux操作系统提高io性能noatime
http://www.itlearner.com/article/4922
hadoop平台优化概述
http://www.cnblogs.com/flyoung2008/articles/2282731.html
map/reduce数量参考文章
http://blog.sina.com.cn/s/blog_69d9bff301019wqw.html
http://hi.baidu.com/qimeishi/item/7bc1680220c7f968d45a11f7?qq-pf-to=pcqq.c2c
map/reduce参数优化
http://my.oschina.net/JJREN/blog/71314
hadoop源码分析
http://blog.csdn.net/luyee2010/article/details/8623124
hadoop互相ssh配置
http://blog.csdn.net/suileisl/article/details/10474545
Hadoop新MapReduce框架Yarn详解
http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/
新老版本配置对比
http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/#_3.1_hadoop_0.23.0
hadoopbalance
http://www.cnblogs.com/gpcuster/archive/2011/02/16/1956555.html
hadoop版本对比
http://www.cnblogs.com/xuxm2007/archive/2013/04/04/2999741.html