CentOS下编译hadoop源码
0.首先下载hadoop-2.5.2源码包
下载地址:http://hadoop.apache.org/releases.html
2.解压
tar zxvf hadoop-2.5.2-src.tar.gz
3.解压完之后,我们开始准备编译所需要的软件
安装apache-maven
3.1.在安装hadoop-2.5.2时,wget命令不一定能够使用,需要安装wget工具才行。
如果配置的yum源,我们可以这样安装wget工具。如下:
配置yum源:http://mirrors.163.com/.help/centos.html
安装wget工具:yum -y install wget
3.2.安装maven(建议手动下载安装,如果网络不好,使用如下方式很容易失败。)
wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo
yum -y install apache-maven
3.3.tzdata-java-2015g-2.el6.noarch.rpm 源不能使用,安装失败。
http://mirrors.ustc.edu.cn/centos/6/updates/i386/Packages/tzdata-java-2015g-2.el6.noarch.rpm: [Errno -1] Package does not match intended download. Suggestion: run yum --enablerepo=updates clean metadata
解决方法:使用http://mirrors.ustc.edu.cn/centos/6/updates/i386/Packages/tzdata-java-2015g-2.el6.noarch.rpm 可以手动下载tzdata-java-2015g-2.el6.noarch.rpm,然后使用命令安装。
这时候再次执行yum -y install apache-maven命令
4.安装ProtocolBuffer
下载地址:http://vdisk.weibo.com/s/BICjq6gk87iV5
下载完后手动安装
5.使用yum命令安装的软件,默认是安装在那个目录下面的
eg:查找apache-maven的安装目录,可以使用find / -name apache-maven* -type d
6.linux中查找文件夹
find / -name apache-maven* -type d (查找目录:find /(查找范围) -name '查找关键字' -type d。)
7.如何查看linux命令的用法
8.在进行编译之前,先修改maven安装目录下conf/settings.xml(因为maven使用的reposity,国内有时无法访问,修改为可用的镜像即可),<mirrors></mirros>里添加,其他的不需改动,具体修改如下:
<mirror>
<id>nexus-osc</id>
<mirrorOf>*</mirrorOf>
<name>Nexusosc</name>
<url>http://maven.oschina.net/content/groups/public/</url>
</mirror>
9.linux下配置域名
/etc/hosts
10.使用virtualBox时,复制的虚拟机的主机名都一样,修改主机名
/etc/sysconfig/network
11.hadoop-aboutyun-linux64-2.5.2.tar.gz 下载地址
链接:http://pan.baidu.com/s/1bnH94xp 密码:3fp5
12.启动zookeeper后,才能格式化ZKFC,否则会报错。
13.注册About云时 看不到验证码图片,可以查看网页源码来看
14.Unable to load native-hadoop library for your platform... using builtin-java classes where applicable,如下图:
Hadoop本地库与系统版本不一致引起的错误解决方法
参考:http://www.linuxidc.com/Linux/2012-04/59200.htm
wget http://ftp.gnu.org/gnu/glibc/glibc-2.19.tar.bz2
wget http://ftp.gnu.org/gnu/glibc/glibc-linuxthreads-2.5.tar.bz2
解压
$tar -jxvf glibc-2.19.tar.bz2
$cd glibc-2.19
$tar -jxvf ../glibc-linuxthreads-2.5.tar.bz2
$cd ..
$export CFLAGS="-g -O2"
$./glibc-2.19/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin
$make
#make install
注意:虽然提示使用GLIBC_2.14,但是安装可能会报错。建议使用GLIBC_2.19
15.wget下载的东西在哪个目录呢?在当前目录下面
17 ./configure,make,make install的作用?
最终编译失败,长城的网络不给力。如果网络给力,很容易编译成功。。。。
如果网络不好的童鞋可以下载别人已经编译好的64位的hadoop安装包:hadoop-aboutyun-linux64-2.5.2.tar.gz
maven库:http://maven.net.cn/content/groups/public/
http://cwiki.apache.org
参考:http://www.iteblog.com/archives/897
参考:http://www.csdn123.com/html/topnews201408/84/1984.htm
Maven settings配置中的mirrorOf:http://blog.csdn.net/isea533/article/details/21560089
桥接:http://wenku.baidu.com/link?url=eBCnoOeSJaM6-LLXZofAFL0odFLNgWRxNkGBi8X70xe422kgC2cKESnccnbEss3Ph4UAYP20yxwpl_tLZXwLIG19RqOXZuqJUszGFxafZZu