安科网

使用32位的hadoop运行在64位的系统上，将会出现一些库不兼容的异常

文洲

文洲

2016-09-11

关注 关注

hadoop2.x在apache官网直接下载的并没有64位直接能用的版本，如果我们想在64位系统使用，那么就需要重新编译hadoop，否则直接使用32位的hadoop运行在64位的系统上，将会出现一些库不兼容的异常。如下图所示，最直接的一个异常:

使用32位的hadoop运行在64位的系统上，将会出现一些库不兼容的异常

在这之前，散仙先用一个表格来描述下散仙的编译的环境的状况:

序号描述备注1centos6.5系统64位linux环境2Apache Ant1.9ant编译3Apache Maven3.2.1maven打包部署4gcc,gcc-c++,make依赖库5protobuf-2.5.0序列化库6JDK1.7JAVA 环境7Hadoop2.2.0源码包官网下载8屌丝工程师一名主角9hadoop交流群376932160技术交流




下面进入正题，散仙的环境是在centos下，所以大部分安装编译依赖库，都可以很方便的使用yum命令来完成。

1,安装gcc，执行如下的几个yum命令即可 



yum -y install gcc  
yum install -y  bzip2-devel  
yum -y install gcc-c++  
yum install make  
yum install autoconf automake libtool cmake ncurses-devel openssl-devel gcc*  
yum -y install gcc
yum install -y  bzip2-devel
yum -y install gcc-c++
yum install make
yum install autoconf automake libtool cmake ncurses-devel openssl-devel gcc*



2,安装JDK,并设置环境变量，完成后测试安装成功否

[root@ganglia ~]# java -version  
java version "1.5.0"  
gij (GNU libgcj) version 4.4.7 20120313 (Red Hat 4.4.7-4)  
  
Copyright (C) 2007 Free Software Foundation, Inc.  
This is free software; see the source for copying conditions.  There is NO  
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  
[root@ganglia ~]#   
[root@ganglia ~]# java -version
java version "1.5.0"
gij (GNU libgcj) version 4.4.7 20120313 (Red Hat 4.4.7-4)

Copyright (C) 2007 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
[root@ganglia ~]#


3， 安装Maven，安装完成后测试安装与否

[root@ganglia ~]# mvn -v  
Apache Maven 3.2.1 (ea8b2b07643dbb1b84b6d16e1f08391b666bc1e9; 2014-02-15T01:37:52+08:00)  
Maven home: /usr/local/maven  
Java version: 1.7.0_25, vendor: Oracle Corporation  
Java home: /usr/local/jdk1.7.0_25/jre  
Default locale: zh_CN, platform encoding: UTF-8  
OS name: "linux", version: "2.6.32-431.el6.x86_64", arch: "amd64", family: "unix"  
[root@ganglia ~]#   
[root@ganglia ~]# mvn -v
Apache Maven 3.2.1 (ea8b2b07643dbb1b84b6d16e1f08391b666bc1e9; 2014-02-15T01:37:52+08:00)
Maven home: /usr/local/maven
Java version: 1.7.0_25, vendor: Oracle Corporation
Java home: /usr/local/jdk1.7.0_25/jre
Default locale: zh_CN, platform encoding: UTF-8
OS name: "linux", version: "2.6.32-431.el6.x86_64", arch: "amd64", family: "unix"
[root@ganglia ~]#


4, 安装Ant， 安装完成后，依旧测试成功与否

[root@ganglia ~]# ant -version  
Apache Ant(TM) version 1.9.4 compiled on April 29 2014  
[root@ganglia ~]#   
[root@ganglia ~]# ant -version
Apache Ant(TM) version 1.9.4 compiled on April 29 2014
[root@ganglia ~]#


5,安装protobuf，安装方式，从官网下载tar.gz的包点击下载，并上传到linux上解压，然后进入根目录下，执行如下的几个命令:
wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.bz2 

./configure   
make   
make check  
make install  
./configure 
make 
make check
make install


然后，执行如下命令，进行测试安装成功与否

[root@ganglia protobuf-2.5.0]# protoc  
Missing input file.  
[root@ganglia protobuf-2.5.0]#   
[root@ganglia protobuf-2.5.0]# protoc
Missing input file.
[root@ganglia protobuf-2.5.0]#



6,从hadoop官网下载hadoop2.2.0的版本的源码的src的包，并查看目录

[root@ganglia ~]# cd hadoop-2.2.0-src  
[root@ganglia hadoop-2.2.0-src]# ll  
总用量 108  
-rw-r--r--.  1 67974 users  9968 10月  7 2013 BUILDING.txt  
drwxr-xr-x.  2 67974 users  4096 10月  7 2013 dev-support  
drwxr-xr-x.  4 67974 users  4096 6月   9 17:05 hadoop-assemblies  
drwxr-xr-x.  3 67974 users  4096 6月   9 17:27 hadoop-client  
drwxr-xr-x.  9 67974 users  4096 6月   9 17:14 hadoop-common-project  
drwxr-xr-x.  3 67974 users  4096 6月   9 17:26 hadoop-dist  
drwxr-xr-x.  7 67974 users  4096 6月   9 17:20 hadoop-hdfs-project  
drwxr-xr-x. 11 67974 users  4096 6月   9 17:25 hadoop-mapreduce-project  
drwxr-xr-x.  4 67974 users  4096 6月   9 17:06 hadoop-maven-plugins  
drwxr-xr-x.  3 67974 users  4096 6月   9 17:27 hadoop-minicluster  
drwxr-xr-x.  4 67974 users  4096 6月   9 17:03 hadoop-project  
drwxr-xr-x.  3 67974 users  4096 6月   9 17:05 hadoop-project-dist  
drwxr-xr-x. 12 67974 users  4096 6月   9 17:26 hadoop-tools  
drwxr-xr-x.  4 67974 users  4096 6月   9 17:24 hadoop-yarn-project  
-rw-r--r--.  1 67974 users 15164 10月  7 2013 LICENSE.txt  
-rw-r--r--.  1 67974 users   101 10月  7 2013 NOTICE.txt  
-rw-r--r--.  1 67974 users 16569 10月  7 2013 pom.xml  
-rw-r--r--.  1 67974 users  1366 10月  7 2013 README.txt  
[root@ganglia hadoop-2.2.0-src]#   
[root@ganglia ~]# cd hadoop-2.2.0-src
[root@ganglia hadoop-2.2.0-src]# ll
总用量 108
-rw-r--r--.  1 67974 users  9968 10月  7 2013 BUILDING.txt
drwxr-xr-x.  2 67974 users  4096 10月  7 2013 dev-support
drwxr-xr-x.  4 67974 users  4096 6月   9 17:05 hadoop-assemblies
drwxr-xr-x.  3 67974 users  4096 6月   9 17:27 hadoop-client
drwxr-xr-x.  9 67974 users  4096 6月   9 17:14 hadoop-common-project
drwxr-xr-x.  3 67974 users  4096 6月   9 17:26 hadoop-dist
drwxr-xr-x.  7 67974 users  4096 6月   9 17:20 hadoop-hdfs-project
drwxr-xr-x. 11 67974 users  4096 6月   9 17:25 hadoop-mapreduce-project
drwxr-xr-x.  4 67974 users  4096 6月   9 17:06 hadoop-maven-plugins
drwxr-xr-x.  3 67974 users  4096 6月   9 17:27 hadoop-minicluster
drwxr-xr-x.  4 67974 users  4096 6月   9 17:03 hadoop-project
drwxr-xr-x.  3 67974 users  4096 6月   9 17:05 hadoop-project-dist
drwxr-xr-x. 12 67974 users  4096 6月   9 17:26 hadoop-tools
drwxr-xr-x.  4 67974 users  4096 6月   9 17:24 hadoop-yarn-project
-rw-r--r--.  1 67974 users 15164 10月  7 2013 LICENSE.txt
-rw-r--r--.  1 67974 users   101 10月  7 2013 NOTICE.txt
-rw-r--r--.  1 67974 users 16569 10月  7 2013 pom.xml
-rw-r--r--.  1 67974 users  1366 10月  7 2013 README.txt
[root@ganglia hadoop-2.2.0-src]#



7，修改/root/hadoop-2.2.0-src/hadoop-common-project/hadoop-auth/pom.xml文件，增加，补丁内容，这部分是hadoop2.2.0的bug，如果是其他的2.x的版本，可以视情况而定，内容如下：

mvn clean  
mvn package -Pdist,native -DskipTests -Dtar  
mvn clean
mvn package -Pdist,native -DskipTests -Dtar


然后等待半个小时左右的编译时间，网速快的话，时间可能会更短，编译完成后，输出的打包信息如下：

[INFO]   
[INFO] --- maven-resources-plugin:2.2:resources (default-resources) @ hadoop-minicluster ---  
[INFO] Using default encoding to copy filtered resources.  
[INFO]   
[INFO] --- maven-compiler-plugin:2.5.1:compile (default-compile) @ hadoop-minicluster ---  
[INFO] No sources to compile  
[INFO]   
[INFO] --- maven-resources-plugin:2.2:testResources (default-testResources) @ hadoop-minicluster ---  
[INFO] Using default encoding to copy filtered resources.  
[INFO]   
[INFO] --- maven-compiler-plugin:2.5.1:testCompile (default-testCompile) @ hadoop-minicluster ---  
[INFO] No sources to compile  
[INFO]   
[INFO] --- maven-surefire-plugin:2.12.3:test (default-test) @ hadoop-minicluster ---  
[INFO] Tests are skipped.  
[INFO]   
[INFO] --- maven-jar-plugin:2.3.1:jar (default-jar) @ hadoop-minicluster ---  
[WARNING] JAR will be empty - no content was marked for inclusion!  
[INFO] Building jar: /root/hadoop-2.2.0-src/hadoop-minicluster/target/hadoop-minicluster-2.2.0.jar  
[INFO]   
[INFO] --- maven-source-plugin:2.1.2:jar-no-fork (hadoop-java-sources) @ hadoop-minicluster ---  
[INFO] No sources in project. Archive not created.  
[INFO]   
[INFO] --- maven-source-plugin:2.1.2:test-jar-no-fork (hadoop-java-sources) @ hadoop-minicluster ---  
[INFO] No sources in project. Archive not created.  
[INFO]   
[INFO] --- maven-site-plugin:3.0:attach-descriptor (attach-descriptor) @ hadoop-minicluster ---  
[INFO]   
[INFO] --- maven-javadoc-plugin:2.8.1:jar (module-javadocs) @ hadoop-minicluster ---  
[INFO] Building jar: /root/hadoop-2.2.0-src/hadoop-minicluster/target/hadoop-minicluster-2.2.0-javadoc.jar  
[INFO] ------------------------------------------------------------------------  
[INFO] Reactor Summary:  
[INFO]   
[INFO] Apache Hadoop Main ................................ SUCCESS [01:43 min]  
[INFO] Apache Hadoop Project POM ......................... SUCCESS [01:21 min]  
[INFO] Apache Hadoop Annotations ......................... SUCCESS [ 42.256 s]  
[INFO] Apache Hadoop Assemblies .......................... SUCCESS [  0.291 s]  
[INFO] Apache Hadoop Project Dist POM .................... SUCCESS [ 41.053 s]  
[INFO] Apache Hadoop Maven Plugins ....................... SUCCESS [ 44.283 s]  
[INFO] Apache Hadoop Auth ................................ SUCCESS [01:49 min]  
[INFO] Apache Hadoop Auth Examples ....................... SUCCESS [ 18.950 s]  
[INFO] Apache Hadoop Common .............................. SUCCESS [05:31 min]  
[INFO] Apache Hadoop NFS ................................. SUCCESS [ 40.498 s]  
[INFO] Apache Hadoop Common Project ...................... SUCCESS [  0.050 s]  
[INFO] Apache Hadoop HDFS ................................ SUCCESS [03:43 min]  
[INFO] Apache Hadoop HttpFS .............................. SUCCESS [ 26.962 s]  
[INFO] Apache Hadoop HDFS BookKeeper Journal ............. SUCCESS [ 47.056 s]  
[INFO] Apache Hadoop HDFS-NFS ............................ SUCCESS [  4.237 s]  
[INFO] Apache Hadoop HDFS Project ........................ SUCCESS [  0.029 s]  
[INFO] hadoop-yarn ....................................... SUCCESS [01:25 min]  
[INFO] hadoop-yarn-api ................................... SUCCESS [ 40.841 s]  
[INFO] hadoop-yarn-common ................................ SUCCESS [ 31.228 s]  
[INFO] hadoop-yarn-server ................................ SUCCESS [  0.161 s]  
[INFO] hadoop-yarn-server-common ......................... SUCCESS [ 12.289 s]  
[INFO] hadoop-yarn-server-nodemanager .................... SUCCESS [ 19.271 s]  
[INFO] hadoop-yarn-server-web-proxy ...................... SUCCESS [  3.586 s]  
[INFO] hadoop-yarn-server-resourcemanager ................ SUCCESS [ 14.674 s]  
[INFO] hadoop-yarn-server-tests .......................... SUCCESS [  1.153 s]  
[INFO] hadoop-yarn-client ................................ SUCCESS [  7.861 s]  
[INFO] hadoop-yarn-applications .......................... SUCCESS [  0.106 s]  
[INFO] hadoop-yarn-applications-distributedshell ......... SUCCESS [  4.540 s]  
[INFO] hadoop-mapreduce-client ........................... SUCCESS [  0.168 s]  
[INFO] hadoop-mapreduce-client-core ...................... SUCCESS [ 29.360 s]  
[INFO] hadoop-yarn-applications-unmanaged-am-launcher .... SUCCESS [  3.353 s]  
[INFO] hadoop-yarn-site .................................. SUCCESS [  0.128 s]  
[INFO] hadoop-yarn-project ............................... SUCCESS [ 29.610 s]  
[INFO] hadoop-mapreduce-client-common .................... SUCCESS [ 19.908 s]  
[INFO] hadoop-mapreduce-client-shuffle ................... SUCCESS [  3.357 s]  
[INFO] hadoop-mapreduce-client-app ....................... SUCCESS [ 12.116 s]  
[INFO] hadoop-mapreduce-client-hs ........................ SUCCESS [  5.807 s]  
[INFO] hadoop-mapreduce-client-jobclient ................. SUCCESS [  6.713 s]  
[INFO] hadoop-mapreduce-client-hs-plugins ................ SUCCESS [  2.001 s]  
[INFO] Apache Hadoop MapReduce Examples .................. SUCCESS [  7.684 s]  
[INFO] hadoop-mapreduce .................................. SUCCESS [  3.664 s]  
[INFO] Apache Hadoop MapReduce Streaming ................. SUCCESS [  5.645 s]  
[INFO] Apache Hadoop Distributed Copy .................... SUCCESS [ 29.953 s]  
[INFO] Apache Hadoop Archives ............................ SUCCESS [  2.277 s]  
[INFO] Apache Hadoop Rumen ............................... SUCCESS [  7.743 s]  
[INFO] Apache Hadoop Gridmix ............................. SUCCESS [  5.608 s]  
[INFO] Apache Hadoop Data Join ........................... SUCCESS [  3.385 s]  
[INFO] Apache Hadoop Extras .............................. SUCCESS [  3.509 s]  
[INFO] Apache Hadoop Pipes ............................... SUCCESS [  8.266 s]  
[INFO] Apache Hadoop Tools Dist .......................... SUCCESS [  2.073 s]  
[INFO] Apache Hadoop Tools ............................... SUCCESS [  0.025 s]  
[INFO] Apache Hadoop Distribution ........................ SUCCESS [ 23.928 s]  
[INFO] Apache Hadoop Client .............................. SUCCESS [  6.876 s]  
[INFO] Apache Hadoop Mini-Cluster ........................ SUCCESS [  0.514 s]  
[INFO] ------------------------------------------------------------------------  
[INFO] BUILD SUCCESS  
[INFO] ------------------------------------------------------------------------  
[INFO] Total time: 26:04 min  
[INFO] Finished at: 2014-06-09T17:27:26+08:00  
[INFO] Final Memory: 96M/239M  
[INFO] ------------------------------------------------------------------------  
[INFO] 
[INFO] --- maven-resources-plugin:2.2:resources (default-resources) @ hadoop-minicluster ---
[INFO] Using default encoding to copy filtered resources.
[INFO] 
[INFO] --- maven-compiler-plugin:2.5.1:compile (default-compile) @ hadoop-minicluster ---
[INFO] No sources to compile
[INFO] 
[INFO] --- maven-resources-plugin:2.2:testResources (default-testResources) @ hadoop-minicluster ---
[INFO] Using default encoding to copy filtered resources.
[INFO] 
[INFO] --- maven-compiler-plugin:2.5.1:testCompile (default-testCompile) @ hadoop-minicluster ---
[INFO] No sources to compile
[INFO] 
[INFO] --- maven-surefire-plugin:2.12.3:test (default-test) @ hadoop-minicluster ---
[INFO] Tests are skipped.
[INFO] 
[INFO] --- maven-jar-plugin:2.3.1:jar (default-jar) @ hadoop-minicluster ---
[WARNING] JAR will be empty - no content was marked for inclusion!
[INFO] Building jar: /root/hadoop-2.2.0-src/hadoop-minicluster/target/hadoop-minicluster-2.2.0.jar
[INFO] 
[INFO] --- maven-source-plugin:2.1.2:jar-no-fork (hadoop-java-sources) @ hadoop-minicluster ---
[INFO] No sources in project. Archive not created.
[INFO] 
[INFO] --- maven-source-plugin:2.1.2:test-jar-no-fork (hadoop-java-sources) @ hadoop-minicluster ---
[INFO] No sources in project. Archive not created.
[INFO] 
[INFO] --- maven-site-plugin:3.0:attach-descriptor (attach-descriptor) @ hadoop-minicluster ---
[INFO] 
[INFO] --- maven-javadoc-plugin:2.8.1:jar (module-javadocs) @ hadoop-minicluster ---
[INFO] Building jar: /root/hadoop-2.2.0-src/hadoop-minicluster/target/hadoop-minicluster-2.2.0-javadoc.jar
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Apache Hadoop Main ................................ SUCCESS [01:43 min]
[INFO] Apache Hadoop Project POM ......................... SUCCESS [01:21 min]
[INFO] Apache Hadoop Annotations ......................... SUCCESS [ 42.256 s]
[INFO] Apache Hadoop Assemblies .......................... SUCCESS [  0.291 s]
[INFO] Apache Hadoop Project Dist POM .................... SUCCESS [ 41.053 s]
[INFO] Apache Hadoop Maven Plugins ....................... SUCCESS [ 44.283 s]
[INFO] Apache Hadoop Auth ................................ SUCCESS [01:49 min]
[INFO] Apache Hadoop Auth Examples ....................... SUCCESS [ 18.950 s]
[INFO] Apache Hadoop Common .............................. SUCCESS [05:31 min]
[INFO] Apache Hadoop NFS ................................. SUCCESS [ 40.498 s]
[INFO] Apache Hadoop Common Project ...................... SUCCESS [  0.050 s]
[INFO] Apache Hadoop HDFS ................................ SUCCESS [03:43 min]
[INFO] Apache Hadoop HttpFS .............................. SUCCESS [ 26.962 s]
[INFO] Apache Hadoop HDFS BookKeeper Journal ............. SUCCESS [ 47.056 s]
[INFO] Apache Hadoop HDFS-NFS ............................ SUCCESS [  4.237 s]
[INFO] Apache Hadoop HDFS Project ........................ SUCCESS [  0.029 s]
[INFO] hadoop-yarn ....................................... SUCCESS [01:25 min]
[INFO] hadoop-yarn-api ................................... SUCCESS [ 40.841 s]
[INFO] hadoop-yarn-common ................................ SUCCESS [ 31.228 s]
[INFO] hadoop-yarn-server ................................ SUCCESS [  0.161 s]
[INFO] hadoop-yarn-server-common ......................... SUCCESS [ 12.289 s]
[INFO] hadoop-yarn-server-nodemanager .................... SUCCESS [ 19.271 s]
[INFO] hadoop-yarn-server-web-proxy ...................... SUCCESS [  3.586 s]
[INFO] hadoop-yarn-server-resourcemanager ................ SUCCESS [ 14.674 s]
[INFO] hadoop-yarn-server-tests .......................... SUCCESS [  1.153 s]
[INFO] hadoop-yarn-client ................................ SUCCESS [  7.861 s]
[INFO] hadoop-yarn-applications .......................... SUCCESS [  0.106 s]
[INFO] hadoop-yarn-applications-distributedshell ......... SUCCESS [  4.540 s]
[INFO] hadoop-mapreduce-client ........................... SUCCESS [  0.168 s]
[INFO] hadoop-mapreduce-client-core ...................... SUCCESS [ 29.360 s]
[INFO] hadoop-yarn-applications-unmanaged-am-launcher .... SUCCESS [  3.353 s]
[INFO] hadoop-yarn-site .................................. SUCCESS [  0.128 s]
[INFO] hadoop-yarn-project ............................... SUCCESS [ 29.610 s]
[INFO] hadoop-mapreduce-client-common .................... SUCCESS [ 19.908 s]
[INFO] hadoop-mapreduce-client-shuffle ................... SUCCESS [  3.357 s]
[INFO] hadoop-mapreduce-client-app ....................... SUCCESS [ 12.116 s]
[INFO] hadoop-mapreduce-client-hs ........................ SUCCESS [  5.807 s]
[INFO] hadoop-mapreduce-client-jobclient ................. SUCCESS [  6.713 s]
[INFO] hadoop-mapreduce-client-hs-plugins ................ SUCCESS [  2.001 s]
[INFO] Apache Hadoop MapReduce Examples .................. SUCCESS [  7.684 s]
[INFO] hadoop-mapreduce .................................. SUCCESS [  3.664 s]
[INFO] Apache Hadoop MapReduce Streaming ................. SUCCESS [  5.645 s]
[INFO] Apache Hadoop Distributed Copy .................... SUCCESS [ 29.953 s]
[INFO] Apache Hadoop Archives ............................ SUCCESS [  2.277 s]
[INFO] Apache Hadoop Rumen ............................... SUCCESS [  7.743 s]
[INFO] Apache Hadoop Gridmix ............................. SUCCESS [  5.608 s]
[INFO] Apache Hadoop Data Join ........................... SUCCESS [  3.385 s]
[INFO] Apache Hadoop Extras .............................. SUCCESS [  3.509 s]
[INFO] Apache Hadoop Pipes ............................... SUCCESS [  8.266 s]
[INFO] Apache Hadoop Tools Dist .......................... SUCCESS [  2.073 s]
[INFO] Apache Hadoop Tools ............................... SUCCESS [  0.025 s]
[INFO] Apache Hadoop Distribution ........................ SUCCESS [ 23.928 s]
[INFO] Apache Hadoop Client .............................. SUCCESS [  6.876 s]
[INFO] Apache Hadoop Mini-Cluster ........................ SUCCESS [  0.514 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 26:04 min
[INFO] Finished at: 2014-06-09T17:27:26+08:00
[INFO] Final Memory: 96M/239M
[INFO] ------------------------------------------------------------------------



编译好的hadoop包，路径在：

[root@ganglia target]# pwd  
/root/hadoop-2.2.0-src/hadoop-dist/target  
[root@ganglia target]# ll  
总用量 282348  
drwxr-xr-x. 2 root root      4096 6月   9 17:26 antrun  
-rw-r--r--. 1 root root      1618 6月   9 17:26 dist-layout-stitching.sh  
-rw-r--r--. 1 root root       635 6月   9 17:26 dist-tar-stitching.sh  
drwxr-xr-x. 9 root root      4096 6月   9 17:26 hadoop-2.2.0  
-rw-r--r--. 1 root root  96183833 6月   9 17:27 hadoop-2.2.0.tar.gz  
-rw-r--r--. 1 root root      2745 6月   9 17:26 hadoop-dist-2.2.0.jar  
-rw-r--r--. 1 root root 192903472 6月   9 17:27 hadoop-dist-2.2.0-javadoc.jar  
drwxr-xr-x. 2 root root      4096 6月   9 17:27 javadoc-bundle-options  
drwxr-xr-x. 2 root root      4096 6月   9 17:26 maven-archiver  
drwxr-xr-x. 2 root root      4096 6月   9 17:26 test-dir  
[root@ganglia target]#   
[root@ganglia target]# pwd
/root/hadoop-2.2.0-src/hadoop-dist/target
[root@ganglia target]# ll
总用量 282348
drwxr-xr-x. 2 root root      4096 6月   9 17:26 antrun
-rw-r--r--. 1 root root      1618 6月   9 17:26 dist-layout-stitching.sh
-rw-r--r--. 1 root root       635 6月   9 17:26 dist-tar-stitching.sh
drwxr-xr-x. 9 root root      4096 6月   9 17:26 hadoop-2.2.0
-rw-r--r--. 1 root root  96183833 6月   9 17:27 hadoop-2.2.0.tar.gz
-rw-r--r--. 1 root root      2745 6月   9 17:26 hadoop-dist-2.2.0.jar
-rw-r--r--. 1 root root 192903472 6月   9 17:27 hadoop-dist-2.2.0-javadoc.jar
drwxr-xr-x. 2 root root      4096 6月   9 17:27 javadoc-bundle-options
drwxr-xr-x. 2 root root      4096 6月   9 17:26 maven-archiver
drwxr-xr-x. 2 root root      4096 6月   9 17:26 test-dir
[root@ganglia target]#


编译完成后的本地库，位于如下位置，并查看本地库支持位数：

[root@ganglia native]# pwd  
/root/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0/lib/native  
[root@ganglia native]# ll  
总用量 3596  
-rw-r--r--. 1 root root  733114 6月   9 17:26 libhadoop.a  
-rw-r--r--. 1 root root 1487236 6月   9 17:26 libhadooppipes.a  
lrwxrwxrwx. 1 root root      18 6月   9 17:26 libhadoop.so -> libhadoop.so.1.0.0  
-rwxr-xr-x. 1 root root  411870 6月   9 17:26 libhadoop.so.1.0.0  
-rw-r--r--. 1 root root  581944 6月   9 17:26 libhadooputils.a  
-rw-r--r--. 1 root root  273330 6月   9 17:26 libhdfs.a  
lrwxrwxrwx. 1 root root      16 6月   9 17:26 libhdfs.so -> libhdfs.so.0.0.0  
-rwxr-xr-x. 1 root root  181042 6月   9 17:26 libhdfs.so.0.0.0  
[root@ganglia native]# file libhadoop.so  
libhadoop.so: symbolic link to `libhadoop.so.1.0.0'  
[root@ganglia native]# file libhadoop.so.1.0.0   
libhadoop.so.1.0.0: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, not stripped  
[root@ganglia native]#   
[root@ganglia native]# pwd
/root/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0/lib/native
[root@ganglia native]# ll
总用量 3596
-rw-r--r--. 1 root root  733114 6月   9 17:26 libhadoop.a
-rw-r--r--. 1 root root 1487236 6月   9 17:26 libhadooppipes.a
lrwxrwxrwx. 1 root root      18 6月   9 17:26 libhadoop.so -> libhadoop.so.1.0.0
-rwxr-xr-x. 1 root root  411870 6月   9 17:26 libhadoop.so.1.0.0
-rw-r--r--. 1 root root  581944 6月   9 17:26 libhadooputils.a
-rw-r--r--. 1 root root  273330 6月   9 17:26 libhdfs.a
lrwxrwxrwx. 1 root root      16 6月   9 17:26 libhdfs.so -> libhdfs.so.0.0.0
-rwxr-xr-x. 1 root root  181042 6月   9 17:26 libhdfs.so.0.0.0
[root@ganglia native]# file libhadoop.so
libhadoop.so: symbolic link to `libhadoop.so.1.0.0'
[root@ganglia native]# file libhadoop.so.1.0.0 
libhadoop.so.1.0.0: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, not stripped
[root@ganglia native]#



至此，我们的编译已经，成功完成，然后，我们就可以使用在target目录下，编译生成的hadoop新的tar.gz包，来部署我们的hadoop集群。

使用32位的hadoop运行在64位的系统上，将会出现一些库不兼容的异常 


td

文洲

文洲

0 关注 0 粉丝 0 动态

关注 关注

相关推荐

MySQL ddl语句的使用

数据定义语言create、drop、alter语句 。定义对数据库记录的增、删、改操作。定义对数据库、表、字段、用户的访问权限和安全级别。这小节主要了解下数据定义语言DDL。我们用它对数据库、表进行一些管理操作，比如：建库、删库、建表、修改表、删除表、对字

云中舞步 2020-11-12

MySQL全面瓦解之查询的正则匹配详解

上一章 查询的过滤条件，我们了解了MySQL可以通过 like % 通配符来进行模糊匹配。同样的，它也支持其他正则表达式的匹配，我们在MySQL中使用 REGEXP 操作符来进行正则表达式匹配。似，但又强大很多，能够实现一些很特殊的、复杂的规则匹配。如果

杨德龙 2020-11-11

shell中set指令的用法详解

set 指令可根据不同的需求来设置当前所使用 shell 的执行方式，同时也可以用来设置或显示 shell 变量的值。当指定某个单一的选项时将设置 shell 的常用特性，如果在选项后使用 -o 参数将打开特殊特性，若是 +o 将关闭相应的特殊特性。而不带

JohnYork 2020-10-16

详解shell 函数定义与调用

本节程序实现函数定义与调用，注意调用函数是不要使用括号，代码如下：。本节程序实现向被调用函数传递参数，$0是运行该脚本的shell传递的参数从$1开始、传递多个参数是以空格分隔，代码如下：。与$*相同，但是使用时加引号，并在引号中返回每个参数。显示Shel

wangzhaotongalex 2020-09-22

Python list和str互转的实现示例

输出： [1, 2, 3, 4, 5]. list2 = str2.split() #or list2 = str2.split(" "). 以下几个内置的函数可以执行数据类型之间的转换。这些函数返回一个新的对象，表示转换的值。将x转换

xiaoseyihe 2020-11-16

MongoDB查询之高级操作详解（多条件查询、正则匹配查询等）

MongoDB查询文档使用find()方法，同时find()方法以非结构化的方式来显示所有查询到的文档。db.collection.find -- 返回所有符合查询条件的文档。$type操作符是基于BSON类型来检索集合中匹配的数据类型，MongoDB中可

不要皱眉 2020-10-14

PHP如何通过date() 函数格式化显示时间

n 为无前导0数字月份。月份中的第几天，前面有前导0，如03。date; //显示格式如 2008-12-01 12:01. 如果输出的时间和实际时间差8个小时的话，检查php.ini文件，做如下设置：date.timezone = PRC

Crazyshark 2020-11-13

ThinkPHP5分页paginate代码实例解析

$list = db('user')->paginate(10);$list = db('user')->paginate(10,false,['query'=>array('id' => $id)]);$this->assi

K先生 2020-11-10

jQuery实现日历效果

jquery是用的是2.0版本。--基于W3C标准 不用做任何修改-->. --设置初始化文档信息和文档管理标注-->. --整个页面编码 utf-8 国际编码 通用性最强，GBK/gb2312 中文-->. .signincalenda

momode 2020-09-11

程序员你是怎么绘制架构图？

作为一个程序员，假如让你绘制当前正在开发的项目的架构图，你会怎么绘制？先来同步一个理念。一种架构设计的方法论，忽略不在同一个抽象成绩的细节，从而可以更好的表达和可视化。可以类比地图，地图分4个级别，国家，省，市，街道；而C4模型也分4个层级，Context

思君夜未眠 2020-09-04

聊一聊mycat数据库集群系列之双主双重实现

　　最近在梳理数据库集群的相关操作，现在花点时间整理一下关于mysql数据库集群的操作总结，恰好你又在看这一块，供一份参考。本次系列终结大概包括以下内容：多数据库安装、mycat部署安装、数据库之读写分离主从复制、数据库之双主多重、数据库分库分表。我是一个

点滴技术生活 2020-08-21

C# 正则表达式

.Net 框架提供了允许这种匹配的正则表达式引擎。模式由一个或多个字符、运算符和结构组成。正则表达式中的反斜杠字符（\）指示其后跟的字符是特殊字符，或应按原义解释该字符。与报警 符 \u0007 匹配。" + ‘\u0007‘ 中的 "

MaggieRose 2020-08-19

Python基础---转义字符——Python

字符串中的转义字符。\t 在控制台输出一个 制表符，协助在输出文本时 垂直方向 保持对齐。制表符 的功能是在不使用表格的情况下在 垂直方向 按列对齐文本

kevinweijc 2020-08-18

HikariCP => 现阶段最快的数据库连接池

怎么说.... 有图有真相吧~要知道对于连接池来讲,代码越少,占用cpu和内存越少,Bug出现几率也是越小,那么代表他的执行率高,这就是为什么HikariCP受欢迎的原因之一。HikariCP是经受了市场的考验,走过太上老君的丹炉,现如今拿到SpringB

wintershii 2020-08-17

Redis 执行性能测试

Redis 性能测试是通过同时执行多个命令实现的。仅运行以逗号分隔的测试命令列表。仅打开 N 个 idle 连接并等待。$ redis-benchmark -h 127.0.0.1 -p 6379 -t set,lpush -n 10000 -q. 以上实

vapaad 2020-08-17

Redis服务之高可用组件sentinel详解

有没有这样的一组件帮我们对master做实时的监控，一旦发现master宕机就提升一个slave当选新的master，如果原master还有其他slave，将其他slave都从属于新的master；除此之外它还应该让系统在发生切换master时触发报警通知

wera00 2020-08-17

js实现表格单列按字母排序

本文实例为大家分享了js实现表格单列按字母排序的具体代码，供大家参考，具体内容如下。<link href="../css/表格数据搜索.css" rel="stylesheet">. <input

移动开发与培训 2020-08-16

js实现表格数据搜索

<input type="text" placeholder="搜索..." id="myInput" onkeyup="myFunction()">

ReunionIsland 2020-08-16

PyQt5 QDockWidget控件应用详解

QDockWidget是一个可以停靠在QMainWindow内的窗口控件，它可以保持在浮动状态或者在指定位置作为子窗口附加到主窗口中，QMainWindow类的主窗口对象保留有一个用于停靠窗口的区域，这个区域在控件的中央周围。QDoCKWidget类中的常

JimyFengqi 2020-08-16

使用imp和exp命令对Oracle数据库进行导入导出操作详解

例子：导出mydb数据库system用户，密码为123456的所有数据到D:\example.dmp文件中

love0u 2020-08-16
文洲

文洲

W3CSchool教程
HTML 教程
CSS 教程
Bootstrap 教程
Javascript 教程
jQuery 教程
后端教程
C 教程
Java 教程
PHP 教程
Python 教程
Go 教程
移动开发
Android 教程
Swift 教程
Kotlin 教程
jQuery Mobile 教程
ionic 教程
关于我们
新闻动态
联系方式
招聘英才
安科实验室
帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号 京公网安备11010802014868号