hadoop+hbase伪分布式安装
安装hadoop+hbase伪分布式
1.安装hadoop伪分布式
1.1安装jdk-6u24-linux-x64-rpm.bin,需要说明的是,尽可能的使用64位的JDK版本。
1.2进入到CDH3的官方下载网址http://archive.cloudera.com/cdh/3/下载最新hadoop和hbase的release版本hadoop-latest.tar.gz 和hbase-latest.tar.gz 。
1.3新建系统hadoop用户。命令:#adduser hadoop;#passwd hadoop,回车输入hadoop。
1.4用hadoop用户登录服务器。
1.5在/home/hadoop/目录下建立.ssh目录,修改/home/hadoop/.ssh/authorized_keys文件的权限为:-rw-r–r–,设置命令:$ cd /home/hadoop/.ssh,$ chmod 644 authorized_keys。
1.6通过ssh无需密码登录本机。ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa,直接回车,完成后会在~/.ssh/生成两个文件:id_dsa 和id_dsa.pub。这两个是成对出现,类似钥匙和锁。再执行命令$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys。此时通过命令$ssh localhost测试。
1.7解压缩hadoop.$tar -zxvf hadoop-latest.tar.gz。$mv hadoop-0.20.2-cdh3u2 hadoop.
1.8修改~/hadoop/hadoop/conf/hadoop-env.sh文件的环境变量
$cd hadoop/conf/,$vim hadoop-env.sh添加环境变量export JAVA_HOME=/usr/java/jdk1.6.0_20(自己机器上的jdk安装路径)
1.9修改hadoop配置文件
conf/core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
conf/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
conf/mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
1.10修改/etc/hosts配置文件
把文件中的127.0.0.1 替换成本机的实际IP。
1.11、启动/停止hadoop
1.1.1格式化namenode。$ bin/hadoop namenode -format
1.1.2启动hadoop。$ bin/start-all.sh
可以通过浏览器查看NameNode - http://localhost:50070/ ,和
JobTracker - http://localhost:50030/
1.1.3停止hadoop。$bin/stop-all.sh
2.安装hbase伪分布式
2.1解压缩上面下载的hbase-latest.tar.gz
$tar -zxvf hbase-latest.tar.gz. $mv hbase-0.90.4-cdh3u2 hbase.
$cd hbase.
2.2修改hbase-env.sh
export JAVA_HOME=/usr/lib/jvm/java-6-sun。(自己的jdk安装路径)
export HBASE_CLASSPATH=/home/hadoop/hadoop/conf
export HBASE_MANAGES_ZK=true
2.3修改hbase-site.sh
<configuration>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase(此处要和前面配置的hadoop路径一致)</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
2.4 修改hadoop-env.sh
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/home/hadoop/hbase/lib/zookeeper-3.3.3-cdh3u2.jar: /home/hadoop/hbase/hbase-0.90.4-cdh3u2.jar:/home/hadoop/hadoop/hadoop-hbase-streaming.jar
2.4启动/关闭HBase
2.4.1.启动hbase $bin/start-hbase.sh
2.4.2执行$hbase shell命令,进入hbase控制台,执行控制台命令操作hbase。
2.4.3关闭hbase $bin/stop-hbase.sh