storm集群搭建

1 先安装zookeeper集群, 安装过程见Zookeeper 简介 搭建 

2 三台机器，master作为主节点，sliver103,sliver104作为从节点

3 安装：

// 解压重命名
[root@master local]# tar -zxvf apache-storm-0.9.2-incubating.tar.gz 
[root@master local]# mv apache-storm-0.9.2-incubating storm
// 修改配置文件：
[root@master conf]# vi storm.yaml 

 storm.zookeeper.servers: // storm对应zookeeper集群的机器名
     - "master"
     - "sliver103"
     - "sliver104"

  nimbus.host: "master"  // 指定strom的主机名
  
  storm.local.dir: "/usr/local/storm/tmp"  //该参数指定客户端提交上来的代码 Jar放到机器哪个本地路径下
 
  supervisor.slots.ports:    // 指定storm通讯端口  
      - 6701
      - 6702
      - 6703
      - 6704

#ui.port: 8081 指定storm ui界面访问端口 默认是8080	  
配置此文件时注意细节如下：
	  
1) 使用两个空格作为一级缩进是 YAML 的约定，不能使用制表符（Tab）来代替
    eg:  storm.zookeeper.servers:和前面就有两个空格
2) 以“:”为结束符的字符串，代表了一个键名，“:”后面则是键值。“:”和键值之间必须有至少一个空格。
    eg: 	 nimbus.host: "master"   :右侧间隔了一个空格
3) 列表的元素前面的“-”必不可少，并且要跟随至少一个空格
    eg: - 6701 间隔了一个空格

// 拷贝到别的节点：
[root@master local]# scp -r storm  sliver103:/usr/local/
[root@master local]# scp -r storm  sliver104:/usr/local/
// 启动 storm nimbus >/dev/null 2>&1(控制台用2表示输出转到前面垃圾箱里 并转到后台执行用&表示

注意，单节点无法同时启动nimbus和supervisor
		参数storm.cluster.mode 	distributed   默认是分布式模式

创建 ${STORM_HOME}/logs 目录， 启动的时候将日志重定向到创建的目录下
[root@master bin]# storm nimbus >/dev/null 2>&1 &
或者这种方式启动，保存启动日志
bin/storm nimubs > ./logs/nimbus.out 2>&1 &
bin/storm ui > ./logs/ui.out 2>&1 &     -----> 启动后jsp名称为 core 
[1] 29774
[root@master bin]# jps
3199 nimbus    // 出现主节点进程
9800 JobTracker
3749 Jps
3682 core
13967 QuorumPeerMain
9572 NameNode
9721 SecondaryNameNode


在从节点启动supervisor
[root@sliver103 bin]# storm supervisor >/dev/null 2>&1 &
或者将启动日志保存下来：
bin/storm supervisor > ./logs/supervisor.out 2>&1 &
[root@sliver103 bin]# jps
17065 DataNode
17174 TaskTracker
16343 QuorumPeerMain
21104 Jps
21018 supervisor    // 出现从节点进程
              

[root@sliver104 bin]# storm supervisor >/dev/null 2>&1 &
[1] 32214
[root@sliver104 bin]# jps
2167 supervisor     // 出现从节点进程
28596 QuorumPeerMain
20799 TaskTracker
2212 Jps


注：服务启动时，jps下后，有时候会看到  config_value 这表示服务在启动中读取配置参数的过程，还没有启动成功
启动服务后查看启动进程：
		 jps查看进程命令 
		 或者
		 $ ps -ef | grep daemon.nimbus       daemon ---> 守护进程 
		 $ ps -ef | grep daemon.supervisor
//  启动UI界面，一定要在nimbus节点上启动
[root@master bin]# storm ui >/dev/null 2>&1 &
[1] 30636

启动logviewer 用于查看 supersivor 执行日志：

 访问 http://master:8000/端口查看日志