Storm+zookeeper+metaq 环境安装配置

大数据分析处理中storm 相关的安装配置说明,linux 系统

1. 前提是已经安装好 JDK

2. 首选下载并安装 zookeeper 

下载官网地址: http://hadoop.apache.org/zookeeper/releases.html

比如下载 zookeeper-3.4.6.tar.gz 版本,将该版本放入到 linux 服务器上, 

进行解压: tar –zxvf zookeeper-3.4.6.tar.gz 

设置环境变量

vi /etc/profile

export ZOOKEEPER_HOME=/opt/zookeeper-3.4.6

PATH=$ZOOKEEPER_HOME/bin:$PATH

export PATH

source /etc/profile 

进入conf目录下的zoo_sample.cfg文件拷贝一份,命名为为“zoo.cfg” 修改 zoo.cfg 配置文件

修改zoo.cfg内容为:

# The number of milliseconds of each tick

tickTime=2000

# The number of ticks that the initial

# synchronization phase can take

initLimit=10

# The number of ticks that can pass between

# sending a request and getting an acknowledgement

syncLimit=5

# 数据和日志存放路径.

dataDir=/urs/dpap/zookeeper/data

dataLogDir=/urs/dpap/zookeeper/logs

# 客户端端口号

clientPort=4180

# 2888,3888 are election port

server.1=zookeeper:2888:3888

server.2=zookeeper:2888:3888

其中,2888端口号是zookeeper服务之间通信的端口,而3888是zookeeper与其他应用程序通信的端口。而zookeeper是在hosts中已映射了本机的ip。 initLimit:这个配置项是用来配置 Zookeeper 接受客户端(这里所说的客户端不是用户连接 Zookeeper服务器的客户端,而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器)初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 10 个心跳的时间(也就是 tickTime)长度后 Zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 5*2000=10 秒。 syncLimit:这个配置项标识 Leader 与 Follower 之间发送消息,请求和应答时间长度,最长不能超过多少个 tickTime 的时间长度,总的时间长度就是 2*2000=4 秒。 server.A=B:C:D:其中 A 是一个数字,表示这个是第几号服务器;B 是这个服务器的 ip 地址;C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口;D 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式,由于 B 都是一样,所以不同的 Zookeeper 实例通信端口号不能一样,所以要给它们分配不同的端口号。


Storm+zookeeper+metaq 环境安装配置
 

注意:在配置server 中不需要配置 自己机器的IP 地址,如果是集群配置: server.A=B:C:D 每台机器的顺序要一直 ZooKeeper单节点以Standalone模式运行,不过它的长处在于通过分布式ZooKeeper集群(一个Leader,多个Follower) 集群状态:

./zkServer.sh status

JMX enabled by default

Using config: /opt/zookeeper-3.4.6/bin/../conf/zoo.cfg

Mode: follower

创建dataDir参数指定的目录(这里指的是“/urs/dpap/zookeeper/data”),并在目录下创建文件,命名为“myid”。

编辑“myid”文件,并在对应的IP的机器上输入对应的编号。如在zookeeper上,“myid”文件内容就是1。由于本次只在单点上进行安装配置,所以只有一个server.1。若还有其他服务器,比如地址为192.168.1.102,则在zoo.cfg文件中还需加入server.2=192.168.1.102:2888:3888。那么myid文件在192.168.1.102服务器上的内容就是2。 至此,如果是多服务器配置,就需要将zookeeper-3.4.6目录拷贝到其他服务器,然后按照上述的方法修改myid。

启动zookeeper

hadoop@ubuntu:~/zookeeper-3.4.6/bin$ ./zkServer.sh start #启动 

hadoop@ubuntu:~/zookeeper-3.4.6/bin$ jps #查看启动的服务名称

hadoop@ubuntu:~/zookeeper-3.4.6/bin$ ./zkServer.sh stop #关闭

启动客户端脚本:zookeeper-3.4.6/bin/zkCli.sh -server localhost:4180

执行测试--创建节点:create /mytest test  

列出节点 ls / 

 获取节点信息 get /mytest test

3. 安装ZeroMQ

下载地址:http://download.zeromq.org/选择zeromq-4.0.5.tar.gz

解压:tar –xzvf zeromq-4.0.5.tar.gz

进入:cd zeromq-4.0.5

执行:./configure

       make

       sudo make install

注意事项:

1. 如果安装过程报错uuid找不到,则通过如下的包安装uuid库:

     #   yum install uuid*

sudo yum install e2fsprogsl  -b current

sudo yum install e2fsprogs-devel  -b current

4. 安装JZMQ

下载地址:https://github.com/nathanmarz/jzmq  jzmq-master.zip

解压: unzip jzmq-master.zip

进入: cd jzmq-master

执行: ./autogen.sh

        ./ configure

        make 

sudo make install

5. 安装Python 

  下载地址:https://www.python.org/ftp/python/3.5.0/ Python-3.5.0a3.tgz

 解压: tar –zxvf Python-3.5.0a3.tgz

 进入:cd Python-3.5.0a3

 执行:./configure

          make

make install

执行完成 查看版本信息:python -V

6. 安装淘宝: metamorphosis 

下载地址: https://github.com/killme2008/Metamorphosis/tree/metamorphosis-all-1.4.6.2

Maven 下载:

<dependency>

    <groupId>com.taobao.metamorphosis</groupId>

    <artifactId>metamorphosis-client</artifactId>

    <version>1.4.6.2</version> 

</dependency>

学习资料:https://github.com/killme2008/Metamorphosis/wiki

解压: tar –zxvf metaq-server-1.4.6.2.tar.gz

进入: cd taobao/metamorphosis-server-wrapper/conf

 编辑: vi server.ini这是meta服务器的配置文件

主要关注这几个配置项:

• brokerId 服务器ID,必须是集群内唯一

• numPartitions 默认每个topic的分区数目

• dataPath 数据文件的存放路径,默认在user.home/meta下

zookeeper配置:

以下为zk配置,可以为空,为空将从diamond获取(目前不提供),不为空则优先使用下列配置

zk.zkConnect=localhost:2181

;zk心跳超时,单位毫秒,默认30秒

zk.zkSessionTimeoutMs=30000

;zk连接超时时间,单位毫秒,默认30秒

zk.zkConnectionTimeoutMs=30000

;zk数据同步时间,单位毫秒,默认5秒

zk.zkSyncTimeMs=5000

metaq 和 zookeeper 集群配置:

zk.zkConnect=server1:4180,server2:4180,server3:4180

zookeeper的地址也可以通过diamond管理,如果本地不明确配置zookeeper,则设置diamond的dataId和group即可自动从diamond获取zookeeper配置(目前不提供,要注释掉):

;zk在diamond中配置存储的dataId

;diamondZKDataId=metamorphosis.zkConfig

;zk在diamond中配置存储的group

;diamondZKGroup=DEFAULT_GROUP

Storm+zookeeper+metaq 环境安装配置
 system:基本系统参数,包括唯一的brokerId、numPartition分片设置等;

zookeeper:图中配置了3台zookeeper,也就是zookeeper的集群;

topic:消息的主题订阅,发送与接收消息的标识。

启动服务:

cd bin

   ./ metaServer.sh start

关闭服务:

关闭服务器通过meta-server-stop.sh脚本即可关闭

./metaServer.sh stop

Metaq 页面访问:http://192.168.68.84:8120/

7.安装 storm

下载地址:http://storm.apache.org/downloads.html  apache-storm-0.9.4.tar.gz

解压:tar –zxvf apache-storm-0.9.4.tar.gz

进入:cd apache-storm-0.9.4

设置环境变量:

vim /etc/profile

• export STORM_HOME=/路径 / apache-storm-0.9.4

• export PATH=$PATH:$STORM_HOME/bin

source /etc/profile

mkdir /usr/dpap/storm

修改storm/conf/storm.yaml文件

• storm.zookeeper.servers:

• - “zk1 server IP"

• - “zk2 server IP "

• - “zk3 server IP "

如果Zookeeper集群使用的不是默认端口,那么还需要storm.zookeeper.port选项。

• nimbus.host: “zk1"  

说明: Storm集群Nimbus机器地址,各个Supervisor工作节点需要知道哪个机器是Nimbus,以便下载Topologies的jars、confs等文件

• storm.local.dir: "/usr/tmp/storm"

说明: Nimbus和Supervisor进程用于存储少量状态,如jars、confs等的本地磁盘目录,需要提前创建该目录并给以足够的访问权限。然后在storm.yaml中配置该目录

• supervisor.slots.ports:

• - 6700

• - 6701

• - 6702

• - 6703

说明:对于每个Supervisor工作节点,需要配置该工作节点可以运行的worker数量。每个worker占用一个单独的端口用于接收消息,该配置选项即用于定义哪些端口是可被worker使用的。默认情况下,每个节点上可运行4个workers,分别在6700、6701、6702和6703端口

java.library.path: ”/usr/local/lib:/opt/local/lib:/usr/lib”

说明:Storm使用的本地库(ZMQ和JZMQ)加载路径,默认为”/usr/local/lib:/opt/local/lib:/usr/lib”,一般来说ZMQ和JZMQ默认安装在/usr/local/lib 下,因此不需要配置即可。

(注意:先搭建zookeeper集群)

storm集群截图
Storm+zookeeper+metaq 环境安装配置
 

Nimbus: 在Storm主控节点上运行”bin/storm  nimbus >/dev/null 2>&1 &”启动Nimbus后台程序,并放到后台执行;

Supervisor: 在Storm各个工作节点上运行”bin/storm supervisor >/dev/null 2>&1 &”启动Supervisor后台程序,并放到后台执行;

UI: 在Storm主控节点上运行”bin/storm ui >/dev/null 2>&1 &”启动UI后台程序,并放到后台执行,启动后可以通过http://{nimbus host}:8080观察集群的worker资源使用情况、Topologies的运行状态等信息。

默认是启在8080端口上,如果你想改成其他的,如8089,直接修改nimbus的storm.yaml文件,添加

ui.port=8089

启动Storm后台进程时,需要对conf/storm.yaml配置文件中设置的storm.local.dir目录具有写权限。

Storm后台进程被启动后,将在Storm安装部署目录下的logs/子目录下生成各个进程的日志文件。

经测试,Storm UI必须和Storm Nimbus部署在同一台机器上,否则UI无法正常工作,因为UI进程会检查本机是否存在Nimbus链接。

 Storm 程序部署运行:将 编译好的jar 放入到 storm 安装路径/project(文件夹) 

Storm jar  project/xxx.jar(执行包路径) xx.xxx.Class(类路径) 参数(topology名称)

相关推荐