安科网

开源jms服务ActiveMQ的负载均衡+高可用部署方案探索

WindyQCF

WindyQCF

2014-05-12

关注 关注

最近公司做项目需要用到jms消息服务，最终选择了apache的activemq这个开源消息总线，但是在activemq的官网没能找到既满足高可用又满足集群部署的方案，所以探索了其集群+高可用部署方案，经试用验证ok，这里和大家分享下。

一、架构和技术介绍

1、简介

ActiveMQ 是Apache出品，最流行的，能力强劲的开源消息总线。完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现

2、activemq的特性

1. 多种语言和协议编写客户端。语言: Java, C, C++, C#, Ruby, Perl, Python, PHP。应用协议: OpenWire,Stomp REST,WS Notification,XMPP,AMQP

2. 完全支持JMS1.1和J2EE 1.4规范 (持久化,XA消息,事务)

3. 对Spring的支持,ActiveMQ可以很容易内嵌到使用Spring的系统里面去,而且也支持Spring2.0的特性

4. 通过了常见J2EE服务器(如 Geronimo,JBoss 4, GlassFish,WebLogic)的测试,其中通过JCA 1.5 resourceadaptors的配置,可以让ActiveMQ可以自动的部署到任何兼容J2EE1.4商业服务器上

5. 支持多种传送协议:in-VM,TCP,SSL,NIO,UDP,JGroups,JXTA

6. 支持通过JDBC和journal提供高速的消息持久化

7. 从设计上保证了高性能的集群,客户端-服务器,点对点

8. 支持Ajax

9. 支持与Axis的整合

10. 可以很容易得调用内嵌JMS provider,进行测试

3、下载和安装ActiveMQ

1、下载

ActiveMQ的最新版本是5.10.0，但由于我们内网下载存在问题，所以目前通过内网只能下载到5.9.0，下载地址：http://activemq.apache.org/activemq-590-release.html。

2、安装

如果是在windows系统中运行，可以直接解压apache-activemq-5.9.0-bin.zip，并运行bin目录下的activemq.bat文件，此时使用的是默认的服务端口：61616和默认的console端口：8161。

如果是在linux或unix下运行，在bin目录下执行命令：./activemq setup

3、修改ActiveMQ的服务端口和console端口

A、修改服务端口：打开conf/activemq.xml文件，修改以下红色字体部分

<transportConnectors>

<transportConnector name="openwire" uri="tcp://10.42.220.72:61618"discoveryUri="multicast://default"/>

</transportConnectors>

B、修改console的地址和端口:打开conf/jetty.xml文件，修改以下红色字体部分

<bean id="jettyPort"class="org.apache.activemq.web.WebConsolePort"init-method="start">

<property name="port" value="8162"/>

</bean>

4、通过客户端代码试用ActiveMQ

需要提前将activemq解压包中的lib目录下的相关包引入到工程中，再进行如下编码：

1、发送端的代码：

importjavax.jms.Connection;

importjavax.jms.ConnectionFactory;

importjavax.jms.DeliveryMode;

importjavax.jms.Destination;

importjavax.jms.MessageProducer;

importjavax.jms.Session;

importjavax.jms.TextMessage;

importorg.apache.activemq.ActiveMQConnection;

importorg.apache.activemq.ActiveMQConnectionFactory;

publicclass Sender {

privatestaticfinalintSEND_NUMBER = 5;

publicstaticvoid main(String[] args) {

// ConnectionFactory：连接工厂，JMS用它创建连接

ConnectionFactory connectionFactory;

// Connection：JMS客户端到JMS Provider的连接

Connection connection = null;

// Session：一个发送或接收消息的线程

Session session;

// Destination：消息的目的地;消息发送给谁.

Destination destination;

// MessageProducer：消息发送者

MessageProducer producer;

// TextMessage message;

//构造ConnectionFactory实例对象，此处采用ActiveMq的实现jar

connectionFactory = new ActiveMQConnectionFactory(

ActiveMQConnection.DEFAULT_USER,

ActiveMQConnection.DEFAULT_PASSWORD,

"failover:(tcp://10.42.220.72:61617,tcp://10.42.220.72:61618)");

try {

//构造从工厂得到连接对象

connection =connectionFactory.createConnection();

//启动

connection.start();

//获取操作连接

session = connection.createSession(true, Session.AUTO_ACKNOWLEDGE);

//获取session

destination = session.createQueue("FirstQueue");

//得到消息生成者【发送者】

producer =session.createProducer(destination);

//设置不持久化，此处学习，实际根据项目决定

producer.setDeliveryMode(DeliveryMode.NON_PERSISTENT);

//构造消息，此处写死，项目就是参数，或者方法获取

sendMessage(session, producer);

session.commit();

} catch (Exception e) {

e.printStackTrace();

} finally {

try {

if (null != connection)

connection.close();

} catch (Throwable ignore) {

}

}

}

publicstaticvoid sendMessage(Session session,MessageProducer producer)

throws Exception {

for (int i = 1; i <=SEND_NUMBER; i++) {

TextMessage message = session

.createTextMessage("ActiveMq发送的消息" + i);

//发送消息到目的地方

System.out.println("发送消息：" + "ActiveMq 发送的消息" + i);

producer.send(message);

}

}

}

2、接收端代码：

importjavax.jms.Connection;

importjavax.jms.ConnectionFactory;

importjavax.jms.Destination;

importjavax.jms.MessageConsumer;

importjavax.jms.Session;

importjavax.jms.TextMessage;

importorg.apache.activemq.ActiveMQConnection;

importorg.apache.activemq.ActiveMQConnectionFactory;

publicclass Receive {

publicstaticvoid main(String[] args) {

// ConnectionFactory：连接工厂，JMS用它创建连接

ConnectionFactory connectionFactory;

// Connection：JMS客户端到JMS Provider的连接

Connection connection = null;

// Session：一个发送或接收消息的线程

Session session;

// Destination：消息的目的地;消息发送给谁.

Destination destination;

//消费者，消息接收者

MessageConsumer consumer;

connectionFactory = new ActiveMQConnectionFactory(

ActiveMQConnection.DEFAULT_USER,

ActiveMQConnection.DEFAULT_PASSWORD,

"failover:(tcp://10.42.220.72:61617,tcp://10.42.220.72:61618)");

try {

//构造从工厂得到连接对象

connection =connectionFactory.createConnection();

//启动

connection.start();

//获取操作连接

session = connection.createSession(false,

Session.AUTO_ACKNOWLEDGE);

//获取session

destination = session.createQueue("FirstQueue");

consumer =session.createConsumer(destination);

while (true) {

//设置接收者接收消息的时间，为了便于测试，这里谁定为100s

TextMessage message =(TextMessage) consumer.receive(100000);

if (null != message) {

System.out.println("收到消息" + message.getText());

} else {

break;

}

}

} catch (Exception e) {

e.printStackTrace();

} finally {

try {

if (null != connection)

connection.close();

} catch (Throwable ignore) {

}

}

}

}

3、通过监控查看消息堆栈的记录：

登陆http://localhost:8162/admin/queues.jsp，默认的用户名和密码：admin/admin

开源jms服务ActiveMQ的负载均衡+高可用部署方案探索

二、ActiveMQ的多种部署方式

单点的ActiveMQ作为企业应用无法满足高可用和集群的需求，所以ActiveMQ提供了master-slave、broker cluster等多种部署方式，但通过分析多种部署方式之后我认为需要将两种部署方式相结合才能满足我们公司分布式和高可用的需求，所以后面就重点将解如何将两种部署方式相结合。

1、Master-Slave部署方式
1）shared filesystem Master-Slave部署方式

主要是通过共享存储目录来实现master和slave的热备，所有的ActiveMQ应用都在不断地获取共享目录的控制权，哪个应用抢到了控制权，它就成为master。

多个共享存储目录的应用，谁先启动，谁就可以最早取得共享目录的控制权成为master，其他的应用就只能作为slave。

开源jms服务ActiveMQ的负载均衡+高可用部署方案探索

2）shared database Master-Slave方式

与shared filesystem方式类似，只是共享的存储介质由文件系统改成了数据库而已。

3）Replicated LevelDB Store方式

这种主备方式是ActiveMQ5.9以后才新增的特性，使用ZooKeeper协调选择一个node作为master。被选择的master broker node开启并接受客户端连接。

其他node转入slave模式，连接master并同步他们的存储状态。slave不接受客户端连接。所有的存储操作都将被复制到连接至Master的slaves。

如果master死了，得到了最新更新的slave被允许成为master。fialed node能够重新加入到网络中并连接master进入slave mode。所有需要同步的disk的消息操作都将等待存储状态被复制到其他法定节点的操作完成才能完成。所以，如果你配置了replicas=3，那么法定大小是(3/2)+1=2. Master将会存储并更新然后等待 (2-1)=1个slave存储和更新完成，才汇报success。至于为什么是2-1，熟悉Zookeeper的应该知道，有一个node要作为观擦者存在。

单一个新的master被选中，你需要至少保障一个法定node在线以能够找到拥有最新状态的node。这个node将会成为新的master。因此，推荐运行至少3个replica nodes，以防止一个node失败了，服务中断。

开源jms服务ActiveMQ的负载均衡+高可用部署方案探索

2、Broker-Cluster部署方式

前面的Master-Slave的方式虽然能解决多服务热备的高可用问题，但无法解决负载均衡和分布式的问题。Broker-Cluster的部署方式就可以解决负载均衡的问题。

Broker-Cluster部署方式中，各个broker通过网络互相连接，并共享queue。当broker-A上面指定的queue-A中接收到一个message处于pending状态，而此时没有consumer连接broker-A时。如果cluster中的broker-B上面由一个consumer在消费queue-A的消息，那么broker-B会先通过内部网络获取到broker-A上面的message，并通知自己的consumer来消费。

1）static Broker-Cluster部署

在activemq.xml文件中静态指定Broker需要建立桥连接的其他Broker：

1、 首先在Broker-A节点中添加networkConnector节点：

<networkConnectors>

<networkConnector uri="static:(tcp:// 0.0.0.0:61617)"duplex="false"/>

</networkConnectors>

2、 修改Broker-A节点中的服务提供端口为61616：

<transportConnectors>

<transportConnectorname="openwire"uri="tcp://0.0.0.0:61616?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>

</transportConnectors>

3、 在Broker-B节点中添加networkConnector节点：

<networkConnectors>

<networkConnector uri="static:(tcp:// 0.0.0.0:61616)"duplex="false"/>

</networkConnectors>

4、 修改Broker-A节点中的服务提供端口为61617：

<transportConnectors>

<transportConnectorname="openwire"uri="tcp://0.0.0.0:61617?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>

</transportConnectors>

5、分别启动Broker-A和Broker-B。

2）Dynamic Broker-Cluster部署

在activemq.xml文件中不直接指定Broker需要建立桥连接的其他Broker，由activemq在启动后动态查找：

1、 首先在Broker-A节点中添加networkConnector节点：

<networkConnectors>

<networkConnectoruri="multicast://default"

dynamicOnly="true"

networkTTL="3"

prefetchSize="1"

decreaseNetworkConsumerPriority="true" />

</networkConnectors>

2、修改Broker-A节点中的服务提供端口为61616：

<transportConnectors>

<transportConnectorname="openwire"uri="tcp://0.0.0.0:61616? " discoveryUri="multicast://default"/>

</transportConnectors>

3、在Broker-B节点中添加networkConnector节点：

<networkConnectors>

<networkConnectoruri="multicast://default"

dynamicOnly="true"

networkTTL="3"

prefetchSize="1"

decreaseNetworkConsumerPriority="true" />

</networkConnectors>

4、修改Broker-B节点中的服务提供端口为61617：

<transportConnectors>

<transportConnectorname="openwire"uri="tcp://0.0.0.0:61617" discoveryUri="multicast://default"/>

</transportConnectors>

5、启动Broker-A和Broker-B

2、Master-Slave与Broker-Cluster相结合的部署方式

可以看到Master-Slave的部署方式虽然解决了高可用的问题，但不支持负载均衡，Broker-Cluster解决了负载均衡，但当其中一个Broker突然宕掉的话，那么存在于该Broker上处于Pending状态的message将会丢失，无法达到高可用的目的。

由于目前ActiveMQ官网上并没有一个明确的将两种部署方式相结合的部署方案，所以我尝试者把两者结合起来部署：

开源jms服务ActiveMQ的负载均衡+高可用部署方案探索

1、部署的配置修改

这里以Broker-A + Broker-B建立cluster，Broker-C作为Broker-B的slave为例：

1）首先在Broker-A节点中添加networkConnector节点：

<networkConnectors>

<networkConnector uri="masterslave:(tcp://0.0.0.0:61617,tcp:// 0.0.0.0:61618)" duplex="false"/>

</networkConnectors>

2）修改Broker-A节点中的服务提供端口为61616：

<transportConnectors>

<transportConnectorname="openwire"uri="tcp://0.0.0.0:61616?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>

</transportConnectors>

3）在Broker-B节点中添加networkConnector节点：

<networkConnectors>

<networkConnector uri="static:(tcp:// 0.0.0.0:61616)"duplex="false"/>

</networkConnectors>

4）修改Broker-B节点中的服务提供端口为61617：

<transportConnectors>

<transportConnectorname="openwire"uri="tcp://0.0.0.0:61617?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>

</transportConnectors>

5）修改Broker-B节点中的持久化方式：

<persistenceAdapter>

<kahaDB directory="/localhost/kahadb"/>

</persistenceAdapter>

6）在Broker-C节点中添加networkConnector节点：

<networkConnectors>

<networkConnector uri="static:(tcp:// 0.0.0.0:61616)"duplex="false"/>

</networkConnectors>

7）修改Broker-C节点中的服务提供端口为61618：

<transportConnectors>

<transportConnectorname="openwire"uri="tcp://0.0.0.0:61618?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>

</transportConnectors>

8）修改Broker-B节点中的持久化方式：

<persistenceAdapter>

<kahaDB directory="/localhost/kahadb"/>

</persistenceAdapter>

9）分别启动broker-A、broker-B、broker-C，因为是broker-B先启动，所以“/localhost/kahadb”目录被lock住，broker-C将一直处于挂起状态，当人为停掉broker-B之后，broker-C将获取目录“/localhost/kahadb”的控制权，重新与broker-A组成cluster提供服务。

下一期：ActiveMQ的queue以及topic两种消息处理机制分析

activemq jms 高可用 负载均衡 开放源代码 apache 科技新闻

WindyQCF

WindyQCF

0 关注 0 粉丝 0 动态

关注 关注

相关推荐

从入门到精通的ActiveMQ（一）

话不多说，我们来一起瞧一瞧！client进程和server服务进程都必须可用，如果server出现问题或者网络故障，那么client端会收到异常。需要注意的是，JMS只是定义了Java访问消息中间件的接口，其实就是在包javax.jms中，你会发现这个包下

方新德 2020-04-20

spring整合JMS

JMS是java的一个标准，定义了使用消息代理的通用API。Spring还提供了消息驱动POJO的理念：这是一个简单的Java对象，它能够以异步的方式响应队列或主题上到达的消息。假设没有快递企业，寄件人必须亲自跋涉千里把物品送到目的地，然后由收件人去领取。

胡献根 2020-02-23

ActiveMQ简单简绍（“点对点通讯”和 “发布订阅模式”）

　　MQ全称为Message Queue, 消息队列是一种应用程序对应用程序的通信方法。应用程序通过写和检索出入列队的针对应用程序的数据（消息）来通信，而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通

胡献根 2020-02-13

Artemis安装

Artemis是下一代的ActiveMQ，也就是说目前的ActiveMQ是5.x，Artemis将是6.x. Broker实例是包含与Broker进程关联的所有配置和运行时数据的目录。官网文档建议我们不要在${ARTEMIS_HOME}下创建实例目录。Yo

胡献根 2020-07-18

mqtt用户名密码activemq

<authenticationUser username="test1" password="123456" groups="users"/>. <authenticationU

胡献根 2020-07-05

ActiveMQ

--消息队列连接池-->

xinglun 2020-06-14

linux配置ActiveMQ消息服务

1 下载ActiveMQ 前往Apache官方网站或者直接引擎搜索 ActiveMQ即可，点击对应的OS版本进行下载操作。至此，ActiveMQ的包已经被正确解压缩。在没有设置环境变量的情况下，我们在系统的任意目录下执行 启动activemq的脚本是无效的

jiangtie 2020-06-10

ActiveMq安装以及简单的测试

如果你还没有使用过消息中间件，这篇文章可以带你初步感受一下消息中间件。下面就带大家简单测试一下ActiveMq;先创建一个maven项目；System.out.println("exit code 0 ！！！！！！！！！

onlylixiaobei 2020-06-09

ActiveMQ配置用户认证信息

以apache-activemq-5.15.12-bin.tar.gz为例，修改activemq.xml. -- 配置生产者连接池 -->

xinglun 2020-06-02

CentOS7安装配置ActiveMQ

检查java版本，可以看到系统自带的OpenJDK版本信息。上述所列文件中，noarch文件可以不用删除，删除掉其余java相关文件。将jdk压缩包jdk-8u161-linux-x64.tar.gz上传至CentOS的/usr/soft目录。将下载好的a

方新德 2020-05-31

activeMQ安装

ActiveMQ默认使用的TCP连接端口是61616, 通过查看该端口的信息可以测试ActiveMQ是否成功启动 netstat -an|find “61616”。ActiveMQ默认启动时，启动了内置的jetty服务器，提供一个用于监控ActiveMQ的

Java高知 2020-05-20

activemq

// 1)获取工厂 ConnectionFactory,使用摸摸人的用户名和密码admin/admin, 指定URL. // 4)创建Session ,参数transacted:事务，acknowledgeMode响应模式。// 6)创建消费者，

Java高知 2020-05-08

消息队列

消息队列是指利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。注册时的短信、邮件通知，减少响应时间；信息发送者和消息接受者无需耦合，比如调用第三方；支持来自Java，C，C ++，C＃，Ruby，Perl，Pytho

Java高知 2020-05-03

24、springboot集成ActiveMQ

消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。目前使用较多的消息队列有ActiveMQ、RabbitMQ、Kafka、RocketMQ、MetaMQ等。spring boot提供了对JMS系统的支持；springboo

onlylixiaobei 2020-05-02

从入门到精通的ActiveMQ（三）

前面2篇博客地址如下：《从入门到精通的ActiveMQ（一）》、《从入门到精通的ActiveMQ（二）》。注意到只有Master对外提供了服务，Slave是待机状态。当Master出现故障，ZK内部的选举机制，会让一个Slave升级成Master对外提供服

Java高知 2020-04-22

从入门到精通ActiveMQ（二）

接上一篇《从入门到精通ActiveMQ（一）》，本篇主要讨论的话题是：消息的顺序消费、JMS Selectors、消息的同步/异步接受方式、Message、P2P/PubSub、持久化订阅、持久化消息到MySQL以及与Spring整合等知识。消息的顺序消费

胡献根 2020-04-22

从入门到精通ActiveMQ（二）

在上一篇文章中，我们已经明确知道了ActiveMQ并不能保证消费的顺序性，即便我们使用了消息优先级。而在实际开发中，有些场景又是需要对消息进行顺序消费的，比如：用户从下单、到支付、再到发货等。首先来说，在实际中，我们并不需要的是对全部消息的全局有序消费，我

heweiyabeijing 2020-04-21

如何避免activeMQ数据丢失

做消息持久化 借助 jdbc， kahadb或 leveldb+zookeeper首先将将消息发送设置为持久化发送，然后再借助jdbc kahadb leveldb+zookeeper等做消息的存储来持久化。思想都是发送者将消息发送出去后，消息中心首先将消

胡献根 2020-04-10

ActiveMQ

包含点对点和发布/订阅2种消息模型，提供可靠的消息传输、事务和消息过滤等机制。主要特点包括：1）消息异步接受，消息发送者不需要等待消息接受者的响应；2）消息可靠接受，缺陷消息在中间件可保存，只有接收方收到后才删除消息，多个消息也可以组成原子事物。那么这些个

onlylixiaobei 2020-04-10

activeMQ中queue 与 topic 区别

3.queue模式生产者与消费者之间没有时间相关性，topic模式下生产者和消费者之间有一定的时间相关性，消费者只能接收到订阅之后的生产者发送的消息。

方新德 2020-04-08
WindyQCF

WindyQCF

W3CSchool教程
HTML 教程
CSS 教程
Bootstrap 教程
Javascript 教程
jQuery 教程
后端教程
C 教程
Java 教程
PHP 教程
Python 教程
Go 教程
移动开发
Android 教程
Swift 教程
Kotlin 教程
jQuery Mobile 教程
ionic 教程
关于我们
新闻动态
联系方式
招聘英才
安科实验室
帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号 京公网安备11010802014868号