基于HBase做Storm 实时计算指标存储

基于HBase做Storm实时计算指标存储

举个例子，假设我们有客户10w，计算指标假设100个，5个ISP，30个地域，这样就有亿级以上的Key了，我们还要统计分钟级别，小时级别，天级别，月级别。所以写入量和存储量都不小。

如果采用Redis/Memcached写入速度是没有问题的，毕竟完全的内存操作。但是key集合太大，其实压力也蛮大的，我去的时候因为加了指标，结果导致Memcache被写爆了，所以紧急做了扩容。

首先是Redis查起来的太麻烦。客户端为了某个查询，需要汇总成千上万个Key。。。业务方表示很蛋疼，我们也表示很蛋疼

其次，内存是有限的，只能存当天的。以前的数据需要转存。

第三，你还是绕不过持久化存储，于是引入MySQL，现在是每天一张表。那Redis导入到MySQL本身就麻烦。所以工作量多了，查询也麻烦，查一个月半年的数据就吐血了。

鉴于以上原因，我们就想着有没有更合适的方案。

我们首先就想到了HBase，因为HBase还是具有蛮强悍的写入性功能以及优秀的可扩展性。而事实上经过调研，我们发现HBase还是非常适合指标查询的，可以有效的通过列来减少key的数量。

举个例子，我现在想绘制某一个视频昨天每一分钟的播放量的曲线图。如果是Redis，你很可能需要查询1440个Key。如果是HBase，只要一条记录就搞定。

http://developer.51cto.com/art/201510/493422.htm