hbase在海量用户日志中快速查询访问路径的使用场景
1.背景:之前公司客服部门有个查看游戏用户行为记录的需求,开始我给他们做了个hive的接口,可以暂时满足需求,但是查询速度太慢,得一分钟出结果。
后来我在想能不能用hbase快速查询出用户路径。
查询条件有通行证账号、行为类型、时间范围。
2.设计方案:用hbase的scan接口,hbase的key设计成通行证账号_行为类型_时间
用如下方式查询:scan'hbase_gameCenter_log',{COLUMNS=>['oneline:guid','oneline:report'],LIMIT=>10,STARTROW=>'u52fa532aae9dc_login_2013-04-0100:00:00',STOPROW=>'u52fa532aae9dc_login_2016-04-0100:00:00'}
3.缺点:能满足的查询场景有限。
4.优点:在这个查询需求场景下海量日志查询是1秒以下查询出结果。
相关推荐
晨曦之星 2020-08-14
lwb 2020-07-26
eternityzzy 2020-07-19
大而话之BigData 2020-06-16
ITwangnengjie 2020-06-14
gengwx00 2020-06-11
大而话之BigData 2020-06-10
鲸鱼写程序 2020-06-08
needyit 2020-06-04
strongyoung 2020-06-04
WeiHHH 2020-05-30
ITwangnengjie 2020-05-09
gengwx00 2020-05-08
gengwx00 2020-05-09
大而话之BigData 2020-05-06
Buerzhu 2020-05-01
gengwx00 2020-04-30