通过Shell和Redis来实现集群业务中日志的实时收集分析

在统计项目中，最难实施的就是日志数据的收集。日志分布在全国各个机房，而且数据量比较大，像rsync+inotify这种方式显然不能满足快速日志同步的要求。 当然大家也可以用fluentd和flume采集日志数据，除了这个我们也可以自己写一套简单的。

我写的这个日志分析系统 流程是：

在客户端收集数据，然后通过redis pub方式把数据发给服务端

服务器端是redis的sub    他会把数据统一存放在一个文件，或者当前就过滤出来

客户端收集日志的更新数据

1. #!/bin/bash
3. DATE=`date +%s`
4. LOGFILE=$1
5. if [ ! -f $1 ];then
6. echo "LOG file did not give or it's not a file"
7. fi
8. sleep_time="2"
10. count_init=`wc -l ${LOGFILE}|awk '{print $1}'`
11. while true
12. do
13. DATE_NEW=`date +%s`
14. # DATE=$(date +%s)
15. count_new=`wc -l ${LOGFILE}|awk '{print $1}'`
16. add_count=$((${count_new} - ${count_init}))
17. count_init=${count_new}
18. if [ ! -n "${add_count}" ]
19. then
20. add_count=0
21. fi
22. QPS=$((${add_count}/${sleep_time}))
23. info=`tail -n ${add_count} ${LOGFILE}`
24. echo $info
25. # 我们可以把info这个值传出去
26. echo " Then QPS at `date -d "1970-01-01 UTC ${DATE_NEW} seconds" +"%Y-%m-%d %H:%M:%S"` is "${QPS}
27. # echo " DATE_NEW: " $DATE_NEW " DATE_PLUS :" $DATE_PLUS
28. sleep $sleep_time
29. done

把实时的日志也打印出来