我们需要一种工具能纪录上百台机器、不同类型的日志，并最好能汇集到一个界面里方便查看，最好还是实时的。log.io 就是这样一个实时日志监控工具，采用 node.js + socket.io 开发，使用浏览器访问，每秒可以处理超过5000条日志变动消息。有一点要指出来的是 log.io 只监视日志变动并不存储日志，不过这个没关系，我们知道日志存储在哪个机器上。
# 日志分析和统计
IIS 6.0 日志导入工具是一个服务器日志分析工具，因为我们对文本内容分析起来非常吃力，通常第一步是先导入数据库，而手工导入到数据库又是一个费时费力的事情,
Log-Cutter 是JessMA开源组织开发的一个简单实用的日志切割清理工具。对于服务器的日常维护来说，日志清理是非常重要的事情，如果残留日志过多则严重浪费磁盘空间同时影响服务的性能。如果用手工方式进行清理，会花费太多时间，并且很多时候难以满足实际要求。例如：如何在每个星期六凌晨3点把超过 2G 大的日志文件进行切割，保留最新的 100M 日志记录？由于要在多个平台上使用，为了方便采用 Java 实现。本工具命名为 Log-Cutter，主要有以下特点：
tagtraum industries GCViewer 一个分支，前者2008年已停止更新，一个查看并分析垃圾回收日志文件的小工具.支持Oracle, Sun, IBM, HP and BEA的JVM. 分支增加了Oracle's java 1.6 + 1.7 gc日志。双击 gcviewer-1.3x.jar就可以运行GCViewer ,或者命令行运行：。Supported verbose:gc formats are:- Oracle JDK 1.8 -Xloggc: [-XX:+PrintGCDe
ngxtop 允许你对 NGINX 的访问日志 进行实时解析， 并输出类似 top 的有用信息。|/xxxxx/xxxx.json|1840|800.542|1839|0|1|0|关于 ngxtop 的更多用法，可通过 ngxtop -h 查询。
适合站点使用的计数器，统计分析。注意，只有out=wholesite的请求会将referer保存到数据库中，所以必须确保每个页面都存在这个请求。也就是说，同一张页面中，只要保证out=wholesite出现一次，其它类型可以多次出现。
SkyDB 行为数据库
myselect用sql语法对日志文件进行统计分析，把要分析的日志文件当成一个数据库，里面的日志行当作数据库记录，比awk等工具使用更方便。$myselect -husage:myselect 'sql sentence'; 用 sql进行统计分析myselect -s 'log line';对日志行按空格进行分割编号myselect -n 'log line' 'sql sentence'; 对日志行用sql进行解析myselect -p 'sql sentence'; 查看sql语法解析结果mysele
httpproxy
StatsD 是一个简单的网络守护进程，基于 Node.js 平台，通过 UDP 或者 TCP 方式侦听各种统计信息，包括计数器和定时器，并发送聚合信息到后端服务，例如 Graphite
Audit4j 是一个用来构建高度可插入、嵌入式、异步、安全、注解驱动和高性能的审计框架，基于 Java 开发，也使用 Scala 和 Groovy 调用。Audit4j 用来审计服务器、应用和数据库事件。
LogMaster4Net 是一个能够接收其他程序发来的日志信息并将它们按照你的要求的来处理的日志服务器软件。它能帮助你在一个中心位置管理多个程序的日志。因此如果在你的系统中有很多程序在运行而且他们都有自己的日志功能的话，本软件将会对你非常有用。
Mtail 是一个时间序列数据库中抽取应用日志的白盒监视数据的工具，在不需要补丁的情况下，它可以用来填满那些不能导出自己内部状态的应用于现有监视系统之间的缓存。
赛克蓝德日志分析软件能够通过主被动结合的手段，实时不间断地采集整合用户网络中各种不同厂商的海量日志、信息、告警，包括安全设备、网络设备、主机、操作系统、以及各种应用系统等，并将这些内容汇集到审计中心，进行集中化存储、备份、查询、审计、告警、响应，并出具丰富的报表报告，获悉全网的整体运行情况，实现全生命周期的运维管理。
Plog 是 "Parse Log" 的缩写,是一套处理日志流的框架，日志流格式可以是Apache，nginx等常规意义的日志格式，也可以是自定义格式。受FlumeNG的启发，我把整个工程分成了三个部分:source,channel ,sink,已经完成了主体的共有的可以抽象出来的功能，比如线程的同步互斥，消息的生产消费，处理时间间隔的控制，还有一些简单的source,channel and sink函数。#定义输出log的格式，级别，路径等，方便调试程序。如何跑一个测试下面的测试是读取
支持H5插件，可收集H5 JS异常；Step 1. 创建App 请注册TestBird账户并登陆产品后台，点这里注册登陆；通过“添加应用”按钮上传应用的apk文件，添加您的新应用；添加应用后，在页面下方的“崩溃分析”面板中获取您的AppKey，初始化SDK时需要使用；
RemoteTail是一款支持同步显示多台远程服务器的日志文件内容更新的工具，使用它可以让你同时监控多台服务器中某个（某些）日志文件的变更，将多台服务器的tail -f xxx.log命令的输出合并展示。相比于其他流行的日志手机工具，RemoteTail去掉了在远程服务器安装agent的必要，减小了与远程服务器的耦合，但需要注意的是，由于日志收集使用的是远程执行tail命令，因此如果进程退出重启后会出现日志重复或者丢失部分日志的风险。
Kaggle 是一个网站流量预测项目，项目采用Python语言开发，可以给大家的流量预测建模提供一些思路。数据模型Kaggle的训练数据集由大约14.5万套时间序列组成，每一套时间序列代表的是每天不同维基百科文章页的浏览次数，时间记录的周期为2015年7月1日到2017年9月10日。其中，需要检测的流量包括移动端、桌面端以及爬虫流量。其中，预测值为黄色，灰色的是真实数据值，Y轴为对数变换：
indices_view kibana APP 指标信息统计插件
项目说明fileboy，文件变更监听通知系统，使用 Go 编写。适用于 Hot Reload 或者 系统监控的场景。下载已经编译好的对应平台二进制文件，重命名为fileboy, 加入系统 Path 中即可。./fileboy使用fileboy 的正常运行依赖于filegirl.yaml配置，所以首次在项目中使用需要初始化filegirl.yaml。如果你定义了command -> exec命令，想事先确认是否能正常执行，可以运行fileboy exec命令，系统会尝试运行你的自定义命令。#一个变更事
安科网(Ancii)，中国第一极客网
Copyright © 2013 - 2019 Ancii.com
京ICP备18063983号-5 京公网安备11010802014868号
