Python脚本示例：从log中读取数据，进行分析和可视化

zlfing

2019-08-02

关注关注

Python是数据处理常用工具，具有较好的通用性和跨平台性，使用起来也非常简单。

Python脚本示例：从log中读取数据，进行分析和可视化

比如，我们有一个log.txt的文件，里面有两列数据，每行数据用空格分开，如下图所示。

使用Python脚本对该文件的数据进行分析和可视化，分三步走：

导入数据
数据分析
数据可视化

1、导入数据

首先，需要导入数据，代码如下：

若每行数据用逗号分开，则在split里改为逗号。

2、数据分析

Python没有提供数组功能，Numpy可以提供数组支持以及相应的高效处理函数。代码如下：

这里表示分别求出数据的最大值和平均值。

3、数据可视化

log python 数据可视化大数据 python函数

zlfing

0 关注 0 粉丝 0 动态

关注关注

RabbitMQ如何保证消息的可靠投递？

String message = "this is info message " + i;autoAck=false: RabbitMQ会等待消费者显示回复确认消息后才从内存中移出消息。deliveryTag: 用来标识信道中投递的消息

zhuxue 2020-10-14

Linux后台执行命令：&与nohup的用法

大家可能有这样的体验：某个程序运行的时候，会产生大量的log，但实际上我们只想让它跑一下而已，log暂时不需要或者后面才有需要。所以在这样的情况下，我们希望程序能够在后台进行，也就是说，在终端上我们看不到它所打出的log。为了实现这个需求，我们介绍以下几种

zhangbingb 2020-09-21

Linux 入侵痕迹清理技巧

本文转载自微信公众号「 Bypass」，作者 Bypass 。在攻击结束后，如何不留痕迹的清除日志和操作记录，以掩盖入侵踪迹，这其实是一个细致的技术活。你所做的每一个操作，都要被抹掉;你所上传的工具，都应该被安全地删掉。编辑history记录文件，删除部分

HeronLinuxampARM 2020-09-14

为什么排序的复杂度为O(N log N)

基本上所有正而八经的算法教材都会解释像快速排序quicksort和堆排序heapsort这样的排序算法有多快，但并不需要复杂的数学就能证明你可以逐渐趋近的速度有多快。大多数计算机专业的科学家使用大写字母 O 标记来指代“趋近，直到到达一个常数比例因子”，这

美丽的泡沫 2020-09-08

Filebeat简介

Filebeat附带预构建的模块，这些模块包含收集、解析、充实和可视化各种日志文件格式数据所需的配置，每个Filebeat模块由一个或多个文件集组成，这些文件集包含摄取节点管道、Elasticsearch模板、Filebeat勘探者配置和Kibana仪表盘

goodstudy 2020-08-19

JS中DOM元素的操作

<button id="btn" class="btnlist" name="btn_n">点我一下</button>. innerHTML语法: ele.innerHTM

luvhl 2020-08-17

javascript解析json格式的数据方法详解

JSON 是一种简单的数据格式，比xml更轻巧。它是 JavaScript 原生格式，这意味着在 JavaScript 中处理 JSON 数据不需要任何特殊的 API 或工具包。那么如何用JavaScript来解析json呢？var o={“key”:”v

littleFatty 2020-08-16

MySQL是如何保证数据的完整性

数据的一致性和完整性对于在线业务的重要性不言而喻，如何保证数据不丢呢？今天我们就探讨下关于数据的完整性和强一致性，MySQL做了哪些改进。在Oracle和MySQL这种关系型数据库中，讲究日志先行策略,只要日志持久化到磁盘，就能保证MySQL异常重启后，数

gamestart0 2020-08-15

URML 2020-08-15

如何在JavaScript实现休眠或等待功能，实现sleep函数

JavaScript不具有 sleep() 函数，该函数会导致代码在恢复执行之前等待指定的时间段。JavaScript中没有 sleep() 方法，所以你可以尝试使用下一个最好的方法 setTimeout()。不幸的是，setTimeout() 不能像你

sfkong 2020-08-02

debian apach2 wsgi 自定义log logrotate 之后无权限访问

今天测试发现web打不开了，看下error.log发现是自定义log属主变成了root adm，apache2无法访问，后来搜索发现，apache2的日志由logrotate定期压缩备份清理，看了下/etc/logrotate.d/apache2 的配置有

82941732 2020-07-27

es6 Promise 对象、.then()

// resolve // 状态改成fulfilled. },=>{ // 第二个回调成功reject

whynotgonow 2020-07-26

filebeat配置文件

#input设置，支持Docker,Container,HTTP JSON,Log,Kafka,MQTT,NetFlow,Redis,TCP,DCP,Syslog,Stdin. #output设置，可以output到kafka,logstash,elast

偏头痛杨 2020-07-18

mysql的日志模块

连接器-------->分析器------->优化器--------->执行器-------->存储引擎 #如下图。一家商店有一个记账板，当赊账顾客多的时候，会临时记录在记账板上，避免频繁去记账本上查找更新对应顾客的信息。避免高峰

timewind 2020-07-04

Golang保存PostgreSQL数据至结构

db, err := sql.Open("postgres", "user=admin password=123456 dbname=test sslmode=disable"). if err != nil {.

89407707 2020-06-27

封装excel数据层代码，log模块导入

封装excel操作代码，提高复用率。整体封装思想阐述：。表内用例格式构建。首先获取表体第一行的数据组成的列表。之后逐条将表头与数据zip封包，之后转换为字典。从excel中读取的数据，除了数值，其他不管保存的时候什么格式，读取出来都是str. 解决该问参考

xiaoxiaoCNDS 2020-06-26

TypeScript（13）：元组

我们知道数组中元素的数据类型都一般是相同的，如果存储的元素数据类型不同，则需要使用元组。元组中元素使用索引来访问，第一个元素的索引值为 0，第二个为 1，以此类推第 n 个为 n-1，语法格式如下:. console.log // 返回元组的大小。m

lyjava 2020-06-26

TypeScript（06）：运算符

运算符用于执行程序代码运算，会针对一个以上操作数项目来进行运算。以上实例中 7、5 和 12 是操作数。关系运算符用于计算结果是否为 true 或者 false。逻辑运算符用于测定变量或值之间的逻辑。

ChaITSimpleLove 2020-06-25

nginx 日志切割

nginx 日志一般都是两种access.log error.log ，可以每个location 区域配置一份，也就是每个请求服务一个日志。它的日志不会自动切割，需要人为根据时间或者日志量切割。　　LOG_PATH=/opt/nginx/logs 　

Strongding 2020-06-25

CentOS 7 如何清空文件内容

方法1、在非编辑状态下使用快捷键gg跳至首行头部，再使用dG即可。方法2、cat /dev/null > /var/log/yum.log

Aveiox 2020-06-23

安科网

Python脚本示例：从log中读取数据，进行分析和可视化

zlfing

zlfing

相关推荐

RabbitMQ如何保证消息的可靠投递？

Linux后台执行命令：&与nohup的用法

Linux 入侵痕迹清理技巧

为什么排序的复杂度为O(N log N)

Filebeat简介

JS中DOM元素的操作

javascript解析json格式的数据方法详解

MySQL是如何保证数据的完整性

mysql解决时区相关问题

如何在JavaScript实现休眠或等待功能，实现sleep函数

debian apach2 wsgi 自定义log logrotate 之后无权限访问

es6 Promise 对象、.then()

filebeat配置文件

mysql的日志模块

Golang保存PostgreSQL数据至结构

封装excel数据层代码，log模块导入

TypeScript（13）：元组

TypeScript（06）：运算符

nginx 日志切割

CentOS 7 如何清空文件内容

zlfing