scrapy

Catastrophe

2020-06-11

关注关注

使用 xpath 选择网页所使用的标签

request传递数据

html response

formrequest 使用登录界面

内容存储为json lines 文件

setting 文件设置实现保存在json 文件中

LOG_FORMAT 日志的格式

LOG_DATEDORMAT 日志日期的格式

class

scrapy.statscollectors.MemortStatsCollector

用来获取内存的使用情况

可以使用文本文件

csv文件 json 文件 jsonlines文件数据库文件云存储

创建 scrapy 文件命令是 scrapy startproject collectips

每一行都要进行 “#-*-coding： utf-8 -*- 进行注释

log文件 scrapy

Catastrophe

0 关注 0 粉丝 0 动态

关注关注

docker::c++程序添加corecump配置。

RUN sysctl -p //使设定生效

zwt00 2020-07-19

Nginx日志配置

在 nginx 配置文件的最外层，我们可以配置 error_log，这个 error_log 能够记录 nginx 启动过程中的异常，也能记录日常访问过程中遇到的错误。在 server 内部配置属于专门 server 的 error_log 和 acces

competeking 2020-07-04

MySQL慢查询开启、日志分析(转)

Mysql的查询讯日志是Mysql提供的一种日志记录，它用来记录在Mysql中响应时间超过阈值的语句。long_query_time的默认为10，意识是运行10秒以上的语句。由它来看那些SQL语句超出了我们的最大忍耐值，比如一条SQL执行超过了5秒，我们就

thunderstorm 2020-07-04

sql server2005中的段落还原/部分还原

就是可以每次从备份文件中还原不同的文件组出来。--这时如果数据库特别大，数据库恢复时间将会很长。但我们可以使用SQL Server提供的段落还原，来逐步恢复数据库。BACKUP LOG [AdventureWorks] TO DISK =N‘D:\BACK

云之飞踢 2020-05-20

PHP错误处理之将错误日志保存在系统文件中

<?php. ini_set(‘display_errors‘,0);ini_set(‘log_errors‘,1);ini_set(‘error_log‘,‘sys_log‘);echo ‘<hr/>‘;

JF0 2020-05-08

docker-compose运行nginx

创建的docker-compose.yml文件version: ‘3.1‘

夜雨倚琴 2020-04-20

selenium之截图

下面和大家分享一下，ui自动化中截图方法。ROOT_PATH=os.path.dirname #获取项目路径

Reiki 2020-02-02

Nginx日志分析脚本

运维工作是一个比较复杂的工作，有时候面对上万条的日志，如何作分析？难道一条条的分析？聪明的人会选择脚本，这就是为什么现在提倡自动化运维的原因吧，废话不多说，直接上脚本。start_time=`head -1 $log_file | awk ‘{print

houjinkai 2020-01-12

MySQL重新学之binlog

tanyhuan 2020-01-08

数据库的日志机制

将待未改数据备份到缓存，直接修改数据库文件；核心是解决数据安全和io性能问题。InnoDB 有两块非常重要的日志，一个是undo log，另外一个是redo log，前者用来保证事务的原子性以及InnoDB的MVCC，后者用来保证事务的持久性。和大多数关系

DonviYang 2020-01-07

Nginx日志格式与日志切割篇三

log_format compression ‘$remote_addr - $remote_user [$time_local] ‘。　　设置缓冲日志写入的路径，格式和配置。　　如果使用该gzip参数，则在写入文件之前，缓冲的数据将被压缩。　　保存在缓存

aolishuai 2020-01-05

MySQL日志及索引

日志文件记录了数据库操作的信息和一些错误信息，我们常用的日志文件有：错误日志、二进制日志、查询日志、慢查询日志、InnoDB引擎在线 redo日志和中继日志等。默认是开启状态的，如果是5.5.7版本以后的是无法关闭错误日志，错误日志它记录了运行过程中遇到的

muzirigel 2019-12-28

mysql日志

例如，执行update时，更新语句涉及到了数据的更改，所以必不可少的需要引入日志模块。redo log是InnoDB引擎特有的日志模块。具体来说，当有一条记录需要更新的时候， InnoDB 引擎就会先把记录写到 redo log 文件里面，并更新内存数据页

CharlesYooSky 2019-12-24

Mysql常用日志类型及场景。

我们在什么情况下使用这些日志？通过插件实现，mysql GPL版没有审计日志。relay_log = filename 指定relay log存放位置和名称。

kuwoyinlehe 2019-12-18

用php写爬虫去爬数据

采集结束后实时入库并展示。//把当前的最新一条文章的id.shtml的id 存入一个max.log的文件中,实时读取实时更改。$max = file_put_contents; // 爬完之后让maxid更新为最新的。\/>/',$article_

JF0 2019-11-29

linux命令详解（2）

hostname：显示或者设置当前系统的主机名。　　hostname 显示主机名。用户进程号(唯一) cpu使用率内存使用率状态启动时间运行时间启动命令。l – 关闭或开启第一部分第一行 top

xiaohouye 2019-11-11

Linux系统下Tomcat的Cosole的实时查看

在Linux操作系统下，我们常用sh stratrup.sh来启动Tomcat。你会发现，并没有出现Cosole，就是在Windows下启动时，那个CMD窗口，一些调试信息和Log通常会打印在这里。这个Cosole对于一个开发人员来说，可以说是至关重点，因

natejeams 2008-01-21

详解mysql数据库Innodb内存结构和其是如何使用内存的？

概述很多朋友可能会有许多关于Innodb如何使用内存的问题。我这里将简单介绍一下innodb内存结构，然后以innodb启动时的分配情况做一个解释。缓冲池用于存放各种数据的缓存。用于在实例故障恢复时，继续那些已经commit但数据尚未完全回写到磁盘的事务。

Rain 2019-11-03

MySQL主从复制虽好，能完美解决数据库单点问题吗？

一些MySQL版本并不会开启二进制日志，所以一定要检查是否开启；如果刚开始没有开启，后面再进行开启的话，需要重启数据库才能生效，而且数据库的重启往往会对业务造成很大的影响；尽管二进制日志对性能有稍许的影响，所以还是建议大家无论是否使用复制功能，都要开启My

yishouwangnian 2019-09-07

MySQL慢查询日志总结转

MySQL的慢查询日志是MySQL提供的一种日志记录，它用来记录在MySQL中响应时间超过阀值的语句，具体指运行时间超过long_query_time值的SQL，则会被记录到慢查询日志中。long_query_time的默认值为10，意思是运行10S以上的

景泽元的编程 2019-10-27

安科网

scrapy

Catastrophe

Catastrophe

相关推荐

docker::c++程序添加corecump配置。

Nginx日志配置

MySQL慢查询开启、日志分析(转)

sql server2005中的段落还原/部分还原

PHP错误处理之将错误日志保存在系统文件中

docker-compose运行nginx

selenium之截图

Nginx日志分析脚本

MySQL重新学之binlog

数据库的日志机制

Nginx日志格式与日志切割篇三

MySQL日志及索引

mysql日志

Mysql常用日志类型及场景。

用php写爬虫去爬数据

linux命令详解（2）

Linux系统下Tomcat的Cosole的实时查看

详解mysql数据库Innodb内存结构和其是如何使用内存的？

MySQL主从复制虽好，能完美解决数据库单点问题吗？

MySQL慢查询日志总结转

Catastrophe