RHEL7系统管理之内核管理

1. Kdump工具

Kdump的工作机制是在内核崩溃时, 通过kexec 工具由BIOS启动一个备用内核, 由备用内核执行一系列任务,保存内存中崩溃内核的状态, 供后续故障分析用。

本文默认AMD或INTEL X86_64架构, RHEL7系统环境.

1.1 内核管理工具Kdump安装

Kdump是RHEL7中自带的内核管理工具.在RHEL7.1之前的版本,kdump作为安装完成之后的可选组件自动安装,从RHEL7.1开始kdump被植入安装界面,作为系统基础工具供安装选择.

可以通过下面命令直接RPM包安装.

yum -y install kexec-tools
rpm -q kexec-tools

同时,Kdump还配备了图形化管理工具,可以通过下面命令安装.

yum -y install system-config-kdump

对于RHEL7.4及之后的版本,kdump支持INTEL IOMMU. 而不支持RHEL7.3及之前的版本.

1.2 通过命令行配置kdump内存容量

kdump能监控系统内核运行状态,其地位比较特殊. kdump的内存空间是在系统启动时,由引导程序分配的,相对于系统内核,kdump内存是一个独立的空间.

可以通过如下命令指定kdump的内存空间大小.

crashkernel=128M    #为kdump保留128M的内存空间.

 　　crashkernel的值可以设置成“auto",在一些拥有较大内存的系统中,利于实现Kdump的自动化管理.

crashkernel=auto

当然,crashkernel的值还可以通过如下形式实现更灵活的配置.

crashkernel=<范围1>:<大小1>, <范围2>:<大小2>

crashkernel=512M-2G:64M,2G-:128M　　　　#当系统内存在512M-2G之间时,为Kdump保留64M的内存空间;当系统内存大于2G时,为Kdump保留128M的内存空间.

还可以这样:

crashkernel=128M@16M　　　　#为Kdump保留128M的内存空间,内存地址从16M(physical address 0x01000000)开始.

1.3 Kdump的存储

Kdump的配置在/etc/kdump.cnf中. kdump提供多种方式将捕获到内核崩溃数据本地保存或保存到远程主机.

#path /var/crash　　　　#kdump本地存储目录,默认是存放在/var/crash目录下,可以根据使用习惯设置.
path /usr/local/cores　
...
#raw /dev/vg/lv_kdump　　　　#kdump可以直接写入移动介质.
raw /dev/sdb1
...
#nfs my.server.com:/export/tmp　　　　#kdump可以通过NFS保存到网络上其它存储设备中.
nfs test.example.com:/export/cores
...
#ssh [email protected]　　　　　　#kdump可以通过SSH传输协议,保存远程主机上.
#sshkey /root/.ssh/kdump_id_rsa
ssh [email protected]
sshkey /root/.ssh/mykey

kdump.conf中还可以在 core_collector makedumpfile 选项后加上" -c ", 使kdump文件能够被压缩,以节省存储空间.

core_collector makedumpfile -c

systemctl start kdump.service　　　　#启动Kdump服务
systemctl enable kdump.service　　　 #使Kdump开机自启
systemctl is-active kdump　　　　　　 #检查Kdump是否已启动
active
echo 1 > /proc/sys/kernel/sysrq　　　#模拟内核崩溃,检查/var/crash/是否自动保存Kdump捕获的内核崩溃数据, 以确定Kdump是否正常工作
echo c > /proc/sysrq-trigger

需要注意的是

(1)在RHEL7之前的版本中,kdump的存储目录会随着kdump服务的启动而由系统自动创建. RHEL7中,如果改变了kdump的存储目录,则必须在启动kdump服务之前,手动创建kdump的存储目录,否则kdump服务会启动失败.

(2)如果在安装界面禁用了kdump, 而安装完成之后再通过systemctl start kdump启动kdump, 会报内存不足无法启动的错误. kdump的内存空间是在内核加载之前由boot分配的, 所以必须修改boot. 最好使用kdump的图形管理工具 system-config-kdump 加载kdump的默认配置, 使kdump处于可用状态, 然后重启系统, systemctl status kdump 服务处于激活状态(active).

1.4 利用crash功能分析内核崩溃

利用crash功能组件能够分析linux内核崩溃时的网络、磁盘、CPU、系统内核状态,快速定位故障点.

crash组件可以通过RPM包安装.

sudo yum -y install crash　　　 　　 #安装crash
sudo debuginfo-install kernel　　　　#安装内核调试模块

sudo　crash /usr/lib/debug/lib/modules/<kernel>/vmlinux /var/crash/<timestamp>/vmcore　　#启动crash调试

测试一下:

crash基本调试命令:

crash>log　　　　#崩溃时日志记录
crash>bt　　　　 #崩溃时的堆栈信息
crash>vm　　　　 #崩溃时的内存状态
crash>ps　　　　 #崩溃时的进程状态
crash>files　　 #崩溃时的打开的文件
crash>exit　　　#退出crash

2 linux内核调校

2.1 kernel的调校途径

RHEL7中提供三种内核调校方法:

(1)使用sysctl 命令;

(2)修改/etc/sysctl.d/ 目录下的内核配置文件;

(3)通过shell 在/proc/sys 目录下挂载虚拟文件系统;

2.2 sysctl命令可以列出、读取、设置内核参数, 还可以将参数设置为临时或永久.

sysctl -a　　　　　　　　#列出所有可调校的项
sysctl kernel.version　　　　#列出kernel的版本信息

sysctl <tunable class>.<tunable>=<value>      #使调校参数临时生效
sysctl -W <tunable class>.<tunable>=<value>　　 #使调校参数永久生效

2.3 修改/etc/sysctl.d/99-sysctl.conf 目录下的99-sysctl.conf文件

cp /etc/sysctl.d/99-sysctl.conf /etc/sysctl.d/99-sysctl.conf.bak　　　　#备份系统默认的内核参数文件
vim /etc/sysctl.d/99-my.conf　　　　#创建新的内核参数文件

...
<tunable class>.<tunable> = <value> 　　#写入要调校的参数类和值
 <tunable class>.<tunable> = <value>
...
save　　　　#保存文件
reboot\ sysctl -p /etc/sysctl.d/99-my.conf　　#重启系统或者使用sysctl -p 命令载入新的内核参数配置

2.4 sysctl 调校内核参数

(1)调整最大请求的aio数量.

sysctl -a | grep fs.aio　　　　#查看内核默认的最大aio值
sysctl fs.aio-max-nr=2048576　　#临时调整aio最大值

(2)开启本地ipv4转发功能.

sysctl net.ipv4.ip_forward = 1

(3)设定进程能被分配到的最大内存空间.

sysctl vm.max_map_count = 65530

(4)设定系统中同时运行的最大进程数.

sysctl kernel.threads-max = 16161

在root权限下,通过sysctl 命令的内核参数调校, 基本上能直接控制linux 的内核所有行为, 满足实际生产中的绝大多数需求.