(转)Linux kernel 性能压力下的优化实践(V0.1)

http://www.longtask.com/blog/

做benchmark测试的过程中,总是会涉及到linux操作系统底层的设置导致无法充分利用机器的性能,在调试的过程中,不少资料没能和linuxkernel版本对应上导致一些参数的设置错误。根据现有服务器的硬件条件和软件版本做相关优化,把一些实践的心得分享出来。

Kernelversion:2.6.32-71.el6.x86_64

Cpu:Intel(R)Xeon(R)[email protected]

Memory:8G

Releasenotes:v0.12012-03-31句柄数,网络参数

问题1:句柄数的问题

使用webbench在Linux下做varlish访问压力测试的时候,遇到Socket/File:Can’topensomanyfiles的问题,原因是linux下所有的东西都是文件,包括socket接口,对于大量的网络连接,不仅仅消耗socket文件描述符,对于进程本身还打开相当多的文件,Linux的默认句柄数是1024。

解决方式:

修改/etc/security/limits.conf

你的用户名softnofile65535##ulimit-Sn

你的用户名hardnofile65535##ulimit-Hn

unlimt-n查看

参考资料:

通过ulimit改善系统性能

问题2:网络参数

使用ab或者webbench做压力测试,如果并发数开到1000的时候,无法完成测试。到晚上查看资料发现是linux网络参数设置。

解决方式:

[longhao@longhaoetc]#vi/etc/sysctl.conf

在kernel2.6之前的添加项:

net.ipv4.netfilter.ip_conntrack_max=655360

net.ipv4.netfilter.ip_conntrack_tcp_timeout_established=180

kernel2.6之后的添加项:

net.nf_conntrack_max=655360#net.nf_conntrack_max=655360也可以

net.netfilter.nf_conntrack_tcp_timeout_established=1200

[longhao@longhaoetc]#sysctl-p/etc/sysctl.conf

如果报错:error:"net.nf_conntrack_max"isanunknownkey则需要使用modprobe载入ip_conntrack模块,lsmod查看模块已载入。

[longhao@longhaoetc]#modprobeip_conntrack

后续说明:

–CONNTRACK_MAX允许的最大跟踪连接条目,是在内核内存中netfilter可以同时处理的“任务”(连接跟踪条目)

–HASHSIZE存储跟踪连接条目列表的哈西表的大小

CONNTRACK_MAX和HASHSIZE的默认值

一般来说,CONNTRACK_MAX和HASHSIZE都会设置在“合理”使用的值上,依据可使用的RAM的大小来计算这个值。

CONNTRACK_MAX的默认值

在i386架构上,CONNTRACK_MAX=RAMSIZE(以bytes记)/16384=RAMSIZE(以MegaBytes记)*64,因此,一个32位的带512M内存的PC在默认情况下能够处理512*1024^2/16384=512*64=32768个并发的netfilter连接。

但是真正的公式是:CONNTRACK_MAX=RAMSIZE(inbytes)/16384/(x/32)这里x是指针的bit数,(例如,32或者64bit)

请注意:

-默认的CONNTRACK_MAX值不会低于128

-对于带有超过1G内存的系统,CONNTRACK_MAX的默认值会被限制在65536(但是可以手工设置成更大的值)

HASHSIZE的默认值

通常,CONNTRACK_MAX=HASHSIZE*8。这意味着每个链接的列表平均包含8个conntrack的条目(在优化的情况并且CONNTRACK_MAX达到的情况下),每个链接的列表就是一个哈西表条目(一个桶)。

在i386架构上,HASHSIZE=CONNTRACK_MAX/8=RAMSIZE(以bytes记)/131072=RAMSIZE(以MegaBytes记)*8。举例来说,一个32位、带512M内存的PC可以存储512*1024^2/128/1024=512*8=4096个桶(链接表)

但是真正的公式是:HASHSIZE=CONNTRACK_MAX/8=RAMSIZE(以bytes记)/131072/(x/32)这里x是指针的bit数,(例如,32或者64bit)

请注意:

-默认HASHSIZE的值不会小于16

-对于带有超过1G内存的系统,HASHSIZE的默认值会被限制在8192(但是可以手工设置成更大的值)

相关推荐