Linux基础教程:关于Linux IO性能测试的实验

开发环境系统配置如下:

Intel SR1625 server , 2 CPU, 32GB内存, 用主板自带卡做了raid1+0,8个7200转SATA硬盘

操作系统是RHEL 5.3 64位

因为物理内存是32GB,因此整个过程都选用了60GB+的数据量来测试,以避免cache的影响

1. 首先用自带的dd命令先测一下, 块大小为8k

dd只能提供一个大概的测试结果,而且是连续IO而不是随机IO

读测试

# time dd if=/dev/sda2 f=/dev/null bs=8k count=8388608

8388608+0 records in

8388608+0 records out

68719476736 bytes (69 GB) copied, 516.547 seconds, 133 MB/s

Linux 如何测试 IO 性能(磁盘读写速度)

这几天做MySQL性能测试,偌大一个公司,找几台性能测试机器都很纠结,终于协调到两台,IO的性能如何还不知道。
 数据库属于IO密集型的应用,所以还是先评估下Server的IO性能,看看是否能和线上的机器匹配上。

 之前一直知道用dd(device to device)命令可以简单测试磁盘的IO读写速度,但没有深究。
 但这次做性能测试的关系,需要得到一个相对精确的值(之前的测试吃过这方面的亏,插个题外话,性能测试一定要首先确认好测试环境。)
 网上常见的方法是使用hdparm和dd命令来测试,但实际的使用起来都有问题,而且测试结果总感觉有偏差,心里没底。
 于是还是安心研究了下这两个命令,也做了一些测试和分析,简单做下总结。

用法:
1.测试IO读
    hdparm -t --direct /dev/sda3

      IO读用上面的命令测试即可,不过 hdparm 这个工具需要自己安装,而且需要root用户去执行。

2.测试IO写
    sync;/usr/bin/time -p bash -c "(dd if=/dev/zero of=test.dd  bs=1000K count=20000;sync)"

    dd bs=1M count=20000 if=/dev/zero of=test.dd conv=fdatasync  dd命令测试是IO的顺序写和读方式。

3.查看文件系统块大小

  tune2fs -l /dev/sda1 | grep Block

上面的命令行有些复杂,做下详细的解释:
 (1)sync 命令用来刷新文件系统的缓冲区,执行sync命令实际的作用是把内存中的数据缓冲写入到磁盘中。
        先执行下sync命令,是为了减少对后面测试的影响。也可以使用 echo 3 > /proc/sys/vm/drop_caches 来清除缓存。
 (2)time 命令用来测试命令的执行时间,shell内建还有一个time命令,我们这里使用全路径来指定使用的是非内建命令。
        -p 选项设置时间的输出格式为POSIX缺省时间格式,单位是秒,在后面的测试小节可以看到time -p 的输出形式。
 (3)bash 命令 -c 选项的作用是将后面的字符串参数当作bash脚本来执行,看起来有些画蛇添足,好像直接执行也是可行的,
        其实不然,因为后面字符串中包含了两条命令行,而time命令需要统计这两条命令行的执行时间。
 (4)小括号的意思是另起一个子进程来执行括号中的脚本,dd 这条命令行这里就不讲了,不知道的话Baidu吧。
        重点是sync命令,因为当dd退出时,这条命令行提交的大部分内容都在内存缓冲区(写缓存),甚至如果机器的内存相比于你提交的数据要大得多,
        那可能数据都在内存中,而再执行sync才能将内存中的数据写入到磁盘中,否则就成了测试内存的写速度,那显然不是你想要的结果。


测试实践:
 在一台内存64G,SAS硬盘上做了一些测试。
 测试过程中,需要关注两点,磁盘的读写速度和IO使用率,我们分别使用iopp和iostat工具来观察。

测试写速度:
 测试写入20G数据,数据量越大,测试值应该更精确。
# sync;/usr/bin/time -p bash -c "(dd if=/dev/zero of=test.dd  bs=1M count=20000)"
 20000+0 records in
 20000+0 records out
 real 92.87
 user 0.00
 sys 18.08

写入20000M的时间是92.87s,所以磁盘的写速度为 215.35MB/sec (20000M/92.87)。
 使用iostat观测,%util 一直处于100%的状态,而iopp 显示的dd命令写入速度基本和上面计算出的值是一致的(取样时间设置为5s)
 # iostat -x 5
 Device:        rrqm/s  wrqm/s    r/s    w/s  rsec/s  wsec/s avgrq-sz avgqu-sz  await  svctm  %util
 sda              0.00    0.00    0.20  864.00    1.60 449004.80  519.56  143.61  163.46  1.16 100.00

 # iopp -i -k 5
 pid    rchar    wchar    syscr    syscw      rkb      wkb    cwkb command
 32566  1033216  1033216        0        0        0  1034868        0 dd

注:命令行的当前工作目录在分区/dev/sda3上,所以test.dd这个文件也创建在这个分区上,下面的读测试会使用到这个文件。

测试读速度:
 将dd 和 hdparm的做一个对比:
#  hdparm -t --direct /dev/sda3
 /dev/sda3:
  Timing O_DIRECT disk reads: 2108 MB in  3.00 seconds = 702.34 MB/sec

 hdparm的测试结果为,3s读取了2108MB,读速度为702.34MB。

 由于hdparm测试时间太短,iostat和iopp取样时间调整为1s。

iostat -x 1
 Device:        rrqm/s  wrqm/s    r/s    w/s  rsec/s  wsec/s avgrq-sz avgqu-sz  await  svctm  %util
 sda              0.00    0.00 2752.00    1.00 1409024.00    8.00  511.82    4.64    1.69  0.35  96.10

iopp -i -k 1
 pid    rchar    wchar    syscr    syscw      rkb      wkb    cwkb command
 32349  733184        0        0        0  733184        0        0 hdparm

使用dd做读取测试
# echo 3 > /proc/sys/vm/drop_caches ; /usr/bin/time -p dd if=test.dd of=/dev/null  bs=1M
 20000+0 records in
 20000+0 records out
 real 35.69
 user 0.00
 sys 9.81

读取了20G,读速度为560.38MB/sec。

 读取会比写入要快,iostat和iopp的取样时间调整为每3s。
Device:        rrqm/s  wrqm/s    r/s    w/s  rsec/s  wsec/s avgrq-sz avgqu-sz  await  svctm  %util
 sda            106.67    0.00 5851.00    0.33 1434256.00    2.67  245.12    1.62    0.28  0.16  93.60

 pid    rchar    wchar    syscr    syscw      rkb      wkb    cwkb command
 17004  1449984  1449984        1        1  1450760        0        0 dd

结论:

dd测试出的读速度和hdparm 是存在区别的,
 通过 bs 选项 设置不通的读写块大小测试(默认512字节,测试使用1M),
 可以看出 dd 的测出的速度与读写块的大小有关系,还可能受到系统中有IO读写的进程的影响。
hdparm的测试原理没做深入研究,可能是和dd的测试方法存在差别,需要知道这一点。

 整体上看,IO的实际测试速度是受到很多因素影响的,包括读写的方式(随机还是顺序,hdparm和dd测试是都是采用顺序读写)、缓存机制、测试的取样等等。
 所以不太可能得到一个确定的值(相同的命令行多次测试也不一样,不过差别要小些),以上的方法中读测试还是推荐使用hdparm。
 以上的数据虽然存在偏差,但还是能大体分析出机器的IO性能。只是需要明确,这些测试值是在什么样的环境下获得的。

相关推荐