iostat
1. /proc/partitions
对于kernel2.4,iostat的数据的主要来源是/proc/partitions，而对于kernel2.6,数据主要来自/proc/diskstats或者/sys/block/[block-device-name]/stat。
先看看/proc/partitions中有些什么。
#cat/proc/partitions
majorminor#blocksnameriormergersectrusewiowmergewsectwuserunninguseaveq
3019535040hda125243112734437134436012941255343084341097290-11580072028214662
317172991hda1137116814000000140140
321hda200000000000
355116671hda5100477665620112300610650
36265041hda65189246162770257337529056143880046520146650
376980211hda71188930475338890340740126832215827937695338005093501294120
major:主设备号。3代表hda。
minor:次设备号。7代表No.7分区。
#blocks:设备总块数(1024bytes/block)。19535040*1024=>20003880960(bytes)~2G
name:设备名称。如hda7。
rio:完成的读I/O设备总次数。指真正向I/O设备发起并完成的读操作数目，
也就是那些放到I/O队列中的读请求。注意很多进程发起的读操作
(read())很可能会和其他的操作进行merge，不一定每个read()调用
都引起一个I/O请求。
rmerge:进行了merge的读操作数目。
rsect:读扇区总数(512bytes/sector)
ruse:从进入读队列到读操作完成的时间累积(毫秒)。上面的例子显示从开机
开始，读hda7操作共用了约340秒。
wio:完成的写I/O设备总次数。
wmerge:进行了merge的写操作数目。
wsect:写扇区总数
wuse:从进入写队列到写操作完成的时间累积(毫秒)
running:已进入I/O请求队列，等待进行设备操作的请求总数。上面的例子显
示hda7上的请求队列长度为0。
use:扣除重叠等待时间的净等待时间(毫秒)。一般比(ruse+wuse)要小。比
如5个读请求同时等待了1毫秒，那么ruse值为5ms,而use值为
1ms。use也可以理解为I/O队列处于不为空状态的总时间。hda7的I/O
队列非空时间为509秒，约合8分半钟。
aveq:在队列中总的等待时间累积(毫秒)(约等于ruse+wuse)。为什么是“约等于”而不是等于呢？让我们看看aveq,ruse,wuse的计算方式，这些量一般是在I/O完成后进行更新的：
aveq+=in-flight*(now-disk->stamp);
ruse+=jiffies-req->start_time;//如果是读操作的话
wuse+=jiffies-req->start_time;//如果是写操作的话
注意aveq计算中的in-flight，这是当前还在队列中的I/O请求数目。这些I/O还没有完成，所以不能计算到ruse或wuse中。理论上，只有在I/O全部完成后，aveq才会等于ruse+wuse。举一个例子，假设初始时队列中有三个读请求，每个请求需要1秒钟完成。在1.5秒这一时刻，aveq和ruse各是多少呢？
ruse=1//因为此时只有一个请求完成
aveq=3*1+2*0.5=4//因为第二个请求刚发出0.5秒钟，另还有一个请求在队列中呢。
//这样第一秒钟时刻有3个in-flight，而1.5秒时刻有2个in-flight.
如果三个请求全部完成后，ruse才和aveq相等：
ruse=1+2+3=6
aveq=1+2+3=6
详细说明请参考linux/drivers/block/ll_rw_blk.c中的end_that_request_last()和disk_round_stats()函数。
2.iostat结果解析
#iostat-x
Linux2.4.21-9.30AX(localhost)2004年07月14日
avg-cpu:%user%nice%sys%idle
3.850.000.9595.20
Device:rrqm/swrqm/sr/sw/srsec/swsec/srkB/swkB/savgrq-szavgqu-szawaitsvctm%util
/dev/hda1.701.700.820.8219.8820.229.9410.1124.5011.8357.81610.7699.96
/dev/hda10.000.000.000.000.010.000.000.0012.920.0010.7710.770.00
/dev/hda50.020.000.000.000.030.000.020.006.600.006.446.040.00
/dev/hda60.010.380.050.030.433.250.211.6246.900.15193.9652.250.41
/dev/hda71.661.330.760.7919.4116.979.708.4923.440.7951.1319.793.07
rrqm/s:每秒进行merge的读操作数目。即delta(rmerge)/s
wrqm/s:每秒进行merge的写操作数目。即delta(wmerge)/s
r/s:每秒完成的读I/O设备次数。即delta(rio)/s
w/s:每秒完成的写I/O设备次数。即delta(wio)/s
rsec/s:每秒读扇区数。即delta(rsect)/s
wsec/s:每秒写扇区数。即delta(wsect)/s
rkB/s:每秒读K字节数。是rsect/s的一半，因为每扇区大小为512字节。
wkB/s:每秒写K字节数。是wsect/s的一半。
avgrq-sz:平均每次设备I/O操作的数据大小(扇区)。即delta(rsect+wsect)/delta(rio+wio)
avgqu-sz:平均I/O队列长度。即delta(aveq)/s/1000(因为aveq的单位为毫秒)。
await:平均每次设备I/O操作的等待时间(毫秒)。即delta(ruse+wuse)/delta(rio+wio)
svctm:平均每次设备I/O操作的服务时间(毫秒)。即delta(use)/delta(rio+wio)
%util:一秒中有百分之多少的时间用于I/O操作，或者说一秒中有多少时间I/O队列是非空的。
即delta(use)/s/1000(因为use的单位为毫秒)
如果%util接近100%，说明产生的I/O请求太多，I/O系统已经满负荷，该磁盘
可能存在瓶颈。
svctm一般要小于await(因为同时等待的请求的等待时间被重复计算了)，
svctm的大小一般和磁盘性能有关，CPU/内存的负荷也会对其有影响，请求过多
也会间接导致svctm的增加。await的大小一般取决于服务时间(svctm)以及
I/O队列的长度和I/O请求的发出模式。如果svctm比较接近await，说明
I/O几乎没有等待时间；如果await远大于svctm，说明I/O队列太长，应用
得到的响应时间变慢，如果响应时间超过了用户可以容许的范围，这时可以考虑
更换更快的磁盘，调整内核elevator算法，优化应用，或者升级CPU。
队列长度(avgqu-sz)也可作为衡量系统I/O负荷的指标，但由于avgqu-sz是
按照单位时间的平均值，所以不能反映瞬间的I/O洪水。
3.I/O系统vs.超市排队
举一个例子，我们在超市排队checkout时，怎么决定该去哪个交款台呢?首当
是看排的队人数，5个人总比20人要快吧?除了数人头，我们也常常看看前面人
购买的东西多少，如果前面有个采购了一星期食品的大妈，那么可以考虑换个队
排了。还有就是收银员的速度了，如果碰上了连钱都点不清楚的新手，那就有的
等了。另外，时机也很重要，可能5分钟前还人满为患的收款台，现在已是人
去楼空，这时候交款可是很爽啊，当然，前提是那过去的5分钟里所做的事情
比排队要有意义(不过我还没发现什么事情比排队还无聊的)。
I/O系统也和超市排队有很多类似之处:
r/s+w/s类似于交款人的总数
平均队列长度(avgqu-sz)类似于单位时间里平均排队人的个数
平均服务时间(svctm)类似于收银员的收款速度
平均等待时间(await)类似于平均每人的等待时间
平均I/O数据(avgrq-sz)类似于平均每人所买的东西多少
I/O操作率(%util)类似于收款台前有人排队的时间比例。
我们可以根据这些数据分析出I/O请求的模式，以及I/O的速度和响应时间。
4.一个例子
#iostat-x1
avg-cpu:%user%nice%sys%idle
16.240.004.3179.44
Device:rrqm/swrqm/sr/sw/srsec/swsec/srkB/swkB/savgrq-szavgqu-szawaitsvctm%util
/dev/cciss/c0d0
0.0044.901.0227.558.16579.594.08289.8020.5722.3578.215.0014.29
/dev/cciss/c0d0p1
0.0044.901.0227.558.16579.594.08289.8020.5722.3578.215.0014.29
/dev/cciss/c0d0p2
0.000.000.000.000.000.000.000.000.000.000.000.000.00
上面的iostat输出表明秒有28.57次设备I/O操作:delta(io)/s=r/s+
w/s=1.02+27.55=28.57(次/秒)其中写操作占了主体(w:r=27:1)。
平均每次设备I/O操作只需要5ms就可以完成，但每个I/O请求却需要等上
78ms，为什么?因为发出的I/O请求太多(每秒钟约29个)，假设这些请求是
同时发出的，那么平均等待时间可以这样计算:
平均等待时间=单个I/O服务时间*(1+2+...+请求总数-1)/请求总数
应用到上面的例子:平均等待时间=5ms*(1+2+...+28)/29=70ms，和
iostat给出的78ms的平均等待时间很接近。这反过来表明I/O是同时发起的。
每秒发出的I/O请求很多(约29个)，平均队列却不长(只有2个左右)，
这表明这29个请求的到来并不均匀，大部分时间I/O是空闲的。
一秒中有14.29%的时间I/O队列中是有请求的，也就是说，85.71%的时间里
I/O系统无事可做，所有29个I/O请求都在142毫秒之内处理掉了。
delta(ruse+wuse)/delta(io)=await=78.21=>delta(ruse+wuse)/s=
78.21*delta(io)/s=78.21*28.57=2232.8，表明每秒内的I/O请求总共需
要等待2232.8ms。所以平均队列长度应为2232.8ms/1000ms=2.23，而iostat
给出的平均队列长度(avgqu-sz)却为22.35，为什么?!因为iostat中有
bug，avgqu-sz值应为2.23，而不是22.35。
5.iostat的bug修正
iostat.c中是这样计算avgqu-sz的:
((double)current.aveq)/itv
aveq的单位是毫秒，而itv是两次采样之间的间隔，单位是jiffies。必须换
算成同样单位才能相除，所以正确的算法是:
((double)current.aveq)/itv*HZ/1000
这样，上面iostat中输出的avgqu-sz值应为2.23，而不是22.3。
另外，util值的计算中做了HZ值的假设，不是很好，也需要修改。
---sysstat-4.0.7/iostat.c.orig2004-07-1513:31:27.000000000+0800
+++sysstat-4.0.7/iostat.c2004-07-1513:37:34.000000000+0800
@@-370,7+370,7@@
nr_ios=current.rd_ios+current.wr_ios;
tput=nr_ios*HZ/itv;
-util=((double)current.ticks)/itv;
+util=((double)current.ticks)/itv*HZ/1000;
/*current.ticks(ms),itv(jiffies)*/
svctm=tput?util/tput:0.0;
/*kernelgivesticksalreadyinmillisecondsforallplatforms->noneedforfurtherscaling*/
@@-387,12+387,12@@
((double)current.rd_sectors)/itv*HZ,((double)current.wr_sectors)/itv*HZ,
((double)current.rd_sectors)/itv*HZ/2,((double)current.wr_sectors)/itv*HZ/2,
arqsz,
-((double)current.aveq)/itv,
+((double)current.aveq)/itv*HZ/1000,/*aveqisinms*/
await,
/*again:ticksinmilliseconds*/
-svctm*100.0,
+svctm,
/*NB:theticksoutputincurrentsardpatchesisbiasedtooutput1000tickspersecond*/
-util*10.0);
+util*100.0);
}
}
}