Linux测试磁盘IO性能（随机读写）
11,202 total views, 2 views today
我们常用dd命令测试Linux磁盘IO情况，dd只是测试顺序读写性能。对于随机读写性能测试，可采用FIO工具。
一、安装
下载并安装
|
1 2 3 4 5 6 7 8 |
wget http://brick.kernel.dk/snaps/fio-2.2.5.tar.gz yum install libaio-devel gcc -y tar -zxvf fio-2.2.5.tar.gz cd fio-2.2.5 make make install |
二、FIO参数
随机读：
# fio -filename=/tmp/test_randread -direct=1 -iodepth 1 -thread -rw=randread -ioengine=psync -bs=16k -size=30G -numjobs=10 -runtime=60 -group_reporting -name=mytest
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
说明： filename=/dev/sdb1 测试文件名称，通常选择需要测试的盘的data目录。 direct=1 测试过程绕过机器自带的buffer。使测试结果更真实。 rw=randwrite 测试随机写的I/O rw=randrw 测试随机写和读的I/O bs=16k 单次io的块文件大小为16k bsrange=512-2048 同上，提定数据块的大小范围 size=5g 本次的测试文件大小为5g，以每次4k的io进行测试。 numjobs=30 本次的测试线程为30. runtime=1000 测试时间为1000秒，如果不写则一直将5g文件分4k每次写完为止。 ioengine=psync io引擎使用pync方式 rwmixwrite=30 在混合读写的模式下，写占30% group_reporting 关于显示结果的，汇总每个进程的信息。 此外 lockmem=1g 只使用1g内存进行测试。 zero_buffers 用0初始化系统buffer。 |
三、常用测试命令
随机读
# fio -filename=/tmp/test_randread -direct=1 -iodepth 1 -thread -rw=randread -ioengine=psync -bs=16k -size=30G -numjobs=10 -runtime=600 -group_reporting -name=mytest
随机写
# fio -filename=/tmp/test_randwrite -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=16k -size=30G -numjobs=10 -runtime=600 -group_reporting -name=mytest
顺序写
# fio -filename=/data/test_randread -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=16k -size=30G -numjobs=10 -runtime=600 -group_reporting -name=mytest
顺序读
# fio -filename=/tmp/test_randread -direct=1 -iodepth 1 -thread -rw=read -ioengine=psync -bs=16k -size=30G -numjobs=10 -runtime=60 -group_reporting -name=mytest
混合随机读写
# fio -filename=/tmp/test_randread -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=30G -numjobs=10 -runtime=600 -group_reporting -name=mytest -ioscheduler=noop
四、读懂结果
这里以直接写操作为例。 我们用10个线程，向磁盘写一个30G文件，块大小为16K，时长10分钟。
主要关注这部分，写速度为347058KB/s，iops为21691。更多测试结果，可以在底部的红色部分看到，包含平均写速度、最小最大速度等等。
write: io=20336MB, bw=347058KB/s, iops=21691 , runt= 60001msec
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 |
# fio -filename=/tmp/test_randread -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=16k -size=30G -numjobs=10 -runtime=60 -group_reporting -name=mytest mytest: (g=0): rw=write, bs=16K-16K/16K-16K, ioengine=psync, iodepth=1 ... mytest: (g=0): rw=write, bs=16K-16K/16K-16K, ioengine=psync, iodepth=1 fio 2.0.7 Starting 10 threads Jobs: 10 (f=10): [WWWWWWWWWW] [100.0% done] [0K/364.3M /s] [0 /22.3K iops] [eta 00m:00s] mytest: (groupid=0, jobs=10): err= 0: pid=74873 write: <span style="color: #ff0000;"><strong>io=20336MB, bw=347058KB/s, iops=21</strong>691 ,</span> runt= 60001msec clat (usec): min=28 , max=203809 , avg=459.64, stdev=3726.22 lat (usec): min=29 , max=203810 , avg=460.27, stdev=3726.26 clat percentiles (usec): | 1.00th=[ 30], 5.00th=[ 31], 10.00th=[ 34], 20.00th=[ 35], | 30.00th=[ 36], 40.00th=[ 37], 50.00th=[ 38], 60.00th=[ 40], | 70.00th=[ 43], 80.00th=[ 46], 90.00th=[ 620], 95.00th=[ 1144], | 99.00th=[ 8512], 99.50th=[22912], 99.90th=[58624], 99.95th=[75264], | 99.99th=[110080] bw (KB/s) : min= 265, max=396352, per=10.16%, avg=35260.37, stdev=80519.69 lat (usec) : 50=82.89%, 100=6.31%, 250=0.31%, 500=0.02%, 750=1.73% lat (usec) : 1000=2.50% lat (msec) : 2=4.37%, 4=0.57%, 10=0.37%, 20=0.36%, 50=0.42% lat (msec) : 100=0.14%, 250=0.01% cpu : usr=5.67%, sys=24.37%, ctx=26086439, majf=0, minf=12681 IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% issued : total=r=0/w=1301489/d=0, short=r=0/w=0/d=0 Run status group 0 (all jobs): <strong> <span style="color: #ff0000;">WRITE: io=20336MB, aggrb=347057KB/s, minb=347057KB/s, maxb=347057KB/s, mint=60001msec, maxt=60001msec </span></strong> Disk stats (read/write): sda: ios=0/1300195, merge=0/12, ticks=0/46837, in_queue=46516, util=77.53% |
五、SSD与机械硬盘性能比对
公司的客服MySQL出现了IO性能瓶颈，想用SSD来解决，也就有了这次测试。
测试结果符合之前看的资料，SSD在随机读写性能方面完爆机械硬盘。而机械硬盘的顺序写性能远优于SSD；不过，SSD和机械硬盘的顺序度性能几乎持平。
| 硬盘 | 顺序读 | 顺序写 | 随机读 | 随机写 | 混合随机读写 | |
| SSD（4*1T RAID10） | 850M | 120M | 617M | 103M | 读：159M | 写：68M |
| 机械盘(8*300G RAID10) | 977M | 347M | 25M | 24M | 读：17M | 写：7M |
| 机械盘(8*300G RAID5) | 985M | 312M | 31M | 19M | 读：17M | 写：7M |
| * 测试工具：fio-2.0.7 filesize:30G thread:10 | ||||||