我可以: 邀请好友来看>>
ZOL论坛 > 硬件论坛 > 硬件综合讨论论坛 > DIY与攒机论坛 > 【草根原创组】你真的了解RAID么?——西数黑盘RAID深度测试,加中文注解,欢迎审...
返回列表
签到
手机签到经验翻倍!
快来扫一扫!

【草根原创组】你真的了解RAID么?——西数黑盘RAID深度测试,加中文注解,欢迎审阅!

8463浏览 / 190回复

ssn760

ssn760

23
精华
19094
帖子

等  级:Lv.11
经  验:250302
  • 版主:

    DIY与攒机

  • Z金豆: 2786

    千万礼品等你来兑哦~快点击这里兑换吧~

  • 城  市:山东
  • 注  册:2008-10-22
  • 登  录:2021-01-20
  • 身份验证
  • 点亮自己
  • 天下无双
  • 语惊四座
  • 论坛骨干
  • 滴水穿石
发表于 2010-08-26 15:59:27
电梯直达 确定
楼主
换马甲你不认识我 把此帖设为精华,作者+50经验:RAID研究课题

 

                                                              本次测试由BLEN全程指导,耗时近5小时完成,特此感谢!

我和BLEN使用IOMeter对IO进行测试,我使用板载RIAD0,BLEN使用RAID卡RAID5,分区为40G,分别对RAID进行深度对比测试,其性能远远高于单硬盘。

IOMeter是业界广泛使用的IO性能测试软件。通过使用不同的IOMeter设定值来呈现文件服务器(选择范围为512Bytes到64KB)和网站服务器(选择512Bytes到512KB作为I/O范围)的相应负载。

IOPS 即I/O per second,即每秒进行读写(I/O)操作的次数,多用于数据库等场合,衡量随机访问的性能。

并发IO的概念:并发IO,指多个IO可以同时被处理,比如IO1可以访问a盘,IO2可以同时访问b盘。并发IO的反义词是顺序IO。

测试设置请参照http://servers.pconline.com.cn/skills/0711/1145597.html

测试结论

根据公式可以算出来,1/(寻道时间+传输时间)=iops。如果寻道时间比传输时间大几个数量级,那么传输时间翻倍变化,也对iops没多少影响。
并发IO的概念:并发IO,指多个IO可以同时被处理,比如IO1可以访问a盘,IO2可以同时访问b盘。并发IO的反义词是顺序IO。

基于以上结论有:
1、raid0持续读写和单盘比较:寻道时间不便,raid0传输时间=单盘2倍,总体iops差别不大。
但是有二条:并发IO和raid0的分割块大小(一般为64K)。又可以分两个因素
第一:不并发IO(或者并发IO)+分割块很小。这种情况下,寻道时间不变,传输速度相对单盘减半,iops差不多。
第二:不并发IO+分割块很大。这样的话,一次IO寻道时间相对单盘不变,传输速度可能不变(如果一次IO恰好只读取一个分割块),或者传输速度减半(一次IO可能定向到两块盘)。不管怎么样,对iops影响不大。
第三:并发IO+分割块很大。这样,寻道时间减半,传输时间可能减半也可能不变。总之iops会增大很多。

结论:raid0持续读写仅在并发IO+分割块很大的时候,iops会增加很多。

2、raid0随机读写和单盘比较:寻道时间相等,raid0传输时间减半,差别不大。
同样有二条:并发IO和raid0的分割块大小。这又可以分出两个条件因素
第一:不并发IO&分割块很小,以至于每次IO必须定向到两块盘,这种情况raid0和单盘差别不大。
第二:不并发IO&分割块比较大,一次IO可能只用一块盘,那么这种情况和单盘直接就是一样的。
第三:并发IO&分割块很小,那么并发IO就不起作用,因为每次IO都会占用两块盘,那么就并发不了,这样iops还是差不多。
第四:并发IO&分割块很大。这种情况,并发IO奏效,进程下发的多个IO,控制器并行执行,这样,寻道时间和传输时间都相对单盘要减半。所以理论上,是单盘的两倍。

结论:raid0随机读写仅在并发IO+分割块很大的时候,iops显著增加。

raid5持续读写和单盘比较
raid5可以说有raid0的影子。有三个因素:是否并发IO,读or写,条带深度。条带深度(striple depth)的概念
第一:读,非并发IO,IO size小于等于条带深度。此时,一次IO只占用一块磁盘,而其他IO正在排队,所以寻道时间等于单盘时间,传输时间等于单盘
第二:读,非并发IO,IO size远大于条带深度。此时一个IO占用多块磁盘(视io size决定,越大占用越多,但是大过了头,反而有所抵消)。寻道时间
是单盘的1/n,n=IO size/striple size。iops显著增加。
第三:读,并发IO,IO size小于等于条带深度。此时多IO并发,相对寻道时间是单盘的1/n。iops显著增加
第四:读,并发IO,IO size远大于条带深度。此时并发IO效果被抵消。只是减少了传输时间,iops差不多。
第五:写,非并发IO,IO size小于等于条带深度写,非并发IO,IO size远大于条带深度这两种情况下,iops都没有什么增加而且有减小。只是传输速度减半
而已(对于前者传输速度不变)。不管怎么说,写速度肯定是比单盘要慢了,因为raid5的写惩罚,这个就不必多说了。
第六:写,并发IO,IO size小于等于(或者大于)条带深度。因为并发IO,所以总体速度比单盘快,但是写惩罚又抵消了性能,总体不好说,要测试

结论:
读,非并发IO,IO size远大于条带深度
读,并发IO,IO size小于等于条带深度
raid5仅在以上两种情况,iops显著增加。

结论引用http://bbs.net130.com/showthread.php?p=1574918冬瓜头的帖子

测试平台

ssn760  

CPU    Intel 酷睿i7 920DO进步版(盒) ×1

主板   技嘉 GA-X58A-UD7 ×1

内存   金士顿 HyperX 6GB DDR3 1600×1

硬盘   WD 1TB 7200转 64MB Caviar Black(串口WD1002FAEX)×2  组RAID0

 BLEN

 CPU C2D E6700 ×1

主板 GA-X48-DS5 ×1

内存 A-DATA 1G DDR2 800 ×2

RAID卡  LSI MegaRAID SAS 9261-8i×1

硬盘 WD 1TB 7200转 64MB Caviar Black(串口WD1002FAEX)×7  组RAID5

测试硬盘分区大小,40G


【草根原创组】你真的了解RAID么?——西数黑盘RAID深度测试,加中文注解,欢迎审阅!

测试延迟时间以毫秒计算


NCQ技术对高队列深度的随机IOPS有很大贡献!

NCQ技术NCQ技术它是一种使硬盘内部优化工作负荷执行顺序,通过对内部队列中的命令进行重新排序实现智能数据管理,改善硬盘因机械部件而受到的各种性能制约。NCQ技术是SATAⅡ规范中的重要组成部分,也是SATAⅡ规范唯一与硬盘性能相关的技术。   NCQ技术   SATA规范支持许多新的功能,其中之一就是NCQ(Native Command Queuing全速命令排队)技术。 首先让我们来看一下硬盘是怎样读写信息的。硬盘通过将信息写入磁盘磁道上的特定位置进行信息存储,硬盘访问磁盘上信息的过程如下:   ● 寻找存储数据的目标磁碟(platter),访问该磁碟。   ● 寻找磁碟上存储数据的目标磁道(track),访问磁道。   ● 寻找磁道上存储数据的目标簇(cluster),访问簇。   ● 寻找簇上存书数据的目标扇区(sector),访问扇区。   ● 寻找目标数据,读取数据。   通过上面的步骤,硬盘即可获取所需要的数据信息。硬盘写入数据的步骤也是如此,区别仅仅在于读操作变为写操作。大多数情况下数据存入硬盘并非是顺序存入,而是随机存入,甚至有可能一个文件被分配在不同盘片上。对于不支持NCQ的硬盘来说,大量的数据读写需要反复重复上面的步骤,而对于不同位置的数据存取,磁头需要更多的操作,降低了存取效率。支持NCQ技术的硬盘对接收到的指令按照他们访问的地址的距离进行了重排列,这样对硬盘机械动作的执行过程实施智能化的内部管理,大大地提高整个工作流程的效率:即取出队列中的命令,然后重新排序,以便有效地获取和发送主机请求的数据,在硬盘执行某一命令的同时,队列中可以加入新的命令并排在等待执行的作业中。显然,指令排列后减少了磁头臂来回移动的时间,使数据读取更有效。   如上图所示,如果新的命令恰好是处理起来机械效率最高的,那么它就是队列中要处理的下一个命令。举个例子:比如向硬盘下达一组数据传送指令,由于数据在磁盘上分布位不同,磁头可能会先读取260扇区,再读取7660扇区,然后又读取261扇区……如果我们对指令进行优化排列,可以先读260扇区,接着依次读261扇区,最后读取7660扇区……显然,指令排列后减少了磁头臂来回移动的时间,使数据读取更有效。并且有效的排序算法除了考虑目标数据的线性位置,也会考虑其角度位置,并且还要对线性位置和角度位置进行优化,以使总线的服务时间最小,这个过程也称做“基于寻道和旋转优化的命令重新排序”。  

 下面测试的512B4K队列深度为1,2,4,8,16,32,256(4K)队列深度就是数字越大代表要处理的任务数越多,可以同时并发,ssn760是2个IO并发,BLEN是7个IO并发


测试要设置的参数说明


4K随机读取设置 100%随即读取

ssn760 4K随机读取 IOPS 142.91 读取0.56MB/S 平均延迟6.9963毫秒 最大延迟40.822毫秒 CPU占用7.7%
                                                                                   
 

BLEN 4K随机读取 IOPS 146.05 读取0.57MB/S 平均延迟6.8419毫秒 最大延迟55.5073毫秒 CPU占用7.31%

4K随即写入设置 100%随即写入




ssn760 4K随即写入 IOPS 428.56 写入1.67MB/S 平均延迟2.3323毫秒 最大延迟20.4854毫秒 CPU占用5.41%




BLEN 4K随机写入 IOPS 436.04 写入1.70M/S 平均延迟2.2922毫秒 最大延迟2986.6467毫秒 CPU占用12.23%


100M持续读取设置 100%全程读取




ssn760 100M持续读取  IOPS 2.43 读取243.29M/S 平均延迟410.0831毫秒 最大延迟493.2449毫秒 CPU占用12.62%


BLEN 100M持续读取 IOPS 7.70 读取770.48M/S 平均延迟129.7355毫秒 最大延迟249.1367毫秒 CPU占用19.72%


 100M持续写入设置 100%全程写入




 
ssn760 100M持续写入 IOPS 2.39 写入238.55M/S 平均延迟418.3750毫秒 最大延迟477.3110毫秒 CPU占用6.28%




BLEN 100M持续写入IOPS 7.52写入751.77M/S 平均延迟133.0008毫秒 最大延迟251.9439毫秒 CPU占用13.16%


512B曲线对比图





512B测试设置 100%全程读取



ssn760 512B深度读取队列1 IOPS 71052.46读取34.69M/S 平均延迟0.0138毫秒 最大延迟13.9380毫秒 CPU占用14.90%



BLEN 512B深度读取队列1 IOPS 21302.63读取10.40M/S 平均延迟0.0462毫秒 最大延迟52.7657毫秒 CPU占用48.76%




ssn760 512B深度读取队列2 IOPS 70707.95读取34.53M/S 平均延迟0.0280毫秒 最大延迟15.4487毫秒 CPU占用16.91%




BLEN 512B深度读取队列2 IOPS 54249.83读取26.49M/S 平均延迟0.0364毫秒 最大延迟35.4777毫秒 CPU占用59.53%




ssn760 512B深度读取队列4 IOPS 70489.31读取34.42M/S 平均延迟0.0565毫秒 最大延迟55.9841毫秒 CPU占用14.22%



BLEN 512B深度读取队列4 IOPS 58541.92读取28.58M/S 平均延迟0.0678毫秒 最大延迟46.7246毫秒 CPU占用57.84%




ssn760 512B深度读取队列8 IOPS70899.98读取34.62M/S 平均延迟0.1126毫秒 最大延迟15.6116毫秒 CPU占用14.18%



BLEN 512B深度读取队列8 IOPS 59382.01读取29.00M/S 平均延迟0.1342毫秒 最大延迟74.2332毫秒 CPU占用58.03%




ssn760 512B深度读取队列16 IOPS 70577.14读取34.46M/S 平均延迟0.2264毫秒 最大延迟14.6974毫秒 CPU占用14.23%




BLEN 512B深度读取队列16 IOPS 60381.87读取29.48M/S 平均延迟0.2645毫秒 最大延迟439502毫秒 CPU占用63.55%



ssn760 512B深度读取队列32 IOPS 71087.78读取34.71M/S 平均延迟0.4499毫秒 最大延迟17.0068毫秒 CPU占用14.17%




BLEN 512B深度读取队列32 IOPS 60367.64读取29.48M/S 平均延迟0.5296毫秒 最大延迟63.6230毫秒 CPU占用61.21%




评分:+Z金豆 70  已有 7人参与评分

ssn760

ssn760


精华

帖子

等  级:Lv.11
经  验:250302
发表于 2010-08-26 15:59:51 1楼

曲线对比图

 

 

 




4K随即深度读取队列设置 100%全程随即读取




ssn760 4K随即深度读取队列1 IOPS 142.78读取0.56M/S 平均延迟7.0024毫秒 最大延迟18.4314毫秒 CPU占用2.95%




BLEN 4K随即深度读取队列1 IOPS146.69读取0.57M/S 平均延迟6.8148毫秒 最大延迟68.3139毫秒 CPU占用9.20%




ssn760 4K随即深度读取队列2 IOPS 213.30读取0.83M/S 平均延迟9.3747毫秒 最大延迟55.7188毫秒 CPU占用2.69%



BLEN 4K随即深度读取队列2 IOPS 21302.63读取1.07M/S 平均延迟7.3237毫秒 最大延迟70.1770毫秒 CPU占用6.71%



ssn760 4K随即深度读取队列4 IOPS 292.18读取1.14M/S 平均延迟13.6860毫秒 最大延迟108.2358毫秒 CPU占用4.57%


BLEN 4K随即深度读取队列4 IOPS 468.14读取1.83M/S 平均延迟8.5415毫秒 最大延迟131.0391毫秒 CPU占用10.27%




ssn760 4K随即深度读取队列8 IOPS 370.57读取1.45M/S 平均延迟21.5780毫秒 最大延迟300.4567毫秒 CPU占用5.87%


BLEN 4K随即深度读取队列8 IOPS 695.76读取2.72M/S 平均延迟11.4975毫秒 最大延迟124.0400毫秒 CPU占用8.63%




ssn760 4K随即深度读取队列16 IOPS 443.90读取1.73M/S 平均延迟36.0142毫秒 最大延迟463.4299毫秒 CPU占用2.99%



BLEN  4K随即深度读取队列16 IOPS 1065.64读取4.16M/S 平均延迟15.0123毫秒 最大延迟172.2094毫秒 CPU占用7.17%



ssn760 4K随即深度读取队列32 IOPS492.79读取1.92M/S 平均延迟64.8574毫秒 最大延迟1029.4230毫秒 CPU占用2.60%



BLEN 4K随即深度读取队列32 IOPS 1447.94读取5.66M/S 平均延迟22.0967毫秒 最大延迟280.0644毫秒 CPU占用11.11%




ssn760 4K随即深度读取队列256 IOPS 503.21读取1.97M/S 平均延迟507.4430毫秒 最大延迟1659.5168毫秒 CPU占用3.26%




BLEN 4K随即深度读取队列256 IOPS 1926.48读取7.53M/S 平均延迟132.2873毫秒 最大延迟1864.0006毫秒 CPU占用9.51%




评分:+经验 40  已有 4人参与评分

展开

zhuangji5

zhuangji5


精华

帖子

等  级:Lv.6
经  验:7716
发表于 2010-08-26 15:59:59 2楼
支持RIAD测试 不过我更喜欢SSD 4K随机

toniisland

toniisland


精华

帖子

等  级:Lv.6
经  验:10385
发表于 2010-08-26 16:06:05 3楼
前排支持。

toniisland

toniisland


精华

帖子

等  级:Lv.6
经  验:10385
发表于 2010-08-26 16:08:49 4楼
对 楼主 ssn760 说:
=========================

深奥了,看不懂了。

xiejunyanzol

xiejunyanzol


精华

帖子

等  级:Lv.6
经  验:10192
发表于 2010-08-26 16:08:51 5楼
还有前排 挖卡卡

maoyj

maoyj


精华

帖子

等  级:Lv.6
经  验:12154
发表于 2010-08-26 16:12:31 6楼
对 第2楼 ZOL攒机攻略 说:
=========================

SSD RAID的队列深度上来了4K随机也会提高,盘和控制器好的话超过十万不是问题

评分:+经验 10  已有 1人参与评分

展开

mazdalantis

mazdalantis


精华

帖子

等  级:Lv.8
经  验:42872
发表于 2010-08-26 16:13:21 7楼
有分就要给

mx2417

mx2417


精华

帖子

等  级:Lv.6
经  验:7754
发表于 2010-08-26 16:15:55 8楼
看得我眼花。。。

hustwbyqy

hustwbyqy


精华

帖子

等  级:Lv.6
经  验:9917
发表于 2010-08-26 16:21:03 9楼
技术贴一定要顶

0812loli

0812loli


精华

帖子

等  级:Lv.6
经  验:8320
发表于 2010-08-26 16:23:34 10楼
先顶后看~~

terry1120

terry1120


精华

帖子

等  级:Lv.7
经  验:16925
发表于 2010-08-26 16:24:25 11楼
数据流,先顶,明天考完试再看

屡败屡试

屡败屡试


精华

帖子

等  级:Lv.9
经  验:69800
发表于 2010-08-26 16:26:06 12楼
一个字形容楼主:专业!

西門小兵

西門小兵


精华

帖子

等  级:Lv.8
经  验:27891
发表于 2010-08-26 16:26:43 13楼
前面的同学好快 支持还有大作

ssn760

ssn760


精华

帖子

等  级:Lv.11
经  验:250302
发表于 2010-08-26 16:29:13 14楼
对 第2楼 ZOL攒机攻略 说:
=========================

谢谢支持

评分:+经验 10  已有 1人参与评分

展开

ssn760

ssn760


精华

帖子

等  级:Lv.11
经  验:250302
发表于 2010-08-26 16:29:30 15楼
对 第3楼 toniisland 说:
=========================

谢谢支持

ssn760

ssn760


精华

帖子

等  级:Lv.11
经  验:250302
发表于 2010-08-26 16:31:12 16楼
对 第5楼 Caedmon 说:
=========================

谢谢支持

maoyj

maoyj


精华

帖子

等  级:Lv.6
经  验:12154
发表于 2010-08-26 16:31:29 17楼
对 第1楼 ssn760 说:
=========================

我再占个后排

评分:+经验 10  已有 1人参与评分

展开

ssn760

ssn760


精华

帖子

等  级:Lv.11
经  验:250302
发表于 2010-08-26 16:31:34 18楼
对 第6楼 BLEN 说:
=========================

感谢兄弟大力支持

评分:+经验 10  已有 1人参与评分

展开

ssn760

ssn760


精华

帖子

等  级:Lv.11
经  验:250302
发表于 2010-08-26 16:31:55 19楼
对 第7楼 天地霸气菜鸟落地 说:
=========================

你咋不给那,哈哈

半人马酋长

半人马酋长


精华

帖子

等  级:Lv.7
经  验:25341
发表于 2010-08-26 16:32:36 20楼
支持 草根
呵呵 真下功夫了
点击查看更多精彩回复>>
去第 确定
支持键盘翻页 ( 左右 ) 
高级模式
论坛精选大家都在看24小时热帖7天热帖大家都在问最新回答

针对ZOL论坛您有任何使用问题和建议 您可以 联系论坛管理员查看帮助  或  给我提意见

快捷回复 APP下载 返回列表