不要让存储基准测试沦为厂商玩物！

来自存储性能理事会（Storage Performance Council，SPC）等组织的存储基准测试能帮助用户评价相竞争的产品，但你必须注意如何使用它们。

当然，厂商们使用它们来测试以证明他们的产品好于其竞争者。例如Network Appliance（NetApp）就委托Lionbridge Technologies的服务VeriTest来证明NetApp FAS3070优于EMC的CLARiiON CX3-80。作为回应，EMC用其自己的基准测试证明CX3-80能胜过该中端系统的竞争者，包括HP EVA8000和IBM DS4800。

如此说来，有太多的厂商能够出示数据来支持他们声称的领先？一个窍门是优化在存储硬件上运行的软件，以便在特定的基准测试中获得超常的表现。

Rackable Systems的产品行销资深总监Geoffrey Noer说：“那些优化基本上无助于改善真实环境中的表现。同样，硬件配置可能是不切实际的，譬如驱动器设置为短行程或组成不常用的RAID配置以提高性能。”

举例来说，短行程是仅使用每一个硬盘驱动器的一小部分来改善性能。这通常是把数据放置在磁盘盘片的外圈区域来缩短磁头的搜寻时间。另一种提升基准测试成绩的办法是使用一个足够小的SQL数据库，令其处理完全在控制器的高速缓存（cache）中进行，因此其并非始终反映写到磁盘上的速度。

那么最终用户能用哪些基准测试的结果呢？

SPC的管理者和审记员Walter Baker说：“如果来自一个基准测试的结果没有包含足够的细节信息以独立地再现其基准测试结果，我断言其提供的任何信息都值得怀疑。”

所以，询问负载使用的全部技术细节非常重要，包括提供给基准测试的负载参数值，以及对基准测试使用的系统/存储配置的全面细节。另外，要求了解用在该基准测试中的所有配置参数值，特别是对那些参数默认值的修改。

使用基准测试

富士通（Fujitsu）计算机系统负责行销的资深副总裁Richard McCormack是一个基准测试爱好者。就像那些来自于SPC的存储基准测试，他的公司在其服务器上使用TPC测试来衡量性能。

他说：“"TPC是一个让你能将一个系统与其他产品相对比的工业标准。我们在大量的机器上进行测试，因为他们帮助我们领先于竞争对手。”

许多用户也依靠基准测试，并不仅局限于选择过程中的产品对比。美国退伍军人事务部（VA）奥斯汀自动控制中心的IT专家James Yaple使用SPC结果来检测其存储客户的退款率。

但SPC不是唯一的候选人。就像用于服务器交易性能的TPC，有大量的其他测试可以让用户评估存储产品。例如，VA就使用Oracle I/O Numbers（ORION）基准测试工具（可免费从Oracle的网站上获得）。

Yaple说：“ORION基准测试帮助我对比不同层面和类型的磁盘在用于Oracle数据库时的性能和吞吐量。”

威斯康星州Brookfield的系统集成商Comprehensive Solutions公司的总裁Chip Nickolett建议最终用户在对比高层厂商的产品和配置时考虑诸如SPC等基准测试。其结果允许你得到关于给定负载情况的性能的有用建议。基于该基准测试结果，其经常可以确定配置或排除组件来使你的需求和预算具有意义。

他说：“试图在超出非常特定的硬件和软件配置使用情况下使用基准测试是非常困难的，更不用说硬件的频繁改变和升级。对于基准测试来说完美的设备配置可能不能很好地适应你的生产环境。这些类型的测试帮助你获得超出相邻者的成绩，但对你本来的目标却不是必要的。”

一旦硬件被购买并配置，其他简单的基准测试能够用来辅助优化配置。Nickolett提醒说，多数默认设置都为读取进行优化，然而每天的环境有大量的写入行为。因此，他提供给其客户一个简单的写入基准测试“WriteBench”来模仿基于磁盘写入的尺寸和大量活动的不同情况。

Nickolett说：“在基准测试来自独立的、像SPC和SPEC（Standard Performance Evaluation Corporation）这样的公认的组织的时候，其测试是公平和有效的。最大的问题在于他们是否能代表你的环境。”

分销商CDW公司的企业存储专家Moosa Matariyeh提醒说，并非所有的厂商都加入了SPC。因此，不是一直都可以使用SPC基准测试的同一标准来对比厂商间的产品。

他说：“对于不在SPC中的存储厂商，Gartner集团、IDC或Enterprise Strategy Group等第三方组织比较适合。CDW不大范围地使用基准测试，而更看重来自客户的反馈。”

在这个由两部分组成的系列的第二篇文章中，我们将讨论SPC基准测试的更多细节，包括众所周知的SPC-1基准测试和新的SPC-2，以及即将到来的被称为SPC-1c和SPC-2c的SPC测试。