性能基准测试成厂商争夺新战场

事情的起因是Network Appliance去年决定由Storage Performance Council（SPC）主持的基准计划评估该公司的FAS3040模块存储系统和EMC的CLARiiON CX3 Model 40产品。在过去，厂商只用基准评测自己的产品。这次，NetApp选择将自己的产品和EMC的产品进行比较，而该公司一直刻意地避免使用基准评价自己的产品。

SPC的管理人员Walter Baker表示，这一涉及到竞争对手产品的不同寻常的举动并没有登上媒体的头条，这仅仅因为该委员会没有法律义务将这类活动或者委员会决议通知厂商。

Baker表示，该委员会唯一的要求是厂商不得在未经厂商授权的情况下，在基准测试中排除某产品。SPC表示，NetApp在提交测试的过程中遵从了SPC的规则和要求，并达到了SPC的检查标准。

尽管EMC没有说NetApp违反了任何法律，但是它显然认为将评估结果公诸于众的做法已经有些过头了。

EMC全球营销CTO Chuck Hollis将SPC的基准计划和NetApp的行动称为“基准营销”。

Hollis表示，“基准，真正客观的测试，对我们来说非常重要。我们花了大量的钱进行研究和测试。NetApp只是低俗营销手腕弄出来的廉价表演。”

NetApp按照SPC的SPC-1基准对两款SAN产品进行了比较测试，没有打开快照技术。企业通常使用快照功能实现持续的保护和智能数据拷贝。

根据公布的结果，NetApp的产品在性能上超过了CLARiiON。根据SPC的指南，EMC有60天的时间可以对本基准测试的结果提出异议。SPC表示到上周为止，该委员会还没有受到任何异议的通知。

这一基准测试的结果对绝大部分行业分析人员来说都没有造成重大影响，这主要是由于几个原因。一些人认为没有一个客观的第三方监察这次测试。另一名专家表示一项单次评估通常只有很少的有效性。

Pund-IT的首席分析员Charles King表示这不过是一场“他说了什么，她说了什么”的游戏，因为厂商组织的测试有很多“可以控制的空间”。

King表示，“在这样的测试中，一个厂商会给另一家厂商的脸上抹黑。但是如果这不是一个一次性的事件，那么就很有趣了。”

这正是这一事件最关键的一点。NetApp计划继续使用SPC基准计划对自己的产品和EMC的产品进行对比测试。NetApp的首席技术设计师Val Bercovici表示，“我们肯定还要这样做。这并不是一次性的工作。”

Bercovici表示，“EMC对我们的产品给出了一些不正确的性能信息，就我们所知，他们对自己产品给出的信息也不确切。他们声称我们产品的性能有问题，所以我们决定让两家的产品进行对比测试，让客户明白哪家的产品性能更优。”

他表示，“我们证实了我们的产品在打开快照功能后不会对性能有任何影响，而这对EMC产品的性能却产生了明显的影响。”“竞争导致了这次基准测试。我们只是想让客户了解到正确的信息。”

对Hollis来说，他还关心得到用户的正确信息。他担心对存储技术不熟悉的企业无法区分真正的基准和市场营销手段之间的差别。

Hollis表示，“我们担心客户不能了解两者之间的差别。”“这里有一个道德底线的问题，EMC不会跨越这一底线。我们对新客户说的是我们为你进行和你真实环境相关的基准测试，让你看到我们的产品在你的运行环境中的真实性能。”

King和Illuminata的分析人员John Webster都对SPC在这一基准行动中扮演的角色感到怀疑，并且置疑该委员会进行这样竞争性测试的动机。

Webster在最近的专栏文章中表示，“我的问题是我们是否可以认为这一测试没有偏见，而且是独立的。”“不管我们所看到的事实——厂商X和竞争对手的产品进行对比性的基准测试，SPC并没有发表任何公开声明，说明公开这次基准测试结果的运作方针。”

EMC是Illuminata的客户之一，但是该厂商表示这和Webster的评论无关。

作为回应，Baker表示基准的测试过程是公开而透明的。“他们显然没有理解我们想要做什么。”“完全公开没有坏处，这也正是我们选择的方式。”

King对于SPC为什么让自己陷入这样独特的尴尬境地感到非常好奇。他表示，“SPC也许为基准打开了一扇门，让它进入了一个新的时代，这个时代和我们目前了解的一切都完全不同。”