科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网存储频道并行存储:前途光明 道路曲折

并行存储:前途光明 道路曲折

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

并行存储在科学计算和金融服务等计算强度大的领域里似乎看见了一丝成功的希望。并行存储有很多优点,但是也需要做很多准备工作。

作者:存储时代/许薇(编译) 来源:Stor-age.com 2008年11月10日

关键字: 集群 并行计算 Ansys 并行存储

  • 评论
  • 分享微博
  • 分享邮件

并行存储在科学计算和金融服务等计算强度大的领域里似乎看见了一丝成功的希望。并行存储有很多优点,但是也需要做很多准备工作。那些业务适合进行劳动密集型的编码、减少测试工作,同并行计算建立无缝的应用接口,这个问题的答案并不总是非常清晰。结果是这个市场是否会认真对待并行存储并使用这种技术也仍然是一个谜。

并行存储器生产厂商松下公司的营销副总裁Larry Jones表示,“对于很多厂商和企业来说,并行存储既是‘胡萝卜’也是‘大棒’。” Larry Jones还表示,“之所以说它是‘胡萝卜’,是因为这些机构了解并行存储能够利用现有的资源,让应用运行地更快。而之所以说它是‘大棒’是因为让调整一个应用以适应并行存储是一项非常花时间的工作,企业必须问问自己,这对于一个应用来说是否是过时的解决方案——还是能够用其他的厂商或者其他的解决方案来替代它。”

首先,需要将代码插入应用中,以便它能够利用并行存储,这项工作看起来非常简单。实际上编码工作可能只需要一个星期。但是,回归测试需要的时间很长——必须确认调整后的软件在每种可能的情况下都工作正常,计算结果可以被接受——这可能要花上六个月的时间。

行业调查公司Taneja Group的创始人Arun Taneja表示,“对每一种可能的情况都进行测算是非常重要的,因为你不会希望在三年以后,在某次事故中才发现自己的错误,而发现错误的代价可能让公司损失2亿美元。”

一些企业发现漫长的测试过程以及相关的风险都是很值得的。

Ansys的战略伙伴总监Barbara Hutchings表示,“我们销售给客户的计算机辅助工程软件都是供这些企业的工程师使用的,他们这些软件模拟他们设计的产品的性能。” Ansys是一家工程软件供应商。Barbara Hutchings还表示,“当我们为我们的客户提供的并行存储计算能够解决I/O瓶颈问题的时候,他们就能够很迅速地对他们产品的表现进行虚拟测试,更快地完成设计工作,更快地将产品推向市场。”

Hutchings介绍了汽车行业是如何应用并行计算以及这种应用是如何影响存储的:

“让我们假设你需要测量汽车后视镜的风阻,风阻情况可能会受到汽车状态的影响。在你做的每一次风阻模拟测试中,你都需要保存结果——如果你每次模拟都只记录一个结果,I/O时间不会形成瓶颈,你就不需要关心并行存储技术。但是,我们的客户希望更全面地了解模拟测试的情况,他们希望在每次模拟中保存10个不同的‘快照’结果。在测量后视镜风租震荡情况的例子中,必须保存数百个点的数据,因为模拟状况每时每刻都在变化。如果能够大幅度提高I/O性能,应用运行的效率就会更高。”

Ansys的汽车行业客户通常使用着大型的集群——比较常见的是48或96个CPU的集群。Hutchings 表示,“在这种环境中,I/O可能会在整个处理时间中占据10%到15%的比重,因此是非常重要的一个因素。” Hutchings还表示,“如果该公司使用的是更大一些的集群(例如100CPU的集群),那么I/O所占的比重可能会提高到50%。”

Hutchings表示,通过支持并行文件处理,Ansys为客户提供的软件就能够降低I/O时间。“在大型集群中进行的随时间变化的模拟中,这意味着模拟进行的时间可以比非并行存储环境中缩短一半——这是个了不起的变化,因为我们只需要花几个小时就可以完成。”

Hutchings表示,并行文件系统支持项目投资所带来的回报是非常难以量化,但是这对于满足高性能计算用户的需求来说是非常重要的一环。

Ansys的客户遇到的问题并不罕见。经纪公司使用并行计算能够更快地完成交易,最终可以产生1亿美元的利润。分析人士Taneja表示,“我首先将并行计算看成是一次商业机遇,我会建议我的手下去寻找能够真正利用这种技术的应用。” Taneja还表示,“科学模拟(例如石油天然气行业、科学实验室和汽车行业等)的计算量非常巨大,但华尔街的计算量也同样惊人。”

Panasas认为目前的科技和金融应用将在2009年形成一个数十亿美元的市场,不过另一些行业分析人士估计的规模却要小得多。Panasas的行业分析人士和Panasas业务伙伴所期待的是目前的并行存储技术——有时候被称为Parallel NFS——将成为NFS 4.1标准的一部分,并能够借此进入商业市场。

松下公司的Jones表示,“NFS 4.1标准在委员会层面上已经完成了,现在正在接受区域总监的检查。” Jones还表示,“然后他们会将意见反馈给我们,我们目前正在进行最后的工作,这是一个反复的过程。”

Jones希望NFS 4.1标准的推出不要迟于2009年。虽然Sun已经通过自己的Solaris操作系统、IBM和AIX也已经在产品中支持并行存储,但是Jones 认为,Internet Engineering Task Force (IETF)的NFS 4.1标准化工作才是关键,这个标准的出台将成为一个“转折点”,推动并行存储技术进入大型商用市场, Linux主流用户在这个市场中占据主导地位。Jones估计NFS 4.1的初步版本将在2009年初发布,完全版的4.1标准将在2009年下半年推出。他预计企业IT部门将在2010年见到Red Hat Inc. (Nasdaq: RHAT)和SuSE Inc.开始提供能够支持并行存储Linux产品。

调查公司Enterprise Management Associates的高级分析师Mike Karp表示,“并行I/O是一种提高性能的好方法,它目前能够应用于所有出现I/O瓶颈的计算环境之中,也可以适用于所有处理富媒体的应用。” Mike Karp还表示,“随着商业世界里的吞吐能力不断提高,并行将逐渐成为一种主流的技术。”

    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    往期文章
    最新文章