[中国,深圳,2022年11月8日]华为全联接大会2022中国深圳站期间上,华为常务董事、ICT基础设施业务管理委员会主任汪涛,发布业界首个面向数据中心Diskless架构的微存储——华为OceanStor Micro系列,助力云和互联网企业打造绿色集约、安全可靠的数据中心,破解海量数据爆发式增长带来的高效数据存储难题。
华为发布业界首个面向数据中心Diskless架构的微存储
华为OceanStor Micro微存储本质上是传统盘框的智能化升级,以基于NOF+技术的高速网络连接Diskless服务器,支持上层分布式软件的透明访问,实现计算和存储资源独立弹性扩展,消除两者的生命周期管理差异。
华为闪存存储领域总裁黄涛详细阐述了OceanStor Micro微存储的创新设计理念。黄涛表示,海量数据的爆发式增长,给全球云和互联网数据中心带来四大挑战:
首先,云和互联网数据中心普遍采用基于本地盘的服务器搭建存储系统,存算无法独立弹性扩展。同时,由于数据需要长期保存,数据比CPU算力的生命周期(3-4年)至少长3年以上,这种差异导致本地盘服务器架构下,大量数据在CPU算力升级时被迫迁移,不仅费时费力,还会增加数据丢失和业务中断的风险。
其次,云和互联网数据中心通常采用三副本等简单技术保证数据可靠性,一份数据需保存三个副本,与专业存储成熟的数据缩减方式相比,会造成机柜空间极大浪费,同时也带来能耗高的问题,无法满足数据中心绿色节能的常态化要求。
再次,大规模数据中心本地盘数量通常超过10万个,海量数据盘的健康管理也成为一大难题。
此外,云和互联网数据中心应用多样、需求各异,承载应用数据的存储面临兼容性、性能、安全等多重挑战,使得分布式软件及应用的开发变得极为复杂。
面对以上关键挑战,华为推出微存储产品,通过四大创新,用专业存储能力助力大规模云和互联网数据中心实现绿色节能、高性能、高可靠。
创新一:微存储面向Diskless服务器架构设计,发挥存算分离的优势,实现计算和存储独立弹性扩容,CPU算力升级时免数据迁移,同时叠加场景化数据缩减编码等关键技术,实现机柜空间和设备能耗节省40%。
创新二:通过FLASHLINK®智能盘控协同算法等软硬件结合技术,大幅优化数据处理效率,IOPS性能提升30%,进而提升上层应用性能。
创新三:通过双控Active-Active架构、硬盘亚健康管理和慢盘智能优化等多重可靠性技术,实现系统级可靠,数据盘故障可预测、可视可管,大幅降低运维难度。
创新四:通过微存储和Diskless服务器之间的网络技术创新,基于性能无损的NOF+网络,将复杂的数据存储能力卸载到微存储,从而实现Ceph、Lustre等分布式软件的开发简化和性能加速。
黄涛表示:“推出微存储产品是华为打造多云战略的关键一步,我们将专业存储的软硬件能力沉淀到微存储,希望通过微存储重构数据中心服务器架构,微存储将成为数据中心的必备通用标准部件,助力构建多云时代数据中心可靠存储底座。”
了解更多华为存储产品和解决方案,请参阅:https://e.huawei.com/cn/products/storage
华为公司简介
华为创立于1987年,是全球领先的ICT(信息与通信)基础设施和智能终端提供商。我们致力于把数字世界带入每个人、每个家庭、每个组织,构建万物互联的智能世界:让无处不在的联接,成为人人平等的权利,成为智能世界的前提和基础;为世界提供多样性算力,让云无处不在,让智能无所不及;所有的行业和组织,因强大的数字平台而变得敏捷、高效、生机勃勃;通过AI重新定义体验,让消费者在家居、出行、办公、影音娱乐、运动健康等全场景获得极致的个性化智慧体验。目前华为约有19.5万员工,业务遍及170多个国家和地区,服务30多亿人口。欲了解更多详情,请参阅华为官网:www.huawei.com
好文章,需要你的鼓励
这项研究介绍了VisCoder,一个经过专门微调的大语言模型,用于生成可执行的Python可视化代码。研究团队创建了包含20万样本的VisCode-200K数据集,结合了可执行代码示例和多轮修正对话。在PandasPlotBench基准测试中,VisCoder显著优于同等规模的开源模型,甚至在某些方面超越了GPT-4o-mini。研究还引入了自我调试评估模式,证明了反馈驱动学习对提高代码可执行性和视觉准确性的重要性。
这项研究提出了"适应再连续学习"(ACL)框架,一种创新的方法解决预训练模型在连续学习中的稳定性-可塑性困境。通过在学习新任务前先对模型进行适应性调整,ACL使模型既能更好地学习新知识(提高可塑性),又能保留已有知识(维持稳定性)。实验证明,该框架能显著提升各种连续学习方法的性能,为解决人工智能系统中的"灾难性遗忘"问题提供了有效途径。
这篇研究首次关注了CLIP模型文本编码器的对抗鲁棒性问题,提出了LEAF方法(Levenshtein高效对抗性微调)来增强文本编码器的稳健性。实验表明,LEAF显著提高了模型在面对文本扰动时的性能,在AG-News数据集上将对抗准确率从44.5%提升至63.3%。当集成到Stable Diffusion等文本到图像生成模型中时,LEAF显著提高了对抗噪声下的生成质量;在多模态检索任务中,它平均提高了10个百分点的召回率。此外,LEAF还增强了模型的可解释性,使文本嵌入的反演更加准确。
BenchHub是由韩国KAIST和Yonsei大学研究团队开发的统一评估平台,整合了38个基准中的30万个问题,按技能、学科和目标类型进行精细分类。研究显示现有评估基准存在领域分布偏差,而BenchHub通过自动分类系统和用户友好界面,让用户能根据特定需求筛选评估数据。实验证明模型在不同领域的排名差异巨大,强调了定制化评估的重要性。该平台支持多语言扩展和领域特化,为研究人员和开发者提供了灵活评估大语言模型的强大工具。