数据就是价值,但是收集数据,并从数据中挖掘价值的愿景与企业所面临的现实之间仍有不可逾越的鸿沟。其中海量数据让存储架构也在发生变化,构建面向更大容量、更灵活的数据架构成为企业关注的问题。
近日,希捷科技举行了“A New Way to Data——数据新径界”希捷科技Datasphere 2021线上峰会。希捷科技全球高级副总裁暨中国区总裁孙丹在采访中表示,释放数据潜力,需要从存储层面解决两大挑战,一个是存储成本,一个是管理难题。
“存储更多的数据面临着包括基础设施成本支出、运营支出以及人力资源支出等成本,而存储更多的数据具备包括洞察客户需求,提高运营效率以及创造营收机会等价值,企业需要在数据成本和价值中间进行妥协。”孙丹认为今天面对海量数据,企业应该思考如何在数据成本和数据价值之间进行妥协,来实现最优的数据存储和价值挖掘。
基于企业的需求以及数据趋势的洞见,希捷一直以来不断进行产品和技术创新,值得一提的是,截止到2021年3月,希捷存储产品的总出货量达到了3ZB,极大地解决了海量数据增长带来的存储问题。
“每年,我们投入10亿美元研发成本,用于提升数据存储效率,加速数据流动。”孙丹分享到。包括通过HAMR和MACH.2等技术实现容量和性能进阶,其开创性的技术为业界数据存储带来了新思路。产品层面,希捷银河(Exos)、希捷雷霆(Nytro)系列企业级存储产品,以及高密度、高效率、模块化与经济性等优势并存的存储系统产品,从不同层面满足了企业的需求,在端、边缘和云之间高效移动数据,打通数据流通的各个环节,让企业为未来无限的数据增长做好准备。
为解决分布式企业海量数据挑战,希捷推出边缘到云的海量存储平台Lyve,希捷Lyve打破固有模式的束缚,专为简单安全的大容量边缘数据存储、迁移以及数据传输任务而设计,以创新性的方式解决了当前数据基础架构中的数据移动以及管理等多项挑战。
“Lyve,是从硬件到硬软一体化的解决方案,是我们服务客户的重型产品。希捷并不是要做公有云服务,我们是通过提供存储产品来支持数据中心。Lyve系统目的就是希望客户能够把存储的TCO降下来,帮助客户高效使用大数据的存储。“孙丹谈到研发Lyve创新产品的初衷。”比如Lyve解决方案中的CORTX开源智能对象存储软件,能够垂直整合希捷的大容量、多磁臂硬盘,通过与硬件的松耦合,全栈开源免费、支持数据本地标注和检索等特性,实现对大容量高性能硬盘的存储集群TCO的降低,并很好的适用AI、机器学习、HPC等场景。“孙丹进一步解释到。
希捷希望更多的传统客户能够更低成本、更高效地利用大容量硬盘,“客户一定要基于场景和架构选择硬盘。包括谷歌、BAT等互联网厂商因为其软件和系统设计能力很强,可以在早期采用大容量硬盘,获得TCO和容量方面的收益。在服务大客户的同时,我们希望助力更多的传统企业和用户来实现低成本的大容量硬盘的应用。”孙丹最后分享到。
好文章,需要你的鼓励
这项由加州大学圣地亚哥分校和微软研究院合作开发的REAL框架,通过程序分析反馈训练大型语言模型生成高质量代码。与传统方法不同,REAL采用强化学习将代码安全性和可维护性作为奖励信号,不依赖人工标注或特定规则。研究在多个数据集上的实验表明,REAL在保证功能正确性的同时显著提高了代码质量,有效解决了"即兴编程"中的安全漏洞和维护性问题,为AI辅助编程提供了新的范式。
加州大学伯克利分校与Meta FAIR研究团队开发了"Self-Challenging"框架,让大语言模型通过自己创建和解决任务来提升能力。该方法引入创新的"Code-as-Task"格式,包含指令、验证函数、示例解决方案和失败案例,确保生成的任务既可行又有挑战性。在工具计算、网页浏览、零售服务和航班预订四种环境测试中,仅使用自生成训练数据,Llama-3.1-8B模型性能提升了两倍多,证明AI可以通过自我挑战实现有效学习,减少对人类标注的依赖。
南洋理工大学与SenseTime Research合作提出了PoseFuse3D-KI,一种创新的人体中心关键帧插值框架。该方法将3D人体模型信息融入扩散过程,解决了现有技术在处理复杂人体动作时产生扭曲结果的问题。研究团队开发了专门的SMPL-X编码器直接从3D空间提取几何信息,并设计了融合网络将3D线索与2D姿态无缝整合。他们还构建了CHKI-Video数据集,包含2,614个视频片段及完整的人体标注。实验结果显示,PoseFuse3D-KI在PSNR上提升9%,LPIPS减少38%,显著超越现有方法。
这项研究提出了LongGuide算法,解决了大型语言模型在长文本生成任务中的局限性。研究团队发现,仅依靠上下文学习无法使模型充分掌握文本的语言和格式特性。LongGuide通过自动生成两种指导原则:度量指导原则和输出约束指导原则,显著提升了模型性能。在七种长文本生成任务中,该方法使开源和闭源模型的ROUGE-L评分平均提高约6%。LongGuide具有通用性强、易于学习、成本效益高等优点,为提升AI长文本生成能力提供了新方向。