作者:Hitachi Vantara资深解决方案顾问 蔡慧阳
近年来,AI市场持续增长。IDC预计,全球AI计算市场规模将从2022年的195亿美元增长到2026年的346.6亿美元。其中,生成式AI计算市场规模将在2026年增长至109.9亿美元。生成式AI应用程序和工具的普及,正加速世界变革。
在中国,越来越多的企业开始参与研发或应用该技术,以期借此提高效率、启动创意工作并改善总体业务表现。根据Gartner截至4月底的企业调研报告数据,有6%的中国企业已经部署了生成式AI工具,50%的企业正在试点使用或计划在半年内部署使用相关工具。例如,国内某在线旅行代理商和某知名教育企业相继发布了各自领域的垂直大模型,来提高效率,加速创新。
制定长期战略计划,充分挖掘生成式AI技术的潜力
尽管AI技术蕴藏着巨大的潜力,但AI技术专家、媒体、企业决策者和公众正越来越多地讨论AI带来的各种重要而紧迫的风险。例如,AI聊天机器人存在隐私风险和安全漏洞,可能为用户带来重大的安全问题。此外,AI风险还包括不准确信息、系统性偏见、道德风险等。
近期,在我国,国家互联网信息办公室等七部门联合发布了《生成式人工智能服务管理暂行办法》,进一步落实了对生成式AI技术的监管,明确了生成式AI服务提供者应当满足合规要求。这就意味着,在充分了解各类生成式AI应用和工具的特点的前提下规范使用它们,才能切实利用该技术推动创新和生产力的进步。
具有前瞻性的企业已认识到生成式AI技术的潜力,并将研究、试验和拥抱该技术设置为高优先级项目。为助力企业更好地拥抱AI技术,Hitachi Vantara提出以下指导原则:
了解AI工作负载类型,做出明智的存储决策
三年前,IDC曾预测,到2023年,将有5亿个新的数字应用程序和服务问世。值得注意的是,这些新的应用程序中有许多都是新型工作负载。到目前为止,基于AI的工作负载让企业感到沉重,需要企业的存储解决方案能够满足数据要求,以支持大规模的模型训练工作。例如,企业为了支持计算平台的运行,需确保其使用的存储技术能够在整个数据生命周期中满足GPU(图形处理单元)的需求。
大致上,AI工作负载可以分为五大类型,包括机器学习 (ML)、深度学习 (DL)、推荐系统 (Recommender System)、自然语言处理 (NLP) 和计算机视觉 (Computer Vision)。这些工作负载会产生大量输入/输出 (IO),要求系统能同时为混合工作负载提供高IOPS和高吞吐率。
例如,在DL的模型训练中,GPU可以执行所需的大量计算。但是,GPU对IO要求很高。如果GPU需要等待来自后端存储的数据,那么GPU就很难得到充分利用。这将导致DL平台虽然有足够的GPU算力来构建模型,但整个过程会变慢,因为后端的存储系统出现了瓶颈,无法匹配前端的计算能力。
如果采用传统的解决思路,这需要跨多个存储系统进行横向扩展,可能会产生过多的冗余数据以及复杂的存储管理问题。因此,根据AI的新型工作负载选择与之相匹配的数据存储平台现已成为企业管理的新常态。
Hitachi Vantara“双管齐下”策略,助力企业抓住AI带来的机遇
为帮助企业优化数据存储,以支持其拥抱AI技术,Hitachi Vantara采取了“双管齐下”的策略。
一方面,Hitachi Vantara将AI和ML集成到中央管理系统Hitachi Ops Center等核心产品中,进一步增强解决方案的AI属性,帮助客户更好地利用AI技术。例如,Hitachi Ops Center通过将AI和ML应用于报告、性能优化和智能数据管理,构建易于使用、基于云的健康监测系统。其集成的实时分析和自动化功能可将人工存储管理任务最多减少70%,将根本原因分析效率提升4倍。Hitachi Ops Center Clear Sight是一款由AI驱动的云管理工具,提供简化的、基于云的报告和分析,以支持VSP系列存储系统。
通过Hitachi Ops Center,企业不仅可以保障数据的可用性并简化其运营,还能微调系统性能,以降低系统能耗和减少冷却所需的能量,从而加速实现数据中心绿色转型,帮助减少公司的整体碳足迹。
Hitachi Ops Center
另一方面,Hitachi Vantara通过高性能并行文件系统HCSF (Hitachi Content Software for File)、融合和超融合解决方案UCP (Hitachi Unified Compute Platform) 系列、对象存储平台HCP (Hitachi Content Platform) 等,助力客户管理庞大的数据集并为AI和ML工作负载提供高性能。
具体而言,HCSF既能适配传统高性能计算,也能满足高性能数据分析和其他GPU加速场景对文件存储的多维极致要求。而HCP支持各类高性能工作负载,从实时日志到物联网,以及高性能数据库的交易日志;在面对非结构化数据分析、ML、DL等工作负载时,HCP也能提供全新价值。
写在最后
随着越来越多的企业开始参与研发或应用AI技术,企业需要抓住机会进行试验,寻找适合自身发展进程的工具,从实践中不断汲取经验和教训并加以改善。几十年来,Hitachi Vantara与母公司日立集团一直对AI研发进行大力投资,推动AI技术广泛应用于内部流程和产品开发。未来,Hitachi Vanara将推出更多创新产品和解决方案,帮助企业进一步挖掘AI技术的潜力。
好文章,需要你的鼓励
来自香港科技大学和MiniMax的研究团队开发了SynLogic,一个可合成35种逻辑推理任务的框架与数据集,填补了AI逻辑训练资源缺口。研究表明,在SynLogic上进行强化学习训练显著提升了模型逻辑推理能力,32B模型在BBEH测试中超越了DeepSeek-R1-Distill模型6个百分点。更值得注意的是,将SynLogic与数学和编程数据混合训练不仅提高了这些领域的学习效率,还增强了模型的泛化能力,表明逻辑推理是构建通用AI推理能力的重要基础。
这项研究揭示了大型语言模型的惊人能力:只需两个特殊训练的向量,冻结的语言模型就能在一次计算中生成数百个准确词汇,而非传统的逐词生成。研究者发现,这种能力要求特定的输入排列方式,且生成速度比自回归方法快约279倍。这一发现不仅展示了语言模型未被充分探索的并行生成潜力,还为快速文本重建开辟了新方向。
腾讯混元团队提出的"ConciseR"是一种通过两阶段强化学习实现大模型简洁推理的新方法。研究遵循"先走后跑"原则,先确保模型具备准确推理能力,再优化输出简洁性。第一阶段通过改进的群体相对策略优化(GRPO++)提升推理能力,第二阶段通过长度感知的群体相对策略优化(L-GRPO)减少输出长度。实验结果显示,该方法在AIME、MATH-500等多个基准测试中既减少了输出长度(平均20%以上),又保持或提高了准确率,展现出高效率-高准确率的理想平衡。
这项由香港科技大学团队开展的研究首次全面评估了压缩对大语言模型Agent能力的影响。研究发现,虽然4位量化能较好地保留工作流生成和工具使用能力(仅下降1%-3%),但在实际应用中性能下降达10%-15%。团队提出的ACBench基准测试横跨工具使用、工作流生成、长文本理解和实际应用四大能力,评估了不同压缩方法对15种模型的影响。结果显示,AWQ量化效果最佳,蒸馏模型在Agent任务上表现不佳,大型模型对压缩更具韧性。研究还提出ERank等创新分析方法,为实际部署提供了切实指导。