作者:Hitachi Vantara资深解决方案顾问 蔡慧阳
近年来,AI市场持续增长。IDC预计,全球AI计算市场规模将从2022年的195亿美元增长到2026年的346.6亿美元。其中,生成式AI计算市场规模将在2026年增长至109.9亿美元。生成式AI应用程序和工具的普及,正加速世界变革。
在中国,越来越多的企业开始参与研发或应用该技术,以期借此提高效率、启动创意工作并改善总体业务表现。根据Gartner截至4月底的企业调研报告数据,有6%的中国企业已经部署了生成式AI工具,50%的企业正在试点使用或计划在半年内部署使用相关工具。例如,国内某在线旅行代理商和某知名教育企业相继发布了各自领域的垂直大模型,来提高效率,加速创新。
制定长期战略计划,充分挖掘生成式AI技术的潜力
尽管AI技术蕴藏着巨大的潜力,但AI技术专家、媒体、企业决策者和公众正越来越多地讨论AI带来的各种重要而紧迫的风险。例如,AI聊天机器人存在隐私风险和安全漏洞,可能为用户带来重大的安全问题。此外,AI风险还包括不准确信息、系统性偏见、道德风险等。
近期,在我国,国家互联网信息办公室等七部门联合发布了《生成式人工智能服务管理暂行办法》,进一步落实了对生成式AI技术的监管,明确了生成式AI服务提供者应当满足合规要求。这就意味着,在充分了解各类生成式AI应用和工具的特点的前提下规范使用它们,才能切实利用该技术推动创新和生产力的进步。
具有前瞻性的企业已认识到生成式AI技术的潜力,并将研究、试验和拥抱该技术设置为高优先级项目。为助力企业更好地拥抱AI技术,Hitachi Vantara提出以下指导原则:
了解AI工作负载类型,做出明智的存储决策
三年前,IDC曾预测,到2023年,将有5亿个新的数字应用程序和服务问世。值得注意的是,这些新的应用程序中有许多都是新型工作负载。到目前为止,基于AI的工作负载让企业感到沉重,需要企业的存储解决方案能够满足数据要求,以支持大规模的模型训练工作。例如,企业为了支持计算平台的运行,需确保其使用的存储技术能够在整个数据生命周期中满足GPU(图形处理单元)的需求。
大致上,AI工作负载可以分为五大类型,包括机器学习 (ML)、深度学习 (DL)、推荐系统 (Recommender System)、自然语言处理 (NLP) 和计算机视觉 (Computer Vision)。这些工作负载会产生大量输入/输出 (IO),要求系统能同时为混合工作负载提供高IOPS和高吞吐率。
例如,在DL的模型训练中,GPU可以执行所需的大量计算。但是,GPU对IO要求很高。如果GPU需要等待来自后端存储的数据,那么GPU就很难得到充分利用。这将导致DL平台虽然有足够的GPU算力来构建模型,但整个过程会变慢,因为后端的存储系统出现了瓶颈,无法匹配前端的计算能力。
如果采用传统的解决思路,这需要跨多个存储系统进行横向扩展,可能会产生过多的冗余数据以及复杂的存储管理问题。因此,根据AI的新型工作负载选择与之相匹配的数据存储平台现已成为企业管理的新常态。
Hitachi Vantara“双管齐下”策略,助力企业抓住AI带来的机遇
为帮助企业优化数据存储,以支持其拥抱AI技术,Hitachi Vantara采取了“双管齐下”的策略。
一方面,Hitachi Vantara将AI和ML集成到中央管理系统Hitachi Ops Center等核心产品中,进一步增强解决方案的AI属性,帮助客户更好地利用AI技术。例如,Hitachi Ops Center通过将AI和ML应用于报告、性能优化和智能数据管理,构建易于使用、基于云的健康监测系统。其集成的实时分析和自动化功能可将人工存储管理任务最多减少70%,将根本原因分析效率提升4倍。Hitachi Ops Center Clear Sight是一款由AI驱动的云管理工具,提供简化的、基于云的报告和分析,以支持VSP系列存储系统。
通过Hitachi Ops Center,企业不仅可以保障数据的可用性并简化其运营,还能微调系统性能,以降低系统能耗和减少冷却所需的能量,从而加速实现数据中心绿色转型,帮助减少公司的整体碳足迹。
Hitachi Ops Center
另一方面,Hitachi Vantara通过高性能并行文件系统HCSF (Hitachi Content Software for File)、融合和超融合解决方案UCP (Hitachi Unified Compute Platform) 系列、对象存储平台HCP (Hitachi Content Platform) 等,助力客户管理庞大的数据集并为AI和ML工作负载提供高性能。
具体而言,HCSF既能适配传统高性能计算,也能满足高性能数据分析和其他GPU加速场景对文件存储的多维极致要求。而HCP支持各类高性能工作负载,从实时日志到物联网,以及高性能数据库的交易日志;在面对非结构化数据分析、ML、DL等工作负载时,HCP也能提供全新价值。
写在最后
随着越来越多的企业开始参与研发或应用AI技术,企业需要抓住机会进行试验,寻找适合自身发展进程的工具,从实践中不断汲取经验和教训并加以改善。几十年来,Hitachi Vantara与母公司日立集团一直对AI研发进行大力投资,推动AI技术广泛应用于内部流程和产品开发。未来,Hitachi Vanara将推出更多创新产品和解决方案,帮助企业进一步挖掘AI技术的潜力。
好文章,需要你的鼓励
存储扩展专家Lucidity将其AutoScaler平台扩展至Kubernetes容器编排平台,帮助企业控制存储支出。该公司表示,Kubernetes中的持久卷常常成为隐形浪费源,虽然Kubernetes可自动扩展实例数量,但底层存储通常未被充分利用。新服务可为亚马逊EKS提供持久卷的自动扩缩容,声称可为客户节省高达70%的云块存储费用。
腾讯ARC实验室推出AudioStory系统,首次实现AI根据复杂指令创作完整长篇音频故事。该系统结合大语言模型的叙事推理能力与音频生成技术,通过交错式推理生成、解耦桥接机制和渐进式训练,能够将复杂指令分解为连续音频场景并保持整体连贯性。在AudioStory-10K基准测试中表现优异,为AI音频创作开辟新方向。
超过1.8万Spotify用户加入名为"Unwrapped"的集体组织,通过去中心化数据平台Vana将个人听歌数据打包出售给AI开发者。该组织已将1万用户的艺术家偏好数据以5.5万美元价格售出,用于构建新型流媒体数据分析工具。Spotify对此发出警告,称该行为违反开发者政策和商标权,禁止将平台数据用于机器学习模型构建。但Unwrapped团队坚持用户拥有控制和变现个人数据的权利,双方就数据所有权展开争议。
Meta与特拉维夫大学联合研发的VideoJAM技术,通过让AI同时学习外观和运动信息,显著解决了当前视频生成模型中动作不连贯、违反物理定律的核心问题。该技术仅需添加两个线性层就能大幅提升运动质量,在多项测试中超越包括Sora在内的商业模型,为AI视频生成的实用化应用奠定了重要基础。