2022年12月12日-15日,第十八届全国高性能计算学术年会(CCF HPC China 2022)在线上举办。华为DataRobot HPDA存储集群解决方案凭借出色的应用加速、数据跨域管理和全栈敏捷设计能力,荣获最佳解决方案奖。华为HPDA存储集群解决方案首席架构师郭洪星围绕《HPDA存储集群:以数据存储创新,助超算高质量发展》发表主题演讲。
新型应用与东数西算战略为超算系统带来挑战
随着新型应用日新月异、东数西算工程加速推进,超算系统面临的挑战也愈加艰巨。
首先,新型应用带来的大规模网络并发需求、系统可靠性问题,及少量存储节点慢导致的短木板效应,都对存储系统的全栈协同、高效处理能力提出了更高的要求。
其次,在东数西算、东数西存的牵引下,跨地域、跨集群的数据共享与流动也带来了数据管理、流动、使用方面的困难以及安全可信的问题。
郭洪星表示,面向多元算力和海量数据的数据密集型超算(HPDA)已成为产业共识,支持混合负载、多协议互通,具备超高密设计已成为业界对HPDA存储系统的基本要求,为迎接高性能计算所面临的全新挑战,华为打造了业界首个数据加速引擎加持的HPDA全栈方案—华为DataRobot HPDA存储集群解决方案,满足海量数据跨地域高性能处理的要求。
数据应用加速:DataTurbo应用加速引擎,使能HPDA应用极致性能
DataTurbo是华为DataRobot HPDA存储集群解决方案中联接应用与存储的数据加速引擎组件,由应用加速引擎和全局数据管理组件组成。
应用加速引擎内置了自研网卡芯片和HPC、大数据加速套件,具备I/O聚合算法、统一元数据网关、芯片I/O卸载等黑科技,可实现应用处理效率数倍提升,同时结合OceanStor存储的全局共享存储能力,在面向E级超算场景下,可实现万级计算客户端并发访问,且单集群达到50TB/s带宽,10亿IOPS能力,性能领先业界30%。
数据跨域管理:DataTurbo全局数据管理组件,提升跨域数据调度效率
全局数据管理组件可以基于统一元数据,构建全局命名空间,实现跨数据统一访问;支持智能的全文检索,打破地域限制,让数据看得见;并可通过智能调度策略,根据数据温热冷分级,可实现3倍数据调度效率提升。
一站式交付快速上线,统一运维,解决数据管理难的问题
华为DataRobot HPDA存储集群方案提供了包含基础柜、计算柜和存储柜在内的三类模块化硬件组合,基于最佳实践的典配机柜设计,不同规模业务场景可按需选择部署、灵活扩展。同时具备一站式交付能力,可帮助用户业务上线时间缩短50%。
该方案还提供全栈统一运维平台,能够将多个数据中心的存储、计算、网络、容器等资源统一管理,实现管理“一张网”;同时提供从资源规划、端到端资源发放、设备运维,到资源优化全生命周期管理及AI智能运维,相比传统管理模式,能够实现5倍的管理效率提升和分钟级问题定界,帮助企业实现运维管理无忧。
好文章,需要你的鼓励
根据全球移动通信协会5G Americas的最新研究,5G网络在商用五年后达到了历史性里程碑。到2024年底,全球5G连接数将达22.5亿,增速是4G的四倍。预计到2029年,5G连接将增至83亿,占全球无线技术的59%。北美率先实现5G和4G LTE商用网络数量持平,5G覆盖率达77%。拉丁美洲5G连接数一年内翻倍至7600万。这些数据凸显了5G技术的快速普及,远超前几代无线技术。
在 AI 热潮下,许多 CEO 急于部署 AI 技术以提高效率和创新。然而,如果没有首先调整组织文化、人员和战略目标,仓促应用 AI 可能会加剧混乱。本文探讨了 CEO 在采用 AI 前需要考虑的关键问题,强调了理解组织需求、建立包容性文化以及负责任地使用 AI 的重要性。
前 Snap 高管 Alex Mashrabov 推出了新的生成式视频平台 Higgsfield AI,专注于 AI 视频中的电影级摄像机运动。该平台通过创新的控制引擎,让用户能够指导复杂的摄像机动作,如推镜头、快速变焦等。Higgsfield 不仅解决了视频风格问题,还着重解决了结构性挑战,如长序列中的角色和场景一致性。该平台已吸引了业内知名人士的关注,有望为创作者带来全新的视觉叙事方式。
Pure Storage 推出新型存储平台 FlashBlade//EXA,旨在解决 AI 工作负载中的元数据挑战。该平台基于 FlashBlade 基础架构,通过独立扩展数据和元数据来提高并发性能。它支持多模态 AI 模型,初始读取性能可达 10TB/秒。该平台兼容其他厂商的数据节点,同时利用 Pure Storage 自身技术,为企业级 AI 应用提供灵活、高性能的存储解决方案。