用于模拟各类场景的高性能计算(HPC)类工作负载,总会产生大量有待筛选的数据。事实上,这也正是HPC与AI的最大区别:前者输入数据少,输出数据多;后者则需要输入大量信息,通过训练转化为神经网络中的少量参数和权重。
但在HPC模拟所生成的数万亿个粒子当中,真正值得研究人员关注的可能只是几百或几千个粒子的实际行为。
洛斯阿拉莫斯国家实验室副部门负责人加里·格里德 (Gary Grider)在采访中表示,“这就像是大海捞针,实际要寻找的只是总体数据中的小小一部分。”这个问题在体量较小的数据集上相对好些,但阿拉莫斯实验室却向来以超大规模研究著称。“我们可能会运行一个内存占用量高达PB级别的实验,而它往往每隔几分钟就输出一次PB级数据”,且整个过程会持续半年之久。
为了筛选这些数据,科学家们使用一套分析工具来查明到底哪些信息真正具有价值。过去几年来,阿拉莫斯实验室一直在想办法让分析负载跟数据尽可能接近,甚至考虑把计算转移到闪存或硬盘控制器上。从某种意义上说,阿拉莫斯实验室及其合作伙伴想要构建一套大型磁盘控制器集群,利用上面的空闲时钟周期来处理分析功能。
阿拉莫斯实验室的研究人员已经取得了一定进展。通过与SK海力士合作,他们实现了将规约功能引入控制器的概念验证,借此获得了几个数量级的性能改进。
格里德表示,“我们已经证明,通过对规约这类简单分析的全速执行,磁盘驱动器自身就能从磁盘内提取数据,从而彻底消除了传输带宽产生的成本。”
跟能源部下辖的其他HPC实验室一样,阿拉莫斯实验室同样采用分层存储架构,目前已经开始在更大的磁盘池上做类似的探索。为了更进一步,阿拉莫斯实验室与希捷签订了合作研发协议。
“事实证明,希捷方面也在尝试将部分负载转移到存储设备上。他们已经拥有原型方案,处理器就部署在磁盘驱动器旁边。”
但大家都知道,机械硬盘与闪存不同。闪存内部不存在移动部件,而且在使用寿命之内具有相对更可预测的故障率。相比之下,硬盘驱动器内部存在机械结构,随时都有可能发生故障。这就要求对硬盘做一定程度的弹性化改造——换言之,引入擦除码或RAID。
“但这也会增加分析流程的复杂度。要进行分析,我们必须了解数据是什么。但磁盘驱动器往往做不到它一点,它只会把所有信息都看作数据块。”
因此加里德的团队必须从零开始构建一套专用于存储加速分析的文件系统,否则一切都只是空谈。
“我们不希望这事只有阿拉莫斯实验室自己参与,毕竟我们后续得定期采购、还需要厂商提供售后支持。”
于是,阿拉莫斯实验室选择对现有文件系统做“魔改”,选择的则是Sun Microsystems早年间打造的Zettabyte文件系统。这是一套专门管理大型弹性磁盘驱动器池的系统,如今被人们亲切称为Spinning Rust。ZFS还能配合Gluster实现多节点扩展,Gluster则是Red Hat当初收购来的集群文件系统。至于分析任务,工程师们将努力调整文件系统,让它能与Apache的分析堆栈配合运作。
“我们希望努力打造出任何人都能使用的标准工具。”
虽然阿拉莫斯实验室及其合作伙伴有望构建起一套能够直驱分析处理的文件系统,但其初期部署难度绝不是一般用户所能承受的。
因此,格里德希望进一步完善文件系统和分析工具,吸引标准机构和软件开发者为其添加更多功能,最终打造出一款面向主流受众的新方案。
格里德也承认,这方面还有很多工作要做。“要达到消费级应用的程度,可谓是任重而道远。我们接下来要做的是将其转化成某种对象模型,而不再是文件中的一个个块。”
目前,阿拉莫斯实验室的初步目标是将少量分析功能转移至磁盘控制器。
“我们还没有将完整的分析工作负载转移到磁盘驱动器上,目前做的主要是规约还有一部分合并。但总体来看,规约已经可以在设备层次上实现,之后还有合并和排序这类通常在闪存或内存中实现的操作。”
目前最大的障碍并不是算力,而是磁盘所内置的有限内存。格里德坦言,“现在磁盘的内置内存太小,不足以做排序,只能完成选择操作。所以接下来的问题是,我们要怎样增加磁盘的内置内存容量来提升操作复杂度。”
好文章,需要你的鼓励
Docker公司通过增强的compose框架和新基础设施工具,将自己定位为AI智能体开发的核心编排平台。该平台在compose规范中新增"models"元素,允许开发者在同一YAML文件中定义AI智能体、大语言模型和工具。支持LangGraph、CrewAI等多个AI框架,提供Docker Offload服务访问NVIDIA L4 GPU,并与谷歌云、微软Azure建立合作。通过MCP网关提供企业级安全隔离,解决了企业AI项目从概念验证到生产部署的断层问题。
中科院联合字节跳动开发全新AI评测基准TreeBench,揭示当前最先进模型在复杂视觉推理上的重大缺陷。即使OpenAI o3也仅获得54.87%分数。研究团队同时提出TreeVGR训练方法,通过要求AI同时给出答案和精确定位,实现真正可追溯的视觉推理,为构建更透明可信的AI系统开辟新路径。
马斯克的AI女友"Ani"引爆全球,腾讯RLVER框架突破情感理解边界:AI下半场竞争核心已转向对人性的精准把握。当技术学会共情,虚拟陪伴不再停留于脚本应答,而是通过"心与心的循环"真正理解人类孤独——这背后是强化学习算法与思考模式的化学反应,让AI从解决问题转向拥抱情感。
PyVision是上海AI实验室开发的革命性视觉推理框架,让AI系统能够根据具体问题动态创造Python工具,而非依赖预设工具集。通过多轮交互机制,PyVision在多项基准测试中实现显著性能提升,其中在符号视觉任务上提升达31.1%。该框架展现了从"工具使用者"到"工具创造者"的AI能力跃迁,为通用人工智能的发展开辟了新路径。