经典的“木桶理论”告诉我们,决定桶能装多少水,是由最低的那块木板来决定的。
同样目前数据在整个IT系统中的运行过程,也有一个瓶颈一直存在,就是存储介质的性能。
互联网催生了海量应用,海量应用诞生了海量的不同种类的数据。要让多元的数据发挥价值,不仅需要更强的处理器,更快的网络还有最终数据存储的读写能力。
今天算力发展喜人,多元的数据,催生着多元的算力的出现,通用算力CPU、人工智能算力GPU、TPU、NPU等处理器的蓬勃发展,X86、ARM架构等算力的架构发展。
网络技术发展喜人,移动互联、视频、直播等对于海量的数据传输需求,催生了数据中心的网络带宽100G、400G端口的发展。华为早在2018年正式发布全新400G光网络商用解决方案,支撑运营商全业务场景的400G网络快速部署。
同样存储技术在性能方面的发展并不喜人,海量的数据催生了存储技术的发展,介质上从磁盘到NAND、3D NAND的固态盘,接口从SAS、SATA、PCIE、NVME传输协议的升级。但是我们看到存储在单位容量增长的速度,远远大于单位存储传输性能的速度。数据在存储介质和外界交换的传输速度成为整个IT系统的瓶颈。
在积极突破存储瓶颈的方向上,目前提出有三种方法,一、直接采用全新的架构和技术重新定义存储技术。二、采用分布式存储,让数据分散传输来提升整个IT系统的效率。三、研发新的存储介质,包括原子存储技术和DNA存储技术。
研发新的架构和技术。在不久前的2021华为全球分析师大会,华为发布了迈向智能世界2030的九大技术挑战与研究方向,其中就有针对IT架构中最后的挑战,存储性能提升给出了方向,包括构建提升存储性能百倍的新存储技术研究方向。
华为希望从突破冯诺依曼架构来提升存储能力。目前的IT架构基于冯诺依曼架构,数据在CPU、内存、存储介质之间移动,其中任何一个环境的性能差,都会对整个系统带来性能挑战。
我们看到CPU的性能一直在提升,内存的性能也在提升,网络的带宽也在提升,存储的容量也在提升,但是存储的性能却一直是瓶颈,包括当前的PCIE、NVME等存储接口的带宽速度远跟不上外部网络的性能增长。
华为的思路是要提升存储性能,需要突破冯诺依曼架构的限制,从以CPU为中心,转向以内存为中心、以数据为中心,从搬移数据转向搬移计算,打破性能墙。
还有一种方案提高数据存取的效率,当面临海量数据存取的时候,用最少的存取,实现最大的应用。这就是是分布式存储。
比如现在火热的IPFS就是一种比较火热的分布式存储系统,其核心概念是基于内容寻址、版本化、点对点的超媒体传输协议。也就是数据存取直接指向资源,并确保这些数据都是来自最近的资源。而不是先找到存放的存储介质,在调取介质里的数据。这样就大大减少了存储介质性能对于数据存取的影响。比如一个10TB的文件,可以打散分布在1000个边缘端的存储介质上。而且调用的时候,不需要下载到本地,直接调用1000个边缘端的存储性能。从而实现数据的高效利用。
第三就是新的存储介质,包括原子存储技术和DNA存储技术,如果能够真正研发出来,就能够实现存储性能的千倍以上的提升,当然目前是理论阶段,距离真正落地商业还有还长的距离。
好文章,需要你的鼓励
在迪拜Gitex 2025大会上,阿联酋成为全球AI领导者的雄心备受关注。微软正帮助该地区组织从AI实验阶段转向实际应用,通过三重方法提供AI助手、协同AI代理和AI战略顾问。微软已在阿联酋大举投资数据中心,去年培训了10万名政府员工,计划到2027年培训100万学习者。阿联酋任命了全球首位AI部长,各部门都配备了首席AI官。微软与政府机构和企业合作,在公民服务和金融流程等领域实现AI的实际应用,构建全面的AI生态系统。
查尔斯大学和意大利布鲁诺·凯斯勒基金会的研究团队首次系统性解决了同声传译AI系统延迟评估的准确性问题。他们发现现有评估方法存在严重偏差,常给出相互矛盾的结果,并提出了YAAL新指标和SOFTSEGMENTER对齐工具。YAAL准确性达96%,比传统方法提升20多个百分点。研究还开发了专门的长音频评估工具LongYAAL,为AI翻译技术发展提供了可靠的测量标准。
苹果与俄亥俄州立大学研究人员发布名为FS-DFM的新模型,采用少步离散流匹配技术,仅需8轮快速优化即可生成完整长文本,效果媲美需要上千步骤的扩散模型。该模型通过三步训练法:处理不同优化预算、使用教师模型指导、调整迭代机制来实现突破。测试显示,参数量仅1.7亿至17亿的FS-DFM变体在困惑度和熵值指标上均优于70-80亿参数的大型扩散模型。
印度理工学院团队构建了史上最大规模印度文化AI测试基准DRISHTIKON,包含64288道多语言多模态题目,覆盖15种语言和36个地区。研究评估了13个主流AI模型的文化理解能力,发现即使最先进的AI也存在显著文化盲区,特别是在低资源语言和复杂推理任务上表现不佳,为构建文化感知AI提供了重要指导。