在2019年6月5日,华为在北京发布智能数据解决方案FusionData。我简单谈谈我的感受。
从概念上华为智能数据解决方案的立足点非常之高,直接指向了生产力和生产资料。——作为新生产资料的数据和作为新生产力的智能。
如果说现实世界因为物质的存在,人类的经济社会活动增长有瓶颈限制。那么在数据经济时代,通过新生产力智能来推动新生产资料来产生价值可以说是没有什么瓶颈。那么通过智能来推动数据产生价值为人类所带来的变革将不可想象。
但是我们要清楚一个概念,海量的数据的产生整个社会产生的。但是因为数据不像物质那么看得见摸的找,所有如果大家浪费粮食,可能人人都能看到。但是浪费数据,好像没人在乎。华为全球产业展望(GIV)报告显示,全球数据量将从2018年32.5ZB快速增长到2025年的180ZB。但企业生产活动产生的数据中只有不到2%被保存,而其中得到分析利用的不足10%,数据价值没有得到充分释放。也就是说数据其实大部分被浪费掉了。
那么对于数据价值利用率低来讲,其核心是数据基础设施不够先进,不够智能。但是今年时代不同了,算力大幅度提升,数据大幅度增加,人工智能技术不断成熟。为新的数据基础设施出现提供了很好的基础。
华为就是在这样的时代下推出能够适合智能时代所需要的一个基础设施解决方案。在这个设施具备智能性和先进性。并且能够解决企业普遍存在烟囱式业务系统,以及数据管理、应用效率低等问题。
这张图是华为IT产品线副总裁、智能数据与存储领域总裁周跃峰发布智能数据解决方案FusionData的时候,分享的一张PPT。我认为代表了当前数据基础设施变革的因素。
进入智能时代,过去几十年的“以算力为中心”的IT基础设施已经发生改变。新的时代,是算力和存储平衡的时代。面临着多样性算力包括X86、ARM、GPU、NPU等计算平台。面临着多样性的数据,面临着包括DRAM、3DXPOINT、NVME、NAND等存储设备。
在这样的变化下,算力、数据接入、数据存储、数据处理以及数据使能都需要重定义,来真正让智能技术融入到数据基础设施中,来真正释放数据价值。
作为领先的智能数据解决方案,华为FusionData支持智能的数据全生命周期管理,从以下三个层面,重定义数据基础设施:
智能数据连接部件ROMA支持多数据源接入、消息和API的统一管理、智能通道选择等技术实现智能全连接,加速数据流动,让应用与数据连接更高效。
多数据源接入:支持1100多种应用和异构数据源接入,通过开放式数据接入框架可灵活接入第三方数据源。
消息和API的统一管理:支持分布式消息和API的路由统一配置管理,轻松实现分布式消息和API服务的跨网跨域跨云集成,让数据自由流动。
智能通道选择:支持数据多通道传输,并且可根据数据特点智能选择传送通道,大幅提升数据接入效率。
智能数据处理部件包含分布式存储FusionStorage、分布式数据库GaussDB和大数据平台FusionInsight等,通过多类型数据融合存储、融合分析引擎等技术实现从单一处理到智能融合处理,加速实现数据价值。
多类型数据融合存储:通过存储与计算分离技术,打破系统烟囱式建设;通过智能分布式存储的多协议融合技术,实现一份数据同时支持数据库、大数据、AI等多种业务的分析需求,让融合数据分析成为可能。
融合分析引擎:支持数据库、大数据、AI多引擎融合分析和多样性算力统一调度。通过统一架构,降低海量数据处理难度,实现极简分析。
智能数据使能部件DAYU通过智能元数据感知和OneQuery Turbo 技术构建数据处理与业务创新的桥梁,提升业务体验,让业务更敏捷。
智能元数据感知:通过AI技术,自动感知和采集多个系统的元数据,并进行智能化分级分类,生成全局统一的数据视图,数据寻找秒级响应。
OneQuery Turbo :提供统一的数据访问接口,实现多数据源、多类型数据的统一访问,简化数据加工流程,数据获取速度提升10倍以上。
最后通过图中我们看到的是,华为的开放态度,华为继续支持包括X86、ARM、GPU、NPU等计算平台。当然华为也是有能力支持好这些计算平台。
好文章,需要你的鼓励
zip2zip是一项创新技术,通过引入动态自适应词汇表,让大语言模型在推理时能够自动组合常用词组,显著提高处理效率。由EPFL等机构研究团队开发的这一方法,基于LZW压缩算法,允许模型即时创建和使用"超级tokens",将输入和输出序列长度减少20-60%,大幅提升推理速度。实验表明,现有模型只需10个GPU小时的微调即可适配此框架,在保持基本性能的同时显著降低计算成本和响应时间,特别适用于专业领域和多语言场景。
这项研究创新性地利用大语言模型(LLM)代替人类标注者,创建了PARADEHATE数据集,用于仇恨言论的无毒化转换。研究团队首先验证LLM在无毒化任务中表现可与人类媲美,随后构建了包含8000多对仇恨/非仇恨文本的平行数据集。评估显示,在PARADEHATE上微调的模型如BART在风格准确性、内容保留和流畅性方面表现优异,证明LLM生成的数据可作为人工标注的高效替代方案,为创建更安全、更具包容性的在线环境提供了新途径。
这项研究由中国科学技术大学的研究团队提出了Pro3D-Editor,一种新型3D编辑框架,通过"渐进式视角"范式解决了现有3D编辑方法中的视角不一致问题。传统方法要么随机选择视角迭代编辑,要么同时编辑多个固定视角,都忽视了不同编辑任务对应不同的"编辑显著性视角"。Pro3D-Editor包含三个核心模块:主视角采样器自动选择最适合编辑的视角,关键视角渲染器通过创新的MoVE-LoRA技术将编辑信息传递到其他视角,全视角精修器修复并优化最终3D模型。实验证明该方法在编辑质量和准确性方面显著优于现有技术。
这项研究提出了ComposeAnything,一个无需重新训练的框架,可显著提升AI图像生成模型处理复杂空间关系的能力。该技术由INRIA、巴黎高师和CNRS的研究团队开发,通过三个创新步骤工作:首先利用大型语言模型创建包含深度信息的2.5D语义布局,然后生成粗略的场景合成图作为先验指导,最后通过物体先验强化和空间控制去噪引导扩散过程。在T2I-CompBench和NSR-1K基准测试中,该方法远超现有技术,特别是在处理复杂空间关系和多物体场景时表现卓越,为AI辅助创意设计开辟新可能。