今天,在华为开发者大会2024 (HDC 2024)上,华为常务董事、华为云CEO张平安重磅发布盘古大模型5.0,在全系列、多模态、强思维三个方面全新升级;同时,张平安展示了盘古大模型在工业设计、建筑设计等领域的丰富创新应用和落地实践,持续深入行业解难题。这也将为建筑设计和制造业带来革命性的变革,还极大地加速了创新周期,为设计师们提供了前所未有的创意工具。
张平安强调,一直以来,华为云盘古大模型都坚定的聚焦行业,在解难题、做难事的道路上不断攻坚克难,砥砺前行,重塑千行万业。
据介绍,在工业设计领域,以新车造型设计为例,周期一般需要1-2年,盘古大模型可以让汽车的造型设计时间大幅缩短。造型设计师可以将自己的灵感,通过对话、画图与大模型交互,生成3D汽车数字模型,并可进行风格化调整、零部件编辑、颜色更换等。盘古大模型生成的数字模型还可直接输出成3D文件,支持10几种主流格式,设计师可以直接3D打印成样品,减少制作油泥模型的轮次,极大地节省成本和时间。
除了汽车造型设计,盘古大模型还可以用于汽车的工装设计、模具设计,以及电子产品领域的工业设计等。华为云与东莞市政府共同打造了东莞市人工智能大模型中心,希望让当地更多的电子制造类企业使用到盘古大模型的工业设计服务。
在建筑设计领域,基于盘古大模型的可控生成能力,只需输入设计的黑白草图,即可生成彩色并带有纹理的建筑群360°实景视频;基于盘古3D重建能力,还可以构建出高真实感的建筑3D模型,将复杂建筑群的概念设计周期从数周缩短到数十分钟,助力建筑师创造出更加出色的建筑作品。
“盘古大模型让每个工业设计师、每个建筑设计师都拥有自己的专业助手,让所想即所见,所见即所得!” 张平安表示。
好文章,需要你的鼓励
韩国科学技术院研究团队提出"分叉-合并解码"方法,无需额外训练即可改善音视频大语言模型的多模态理解能力。通过先独立处理音频和视频(分叉阶段),再融合结果(合并阶段),该方法有效缓解了模型过度依赖单一模态的问题,在AVQA、MUSIC-AVQA和AVHBench三个基准测试中均取得显著性能提升,特别是在需要平衡音视频理解的任务上表现突出。
这项研究利用大语言模型解决科学新颖性检测难题,南洋理工大学团队创新性地构建了闭合领域数据集并提出知识蒸馏框架,训练轻量级检索器捕捉想法层面相似性而非表面文本相似性。实验表明,该方法在市场营销和NLP领域显著优于现有技术,为加速科学创新提供了有力工具。
un?CLIP是一项创新研究,通过巧妙反转unCLIP生成模型来增强CLIP的视觉细节捕捉能力。中国科学院研究团队发现,虽然CLIP在全局图像理解方面表现出色,但在捕捉细节时存在不足。他们的方法利用unCLIP生成模型的视觉细节表示能力,同时保持与CLIP原始文本编码器的语义对齐。实验结果表明,un?CLIP在MMVP-VLM基准、开放词汇语义分割和视觉中心的多模态任务上显著优于原始CLIP和现有改进方法,为视觉-语言模型的发展提供了新思路。
这项研究介绍了RPEval,一个专为评估大语言模型角色扮演能力而设计的新基准。研究团队从法国里尔大学开发的这一工具专注于四个关键维度:情感理解、决策制定、道德对齐和角色一致性,通过单轮交互实现全自动评估。研究结果显示Gemini-1.5-Pro在总体表现上领先,而GPT-4o虽在决策方面表现出色,但在角色一致性上存在明显不足。这一基准为研究人员提供了一个可靠、可重复的方法来评估和改进大语言模型的角色扮演能力。