在6月21日的华为开发者大会(HDC 2024)上,华为云发布了盘古大模型5.0,其创新的多模态生成能力,可以为自动驾驶领域提供更高质量的数据支持。
华为常务董事、华为云CEO张平安表示,盘古5.0通过创新的可控时空生成,大规模的生成和实际场景相一致的驾驶视频数据,有机会重塑自动驾驶的开发。
华为云盘古大模型5.0可控时空生成技术(STCG),赋予了模型理解并遵循物理规律的能力,这意味着,生成的视频不仅在视觉上逼真,更重要的是在车辆行为、环境互动等方面与现实情况保持高度同步。例如,车辆在不同摄像头视角间的平滑过渡,以及在不同天气和光照条件下行驶的自然表现,都显示了模型对空间和时间维度精准把握的能力。
通过盘古大模型生成的六摄像头视角视频,自动驾驶系统可以直接获取到全方位、高仿真度的训练素材。这些视频涵盖了从无车街道到复杂多车交互的不同场景,甚至包括不同气候条件下的行车情况,极大地丰富了训练数据集的多样性。尤为值得注意的是,模型在生成雨天视频时,还能细腻地模拟出车辆尾灯因光线昏暗而开启的细节,体现了其对真实世界复杂规律的深刻理解和学习能力。
张平安表示:未来,盘古的多模态生成还会支持更多的场景,更好的为自动驾驶服务。
好文章,需要你的鼓励
英国国家医疗服务(NHS)正将无人机纳入常规医疗物流体系。自今年2月起,无人机每天在雷恩斯公园和圣乔治医院之间运送血液等诊断样本,飞行仅需3分钟,比公路运输快约85%,且碳排放减少高达98%。目前已有逾2000名患者受益。NHS计划将该服务扩展至圣赫利尔、克罗伊登等多家医院,最终惠及约180万名患者。该网络由英国医疗初创公司Apian与谷歌旗下Wing合作运营。
AgentLens是Explyt公司联合俄罗斯学术机构开发的AI编程助手评测基准,通过分析完整人机交互轨迹而非仅看最终结果,从五个维度评估代码智能体的真实表现。
边缘AI计算厂商Aetina宣布,将在其DeviceEdge AIE-KT风冷系列和新款AIE-PT无风扇平台上支持英伟达全新Jetson T3000和T2000模块。T3000基于Blackwell GPU,最高提供865 FP4 TFLOPS算力,功耗70W;T2000则提供400 FP4 TFLOPS,面向视觉AI代理和自主移动机器人等场景。两款模块预计2027年第一季度上市,支持Nemotron、Cosmos 3等英伟达AI软件生态。
韩国梨花女子大学提出Splash框架,通过识别AI模型中的"休眠参数"并只在其中训练触觉能力,让小型多模态AI在学会感知材质触感的同时,完整保留原有视觉语言推理能力。