在6月21日的华为开发者大会(HDC 2024)上,华为云发布了盘古大模型5.0,其创新的多模态生成能力,可以为自动驾驶领域提供更高质量的数据支持。
华为常务董事、华为云CEO张平安表示,盘古5.0通过创新的可控时空生成,大规模的生成和实际场景相一致的驾驶视频数据,有机会重塑自动驾驶的开发。
华为云盘古大模型5.0可控时空生成技术(STCG),赋予了模型理解并遵循物理规律的能力,这意味着,生成的视频不仅在视觉上逼真,更重要的是在车辆行为、环境互动等方面与现实情况保持高度同步。例如,车辆在不同摄像头视角间的平滑过渡,以及在不同天气和光照条件下行驶的自然表现,都显示了模型对空间和时间维度精准把握的能力。
通过盘古大模型生成的六摄像头视角视频,自动驾驶系统可以直接获取到全方位、高仿真度的训练素材。这些视频涵盖了从无车街道到复杂多车交互的不同场景,甚至包括不同气候条件下的行车情况,极大地丰富了训练数据集的多样性。尤为值得注意的是,模型在生成雨天视频时,还能细腻地模拟出车辆尾灯因光线昏暗而开启的细节,体现了其对真实世界复杂规律的深刻理解和学习能力。
张平安表示:未来,盘古的多模态生成还会支持更多的场景,更好的为自动驾驶服务。
好文章,需要你的鼓励
Allen AI研究所联合多家顶尖机构推出SAGE智能视频分析系统,首次实现类人化的"任意时长推理"能力。该系统能根据问题复杂程度灵活调整分析策略,配备六种智能工具进行协同分析,在处理10分钟以上视频时准确率提升8.2%。研究团队创建了包含1744个真实娱乐视频问题的SAGE-Bench评估平台,并采用创新的AI生成训练数据方法,为视频AI技术的实际应用开辟了新路径。
联想推出新一代NVMe存储解决方案DE6600系列,包含全闪存DE6600F和混合存储DE6600H两款型号。该系列产品延迟低于100微秒,支持多种连接协议,2U机架可容纳24块NVMe驱动器。容量可从367TB扩展至1.798PiB全闪存或7.741PiB混合配置,适用于AI、高性能计算、实时分析等场景,并配备双活控制器和XClarity统一管理平台。
中科院团队首次系统评估了AI视觉模型在文本压缩环境下的理解能力,发现虽然AI能准确识别压缩图像中的文字,但在理解深层含义、建立关联推理方面表现不佳。研究通过VTCBench测试系统揭示了AI存在"位置偏差"等问题,为视觉文本压缩技术的改进指明方向。