数字孪生十问：与自动驾驶仿真的融合发展

关于数字孪生十问：

数字经济大潮下，数字孪生技术作为数字化转型的重要工具，已被纳入国家关键技术战略，进入产业应用深水区。在交通、汽车、工业、文旅、建筑等众多行业，数字孪生的应用，正在从“可看”，向“可算”、“好用”发展，通过数字世界的计算推演，为物理世界的优化提供更多的决策指导，实现数字世界与物理世界的双向衔接。

腾讯研究院与腾讯数字孪生产品部联合发起《数字孪生十问》系列，每期聚焦一个应用领域，探讨技术创新，挖掘应用价值。

智能网联汽车是软硬结合、云边端协同、多元融合的载体，是数实融合落地的典型产业，同时也是典型的数字孪生应用场景。中国汽车产业已经在电动化方面领跑全球，下一步智能化将成为产业竞争焦点，也是决胜未来的关键所在。

本期十个问题，将展开剖析数字孪生技术与仿真测试在自动驾驶走向量产的过程中所发挥的重要作用。

【一】近日，四部委联合发布了《关于开展智能网联汽车准入和上路通行试点工作的通知》，是否标志自动驾驶量产上路时代已来？

汽车是改变世界的工具，随着电动化和网联化的深入，以自动驾驶为核心的智能化进程也在加速。11月，四部委联合下发《关于开展智能网联汽车准入和上路通行试点工作的通知》，被普遍认为是量产上路时代来临的信号。

该通知鼓励各地区积极探索智能网联汽车的准入和上路通行试点工作，实际上为量产应用提供了宽松的环境，促进技术的不断创新和实践。其中提到了推动法律法规、技术标准的制定和完善，为自动驾驶技术的商业化落地提供依据和规范。

当然，智能交通系统、高精度地图、车联网等基础设施仍要加速配套，为规模化推广应用奠定基础。

城市交通数字孪生

【二】自动驾驶规模化应用，卡点在哪里？

自动驾驶规模化应用面临很多技术挑战，要解决长尾问题提升系统安全性，需要配套法规、政策和金融保险制度、用户接受度等问题。只有在这些问题得到有效解决的情况下，自动驾驶技术才能大规模应用。

例如自动驾驶测试体系搭建问题，汽车作为复杂的工程产品，包括了机械、电子、软件等技术，设计阶段无法完成预测并解决所有问题，只有完善的测试体系才能验证功能可用性和安全性，尤其是安全性，关乎驾驶员和乘客人身安全。

当然，研发与测试并非完全对立关系，在研发过程中，可以利用阶段性测试的有效手段来发现设计上的缺陷和制造上的问题，提升汽车的质量。此外，用户体验舒适性、燃油经济性、汽车动力性能等方面，也需要依赖完善测试来验证和迭代提升。

【三】数字孪生技术对自动驾驶落地有什么推动作用？

我国在探索智能网联汽车的过程中，提出了“人-车-路-云”一体化的方案。在这样的架构体系下，汽车、交通、通信需要充分融合。 

作为信息物理系统的典型应用，智能网联汽车正在推动产业的新一轮历史性转型升级，其规模化落地，呈现出复杂大系统的的典型特点，需要形成全链路数字化闭环的车路云协同方法和框架，构建完备的技术闭环体系，自动驾驶的商业闭环一定要建立在技术闭环的基础之上。

随着数字孪生走向产业应用深水区，技术应用正在从可视化，向可计算、可预测和可控制的方向升级。在智能网联汽车特别是自动驾驶领域，数字孪生技术可以用于生成训练数据，构建安全、高效的测试场景，形成研发和测试的闭环迭代。在自动驾驶仿真测试领域，数字孪生技术可以将真实数据在仿真平台上进行场景的生成和重组，为自动驾驶算法提供可供测试的 corner case 。例如腾讯自动驾驶数字孪生仿真平台TAD Sim还打造了面向地图更新回归测试的应用能力，帮助车企以更低成本进行地图更新数据的回归测试验证，保证智驾算法在新的地图更新数据之上不会出现运行问题或者功能降级。

TAD Sim自动驾驶虚实融合测试

【四】数字孪生仿真测试对自动驾驶量产的作用是什么？

为保证自动驾驶安全，模拟仿真、封闭场地和实际道路测试三种测试方法缺一不可。通常情况下按照先模拟仿真、再封闭场地、最后实际道路测试的顺序，在自动驾驶系统开发和应用的不同阶段，采用不同的测试方式。

行业普遍认为，采用路测方式来测试自动驾驶算法所耗费的时间和成本太高，极端交通条件和危险场景复现困难，且存在很大危险性，关键是测试的边际效应非常明显，也很难满足完备性需求。所以仿真测试是解决自动驾驶路测数据匮乏和成本高的核心路径，具有安全性高、低成本、高效率等特性，是自动驾驶应用落地的关键环节。自动驾驶仿真可以帮助开发者在虚拟环境中模拟和测试自动驾驶系统的各个方面，从感知、决策到控制以及交互等，高效的验证和优化系统的性能。

高效的测试才会有高效的开发，最高效的测试是具备完整场景覆盖的仿真测试。从测试场景数量看，模拟仿真测试远远大于封闭场地和实际道路测试和封闭场地测试。使用仿真软件提供的工具和功能，构建虚拟场景，包括道路、交通标志、交通流等。这些场景能模拟真实世界中的各种情况和挑战，以便进行全面的测试和验证，据此可以评估自动驾驶系统的可靠性和性能，并发现潜在的问题和改进点，也能够更好满足全生命周期的OTA回归测试需求。

同时，确保自动驾驶仿真的真实性是一个重要的问题。涉及到场景模拟的准确性、传感器模拟的准确性、车辆模型的真实性、算法模型的准确性、交互模拟的真实性等，还有诸多不稳定性的因素。通过不断改进仿真软件的准确性和真实性，可以提高仿真结果与真实世界的一致性，从而更好地支持自动驾驶技术的发展和应用。

【五】BEV、端到端等新技术路线对自动驾驶仿真提出了什么新的要求？

当前BEV+OCC已经成为业内相对共识的自动驾驶框架，丰富的模型表达能力，也使得自动驾驶技术研发重点也由面向模型转向面向数据。恰是这种方式的转变，对4D数据和空间计算需求也提出了更高的要求，如何低成本获取获取高质量的训练数据和验证场景尤为重要，对自动驾驶仿真也提出了新的需求和挑战。在新的算法框架和评测体系下，需要多视图、多传感器融合的4D数据，必须在时间和空间保持一致的基础上，能够满足真实性、完备性和多样性的需求。

如果说BEV+Transformer 路线，是感知端的神经网络运算，端到端则是全程使用神经网络算法，无人工规则介入。这让原本的模块化流程变的“黑盒化”。过去的仿真测试，包括单元测试、模块测试、集成测试等，是一个从小到大的过程。被测物的环节越小越集中，测试的针对性越强，发现了问题，指向性也非常明显。针对端到端的自动驾驶算法，仿真测试的策略也在随之变化，需要支持全闭环验证策略，需要有高逼真的场景、可行决策的生成能力以及配套的真实和评价体系。腾讯自动驾驶数字孪生仿真平台TAD Sim，采用AIGC+PCG+高逼真渲染引擎构建和生成4D场景，可用于进行端到端算法的仿真测试，也可以生成配套的真值标注数据，用于感知算法的训练。

雪天高速公路自动驾驶数字孪生仿真测试

【六】AIGC及大模型的爆发为自动驾驶仿真带来什么变化？

生成式AI大模型承载着巨量参数，利用多模态数据，可提升研发效能，节省数据标注成本，通过更强的泛化能力，加速仿真场景构建。若AIGC成为自动驾驶算法训练和测试的主要数据来源，那原本的采集车队、大规模数据平台等模式将会发声改变，影响到未来自动驾驶产业格局的变化。

采用AIGC技术可以创造出更多的合成数据，尤其是一些敏感或高安全领域的数据和长尾数据，从而填补真实数据中的缺口，提升训练和测试样本的样本的多样性、完备性和均衡性。

2022 年以来， Nerf、Diffusion Model、World Model 等新技术，提升了仿真平台的保真度，可用于算法的训练，并大幅提升训练效率。通过生成模型来输入已知环境特征，同时预测未来场景很可能就是构建计算机视觉领域自监督基础模型（Foundation Model）的关键性任务。自动驾驶领域world model 世界模型正式这种理念的产物。基于车辆采集的大量多源数据，结合语义信息和世界演化的规律生成未来场景，用于模型训练、行为预测和测试验证。因为世界模型具有更高的还原度，能够生成高逼真的4D场景数据，更有效的支持端到端的自动驾驶算法训练和测试，尤其是corner case的生成效率更高，进而提高算法训练和仿真测试效率。

在游戏领域广泛应用的场景自动生成、实时渲染、行为模拟等算法，与自动驾驶的三维融合感知等能力相结合，会对自动驾驶视觉大模型能力提供技术支持，同时云端工具链体系也为大规模三维数据合成提供很好的工程支持。利用大模型和AIGC，可以生成和编辑出更丰富多元的测试场景，包括光照、天气及更加极端的交通环境。

腾讯基于数字孪生仿真技术实现场景风格转换

（左上、左下-仿真场景，右上-真实图像，右下-风格转换后图像）

【七】商业化目标下，自动驾驶领域使用大模型如何平衡技术效率和相应的成本问题？

新技术路线下，自动驾驶竞争关键由算法和模型，转向为数据与算力，其开发模式也由面向模型转向了面向数据。在数据方面，基于仿真技术，尤其是AIGC+PCG+三维引擎融合技术的合成数据，可以自动生成大量带有真值的数据。目前，腾讯自动驾驶实验室利用SAM大模型做数据预标注取得了很好效果，也正在将相关的自动驾驶算法、模拟仿真以及游戏引擎和PCG（程式化生成）技术结合，实现高逼真场景的生成和编辑，在保证数据满足真实性的同时，具备可编辑操控能力。

在算力方面，训练大模型所需的数据非常巨量，需要TB级吞吐和千万级IOPS支持，来完全满足数据存储和检索需求。现如今大模型参数量已达万亿级规模，需要庞大计算集群来完成感知预测一体化模型训练和仿真测试，但行业内计算资源匮乏已是不争事实。一方面车企在大量投入，建设高性能计算集群，升级计算网络架构。以更适合AI运算的向量数据库，高效处理智驾非结构化数据。

目前，蔚来等车企正在与腾讯合作，打造一体化的混合云基础设施，支撑快速发展的智能驾驶研发和运营服务。今年7月腾讯发布国内首个AI原生的向量数据库，专为向量数据存储、检索和分析而量身定制。智驾场景下，向量数据库可以很好的处理海量的视频、点云等非结构化数据。假设在10亿张图片里找1张卡车运输共享单车的图片，腾讯云向量数据库可并发支持100万个请求，在10亿规模图片里进行搜索，只需要百毫秒就能轻松地找到这条记录。

在仿真测试方面，今年起，腾讯也与车企开展了自动驾驶云仿真的合作，在云仿真平台，可以支持一万个以上的场景并行计算，将10000个场景的运行时间从14天大幅缩减至4分钟。借助真实交通数据，构建虚实一体的仿真城市，支持数千辆自动驾驶车辆和数十万辆交通流车辆同时运行，车辆之间实时同步，在高效性的同时保证测试的有效性。

腾讯自动驾驶 虚拟仿真平台TAD Sim虚拟城市型云仿真

【八】未来自动驾驶行业的生态会是怎么样？

未来的汽车，就是一个个数据的载体，而海量的数据如何能够更好的反哺自动驾驶和智能网联汽车相关功能的研发，需要一套闭环的数据体系，覆盖众多的采集、处理、分析、训练、部署等等模块。在目前的行业运行中，各个模块由不同的供应商承担，会提高单一模块效率，但也容易造成模块之前的割裂，形成一个个烟囱，影响全局整合效率。

目前行业现状是能在自身数据池里闭环，充分挖掘数据价值的车企，才能快速在竞争中突围。在数据驱动下的自动驾驶研发，更加依赖海量的数据喂养，去训练成熟的算法。数据既是企业的核心竞争力，但单一企业很难满足数据多样性和完备性的需求，为了加速自动驾驶产业发展，早日实现完全自动驾驶，需要建立一套数据共享机制和相关的回馈激励机制，势必行业发展的必经之路，是共享自动驾驶红利的基础。

对于自动驾驶工具链来说，需要的是从架构设计、功能定义的阶段开始共建，跳脱出甲乙方的供需关系，成为一条心的利益共同体。同时，从更长远的角度考虑，未来通过第三方平台，沉淀通用数据，训练基础模型，为广泛的车企服务，更符合车路协同的技术路线，以数字化的基础设施，推动数字化的应用发展。

【九】数字孪生未来在演进的方向有哪些？

随着数字孪生技术在各个行业的落地应用，仿真模拟仍旧是其核心的价值体现，为了保证仿真结果的准确性和可用性，逐渐出现基于第一性原理（机理）的仿真方法和基于数据的仿真方法共同融合的趋势，两者的融合一方面能够通过准确的机理模型为仿真提供合理的约束，另一方面能够利用大数据分析挖掘对仿真结果进行分析，提炼更多有价值的结果，并且在机理不明确的场景或者环节，能够通过大数据的拟合来实现场景演算和分析。此外伴随着AIGC技术的不断发展和成熟，未来数字孪生和AIGC的融合将会是重要的趋势，一方面AIGC能够实现数据的标定和一些关键场景的生成，能够丰富数字孪生的数据源，另一方面，伴随着各类行业大模型的出现，大模型也有望通过模型蒸馏等方式帮助数字孪生的仿真推演模型实现更优性能。

【十】未来还会有哪些技术可能会对自动驾驶仿真带来非常大的提升？

对自动驾驶仿真技术的提升，未来更多还是会发生在仿真算法这个层面，仿真算法的演进和迭代会大幅提升仿真效率。传统仿真测试环境，大部分内容都是基于真实路测数据生成，然后进行仿真推演，但是在真实路测的过程中，由于无法覆盖复杂的长尾场景，这就导致仿真路测里程中，有效场景比例不高，实际效果和实车路测差别不大，这种情况给自动驾驶的仿真带来很多挑战，如何找到高价值的训练场景成为非常共性的问题。例如来自密歇根大学的刘向宏教授的实验室提出基于密集强化学习的深度学习网络D2RL，可以将目前基于NDE（自然驾驶环境）的仿真模拟效率提升2000倍，在双车道400m场景中，D2RL生成的场景直接跳过（删除）传统仿真过程中95.7%的事件和99.78%步骤，最大可能给出系统高价值训练场景。