hdy 发表于 2025-6-29 01:38

自动驾驶中的3DGS发展得怎么样了?


当奔驰、特斯拉等巨头争相布局3D高斯泼溅(3DGS)技术,当仿真测试效率提升1000倍、高精地图成本直降60%,自动驾驶行业正迎来一场静默的技术海啸。与传统依赖激光雷达的笨重建模不同,3DGS将现实世界解构为数百万个“智能高斯点”——每个点以位置、协方差矩阵和不透明度为画笔,在虚拟空间中实时渲染出毫米级精度的道路、变幻的光影,甚至突然窜出的行人。这种从“扫描”到“泼溅”的范式跃迁,正重新定义自动驾驶的仿真、感知与安全边界。在aiSim仿真平台的实战中,3DGS已展现出颠覆性潜力:通过多视角图像重建,仅需数分钟即可生成包含几何与光照特性的高保真十字路口场景;其自研的GGSR渲染器更攻克了广角镜头失真难题,使虚拟测试中的“鬼探头”、急刹追尾等极端场景逼近真实。而更深层的变革在于动态交互能力——在静态高斯点云基底上,交通流与行人行为被赋予自定义逻辑,形成“静态场景骨骼+动态行为肌肉”的仿真生命体。这意味着,从高精地图重建、实时SLAM定位到障碍物运动预测,3DGS正渗透至自动驾驶全链路,让算法在亿级虚拟里程中淬炼出人类百年驾龄无法企及的决策智慧。以下为部分近期汇总R3D2:基于扩散模型的真实感3D资产插入技术在自动驾驶仿真中的应用
[*]论文标题:R3D2: Realistic 3D Asset Insertion via Diffusion for Autonomous Driving Simulation
[*]工作单位:Zenseact,林雪平大学等
[*]项目链接:https://research.zenseact.com/publications/R3D2/
提出轻量级单步扩散模型R3D2,通过生成阴影/光照等渲染效果,实现3D高斯泼溅(3DGS)场景中资产的真实感插入;首创R3D3训练数据集,支持跨场景、跨数据集及文本生成资产的实时无缝集成,显著提升自动驾驶仿真的可扩展性。自动驾驶伪模拟:一种高效闭环评估新范式
[*]论文标题:Pseudo-Simulation for Autonomous Driving
[*]工作单位:图宾根大学、英伟达等
[*]项目链接:https://github.com/autonomousvision/navsim
提出伪模拟框架,通过预生成3D高斯溅射合成观测数据,结合两阶段评估机制(真实+合成数据)与邻近性加权策略,在避免交互仿真的同时逼近闭环评估效果(相关性 R²=0.8),效率提升6倍。开源NAVSIM v2基准平台。MGStream:面向可流式传输的动态场景重建的运动感知3D高斯方法
[*]论文标题:MGStream: Motion-aware 3D Gaussian for Streamable Dynamic Scene Reconstruction
[*]工作单位:北京大学、鹏城实验室
[*]项目链接:https://github.com/pcl3dv/MGStream
提出运动感知的3D高斯建模框架,通过运动掩膜与聚类凸包算法精准定位动态区域,仅对动态高斯进行刚性形变与注意力优化,显著减少静态区域闪烁并提升存储效率,同时支持新物体重建,实现高质量、低开销的动态场景流式合成。GaussianFormer3D:基于多模态3D高斯与可变形注意力的语义占据预测
[*]论文标题:GaussianFormer3D: Multi-Modal Gaussian-based Semantic Occupancy Prediction with 3D Deformable Attention
[*]工作单位:佐治亚理工学院,美国亚特兰大
提出首个多模态高斯表示的语义占据预测框架,通过激光雷达体素初始化3D高斯提供几何先验,设计激光雷达引导的3D可变形注意力机制,在统一特征空间融合多模态信息,显著降低50%内存消耗的同时保持高精度,适用于复杂道路与越野场景。迈向真实场景的鸟瞰图感知:基于高斯泼溅的深度不确定性估计
[*]论文标题:Toward Real-world BEV Perception: Depth Uncertainty Estimation via Gaussian Splatting
[*]工作单位:国立阳明交通大学,Atmaniy Inc.
提出GaussianLSS 框架,通过深度不确定性建模(计算深度均值与方差)将深度分布转换为 3D 高斯表示,结合高斯泼溅(Gaussian Splatting)渲染实现高效、低内存的鸟瞰图(BEV)特征聚合。创新点包括:
[*]显式建模深度不确定性:缓解深度预测的模糊性问题;
[*]多尺度 BEV 特征融合:提升远距离场景感知能力;
[*]推理速度提升 2.5 倍,内存占用减少 70%,性能接近 3D 投影方法(仅 IoU 差距 0.4%)。


页: [1]
查看完整版本: 自动驾驶中的3DGS发展得怎么样了?