小米汽車首曝自動駕駛研究：相機和LiDAR聯合重建框架Uni-Gaussians

論文的主要作者來自香港科技大學、小米汽車和華中科技大學。論文的共同第一作者為香港科技大學博士後研究員袁子康、小米汽車算法工程師蒲粵川、羅鴻城。論文作者還包括小米汽車世界模型負責人孫海洋。通訊作者是華中科技大學的教授楊欣。

在自動駕駛技術商業化落地的關鍵階段，高質量仿真系統成為行車安全驗證的核心基礎設施。針對動態駕駛場景中相機與 LiDAR 聯合仿真難題，Uni-Gaussians 提出一種基於統一高斯表徵的分治渲染框架，實現精確性與計算效率的協同優化。

當前主流神經渲染方案存在顯著局限性：

基於 NeRF 的方法雖能通過連續場景表徵統一渲染相機圖像與 LiDAR 點雲，但其依賴密集采樣的體渲染機制導致計算效率低下；
基於高斯濺射（Gaussian Splatting）的方法利用高斯基元實現場景表徵，並通過光柵化（Rasterization）達成實時渲染，但其基於線性光學假設的渲染管線難以精確建模非線性光學傳感器特性，導致該方法在針孔相機之外的傳感器類型中應用受限。

為攻克上述挑戰，來自香港科技大學、小米汽車和華中科技大學的研究團隊提出了 Uni-Gaussians，實現了動態駕駛場景的高斯基元統一表徵與分治渲染的架構。使用動態高斯場景圖（Gaussian scene graph），建模靜態背景與動態實體（如剛性車輛、非剛性行人）。圖像數據採用光柵化（Rasterization）進行渲染，確保高幀率輸出。LiDAR 數據則引入高斯光線追蹤（Gaussian Ray-Tracing），精確模擬激光脈衝傳播特性。該工作為自動駕駛場景下的相機與 LiDAR 數據提供的仿真方式，在質量與計算效率方面都取得了重大進展。

論文標題：Uni-Gaussians: Unifying Camera and Lidar Simulation with Gaussians for Dynamic Driving Scenarios
論文鏈接：https://arxiv.org/pdf/2503.08317
項目主頁：https://zikangyuan.github.io/UniGaussians/

論文貢獻

Uni-Gaussians 主要有以下貢獻：

提出了一種統一、高效的仿真系統，能夠利用高斯基元實現相機和激光雷達數據的聯合重建。
實現了包含車輛、行人和騎車人在內的所有交通參與者的高質量 LiDAR 仿真。
通過大量的實驗證明了統一的高斯表徵和混合渲染方法的優勢。

圖一展示了最新 SOTA 方法 LiDAR4D 和該方法仿真結果的對比。相比之前方法，該方法可以準確地重建出各種可移動物體，包括行人和車輛。同時該方法對圖像也可以進行高質量的重建。

方法概述

如圖二所示，對於一個動態駕駛場景，該方法建立一個高斯場景圖來進行解耦建模，其中包含靜態背景和各種運動物體，例如剛性的車輛和非剛性的行人、騎車人。方法對整個場景進行相機和激光雷達同時的模擬。對於相機圖像數據，方法採用 2D 高斯基元（2D Gaussian primitives）的柵格化渲染。對於激光雷達數據，計算高斯球和射線的交點並構建光線追蹤來進行模擬，結合反射強度（SH intensity）與射線丟棄概率（SH ray-drop probability）建模 LiDAR 的主動感知機制。

實驗結果

Uni-Gaussians 在 Waymo 公開數據集上進行了評估。針對激光雷達數據，該工作採用 Chamfer Distance 和 F-score 來進行點雲幾何精度評估。並使用 RMSE、MedAE、LPIPS、SSIM 和 PSNR 來評估雷達測距性能和反射強度質量。同時實驗報告了渲染的耗時和存儲佔用量。對於相機圖像渲染質量，則採用了 SSIM 和 PSNR 進行評估。

點雲對比

表一，展示該方法和 lidar 仿真 SOTA 方法的定量比較。加粗為最優結果，加下劃線為次優結果。和之前的 SOTA 方法相比，該方法在所有指標上均表現出卓越的性能。證明了這種聯合仿真的優勢。與 DyNFL 和 LiDAR4D 相比，該方法的 CD 指標分別降低了 40.9% 和 46.7%，同時渲染耗時和計算內存消耗也大幅降低。下面圖 3 和圖 4 展示可視化效果，該方法能夠準確而精細地模擬動態駕駛場景中的各種類型的可移動實體，展現出明顯優勢。