細節釐米級還原、實時渲染，MTGS方法突破自動駕駛場景重建瓶頸

在自動駕駛領域，高精度仿真系統扮演著「虛擬練兵場」 的角色。工程師需要在數字世界中模擬暴雨、擁堵、突發事故等極端場景，反復驗證算法的可靠性。

然而，傳統仿真技術往往面臨兩大難題：首先是視角局限，依賴單一軌跡數據，如一條固定路線的攝像頭錄像，重建的場景只能在有限視角內逼真，無法支持車輛 「自由探索」。其次是動態失真，同一路口在不同時間可能停滿車輛或空無一人，這些變化使得生成畫面脫離現實。

為解決這一問題，上海創智學院聯合香港大學等機構聯合提出 MTGS （Multi-Traversal Gaussian Splatting）方法，通過多軌跡數據融合，構建既能還原真實道路細節又能動態響應環境變化的超高精度仿真場景。

日常通勤中，車輛往往會以不同的軌跡反復經過同一路段；而用於採集駕駛數據的車隊也往往會在同一街區多次遍曆，每輛車在不同時間從不同的角度記錄了當前街區的信息。因此，使用多軌跡數據能獲取到更多周圍環境的信息。然而，實驗發現，簡單地堆疊數據並不能帶來重建效果的提升，反而可能損傷單軌跡下重建的場景模型，原因之一是這些數據在天氣、光照上有較大差異，無法很好地對齊。而 MTGS 的核心創新，正是將這些碎片化的「數字拚圖」智能整合，使不同軌跡採集到的幾何信息能互相補足，重建出幾何信息更精準的駕駛場景。

• arXiv 鏈接：https://arxiv.org/abs/2503.12552

• 代碼、checkpoint 等即將開源

基於多個軌跡的場景異質圖

MTGS 將同一個場景中的元素集合在一個異質圖中，並針對不同場景元素的特點分成三類節點，靜態節點、外觀節點、瞬態節點。這種 「分而治之」 的設計，使得 MTGS 既能還原道路的原有特徵，又能靈活地呈現瞬息萬變的車流與環境。

靜態節點 – 所有軌跡共享的靜態背景，如瀝青路面、交通標誌。

外觀節點 – 通過球諧函數係數調整光照、陰影，適配多軌跡對應不同時段的天氣變化和光照差異。

瞬態節點 – 各次軌跡獨有的移動物體，如穿梭的車輛、臨時停靠的快遞車。

其中，靜態節點和外觀節點共同決定表徵靜態背景的高斯球，前者提供高斯球的位置、旋轉四元數、尺寸、透明度和球諧函數的首個參數，後者則決定球諧函數的其他參數。這一設計源自球諧函數自身的特性：第一球諧函數 Y_0,0 具備旋轉不變性，可用於表徵物體的本色或底色；其他球諧函數則會隨著觀察視角的變化而有所變化，更適合表徵物體在不同軌跡不同視角上的色彩變化，如陰影、反光等細節。

同一軌跡中的外觀對齊

除了多軌跡間的光照差異，同一軌跡內部也存在外觀不對齊的情況，如部分相機過度曝光、不同相機間的色調差異。MTGS 創新性地利用激光雷達點雲顏色作為 「錨點」，將同一空間點在同一時刻不同相機中的顏色對齊，並為每個相機學習獨立的仿射變換，確保不同時刻採集的圖片色調統一。

此外，為避免模型產生 「浮空碎片」 等失真現象，MTGS 還引入多重約束：（1）用激光雷達點雲矯正三維形狀，確保路沿、護欄等結構精確對齊；（2）使用 UniDepth 對圖像進行深度估計，使用估計深度計算得到每個像素的法向量方向，從而通過相鄰像素的法向量約束，讓曲面過渡更自然（如車頂弧度）；（3）將移動物體的陰影從背景中分離，防止 「鬼影」 殘留。這些技術讓重建效果提升 46.3%，合成畫面中的鋸齒、重影等問題顯著減少。

實測效果：數字與現實的 「像素級逼近」

在 nuPlan 大規模自動駕駛數據集上的測試顯示，MTGS 在多項指標上刷新紀錄。在畫面質量方面，感知相似度（LPIPS）提升 23.5%。在幾何精度方面，深度誤差降低46.3%，護欄間距、車道寬度等細節釐米級還原。在動態響應方面，支持每秒 60 幀的實時渲染，車流密度變化、行人突然穿行等場景流暢呈現。