清北團隊領航:具身智能新勢力的最新進展

具身智能創業如火如荼,技術路線是否收斂、以及數據來源的選擇,都是大家一直關心的問題。最近清華北大的團隊密集發佈了很多研究成果,我們可以從中分析出一些趨勢。

23年初成立的銀河通用背後是前如布科技聯創尹方鳴和姚騰洲、科學家是北大助理教授王鶴。銀河通用是低成本仿真路線的擁護者,經過2年努力於近期重磅發佈了GraspVLA,思路與RoboCasa、RoboGen等類似,在海量合成的仿真環境中合成機器人數據。但GraspVLA只關注抓取任務,將預訓練的AnyGrasp模型部署到仿真中採集大量數據來訓練一個VLA。在仿真中可以加入很多隨機化、以提升VLA的泛化性。

(AnyGrasp、GraspVLA、OpenVLA demo影片對比)
(AnyGrasp、GraspVLA、OpenVLA demo影片對比)
(AnyGrasp、GraspVLA、OpenVLA demo影片對比)(AnyGrasp、GraspVLA、OpenVLA demo影片對比)

2024年9月成立的靈初智能,CEO是前京東機器人總裁王啟斌、以及機器人算法負責人柴曉傑、李飛飛學生陳源培,背後科學家包括北大助理教授楊耀東和梁一韜。

(以上是Psi R0的demo影片)(以上是Psi R0的demo影片)

與銀河通用類似,靈初智能也是在仿真環境中大規模預訓練模型,但在模仿學習中加入了強化學習技術、以及真機數據對齊微調訓練,使得即使只用少量仿真和真機數據也能做到很泛化的複雜任務,實現不同技能順滑串聯操作。2024年12月底發佈的Psi R0模型完成了雙手協作長程的泛化打包任務,已展現出了該模型能實現真正商業化的強大潛力。

靈初智能此前的其他成果,比如lego組裝也是長程的靈巧手任務,可以突破過去強力抓取的能力邊界、完成更靈活的抓取和靈巧動作。根據之前的公開信息,靈初智能將於3月份發佈自研本體以及更泛化的具身大模型。

(以上為Lego組裝影片)(以上為Lego組裝影片)

在數據選擇方面,23年9月成立的清華系星海圖持完全不同的觀點,他們認為數據價值上,真機數據 > 互聯網數據 > 仿真數據。星海圖CEO是Momenta前執行董事高繼揚,科學家包括清華助理教授趙行和許華哲。他們計劃今年發佈100萬條真機數據、明年發佈1000萬條真機數據。星海圖計劃採用真機數據為主來預訓練具身大模型、而不是靈初和銀河那種大規模仿真數據預訓練。但以大規模真機數據為主存在diverse不足的問題,無法湧現泛化。

(以上為星海圖real2sim2real影片demo)(以上為星海圖real2sim2real影片demo)

在仿真數據方面,星海圖強調Real2Sim2Real後訓練。仿真數據只作為後訓練的一個強化劑,將真實數據在仿真中加入隨機化來擴充1000倍,以實現更高的成功率和更好的落地效果。

今天分析的三家清北團隊在算法和數據選擇上略有不同。靈初智能在算法上強調強化學習、銀河在數據上強調仿真、星海圖強調真實數據。不過各家都採用了仿真和真實數據結合的方法,只是在預訓練和後訓練上強調不同的數據比例。

期待這幾家準獨角獸公司在未來帶來更多的驚喜。清華北大是具身智能創新的先鋒,近期還有很多有意思的成果。比如清華星動紀元ERA-42、北大與國地共建具身智能中心RoboMind、北大與智元OmniManip、清華千尋智能CoPa和Data Scaling Law等工作都很值得分析。