宇樹機器人強化學習代碼全面開源，還有訓練到仿真和實操手把手教學

基爾西 發自 凹非寺

量子位 | 公眾號 QbitAI

9.9萬元起，還能夠大規模量產的國產人形機器人，表現得實在是太6了：

而且還走上了開源路線，就在剛剛，宇樹機器人開源的強化學習代碼又更新了！

更新之後不再是只能訓練——不僅能夠仿真運行，還能部署到實體機器，整個過程所有代碼全部開放。

一開始，宇樹開源的是英偉達Issac Gym平台上的訓練代碼，這次新增了對MuJoCo模擬仿真的支持。

而且還能遷移到實體機器人上運行，目前支持宇樹的H1、H1-2和G1三款機器人。

這下從訓練到模擬再到真機運行，整個RL套件的開源體系終於完整了。

看到這個消息，有網民激動地表示，訓練機器人靈魂的方法終於公開了！

全過程代碼公開，還有詳細教程

宇樹給這個項目取名叫RL GYM，可能和一開始專門提供基於Issac Gym的訓練代碼有關。

現在RL GYM又支持了MuJoCo，可以在預訓練的基礎上進行仿真模擬了。

訓練階段的Issac Gym需要CUDA，也就是需要N卡，仿真階段的MuJoCo則支持各種GPU，甚至CPU和TPU也能運行。

從環境的安裝配置，到訓練和模擬，以及最後的真機遷移，不僅有代碼，還有非常詳細的手把手教程。

以最新款的G1為例，在Issac Gym里訓練完之後的效果是這樣的：

放到MuJoCo里模擬，就有了開頭看到在這段DEMO：

最後遷移到G1真機，就能看到訓練的效果了（並且真機遷移的部分還有中文教程）：

H1和H1-2也與此類似，另外通過RL GYM還可以在Issac Gym里訓練機器狗Go2：

還有更多開源項目

在宇樹的整個開源體系當中，RL GYM只是其中一環，在宇樹所有的GitHub倉庫中星標數排第三。

排第一的是針對開源機器人系統R(obot)OS推出的模擬包，包含了宇樹系列機器人的質量、慣量、力矩等參數。

星標數第二的則是使用蘋果Vision Pro對G1進行遙操作控制的倉庫，可以用於數據採集。

採集到的數據是JSON形式，而訓練通過LeRobot實現，因此宇樹還提供了將JSON格式數據轉為LeRobot所需格式的教程。

其中包含遙操作控制的代碼教程，以及硬件配置圖、物料清單和安裝說明：

除了GitHub上發佈的這些工具，宇樹還在HuggingFace上公開了訓練數據集，與數據採集工具同期發佈。

數據集包含五種操作，使用配備有三指靈巧手的宇樹G1人形機器人收集，每張圖解像度為640×480，每個手臂和靈巧手的狀態和動作維度為7。

比如，利用這套數據集可以讓機器人學習擰瓶蓋倒水：

將三色積木疊放到一起：

此外還包括將攝像頭放入相應包裝盒、收集物品並存儲、雙臂抓取紅色木塊並將其放入一個黑色長方形容器中這些操作。

最後，宇樹開源的也不只是和機器人相關的項目。

上個月宇樹發佈了售價419美元的激光雷達， 在產品上線的同時就將其採用的Point-LIO算法進行了開源。

項目倉庫：

https://github.com/unitreerobotics/unitree_rl_gym

參考鏈接：

https://x.com/unitreerobotics/status/1868664455024029773

https://x.com/UnitreeRobotics/status/1856986819038253396