清華團隊開源“赤兔Chitu”推理引擎，宣佈打破英偉達“綁定”困境

新浪科技訊 3月14日下午消息，清華大學高性能計算研究所翟季冬教授團隊與清華系創企清程極智聯合宣佈，大模型推理引擎“赤兔Chitu”正式開源。據悉，該引擎實現在非英偉達Hopper架構GPU及各類國產芯片上原生運行FP8精度模型，打破“硬件綁定”困境，為國產AI芯片的廣泛應用和生態建設帶來了新的突破。

DeepSeek的發展推動了FP8精度模型成為行業主流，隨著DeepSeek的持續火熱， 企業大模型私有化部署的需求也呈現井噴態勢。然而，當前全球領先的FP8模型長期依賴英偉達H系列高端GPU，這使得國內企業在部署大模型時受限於AI芯片供應獲取的限制。

據悉，此次開源的“赤兔”推理引擎通過底層技術革新，首次實現了非H卡設備（包括英偉達Hopper架構之前的GPU卡及各類國產卡）對原生FP8模型的高效部署，擺脫對特定硬件的依賴，降低了企業部署AI模型的門檻和成本。

在首期開源版本中，赤兔引擎部署DeepSeek-R1-671B滿血版時，在A800集群的測試中，相比部分國外開源框架，GPU使用量減少50%的情況下推理速度仍有3.15倍提速。這意味著企業可以用更少的硬件資源獲得更高的推理性能，極大降低了部署門檻和運營成本。而且，在幫助企業降本增效的同時，赤兔引擎的技術可實現模型效果不受損。

目前，赤兔引擎目標建立覆蓋從純CPU到大規模集群的全場景大模型部署需求，適配英偉達多款GPU及多款國產芯片。為幫助企業提供開箱即用的部署方案及專業運維服務，清程極智還推出了基於赤兔的“推理一體機”，進一步簡化企業AI落地流程。  

清華大學翟季冬教授強調，赤兔凝結了團隊多年並行計算與編譯優化技術積累，目標是“彌合先進模型與多樣化硬件之間的差距，讓國產算力真正‘跑起來’，為中國大模型產業落地提供關鍵支撐”。清程極智CEO湯雄超表示：“赤兔的定位是成為連接多元算力與大模型應用的橋樑。我們不僅支持英偉達全系列GPU，還針對國產芯片深度優化，未來將陸續開源適配版本。”（文猛）