第四範式發佈先知 AIOS 5.1,節省大模型算力硬件成本,提高 GPU 綜合利用率

今天,第四範式先知AIOS 5.1版本正式發佈。該版本新增GPU資源池化(vGPU)能力,實現對硬件集群平台化管理、算力資源的按需分配和快速調度,最多節省80%的硬件成本,提高GPU綜合利用率多達5-10倍。

第四範式先知AIOS 5是行業大模型開發及管理平台。平台以提升企業核心競爭力為目標,在支持接入企業各類模態數據的基礎上,提供大模型訓練、精調等低門檻建模工具、科學家創新服務體系、北極星策略管理平台、大模型納管平台、主流算力適配優化等能力,實現端到端的行業大模型的構建、部署、管理服務。

在行業大模型的構建過程中,為進一步提高算力資源利用率,第四範式先知AIOS 5.1版本新增GPU資源池化(vGPU)能力,擁有五大技術亮點:

  • 全面適配國產/非國產算力,支持混合部署與統一調度

  • 算力和顯存超分複用,算力切分精細到1%,顯存切分以M兆為單位

  • 具備千卡級別分佈式調度與管理能力

  • 支持自定義隔離策略,實現共享或獨享算力池

  • 利用多任務共享及處理優化技術,推理性能提升10倍以上