中國信通院公佈AI代碼大模型評估 阿里雲華為商湯等首批通過

封面新聞記者 歐陽宏宇

哪些國產AI大模型能幫人敲出更好的代碼？

6月11日，中國信息通信研究院公佈了可信AI代碼大模型評估的首輪評估名單，阿里雲通義靈碼、華為雲盤古、商湯小浣熊、智譜codegeex等國產AI大模型均入選並首批通過。

據介紹，此次大模型評估以《智能化軟件工程技術和應用要求 第1部分：代碼大模型》標準為依據，圍繞通用能力、專用場景能力、應用成熟度，為模型能力提升和企業選型提供規範性參考。

公開資料顯示，該標準於今年1月正式發佈，涵蓋通用能力、專用場景能力和應用成熟度三大部分，包括16個能力項、100多個能力要求，全面從輸入多樣性、任務多樣性、語言完備度、結果可接收性、結果準確度等維度，考核代碼大模型的全棧技術能力。

在首輪通過的大模型中，有多個大模型應用獲得了4+級的高評級。以通義靈碼為例，信通院評測結果顯示，在通用能力方面，其在代碼轉換、代碼檢查及修復、代碼優化等方面表現突出；專用場景方面，通義靈碼提供網站開發、數據庫開發、大數據開發、嵌入式開發等多個場景支援能力；應用成熟度方面，通義靈碼具備較完善的數據合規及數據分類分級機制，且模型穩定性及可維護性表現優異，在模型推理性能、模型服務風險可控性等方面均表現優秀。

公開資料顯示，代碼大模型首輪評估於今年3月啟動，主要面向適用於金融、科技、互聯網、電信、軟件等各行業，生產、使用或計劃使用代碼大模型的企業，評估結果旨在為模型廠商提供代碼大模型能力的評價和指導標準，以及為模型應用方提供有效衡量其能力水平的標準依據。