近3000道題,商湯大模型拿了金牌

模型表現好,金牌少不了。

剛剛,中文大模型測評基準SuperCLUE發佈《中文大模型基準測評2024年10月報告》

商湯日日新·商量大模型(SenseChat5.5)憑藉出色的能力表現,總得分位列國內大模型第一梯隊,獲得金牌。

本次SuperCLUE10月報告覆蓋23個國內模型,聚焦語言大模型的通用能力評估,分為三大維度:除了考察「文科」、「理科」基礎能力外,還有考察模型更高階能力的「Hard」附加任務,總共2900+道題:

【理科任務】分為計算、邏輯推理、代碼、工具使用測評集;

【文科任務】分為知識百科、語言理解、長文本、角色扮演、生成與創作、安全六大測評集;

【Hard任務】分為精確指令遵循測評集,複雜任務高階推理測評集。

商湯SenseChat5.5在多項評測任務中均位列第一梯隊,文科中語言理解、安全等維度表現突出,也是理科中邏輯推理、代碼學科的「尖子生」。

值得注意的是,在【Hard】的兩項任務——精準指令遵循和高階推理中,商湯SenseChat5.5是唯一兩項任務均位於國內第一梯隊的大模型,體現了模型優秀的複雜推理智能。

未來,商湯將繼續堅持基礎大模型的持續研發與投入,不斷提升真正高階推理及「慢思考」能力。