陶哲軒：通義千問QwQ奧數真厲害，開源大模型頂流

機器之心報導

編輯：澤南

QwQ 具有神奇的推理能力。

一個剛發佈兩天的開源模型，正在 AI 數學奧林匹克競賽 AIMO 上創造新紀錄。

本週五，知名數學家、加州大學洛杉磯分校教授、菲爾茨獎得主陶哲軒（Terence Tao）介紹了第二屆 AIMO 競賽的最新進展。比賽在數據競賽平台 Kaggle 上已經持續了一個月，現在有隊伍快要觸發「Early Sharing Prize」的門檻了。

Early Sharing Prize 是為了鼓勵 AIMO 參賽者在比賽早期分享高分模型經驗設立的獎項，需要選手在競賽中第一個獲得 20/50 分，且公開自己的 notebook，獎金為額外的兩萬美元。

據陶哲軒介紹，就在不到一天前有參賽團隊使用 QwQ-32B 的特定實例已經拿到了 18/20 的成績，該模型似乎比之前的開源模型在解決數學競賽問題方面表現得更好。

今年 7 月，陶哲軒在國際數學奧賽 IMO 上給第一屆 AIMO 的獲獎團隊進行了頒獎，分享了自己對 AI 在數學研究中應用範式的思考，也打響了 AIMO 競賽的名聲。

AI 數學奧林匹克競賽 AIMO 的初衷是讓參與者使用 AI 模型解決國際數學難題，這將有助於推動人工智能模型的數學推理能力，並促進前沿知識的發展。

由於大模型技術的快速進步，人們對 AI 解決數學問題的能力寄予厚望，第一屆 AIMO 的獲獎隊伍分獲了 104.8 萬美元的獎金，而現在第二屆，獎池已經上升到了 211.7 萬美元。

AIMO 競賽要求參賽團隊公開發佈其代碼、方法、數據和模型參數。剛剛結束的第一屆比賽里大家使用的模型各不相同，包括 Mixtral 8x7b、Gemma、Llama 3 等等，有的來自大廠，有的來自 AI 創業公司，呈現百花齊放的態勢。

而到了這一屆，現在似乎已經變成了 Qwen 系列在刷屏，其他模型偶爾出現：

剛剛發佈的 QwQ，還在把開源大模型推向新的高度。

QwQ 的能力也並不僅限於奧數這一個方面，最近社交網絡上也有不少人在誇它的推理能力。

HuggingFace 的產品設計人員也表示：測試了一下 QwQ，結果令人驚歎：

有人說，QwQ 就是一個在冉冉升起的新神，雖然有時仍會出錯，但令人著迷的就是它的推理路徑，就像給 o1 再來一個巨大的加號。

更有趣的是，有人發現這個模型用於思考的原生語言似乎是中文：

難不成這就是 QwQ 邏輯能力強大的原因之一？無論如何，開源大模型領域的風向，似乎已經變了。

11 月 28 日，阿里雲通義團隊發佈了全新 AI 推理模型 QwQ-32B-Preview，並同步開源。評測數據顯示，預覽版本的 QwQ 已展現出研究生水平的科學推理能力，在數學和編程方面表現尤為出色，整體推理水平比肩 OpenAI 的 o1。

• HuggingFace 開源地址：https://huggingface.co/Qwen/QwQ-32B-Preview

• HuggingFace Space 體驗：https://huggingface.co/spaces/Qwen/QwQ-32B-preview

據介紹，QwQ（Qwen with Questions）是通義千問 Qwen 大模型最新推出的實驗性研究模型，也是阿里雲首個開源的 AI 推理模型。阿里雲通義千問團隊研究發現，當模型有足夠的時間思考、質疑和反思時，其對數學和編程的理解就會深化。基於此，QwQ 取得瞭解決複雜問題的突破性進展。

在考察科學問題解決能力的 GPQA 評測集上，QwQ 獲得了 65.2% 的準確率，具備研究生水平的科學推理能力；在涵蓋綜合數學主題的 AIME 評測中，QwQ 以 50% 的勝率證明其擁有解決數學問題的豐富技能；在全面考察數學解題能力的 MATH-500 評測中，QwQ 斬獲 90.6% 的高分，一舉超越了 o1-preview 和 o1-mini；在評估高難度代碼生成的 LiveCodeBench 評測中，QwQ 答對一半的題，在編程競賽題場景中也有出色表現。

另外當面對複雜問題時，QwQ 展現了深度自省的能力，會質疑自身假設，進行深思熟慮的自我對話，並仔細審視其推理過程的每一步。

比如，在經典智力題「猜牌問題」中，QwQ 會通過梳理各方對話並推演現實情況，它像個擅長思考的人一樣，能揣摩「這句話有點 tricky」，反思「等一下，也許我需要更仔細地思考」，最終分析得出正確答案，這似乎是以前沒有 AI 能做到的事情。

面對目前高漲的熱度，通義團隊表示，儘管 QwQ 展現了強大的分析能力，但該模型仍是個供研究的實驗型模型，存在不同語言的混合使用、偶有不恰當偏見、對專業領域問題不瞭解等局限。隨著研究深入模型迭代，這些問題將逐步得到解決。

參考內容：

https://mathstodon.xyz/@tao/113568284621180843

https://www.kaggle.com/competitions/ai-mathematical-olympiad-progress-prize-2/leaderboard