清華UCSD提出全新微調方法，8B小模型媲美GPT-4o！科學問題正確率提高28%
新智元報導
編輯：靜音
【新智元導讀】最近，一支來自UCSD和清華的研究團隊提出了一種全新的微調方法。經過這種微調後，一個僅80億參數的小模型，在科學問題上也能和GPT-4o一較高下！或許，單純地捲AI計算能力並不是唯一的出路。
我們都知道，在科研界，LLM在解決簡單科學問題時表現得遊刃有餘，但在應對複雜問題時往往會出現幻覺。於是，為了讓模型更可靠，研究人員嘗試給模型裝上科學工具，幫助它們解決高難度任務。
然而，一旦用上工具，模型就「上癮」了！甚至連一些不怎麼難的問題都要靠工具解決。這不僅讓計算成本暴漲，還影響了模型自己「獨立思考」的能力——就像有的人有了計算器就不再心算一樣。
相較而言，人類科學專家在解決科學問題時，通常會先評估問題的複雜性，再決定使用基本推理或專業工具。
正是受這種解決問題流程的啟發，一支來自UCSD和清華的研究團隊提出了一種全新的微調方法，讓模型「邊適應邊學習」，學會在使用外部科學工具和依賴內部知識之間做出合理選擇。
論文地址：https://arxiv.org/abs/2411.00412這一方法的顯著意義在於它大大提高了模型效率。
研究人員僅使用一個擁有80億參數的LLM——遠小於行業巨頭如GPT-4——便在測試數據集上實現了28.18%的答案準確率提升和13.89%的工具使用精度提高。
這挑戰了AI開發中的一個慣有想法：更大的模型必然能帶來更好的結果。
教會AI在使用外部工具和依賴內部知識之間進行判斷——就像訓練一位年輕科學家如何在相信自己計算的同時知道何時諮詢專業設備——可能比單純地捲AI計算能力更為重要。
微調方法簡介
微調方法由兩部分組成：World Knowledge Distillation（WKD）和Tool Usage Adaptation（TUA）。
World Knowledge Distillation可以翻譯為「世界知識蒸餾」。在WKD過程中，LLM通過學習那些借助工具生成的解答，來掌握和積累特定領域的知識。
WKD分為監督微調和偏好優化兩部分。
對於所有問題，研究人員提示LLM使用工具生成確定性的解答，然後將這些解答作為目標，進行監督微調（SFT）。
在遇到開放式問題時，除了進行監督微調外，LLM會生成一組不同的解答提議，並使用預定義的指標對這些提議進行排序，以構建偏好對；然後利用這些數據進行偏好優化。
而在Tool Usage Adaptation中，研究人員首先在基準數據集的問題上評估經過WKD微調後的LLM。對於每個問題，他們采樣生成一組直接回答，以計算其準確率。
基於預設的準確率閾值，他們將問題分為兩個子集：簡單問題集，即LLM可以直接解決的問題；以及複雜問題集，即LLM需要借助工具回答的問題。
對於簡單問題集，保持與WKD一致的對齊目標，即繼續通過內化已有知識直接作答；而對於複雜問題集，研究人員將對齊目標切換為包含工具使用軌跡的增強解答，並訓練LLM準確地遵循這些軌跡。
實驗過程
研究人員使用Llama-3.1-8B-Instruct作為微調方案的基礎模型。同時還對其他最先進的開源和閉源模型進行了廣泛評估，包括GPT-4o、GPT-4o mini、Claude 3.5 Sonnet和Llama-3.1-70B-Instruct。
數據集
研究人員使用了兩個現有的公開數據集MATH和SciBench，並構建了四個新的科學數據集用於實驗：Mujoco、偏微分方程（PDEs）、氣候科學和流行病學。
四個數據集的構建遵循系統化流程：首先，基於專家諮詢和模擬器功能設計了特定領域的問題模板；接著，通過在科學合理的參數範圍內進行采樣，生成單獨的問題；最後，利用LLMs和工具使用軌跡生成相應的解答。
Mujoco中主要涉及剛體和柔體動力學相關問題。
在偏微分方程（PDEs）中，研究人員設計了內部的數值求解器，並編製了關於熱傳遞、化學工程、人口模擬等領域的問題。
氣候科學問題數據集則以神經代理模型為中心。該模型接受時間、氣候情景（如SSP126、SSP245）、溫室氣體排放（CO₂，CH₄）和氣溶膠氣體（BC，SO₂）等輸入，輸出相應的地表溫度。
流行病學問題數據集使用了最先進的代理模型。模型輸入包括每個加利福尼亞州縣的28天多維特徵以及24維的州級初始條件，用於描述流行病狀態。模型輸出未來28天的流行病狀態預測。
四個自定義數據集主要由多項選擇題構成，而其中的氣候科學數據集還包含開放式問題（例如關於氣候變化緩解的政策建議）。公開的MATH和SciBench數據集則完全由數值問題組成。
外部科學工具
研究人員為不同數據集使用了不同的工具。
對於Mujoco數據集，他們使用了官方API；
對於PDEs數據集，他們利用了內部的數值求解器；
對於氣候和流行病學數據集，他們使用了封裝對應神經代理模型的API；
對於開放式數據集，他們採用了Python代碼解釋器。
評估指標
實驗主要評估了兩種準確率：答案準確率和工具使用準確率。
答案準確率
答案準確率量化了模型提供的正確答案比例。
對於自定義數據集中的多項選擇題（MCQs），研究人員根據模型是否選擇正確選項來分配二進製分數。
對於MATH和SciBench數據集中的數值答案，如果答案在真實值的±5%的容差範圍內，則視為正確答案。
工具使用準確率
工具使用準確率評估模型是否能在工具使用方面做出智能決策，即在回答較難問題時使用工具，而在回答較簡單問題時直接作答。
問題根據訓練模型是否可通過Pn（無工具使用）回答來劃分為簡單（E）或困難（H）。當使用允許工具選擇的Pi時，決策進一步標記為T（使用工具）或N（不使用工具）。例如，HT表示模型在處理一個困難問題時選擇使用工具。
工具使用準確率定義為：
實驗結果
答案準確率
該微調方法在自定義數據集上的表現顯著優於所有基準模型，這些數據集通常未在預訓練中涵蓋。
儘管在公開數據集上，微調過的模型並未超越當前的最先進模型，但相比於未微調的基礎模型，該方法顯示出顯著的改進。這一在公開基準測試上的性能差距，可能是由於當前最先進模型具有更多的參數量，並對開源數據集進行了特定優化。
工具使用準確率
總體而言，訓練模型在所有數據集上均實現了最佳的工具使用準確率，除了在SciBench數據集上排名第二。
相比之下，其他模型的準確率大約為50%，表明兩種典型情況：要麼過度依賴工具，要麼從不嘗試使用工具。
除了表中展示的優勢外，研究人員還進一步分析了MATH數據集上的工具使用決策情況，該數據集在下圖中根據問題難度提供了先驗標籤。
訓練模型在問題難度增延長顯示出合理的工具使用增長。基礎模型則無論問題難度如何均表現出對工具的過度依賴；而Claude 3.5在面對簡單和困難問題時均表現出更多的直接回答信心，可能是因為MATH是一個公開數據集，該模型在訓練期間已接觸到類似問題。
作者介紹
Bohan Lyu
Bohan Lyu目前在清華大學修讀計算機科學與經濟學雙學位。
2023年，他加入清華NLP實驗室，受劉知遠教授的指導。
2024年夏天，他前往加州大學聖地亞哥分校（UCSD）的計算機科學與工程系Rose-STL實驗室，導師是Rose Yu教授。本研究部分工作在他訪問UCSD期間完成。
他的研究興趣是設計創新的計算機科學方法，特別是專注於語言技術、知識發現和數據挖掘，以解決現實世界的挑戰。
此前，他曾擔任過ICLR 2024、ICML 2024和ACL 2024研討會的審稿人。
Yadi Cao
Yadi Cao在加州大學聖地亞哥分校（UCSD）計算機科學與工程系擔任博士後研究員，導師是Rose Yu教授。
此前，他在加州大學洛杉磯分校（UCLA）獲得了計算機科學博士學位，導師是Chenfanfu Jiang教授和Demetri Terzopoulos教授。
他的博士研究主要集中在偏微分方程（PDE）的數值解和機器學習方法，特別是在計算固體和流體動力學方面。
參考資料：
https://arxiv.org/abs/2411.00412
