首個系統性工具使用獎勵範式，ToolRL刷新大模型訓練思路

錢成目前是伊利諾伊大學香檳分校 (UIUC) 一年級博士生，導師為季姮教授。本科就讀於清華大學，導師為劉知遠教授。其工作集中在大語言模型工具使用與推理以及人工智能體方向。曾在 ACL，EMNLP，COLM，COLING，ICLR 等多個學術會議發表論文十餘篇，一作及共一論文十餘篇，Google學術引用超 500，現擔任 ACL Area Chair，以及 AAAI，EMNLP，COLM 等多個會議 Reviewer。

「工欲善其事，必先利其器。」 如今，人工智能正以前所未有的速度革新人類認知的邊界，而工具的高效應用已成為衡量人工智能真正智慧的關鍵標準。大語言模型憑藉卓越的推理與規劃能力，正在快速融入人類生產與生活，但傳統的監督訓練方法在面對複雜或全新的工具場景時，卻常常顯得捉襟見肘。如何幫助人工智能突破這一瓶頸，擁有真正自如運用工具的能力？ToolRL 的出現為我們帶來了答案。

伊利諾伊大學香檳分校的研究團隊率先提出了一項開創性的研究 ——ToolRL。不同於傳統的監督式微調，ToolRL 首次系統性地探討了強化學習範式下的工具使用訓練方法，通過精細化的獎勵設計，有效解決了工具推理中的泛化難題。

• 標題：ToolRL: Reward is All Tool Learning Needs

• 論文鏈接：https://arxiv.org/pdf/2504.13958

• 代碼倉庫：https://github.com/qiancheng0/ToolRL

圖 1: 主要 Benchmark 任務上不同訓練策略效果對比。精細化獎勵設計 ToolRL + GRPO 冷啟動能夠在不同模型上表現出最佳效果。觀察右側訓練曲線，隨著訓練數據增加，獎勵也呈現迅速攀升。

Tool-Integrated Reasoning：LLM 的 「工具鏈式思維」

在 ToolRL 中，研究者將工具調用問題建模為 Tool-Integrated Reasoning (TIR) 的任務範式。這種任務不僅僅要求模型 「用」 工具，更要求它以合理順序和邏輯調用多個工具，並基於中間結果靈活調整接下來的思維路徑。

TIR 任務的關鍵特徵包括：

• 多步交互：一個任務通常需要多次調用工具，每步都有中間觀察結果（如 API 反饋）。

• 組合調用：每一步可調用一個或多個工具，模型需生成參數化調用。

• 推理驅動：模型必須在自然語言 「思考」 後決定調用哪些工具、輸入什麼參數。

設計的關鍵 —— 不是 「對」 就夠了

ToolRL 首次系統性地分析了工具使用任務中的獎勵設計維度，包括：

• 尺度：不同獎勵信號之間如何平衡？

• 粒度：如何拆解獎勵信號粒度而非僅是二值選擇？

• 動態性：訓練過程中，獎勵信號應否隨時間變化？

研究表明，粗粒度、靜態、或者僅以最終答案匹配為目標的獎勵往往無法最有效地指導模型學習工具推理能力。為此，ToolRL 引入了一種結構化獎勵設計，結合 「格式規範」 與 「調用正確性」，確保模型不僅生成合理的工具鏈式思維，更能準確理解工具含義與調用語義，激發更好更精準的模型工具推理能力。

「工具名稱」，「參數名稱」 以及 「參數內容」 進行精細化匹配，以取得更好的工具推理獎勵效果。

實驗：從模仿到泛化，ToolRL 如何激發工具智能？

為了驗證 ToolRL 在多工具推理任務中的有效性，研究團隊在多個基準上進行了系統實驗，涵蓋從工具調用（Berkeley Function Calling Leaderboard）、API 交互（API-Bank）到問答任務（Bamboogle）的真實應用場景。

實驗設置

• 模型：使用 Qwen2.5 和 LLaMA3 系列作為基礎模型；

• 訓練方式：對比原始模型、監督微調（SFT）、近端策略優化（PPO）以及 ToolRL 提出的 GRPO + 獎勵設計策略；

• 評估維度：準確率、對新任務 / 工具的泛化能力等。

核心結果

• 顯著性能提升：在多個下遊任務中，ToolRL 訓練的模型準確率相比 SFT 平均提升超過 15%，比原模型基線表現超過 17%；

• 更強的泛化能力：在未見過的工具、語言或任務目標中，ToolRL 模型依然保持領先表現，展現出主動性和抗干擾能力；

• 調用更合理：在問答類任務中，ToolRL 模型能靈活控制調用次數，避免無意義操作，效率更高，推理更穩健。

實驗結果表明，ToolRL 不僅提升了語言模型的工具使用能力，更重要的是，它促使模型學會 「何時該調用工具、如何調用工具」—— 這正是智能體走向自主智能的關鍵一步。

結語：ToolRL 不僅是一個方法，更是一套通用的獎勵範式

結論：ToolRL 不僅是一種方法，更開創了基於工具調用的強化學習獎勵新範式。通過大規模實驗與深入對比數析，文章驗證了三個核心發現：

簡潔勝於冗長 —— 過度展開的推理路徑在工具使用上並不能帶來更高的性能，反而可能引入噪聲導致過度推理；

動態獎勵助力平滑過渡 —— 基於訓練步數實時調整的獎勵機制，能夠使模型能從簡單目標泛化至複雜目標，逐步積累工具推理能力；

細粒度反饋是關鍵 —— 針對每一次工具調用的精細化獎懲，極大提升了模型執行多步操作並正確利用外部工具的能力。

表 4-5: TooRL 訓練出的模型在不相關工具檢測（BFCL 子任務）中表現出更好的泛化性與合理平衡工具調用以及自我知識的主動性。

相比於傳統強化學習研究往往單純以「結果正確性」為唯一優化目標，ToolRL 在獎勵信號設計上引入了更豐富的維度，不僅量化了 「是否正確」，還反映了 「工具名稱」、「參數規範」 等多方面指標，彌補了現有方法對複雜工具鏈學習的欠缺。展望未來，ToolRL 所提出的獎勵擴展框架不僅能適配更多樣的任務類別，也為 LLM 與外部工具協同帶來了更靈活、更可控的訓練思路。我們期待基於這一範式的後續研究，進一步深化多模態工具交互、知識檢索與規劃生成等領域的智能化水平。