浙大&通義全面評測智能體複雜任務規劃能力，18主流大模型全不及格｜ICLR2025

WorfBench團隊投稿

量子位 | 公眾號 QbitAI

大模型智能體正在迅速發展，能力已不再局限於 API 調用。

諸如OpenAI的Operator和Anthropic的Computer Use等，能夠像人類一樣直接與界面交互，執行複雜操作。

在處理這類複雜任務的過程中，大模型智能體將問題分解為可執行的工作流（Workflow）是關鍵的一步。然而，這一核心能力目前缺乏完善的評測基準。

現有的數據集和評估框架存在明顯局限性：要麼僅關注規劃任務的端到端性能，要麼在場景覆蓋範圍、工作流結構的複雜性以及評估標準的全面性上存在不足。完善的工作流評測基準對於推動大模型智能體在真實場景中的應用和性能提升至關重要。

為解決上述問題，浙大通義聯合發佈WorfBench——一個涵蓋多場景和複雜圖結構工作流的統一基準，以及WorfEval——一套系統性評估協議，通過子序列和子圖匹配算法精準量化大模型生成工作流的能力。這一研究不僅填補了現有評估體系的空白，還為未來大模型智能體在複雜任務中的應用提供了重要的參考。

該工作已被人工智能頂級會議ICLR 2025錄用。

WorfBench構建與評估

WorfBench利用GPT自動化構建多場景任務，包括problem solving、function calling、embodied planning和open-ended planning等，生成了包含18k訓練樣本、2146測試樣本和723個OOD的評測數據集。作者將工作流建模為有向無環圖（DAG），以更精確地表示現實世界中的複雜串行或並行智能體工作流。

為了確保數據質量，作者引入了節點鏈作為中間結構，並採用拓撲排序（Topological Sorting）算法對圖結構進行質量過濾，並在測試集上進行人工驗證。

WorfEval則通過子序列和子圖匹配算法，分別從鏈結構和圖結構兩個維度對大模型生成的工作流進行量化評估，從而精準衡量模型的線性規劃和圖規劃能力。

基準評測結果

作者在WorfBench上對18種不同規模的主流大模型進行了全面評估，包括閉源模型（如O1、GPT-4、Claude-3.5）和開源模型（如Llama系列、Qwen系列等）。實驗結果顯示，與線性結構相比，模型在圖結構工作流預測上的能力遠未達到現實需求，即使是性能卓越的GPT-4，其圖結構工作流的平均性能也僅為52.47%。

此外，作者還對兩個開源模型進行了訓練，並在OOD任務上評估其泛化能力。結果表明，儘管在訓練集上表現出色，但在未見過的任務上，模型的泛化能力仍有待提高。這表明，僅通過數據擬合目前仍難以實現結構化工作流規劃能力的有效學習。