27個大模型混戰電商領域，DeepSeek-R1&V3仍是最強丨首個中文電商問答基準評估結果

淘天未來生活實驗室投稿

量子位 | 公眾號 QbitAI

全面評估大模型電商領域能力，首個聚焦電商基礎概念的可擴展問答基準來了！

ChineseEcomQA，來自淘天集團。

此前，大模型常因生成事實性錯誤信息而受限，而傳統基準又難以兼顧電商任務的多樣性與領域特殊性。

但隨著大模型在電商領域的廣泛應用，如何精準評估其對專業領域知識的掌握成為關鍵挑戰。

為此，ChineseEcomQA針對性進行了3大核心設計：

ChineseEcomQA構建流程

從電子商務基本元素（用戶行為、商品信息等）出發，團隊總結出電子商務概念的主要類型。

最終定義了從基礎概唸到高級概念的10個子概念（具體詳見論文）：

行業分類、行業概念、類別概念、品牌概念、屬性概念、口語概念、意圖概念、評論概念、相關性概念、個性化概念。

然後，研究人員採用混合的數據集構建過程，結合LLM驗證、RAG驗證和嚴格的人工標註，確保基準符合三個核心特性：

具體來說，構建ChineseEcomQA主要分為自動化問答對生成和質量驗證兩個階段。

第一階段，問答對生成。

研究者收集了大量知識豐富且涵蓋各種相關概念的電子商務語料庫。

然後，提示大模型（GPT-4o）根據給定的內容忠實地生成問答對；對於比較開放的問題，要求大模型同時提供非常混亂和困難的候選答案。

從而自動化地構建出大量問答對作為初始評測集。

第二階段，質量驗證。

我們開發了一個多輪自動化流程對生成的問答對進行驗證，重新生成或過濾不符合標準的問題。

具體包括大模型驗證、電子商務通用知識驗證、電子商務專業知識驗證、電子商務事實性驗證、難度篩選、人工驗證。

經過多重嚴格篩選，最終得到均勻覆蓋10大類電商子概念的1800條高質量問答對作為終版數據集。

DeepSeek-R1和V3表現最佳

評估了11個閉源模型和16個開源模型，得出如下排名榜：

（註：對於子概念，IC、IDC、CC、BC、AC、SC、ITC、RVC、RLC 和 PC 分別代表「行業分類」「行業概念」「類別概念」「品牌概念」「屬性概念」「口語概念」「意圖概念」「評論概念」「相關性概念」和「個性化概念」）

總的來看，DeepSeek-R1和DeepSeek-V3是表現最好的模型，展示了強大的基礎模型（推理模型）在電子商務領域的巨大潛力。

此外，研究團隊對主流模型表現分析並得出了以下發現：

更大的模型在高級電商概念上表現更好，遵循Scaling Law，但小模型在特定電商任務上仍面臨顯著挑戰。
中文社區模型（如Qwen系列、GLM-4）在電商場景適應性上表現突出，尤其是在高級電子商務概念上。雖然O1-preview在基本概念上表現更好，但在更高級的概念上面臨困難。
某些類型的電子商務概念（如相關性概念）仍然對 LLM 構成重大挑戰。大參數量模型由於其強大的通用能力，可以泛化到電商任務上，而小參數量模型則更有困難。這些特點體現了專門開發電商領域模型的必要性。
Deepseek-R1-Distill-Qwen系列的表現不如原始的Qwen系列，主要原因是在推理過程中引入知識點錯誤，進而導致最終結論出錯。
開源模型和閉源模型之間的性能差距很小。以Deepseek為代表的開源模型使二者達到了相似的水平。
通過引入RAG策略，模型的性能顯著提升，縮小了不同模型之間的性能差距。
LLM的自我評估能力（校準）在不同模型中存在差異，更大的模型通常表現出更好的校準能力。
Reasoning LLM需警惕「思維鏈中的事實性錯誤累積」，尤其是蒸餾模型。