國內首個自研MoE多模態大模型,揭秘騰訊混元多模態理解
AIxiv專欄是機器之心發佈學術、技術內容的欄目。過去數年,機器之心AIxiv專欄接收報導了2000多篇內容,覆蓋全球各大高校與企業的頂級實驗室,有效促進了學術交流與傳播。如果您有優秀的工作想要分享,歡迎投稿或者聯繫報導。投稿郵箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com
以 GPT 為代表的大型語言模型預示著數字認知空間中通用人工智能的曙光。這些模型通過處理和生成自然語言,展示了強大的理解和推理能力,已經在多個領域展現出廣泛的應用前景。無論是在內容生成、自動化客服、生產力工具、AI 搜索、還是在教育和醫療等領域,大型語言模型都在不斷推動技術的進步和應用的普及。
然而,要推動通用人工智能向探索物理世界邁進,第一步便是解決視覺理解問題,即多模態理解大模型。多模態理解讓人工智能能夠像人類一樣,通過多種感官獲取和處理信息,從而更全面地理解和互動世界。這一領域的突破將使人工智能在機器人、自動駕駛等方面取得更大的進展,真正實現從數字世界到物理世界的跨越。
去年 6 月 GPT-4V 發佈,但相較於大型語言模型,多模態理解模型的發展顯得較為緩慢,尤其是在中文領域。此外,不同於大語言模型的技術路線和選型相對確定,業界對於多模態模型的架構和訓練方法的選型還沒有完全形成共識。
![大模型從認知空間走向物理世界的發展路徑](http://n.sinaimg.cn/spider20240822/443/w1080h163/20240822/c634-648556f5868964acec6daed66f2c4352.png)
大模型從認知空間走向物理世界的發展路徑
近期,騰訊混元推出了基於 MoE 架構的多模態理解大模型。該模型在架構、訓練方法和數據處理方面進行了創新和深度優化,顯著提升了其性能,並能支持任意長寬比及最高 7K 解像度圖片的理解。與大部分多模態模型主要在開源基準測試中進行調優不同,騰訊混元多模態模型更加註重模型的通用性、實用性和可靠性,具備豐富的多模態場景理解能力。在近期發佈的中文多模態大模型 SuperCLUE-V 基準評測中(2024 年 8 月),騰訊混元斬獲國內排名第一,超越了多個主流閉源模型。
方法介紹:MoE 架構
騰訊混元語言大模型,在國內率先採用混合專家模型 (MoE) 架構,模型總體性能相比上一代提升 50%,部分中文能力已追平 GPT-4o,在 「時新」 問題的回答表現上,數學、推理等能力上均有較大提升。早在今年年初,騰訊混元就將該模型應用於騰訊元寶。
騰訊混元認為,能夠解決海量通用任務的 MoE 架構,也是多模態理解場景的最佳選擇。MoE 能夠更好地兼容更多模態和任務,確保不同模態和任務之間是互相促進而非競爭的關係。
依託騰訊混元語言大模型的能力,騰訊混元推出了基於MoE架構的多模態理解大模型,在架構、訓練方法和數據處理方面進行了創新和深度優化,性能得到顯著提升。這也是國內首個基於MoE架構的多模態大模型。
![騰訊混元多模態模型架構示意圖](http://n.sinaimg.cn/spider20240822/266/w940h926/20240822/733e-b89fdb8bfea93f6073e9e1c559e737f3.png)
騰訊混元多模態模型架構示意圖
簡單可規模化
除了採用 MoE 架構外,騰訊混元多模態模型的設計還遵循簡單、合理、可規模化的原則:
-
支持原生任意解像度:與業界主流的固定解像度或切子圖方法相比,騰訊混元多模態模型能夠處理原生任意解像度的圖片,實現了首個支持超過 7K 解像度和任意長寬比(例如 16:1,見下文例子)圖片理解的多模態模型。
-
採用簡單的 MLP 適配器:相較於此前主流的 Q-former 適配器,MLP 適配器在信息傳遞過程中損失更小。
這種力求簡單的設計,使得模型和數據更容易擴展和規模化。
SuperClue-V 榜單國內排名第一
2024 年 8 月,SuperCLUE 首次發佈了多模態理解評測榜單 ——SuperClue-V。
SuperCLUE-V 基準包括基礎能力和應用能力兩個大方向,以開放式問題形式對多模態大模型進行評估,包含 8 個一級維度 30 個二級維度。
![](http://n.sinaimg.cn/spider20240822/732/w992h1340/20240822/bdd0-3dbb430e6fbdad6121f3ded64fda7a13.png)
在此次評測中,混元多模態理解系統 hunyuan-vision 取得了 71.95 得分,僅次於 GPT-4o。在多模態應用方面,hunyuan-vision 領先於 Claude3.5-Sonnet 和 Gemini-1.5-Pro。
值得注意的是,業界此前的多模態評測多集中於英文能力,評測題目類型大多為選擇題或判斷題。而 SuperCLUE-V 評測更側重於中文能力評測,關注用戶的真實問題。此外,由於是首次發佈,尚未出現過擬合現象。
![](http://n.sinaimg.cn/spider20240822/688/w1016h1272/20240822/d46b-100803e56e7f82e70a16ec63040bd2a2.png)
![](http://n.sinaimg.cn/spider20240822/0/w1080h1320/20240822/a74a-a6ccf7a4a083ac88691c8cd169452713.png)
騰訊混元圖生文大模型在通用場景、圖像 OCR 識別理解和中文元素理解推理等多個維度上顯示了不錯的性能,也體現了模型在未來應用上的潛力。
![](http://n.sinaimg.cn/spider20240822/209/w1080h729/20240822/3521-e230b66551ae0b6b157407e5232fa176.png)
面向通用應用場景
混元多模態理解模型面向通用場景和海量應用進行了優化,積累了數千萬相關問答語料,涵蓋圖片基礎理解、內容創作、推理分析、知識問答、OCR 文檔解析、學科答題等眾多場景。以下是一些典型應用實例。
![](http://n.sinaimg.cn/spider20240822/557/w1080h277/20240822/67b3-820e22634a3b171b47ac7f0d54e8b9a0.png)
以下是更多典型示例:
將圖片轉換成文本表格:
![](http://n.sinaimg.cn/spider20240822/735/w1080h455/20240822/6d5f-33d14dfa387b28641c5986d1e9cb23c6.png)
解釋一段代碼:
![](http://n.sinaimg.cn/spider20240822/301/w1080h821/20240822/1f35-f1068b65f3922f57adf3b6b74eb197b8.png)
分析賬單:
![](http://n.sinaimg.cn/spider20240822/554/w1080h274/20240822/1527-4733071a3b55cf587dec3d7cb677d25d.png)
描述圖片內容:
![](http://n.sinaimg.cn/spider20240822/759/w1080h479/20240822/be8b-24d827f0b96895b4b9e67ead7b2fac8b.png)
做數學題:
![](http://n.sinaimg.cn/spider20240822/207/w1080h727/20240822/83fc-6e7c2fdaac4f0ee9f47081383f661576.png)
根據圖片內容,進行分析:
![](http://n.sinaimg.cn/spider20240822/232/w1080h752/20240822/cfdd-1f0edbcff8b78cad6d1d5780c1e7d4ed.png)
幫你寫文案:
![](http://n.sinaimg.cn/spider20240822/758/w1080h478/20240822/231f-81f613c56e2e26ea2a174eff0af8b07d.png)
目前騰訊混元多模態理解大模型已在 AI 助手產品騰訊元寶上線,並通過騰訊雲面向企業及個人開發者開放。
騰訊元寶地址:https://yuanbao.tencent.com/chat
![© THE END](http://n.sinaimg.cn/spider20240822/377/w1080h897/20240822/b3f9-b7ce891cd9bbdfbf68ecf8da07f15ed3.jpg)