科技

突破Transformer架構，MiniMax 01首次開源，海外開發者再一次被中國模型震驚了

01月16日 19:49 新浪網 tech-auto-hilite

2025開年，MiniMax 又上新了。

繼公佈全模態模型家族後，時隔5個月，MiniMax再亮相兩大模型，且模型權重完全開源。而且與GPT-4o和Claude-3.5-Sonnet性能平起平坐，尤其在上下文窗口方面表現出色，處理能力甚至達到其他頂尖模型的 20 – 32倍。

更重要的是，這兩款全新模型擴展了新型Lightning Attention架構，突破了傳統Transformer架構，同時也是線性注意力機制的首次大規模實現。

什麼概念？

線性注意力機制是對傳統注意力機制的優化升級，即將傳統注意力機制的二次計算複雜度轉變為線性複雜度，可以降低計算的複雜度，提升模型訓練速度。早在2019年就有人提出了這一理論，但從來沒有人在大規模的模型上實現過。

如今，MiniMax率先找瞭解題答案，無疑為處理長文本、大規模數據等複雜任務提供了有力支持，實力證明了線性注意力機制在大規模商用模型中的可行性。

消息一出，網民炸鍋了。

有網民表示: 來自中國的AI變革！MiniMax 01成本比GPT-4o 低 10 倍，將引發新一輪AI革命。

也有網民直接上手測評表示：模型不僅好用且成本低廉，簡直給2025開源模型之爭提高了一個level!

01 MiniMax連發兩款大模型

CSDN瞭解到，此次MiniMax更新的兩大模型基礎語言大模型MiniMax-Text-01和視覺多模態大模型MiniMax-VL-01進一步拓展了文本和視覺多模態領域的能力。

那麼，這兩款大模型的實力究竟如何呢？

MiniMax-Text-01

首先來看基礎語言大模型MiniMax-Text-01。

評測結果顯示，MiniMax-Text-01在大多數任務上成功追平海外最先進的 GPT – 40 – 1120 及 Claude – 3.5 – sonnet – 1022 等頂級閉源模型以及 Qwen2.5、DeepSeek v3、Llama 3.1 等 SOTA 開源模型，甚至在某些特定場景下，其響應速度和準確率更勝一籌，展現出驚人的潛力。

例如，在MMLU基準測試中，MiniMax-Text-01得分與DeepSeek-V3得分相同，均為88.5分；明顯高於GPT-4o的85.7分。

在HumanEval上，MiniMax-Text-01 與 Instruct Qwen2.5-72B 相比表現出色。此外，MiniMax-Text-01 在 GPQA Diamond 這樣具有挑戰性問答的數據集上取得了 54.4 的成績，超過了大多數開源指令微調的 LLM 以及最新版本的 GPT-4o。

在模型處理能力方面，MiniMax-Text-01表現同樣出色，不僅能夠高效處理超過百萬字符的長文本，且與海外模型相比，延遲更低，穩定性更強，確保了大規模數據處理的高效性和可靠性。

這些成績表明MiniMax-Text-01不僅在技術層面達到國際領先水平，更在實際應用中展現出高效穩定的性能。

在長上下文理解能力方面，與 Google的 Gemini 模型相比，MiniMax-Text-01在長上下文檢索、理解和學習任務中表現出色，在64K輸入級別的表現與頂尖模型GPT-4o、Claude-3.5-Sonnet等實力相當，但從128K開始顯現出明顯的優勢，並超越了所有基準模型。

並且隨著輸入長度的增加，MiniMax-Text-01的性能衰減最慢，這意味著它在處理長文檔、長篇對話等場景時，能夠更好地保持對信息的理解和處理能力，提供更準確、連貫的輸出。

同時，MiniMax-Text-01還構建了一個利用真實數據的助手場景使用的測試集，結果顯示，MiniMax-Text-01在多個內部基準任務上與其他模型相比具有競爭力，尤其在創意寫作、長上下文和安全等方面表現出色。這一突破性進展，不僅提升了長文任務的效率，也為學術研究、內容創作等領域提供了強大工具，驗證了線性注意力機制在處理大規模數據中的實際應用價值。

MiniMax-VL-01

接著我們來聊一聊視覺多模態大模型MiniMax-VL-01。

MiniMax-VL-01是一款將圖像編碼器和圖像適配器集成到MiniMax-Text-01模型基礎上開發的多模態模型，採用多模態大語言模型常用的ViT-MLP-LLM框架，具有動態解像度功能，可以根據預設網格調整輸入圖像的大小，調整後的圖像被分割成大小相同的不重疊塊，這些塊和縮略圖分別編碼後組合，形成完整的圖像表示。它不僅繼承了文本處理的高效性，還具備強大的視覺理解能力，在多種視覺語言任務基準測試中展現出與頂尖模型相媲美的性能。

此外，MiniMax-VL-01進行了四個階段的訓練，處理數據集總量達到5120億token。

結合評測結果可以看到，經過四個階段訓練，MiniMax-VL-01模型在多個基準測試中均取得了優異成績。尤其在VQA（視覺問答）任務中表現出色，性能與GPT-4o相當，在長文本理解與檢索能力的評估中，MiniMax-VL-01同樣表現亮眼，優於多數同類模型。

一直以來，MiniMax給外界的印像是強調技術研發創新和突破，憑藉從文本到視覺、從文本到語音、從文本到文本的三大模態基礎模型架構，MiniMax在創業公司中已經殺出了一條生路。

在底層技術上，MiniMax的目標是更快更強。

其創始人曾公開表示：大語言模型領域，兩個模型性能相似，一定是速度更快的那個模型更容易帶來產品數據增長。就好像Scaling Law一樣，算法相同情況下，訓練數據量更大的模型往往會取得更好的效果。

因此，MiniMax創新性地將MOE架構和Linear Attention相結合，理論上可以處理的token接近無限長，而且模型效率也獲得了大幅提升——在處理10萬token的時候，速度是其他模型的2-3倍，並且隨著長度越長，效率提升越明顯。

此次發佈的兩款大模型更是其理念的集中體現，同時也是業內首次線性注意力機制大規模實現的實例。在架構方面，創新性地採用了混合架構，結合了Lightning Attention、Softmax Attention以及Mixture-of-Experts（MoE），同時通過LASP+、varlen ring attention、ETP等優化的並行策略和高效的計算通信重疊方法，最終模型參數達4560億，每次激活459億。