Mistral 多模態大模型來了!120 億參數,原生支持任意大小/數量圖像,公司估值已達 420 億

明敏 發自 凹非寺

量子位 | 公眾號 QbitAI

Mistral的多模態大模型來了!

Pixtral 12B正式發佈,同時具備語言和視覺處理能力。

它建立在文本模型Nemo 12B基礎上,包含一個專門的視覺編碼器。

大概24GB,原生支持任意數量和尺寸的圖像,大約有40層神經網絡、14,336 個隱藏維度大小和32個注意力頭,以及一個專用的視覺編碼器,支持高解像度圖像(1024×1024)處理。

發佈形式還是簡單直接一個種子鏈接。

現在可以通過鏈接、GitHub或Hugging Face下載模型。

Mistral的開發主管表示,後續也會在Chatbot上接入模型,並提供API服務。

超越Qwen、LLaVA等

雖然目前模型的訓練數據、細節都未公開,但是通過模型代碼網民們發現了更多細節。

1、先進架構:40層網絡、14336隱藏維度大小、32個注意力頭。

2、視覺能力:專用視覺編碼器,支持1024×1024圖像大小和24個隱藏層,用於高級圖像處理。

3、更大詞彙量:131072tokens,支持更細緻語言理解和 生成。

4、使用GeLU(用於視覺適配器)和2D RoPE(用於視覺編碼器)。

5、Patch大小:16×16像素。

6、在mistral_common中支持tokenizer。

7、模型權重bf16。

與此同時,還有人在放出了Mistral發佈會上公佈的模型基準情況。

Pixtral 12B和Qwen2-VL-7B、LLaVA-OV-7B、Phi-3 Vision做了對比。

多模態知識和推理、QA等方面都表現不錯。

歐洲版OpenAI估值達60億美元

最近幾個月Mistral的動作還是非常密集的。

今年6月,他們通過股權債務融資完成約6.4億美元B輪融資。估值已達60億美元(折合人民幣約420億)。

完成融資後,他們便發佈了Mistral Large 2旗艦模型、SMoE模型Mistral 8×22B以及開源模型Codestral等。

目前,微軟、AWS、Snowflake等巨頭均投資Mistral。尤其是微軟的入股,使得Mistral成為OpenAI以外,微軟Azure第二個商業閉源模型供應商。這也進一步夯實了Mistral「歐洲版OpenAI」的地位。

參考鏈接:

[1]https://x.com/_philschmid/status/1833954941624615151

[2]https://venturebeat.com/ai/pixtral-12b-is-here-mistral-releases-its-first-ever-multimodal-ai-model/

[3]https://x.com/theresanaiforit/status/1833784474342977627