歐洲版OpenAI,法國獨角獸推多模態大模型Pixtral 12B,源代碼已開放下載

智東西9月12日消息,據VentureBeat報導,法國大模型獨角獸Mistral AI昨日正式發佈Pixtral 12B,這是該公司首個能夠同時處理文本和圖像的多模態大模型。

Pixtral 12B擁有120億參數,大小約為24GB,該模型允許用戶上傳圖像或提供圖像鏈接,並能針對圖像內容提出問題。

Mistral直接提供了一個磁力鏈接,用於下載新模型文件。目前Pixtral 12B模型尚未對公眾開放網絡使用,但其源代碼已經可以在Hugging Face和GitHub上下載,方便用戶在本地實例上進行測試。

磁力鏈接:Release v1.4.0 – Mistral common goes 🖼 · mistralai/mistral-common · GitHub

此外,Mistral開發者關係負責人Sophia Yang在社交平台X上發文透露,該模型將很快在Mistral的聊天機器人Le Chat和API平台Le platform上提供。

Mistral AI由前DeepMind研究員Arthur Mensch、前Meta員工Timothée Lacroix和前Meta員工Guillaume Lample於2023年4月共同創立。

據悉,Mistral在6月份籌集了6.45億美元的資金,將其估值推高至60億美元。

Mistral開發者關係負責人Sophia Yang在社交平台X上透露,Pixtral 12B將很快在Mistral的聊天機器人Le Chat和API平台Le platform上提供(圖源:X截圖)

一、Pixtral 12B模型能夠原生支持任意圖像:40層架構、14336個隱藏維度、32個注意力頭

Pixtral 12B模型是Mistral AI的Nemo 12B文本模型的延伸,具備處理通過URL鏈接或base64編碼提供的圖像的能力。無論圖像的數量或尺寸如何,Pixtral 12B都能夠回答相關問題。

據悉,Pixtral 12B大小約為24GB,其架構包含40層、有14336個隱藏維度和32個注意力頭,能夠執行廣泛的計算處理。

據TechCrunch報導,大多數生成式AI模型,包括Mistral的其他模型,都是基於來自網絡的大量公共數據進行訓練的,這些數據通常受版權保護。

儘管Pixtral 12B模型的官方細節和訓練數據目前仍然保密,但其核心功能是允許用戶分析圖片,並將文本提示與圖片結合起來進行綜合處理。

這意味著用戶可以上傳圖像或提供圖像鏈接,並針對圖像內容提出問題,Pixtral 12B將能夠理解和回答這些問題。

發佈Pixtral 12B對Mistral來說是首次嘗試,但需要注意的是,其他競爭對手,如OpenAI和Anthropic,已經推出了具備圖像處理功能的模型。

在X平台上,當被問及Pixtral 12B模型的120億參數有何獨特之處時,Mistral AI的開發者關係負責人Sophia Yang回答說:「該模型的特別之處在於它能夠原生支持任意數量和任意尺寸的圖像。

據外媒NewsBytes報導,該模型有望執行諸如為圖像添加標題和計算照片中的對象等任務,類似於Anthropic的Claude家族和OpenAI的GPT-4o等其他多模態模型。

在視覺處理方面,該模型配備了一個專用的視覺編碼器,不僅能處理1024×1024解像度的圖像,還具備24個隱藏層以支持高級圖像處理功能。

二、Mistral被譽為「歐洲版OpenAI」,其Large 2模型支持80多種編程語言

Mistral AI成立僅一年多,就因為其在AI技術上的影響力,被業界稱為「歐洲版OpenAI」。

目前,Mistral已經與Microsoft、AWS和Snowflake等行業巨頭建立了合作關係,以擴大其技術的覆蓋範圍。

Mistral開發者關係主管Sophia Yang稱,Pixtral 12B將很快在Le Chat和Le Platforme上推出

La Platforme是Mistral AI提供的一個服務平台,它提供三個聊天端點,mistral-tiny、mistral-small和mistral-medium,這些端點能夠根據文本說明生成文本。

除聊天端點外,該平台還提供了一個嵌入端點Mistral-embed。該端點具有1024維度的嵌入模型,專為檢索功能設計,在MTEB上達到了55.26的檢索得分,適合需要進行文本相似性分析和數據檢索的應用場景。

此外,在Pixtral 12B發佈的幾個月前,Mistral就已經推出了Mistral Large 2模型。

Mistral Large 2具有1230億參數和128k的上下文窗口,支持包括中文、英語、法語、德語、西班牙語、意大利語、俄語、日語和韓語在內的多種語言,以及80多種編程語言

這款GPT-4級別的模型不僅具備先進的多語言處理能力,還在推理、代碼生成和數學性能方面實現了顯著提升。

此外,該公司還推出了多個先進模型,包括具有專家混合架構的Mixtral 8x22B、開放權重編碼模型Codestral(參數規模達22B),以及專為數學推理和科學發現設計的專用模型。

結語:Pixtral 12B輸出不受限制,確切性能有待考究

隨著Pixtral 12B的推出,Mistral將進一步拓展視覺應用程序的訪問渠道。

雖然該開放模型的確切性能尚待驗證,但這一舉措延續了Mistral在AI領域所採取的積極策略。

TechCrunch援引知情人士稱,Pixtral 12B模型可以在Apache 2.0許可下進行微調和使用。這意味著該模型的輸出可以不受限制地用於個人或商業用途。

作為歐洲AI領域的新星,Mistral AI正以其獨特的商業模式和開放策略,迅速崛起為全球AI競賽中的重要參與者,其未來發展值得我們持續關注。

本文來自微信公眾號「智東西」,作者:楊蕊伃,編輯:漠影,36氪經授權發佈。