Mistral放大招！124B多模態巨無霸登場，免費版ChatGPT震撼突襲

Mistral AI終於放大招了！一連發佈兩大更新——

Pixtral Large：前沿級124B多模態模型，用於驅動新Le Chat。

全新Le Chat：具備網頁搜索、Canvas、圖像生成、圖像理解等功能——而且所有功能免費提供！

Mistral的CEO兼聯創Arthur Mensch宣佈道：「此次發佈是一個重要的里程碑」！

現已可在官網上體驗Le Chat的使用。

Pixtral Large：地表最強開源多模態來了？

在官博中，研究人員總結了Pixtral Large的5大亮點：

• SOTA的多模態性能

• 在MathVista、DocVQA、VQAv2等任務上達到SOTA水平

• 在不影響文本處理性能的前提下對Mistral Large 2進行擴展

• 1230億參數的多模態解碼器，10億參數的視覺編碼器

• 128K上下文窗口長度：可容納至少30張高解像度圖像

具體來說，Pixtral Large是Mistral多模態系列的第二個模型，基於Mistral Large 2構建，有1240億參數。該模型能夠理解文檔、圖表和自然圖像，同時保持了Mistral Large 2卓越的純文本理解能力。

Pixtral Large擁有128K上下文窗口長度，意味著它可以處理多達30張高解像度圖像或約300頁書籍的輸入，這一能力與OpenAI的GPT系列頂級模型相當。

該模型在Mistral研究許可證（MRL）下可用於研究和教育用途。模型及其權重可在Hugging Face平台上免費下載。

下載地址：https://huggingface.co/mistralai/Pixtral-Large-Instruct-2411/tree/main

性能評測

在評估視覺數據複雜數學推理能力的MathVista測試中，Pixtral Large獲得了69.4的高分，超越了所有其他模型。

在評估複雜圖表和文檔推理能力的ChartQA和DocVQA測試中，Pixtral Large超過了GPT-4o和Gemini-1.5 Pro。

最後，Pixtral Large在反映多模態大語言模型實際使用場景的MM-MT-Bench測試中，表現也十分亮眼——憑藉著7.4的得分，一舉超越了新版Claude 3.5 Sonnet、Gemini-1.5 Pro和最新的GPT-4o。

定性實驗

1. 多語言OCR和推理

提示：

我買了咖啡和香腸。我需要付多少錢？加上18%的小費。

回答：

要計算包含18%小費的總金額，請按以下步驟：

1. 計算咖啡和香腸的費用：

– 2杯拿鐵瑪奇朵：2 * 4.50 CHF = 9.00 CHF- 1份豬排：22.00 CHF- 咖啡和香腸的總費用：9.00 CHF + 22.00 CHF = 31.00 CHF

2. 計算18%的小費：

– 小費：31.00 CHF * 0.18 = 5.58 CHF

3. 將小費加入總費用：

– 應付總額：31.00 CHF + 5.58 CHF = 36.58 CHF

因此，需要支付總計36.58 CHF。

2. 圖表理解

提示：

dark dragon什麼時候開始出現問題？

回答：

「dark-dragon-50」模型的訓練損失在大約10,000步時開始表現出明顯的不穩定性。在這一點上，損失值表現出明顯的峰值，這種不穩定性持續到大約20,000步時又有另一個主要峰值。這些峰值意味著，「dark-dragon-50」模型的訓練過程在大約10,000步時開始遇到問題。

3. 其他案例

提示：

哪些公司使用Mistral AI開發的模型？

回答：

根據圖片顯示，使用Mistral AI模型的公司包括：BNP Paribas、Brave、Cloudflare、CMA CGM和Front。

「白嫖版」ChatGPT，圖像生成搜索100%免費

全新升級後的Le Chat，能夠支持圖像生成、網絡搜索、Canvas、PDF上傳等強大功能。

關鍵是，完全免費。

你可以將其用作創意夥伴，教它執行特定的任務，並把它作為編碼copilot。

基本上，任何日常中的任務，它都能勝任。

官方博文中，簡要總結了Le Chat新的能力：

• 帶引用的Web搜索

• 用於構思、文內編輯、導出的Canvas

• 最先進的文檔和圖像理解，由Pixtral Large 2加持

• 圖像生成，直達Flux 1.1 Pro

• 從模型到輸出的全面集成

• 由推測性編輯（speculative editing）提供更快的響應

那麼，Le Chat和當前備受歡迎的聊天機器人/搜索助手區別都有哪些：

接下來，具體看下Le Chat帶來的新能力。

網絡搜索

Le Chat很大一部分用戶是學生和專業人士，將其用於學習、研究和工作。

為了讓其發揮更大的效力，Mistral AI團隊通過互聯網搜索增強了Le Chat的訓練知識。

而且，它還得到了Pixtral Large 2加持，能夠訪問最新知識和事件。

在下面的實例中，一位營銷團隊的成員，用Le Chat來評估醫療保健AI市場。

AI給出的每個結果末，會附上相應的參考來源，供再次查證。

Canvas（畫布）

前段時間，OpenAI曾發佈了Canvas，目的是讓AI與人類在ChatGPT中可以共同協作。

類似地，Le Chat中的Canvas，也充當著這個功能。

當你不僅僅需要的是對話，開始構思時，它會在聊天窗口中彈出。

如下，Mistral AI的產品團隊在為Canvas推出時，創建了一個如何讓大家使用新功能的演示。

左邊的Canvas中給出了關於用戶使用、管理等各種指標。

若是還有另外的要求，直接在右邊的聊天界面要求——用 mockdata創建一個 React 儀表盤，顯示這些指標。

而且，你還可以針對AI生成的代碼進行再編輯，比如添加文本描述。

通過Canvas你可以創建文檔、寫代碼等等，它能為你提供無限創造性思維。

快速準確理解文檔

另外，Le Chat還能處理大型、複雜的PDF文檔和圖像，並對其進行分析和總結。

具體操作，和大家日常用的其他AI流程一樣。

值得一提的是，它是由最強大的多模態Pixtral Large加持。

不如看看，Le Chat究竟有多強大？

上傳一篇由愛恩斯坦、波多爾西和羅森在1935年發表的著名量子糾纏論文，里麵包含了很多複雜的公式。

然後讓AI對論文進行信息提取、總結，和語義理解。

比如，基本的問題——論文作者是誰，並讓它將論文總結成三段話。

甚至，你可以讓它列出關鍵公式，談談這篇論文影響力。

圖像生成

Mistral與Black Forest Labs合作，將他們的圖像生成模型FLUX1.1[pro]引入了Le Chat。

智能體自動化重復工作流

如果你發現自己經常重覆使用某些提示詞，或者發現某些創造性工作的模式可以被自動化，可以將這些工作流程編碼為代理。

常見的使用場景包括，掃瞄收據進行費用報告、為冗長的會議記錄創建摘要、發票處理。

Le Chat智能體能夠和團隊成員共享，推進工作流程。

你可以創建角色扮演對話智能體。比如讓智能體模仿單口喜劇演員Ali Wong和Jimmy Yang的風格。

你還可以創建一個只說法語的智能體。你需要為這個智能體設置特定的指令，並使用少量示例學習，確保它理解只用法語進行交流的要求。

你還可以創建一個只輸出Python代碼的智能體，並要求它不提供任何解釋。這在你需要生成可以輕鬆複製黏貼的代碼片段時非常有用，避免了模型通常提供的額外解釋性文本。

此外，你可以在工作流中利用多個智能體。以下是一個生成數據分析報告的工作流，工作流共包含數據分析規劃、代碼生成與執行、分析報告總結三步，每一步都有一個單獨的智能體。

數據分析規劃：數據分析規劃智能體編寫一份全面的數據分析計劃，概述分析數據所需的步驟。

代碼生成與執行：對於分析計劃中的每個步驟，Python智能體生成相應的代碼。然後，Python智能體執行生成的代碼，以執行指定的分析。

分析報告總結：基於已執行代碼的結果，總結智能體編寫一份分析報告。報告總結了從數據分析中得出的發現和洞察。

參考資料：

https://mistral.ai/news/mistral-chat/

https://mistral.ai/news/pixtral-large/