科技

Mistral AI 發佈了全新的 Pixtral Large 開源模型超越 GPT-4o、Gemini-1.5 Pro 和 Claude-3.5 Sonnet

11月19日 19:43 新浪網 tech-auto-hilite

Mistral AI 發佈了全新的 Pixtral Large 模型，這是一款具備多模態能力的開源模型，基於 Mistral Large 2 構建，參數量達到 1240 億，並進一步擴展了圖像與文本理解能力。

多模態能力：配備 123B 參數解碼器和 1B 參數視覺編碼器，在文本處理能力基礎上顯著提升了視覺處理性能。
超大上下文窗口：支持 128K Token，可同時處理多達 30 張高解像度圖像或複雜長文檔。
文檔解析、圖像理解、圖表分析。
能夠處理 OCR（光學字符識別）、表格、公式和圖形等多種輸入格式。

主要性能表現

MathVista（數學推理任務）
- 該模型在視覺數據的數學推理方面取得 69.4% 準確率，領先於目前市面上所有同類模型。
文檔與圖表問答能力（DocVQA 和 ChartQA）
- 在複雜文檔和圖表推理中，Pixtral Large 憑藉強大的視覺理解能力超越 GPT-4o 和 Gemini-1.5 Pro。
MM-MT-Bench（多模態綜合評估）

：
- 這是一個開放源代碼的評估框架，模擬真實世界應用場景，Pixtral Large 在其中全面領先 Claude-3.5 Sonnet、GPT-4o 等最新模型。
  - 在圖表、文檔和圖像處理能力上超越 GPT-4o、Gemini-1.5 Pro 和 Claude-3.5 Sonnet。
  - 更大的上下文窗口（128K Token）和強大的視覺編碼器，使其能夠處理更複雜的多模態任務。
  綜合能力
  - 文本處理與視覺處理能力均達行業頂級。
  - 適合複雜場景的語義推理、多模態問答和自動化任務。

應用示例

多語言 OCR 與推理
- 提示：我買了咖啡和香腸，加上 18% 的小費後我需要支付多少？
- 輸出：模型能夠清晰計算物品費用、小費金額和最終支付總額。
  Prompt:：
  
  I bought the coffee and the sausage. How much do I owe? Add a 18% tip.
  
  我買了咖啡和香腸。我得付多少錢？添加 18% 的小費。
  
  Response:回覆：
  
  To calculate the total amount you owe, including the 18% tip, follow these steps:
  
  要計算您所欠的總金額（包括 18% 小費），請按照以下步驟操作：
  1. Calculate the cost of the coffee and the sausage:
    計算咖啡和香腸的成本：
    - 2x Latte Macchiato: 2 * 4.50 CHF = 9.00 CHF
      
      2 杯拿鐵瑪奇朵：2 * 4.50 瑞士法郎 = 9.00 瑞士法郎1x Schweinschnitzel: 22.00 CHF
      
      1x 炸豬排：22.00 瑞士法郎Total cost for coffee and sausage: 9.00 CHF + 22.00 CHF = 31.00 CHF
      
      咖啡和香腸的總成本：9.00 瑞士法郎 + 22.00 瑞士法郎 = 31.00 瑞士法郎
  2. Calculate the 18% tip:計算 18% 小費：
    - Tip: 31.00 CHF * 0.18 = 5.58 CHF小費：31.00 瑞士法郎 * 0.18 = 5.58 瑞士法郎
  3. Add the tip to the total cost:
    將小費添加到總成本中：
    - Total amount owed: 31.00 CHF + 5.58 CHF = 36.58 CHF
      欠款總額：31.00 瑞士法郎 + 5.58 瑞士法郎 = 36.58 瑞士法郎
  So, you owe a total of 36.58 CHF.
  
  因此，您總共欠 36.58 瑞士法郎。
圖表分析
- 提示：Dark Dragon 模型在什麼時候開始表現不穩定？
- 輸出：分析模型訓練時損失值的波動，準確指出模型問題發生的步驟。
  
  Prompt:：
  
  When did things start to go wrong for dark dragon?
  
  黑龍什麼時候開始出問題的？
  
  Response:回覆：
  
  The training loss for the 「dark-dragon-50」 model starts to exhibit significant instability around the 10,000 steps mark. There is a noticeable spike in the loss value at this point, and the instability continues with another major spike around the 20,000 steps mark. These spikes indicate that the training process for the 「dark-dragon-50」 model began to encounter issues starting around the 10,000 steps mark.
  
  「dark-dragon-50」模型的訓練損失在 10,000 步標記附近開始表現出明顯的不穩定。此時損失值出現明顯的峰值，並且不穩定狀態仍在繼續，在 20,000 步大關附近出現另一個峰值。這些峰值表明「dark-dragon-50」模型的訓練過程從 10,000 步大關開始就開始遇到問題。
企業支持場景

：
- 在知識探索與共享、文檔語義理解、任務自動化以及改善客戶體驗等企業級場景中，Pixtral Large 展現了顯著能力。
  Prompt:：
  
  Which companies use models made by Mistral AI?
  
  哪些公司使用 Mistral AI 製作的模型？
  
  Response:回覆：
  
  The companies that use models made by Mistral AI, as shown in the image, are:
  
  如圖所示，使用 Mistral AI 製作的模型的公司是：
  1. BNP Paribas法國巴黎銀行
  2. Brave勇敢的
  3. Cloudflare雲耀
  4. CMA CGM達飛輪船
  5. Front正面