看圖猜位置不輸o3！字節發佈Seed1.5-VL多模態推理模型，在60個主流基準測試中拿下38項第一

一水 發自 凹非寺

量子位 | 公眾號 QbitAI

在60個主流基準測試中拿下38項第一！

字節發佈輕量級多模態推理模型Seed1.5-VL，僅用532M視覺編碼器+200億活躍參數就能與一眾規模更大的頂尖模型掰手腕，還是能帶圖深度思考的那種。

相關技術報告也第一時間公開了。

整體而言，雖然是「以小博大」，但新模型在複雜謎題推理、OCR、圖表理解、3D空間理解等方面表現出色。

比如猜下圖中有幾隻貓，人眼很容易誤將地上的黑貓當成影子：

還能用來玩「看圖找茬」，速度和準確率雙雙勝於人類：

同時也能用來解答覆雜推理謎題，考公黨有福了（bushi~

當然，以上也基於其強大的OCR識別能力。即便是長度驚人、中英混雜的消費小票，也能分分鐘轉換成表格。

除此之外，新模型還擅長處理Agent任務。它在GUI界面操作和遊戲場景中，顯著優於OpenAI的CUA和Claude 3.7等模型。

那麼它是如何做到的呢？

532M視覺編碼器 + 20B混合專家語言模型

通過深扒技術報告，背後關鍵主要在於模型架構和訓練細節。

據介紹，Seed1.5-VL由以下三個核心組件組成：

• SeedViT：用於對圖像和影片進行編碼；

• MLP適配器：將視覺特徵投射為多模態token；

• 大語言模型：用於處理多模態輸入並執行推理。

模型支持多種解像度的圖像輸入，並通過原生解像度變換（native-resolution transform）確保最大限度保留圖像細節。

在影片處理方面，團隊提出了一種動態幀解像度采樣策略（dynamic frame-resolution sampling strategy），能夠根據需要動態調整采樣幀率和解像度。

此外，為了增強模型的時間信息感知能力，在每幀圖像之前引入了時間戳標記（timestamp token）。

這些設計讓模型能夠高效處理各種多模態數據，包括文本、圖像和影片等。

而基於上述架構，團隊接著開始了模型訓練。

首先，團隊使用了3萬億個多樣化且高質量的多模態標註，這些數據是根據模型需要發展的特定能力來組織和分類的。

其預訓練過程分為三個階段：

• 階段0：僅訓練MLP適配器，以對齊視覺編碼器和語言模型；

• 階段1：訓練所有模型參數，重點是掌握視覺定位和OCR能力；

• 階段2：增加數據多樣性，擴展序列長度，以適應影片理解和複雜推理任務。

值得一提的是，團隊在預訓練階段觀察到了——

大多數子類別的數據訓練損失與訓練標記數量之間遵循冪律關係，即訓練損失隨著訓練標記數量的增加而減少。

此外，某一子類別的訓練損失與該類別對應的下遊任務評估指標之間呈現對數線性關係（例如：評估指標 ∼ log(訓練損失)）的趨勢，尤其在局部區域內尤為顯著。

後者意味著，可以通過訓練損失來一定程度上預測模型在下遊任務上的表現。

接下來團隊又進行了後訓練，使用了監督微調和強化學習等技術。

其一，使用高質量的指令數據對模型進行微調，包括一般指令和長鏈推理（Long CoT）數據；

其二，結合人類反饋和可驗證獎勵信號，通過PPO算法進行訓練，以提高模型的對齊能力和推理能力。

需要注意的是，團隊在後訓練採用了結合拒絕采樣（rejection sampling）和在線強化學習（online reinforcement learning）的迭代更新方法。

他們構建了一條完整的數據pipeline，用於收集和篩選複雜提示，以增強後訓練階段的數據質量。

並且在強化學習過程中，監督信號通過獎勵模型和規則驗證器（rule verifiers）僅作用於模型生成的最終輸出結果。

也就是說，團隊特意避免對模型的詳細鏈式思維推理（chain-of-thought reasoning）過程進行監督。

最後，為了支持大規模預訓練和後訓練，團隊還開發了一系列優化技術：

• 混合併行化：針對視覺編碼器和語言模型的不同特點，採用不同的並行策略；

• 工作負載平衡：通過貪心算法重新分配視覺數據，平衡GPU工作負載；

• 並行感知數據加載：減少多模態數據的I/O開銷；

• 容錯機制：使用MegaScale框架實現容錯，確保訓練的穩定性。

這些技術顯著提高了訓練吞吐量，並降低了硬件成本。

60項測試中拿下38項SOTA

那麼其實際表現如何呢？

實驗結果顯示，新模型在60項公開基準測試中取得了38項新SOTA，其中包括19項影片基準測試中的14項，以及7項GUI智能體任務中的3項。

部分測試結果如下：

單拎出多模態智能體任務來看，它在多個GUI任務上，優於OpenAI的CUA和Claude 3.7等現有模型。

在多個遊戲中，它也展現出強大的推理和決策能力。

與此同時，在內部測試中，新模型尤其在視覺推理、文檔理解、3D空間理解等方面表現出色。

光看測試結果可能還不夠，我們最後也來簡單實測一下。

比如玩最近很火的「看圖找地理位置」，隨意一張遊客照也能正確推理識別。

鑒於圖中有燈塔這種可能容易暴露地標的元素，我們再換張難度更高的。

在無明顯標識的情況下，o3曾因猜出的位置距離正確答案（加州希古拿納達附近的一家露天酒吧里）僅相差200-300公里而出圈。

而Seed1.5-VL最後的答案是加州沿海地區（比如蒙特雷縣、聖巴巴拉周邊的小鎮）：

這兩個地點距離正確位置分別為160公里和440公里，和o3的表現已經相當接近。

不過最後需要提醒，團隊表示新模型仍存在一些局限性，尤其是在細粒度視覺感知、三維空間推理以及複雜組合搜索任務方面。

目前新模型可在Hugging Face在線體驗，歡迎大家評論區分享討論~

在線體驗：

https://huggingface.co/spaces/ByteDance-Seed/Seed1.5-VL

論文：

https://arxiv.org/abs/2505.07062

GitHub：

https://github.com/ByteDance-Seed/Seed1.5-VL