通義千問推出最強視覺理解模型 Qwen2-VL-72B,API 已上線阿里雲

8 月 30 日,阿裡通義千問發佈第二代視覺語言模型 Qwen2-VL,旗艦模型 Qwen2-VL-72B 的 API 已上線阿里雲百煉平台。Qwen2-VL 在多個權威測評中刷新了多模態模型的最佳成績,在部分指標上甚至超越了 GPT-4o 和 Claude3.5-Sonnet 等閉源模型。

2023 年 8 月,通義千問開源第一代視覺語言理解模型 Qwen-VL,成為開源社區最受歡迎的多模態模型之一。短短一年內,模型下載量突破 1000 萬次。目前,多模態模型在手機、車端等各類視覺識別場景的落地正在加速,開發者和應用企業也格外關注 Qwen-VL 的升級迭代。

相比上代模型,Qwen2-VL 的基礎性能全面提升。可以讀懂不同解像度和不同長寬比的圖片,在 MathVista、DocVQA、RealWorldQA、MTVQA 等基準測試創下全球領先的表現;可以理解 20 分鐘以上長影片,支持基於影片的問答、對話和內容創作等應用;具備強大的視覺智能體能力,可自主操作手機和機器人,借助複雜推理和決策的能力,Qwen2-VL 可以集成到手機、機器人等設備,根據視覺環境和文字指令進行自動操作;能理解圖像影片中的多語言文本,包括中文、英文,大多數歐洲語言,日語、韓語、阿拉伯語、越南語等。

通義千問團隊從六個方面評估了模型能力,包括綜合的大學題目、數學能力、文檔表格多語言文字圖像的理解、通用場景問答、影片理解、Agent 能力。Qwen2-VL-72B 在大部分的指標上都達到了最優,甚至超過了 GPT-4o 和 Claude3.5-Sonnet 等閉源模型,在文檔理解方面優勢尤其明顯,僅在綜合的大學題目方面與 GPT-4o 存在差距。

用戶可通過阿里雲百煉平台調用 Qwen2-VL-72B 的 API,地址:

https://help.aliyun.com/zh/model-studio/developer-reference/qwen-vl-api