百川智能上線開源全模態模型 Omni-1.5,號稱多項能力超越 GPT-4o mini

IT之家 1 月 26 日消息,百川智能今日宣佈,Baichuan-Omni-1.5 開源全模態模型正式上線。該模型不僅支持文本、圖像、音頻和影片的全模態理解,還具備文本和音頻的雙模態生成能力

官方宣稱,其在視覺、語音及多模態流式處理等方面,Baichuan-Omni-1.5 的表現均優於 GPT-4o mini;在多模態醫療應用領域,其具備更突出的領先優勢。

Baichuan-Omni-1.5 不僅能在輸入和輸出端實現多種交互操作,還擁有強大的多模態推理能力和跨模態遷移能力。

其在音頻技術領域採用了端到端解決方案,可支持多語言對話、端到端音頻合成,還可實現自動語音識別、文本轉語音等功能,且支持音影片實時交互。

據介紹,在影片理解能力方面,Baichuan-Omni-1.5 通過對編碼器、訓練數據和訓練方法等多個關鍵環節進行深入優化,其整體性能大幅超越 GPT-4o-mini

模型結構方面,Baichuan-Omni-1.5 的模型輸入部分支持各種模態通過相應的 Encoder / Tokenizer 輸入到大型語言模型中。

而在模型輸出部分,Baichuan-Omni-1.5 採用了文本-音頻交錯輸出的設計,通過 Text Tokenizer 和 Audio Decoder 同時生成文本和音頻。

百川智能構建了一個包含 3.4 億條高質量圖片 / 影片-文本數據和近 100 萬小時音頻數據的龐大數據庫,且在 SFT 階段使用了 1700 萬條全模態數據。

IT之家附開源地址如下:

GitHub:

  • https://github.com/baichuan-inc/Baichuan-Omni-1.5

模型權重:

  • Baichuan-Omni-1.5:

  • https://huggingface.co/baichuan-inc/Baichuan-Omni-1d5

  • https://modelers.cn/models/Baichuan/Baichuan-Omni-1d5

  • Baichuan-Omni-1.5-Base:

  • https://huggingface.co/baichuan-inc/Baichuan-Omni-1d5-Base

  • https://modelers.cn/models/Baichuan/Baichuan-Omni-1d5-Base

技術報告:

  • https://github.com/baichuan-inc/Baichuan-Omni-1.5/blob/main/baichuan_omni_1_5.pdf

廣告聲明:文內含有的對外跳轉鏈接(包括不限於超鏈接、二維碼、口令等形式),用於傳遞更多信息,節省甄選時間,結果僅供參考,IT之家所有文章均包含本聲明。