釘釘AI升級多模態:能根據圖片識人、翻譯、創作、多輪問答

新浪科技訊 3月28日午間消息,釘釘AI助理迎來升級,上線圖片理解、文檔速讀、工作流等產品能力,探索多模態、長文本與RPA技術在AI應用的落地。

基於阿裡通義千問大模型,升級後的釘釘AI助理擁有更強的視覺推理能力和長文本速讀能力。目前,用戶在釘釘IM消息框或點擊魔法棒按鈕進入AI助理對話框,發送長文件、在線文檔、網頁鏈接、視頻內容,即可根據內容識人、識地點、分析、答題、翻譯、摘要、提取文字,甚至可以通過多輪交互進一步做智能問答。

基於通義千問Qwen-VL-Max視覺理解模型,釘釘AI助理能夠準確描述和識別圖片信息,並根據圖片進行信息推理、擴展創作、文字提取、翻譯等。

此外,AI助理也支持視頻內容的速讀。發送給AI助理的短視頻、直播切片或培訓視頻可以被快速“觀看”,AI助理會根據視頻內容生成字幕,提取關鍵詞,並生成一份智能摘要,對於最高2GB的視頻內容,僅需3分鍾即可完成智能解讀。

基於通義千問大模型,釘釘AI助理可以快速閱讀本地文件如Word、PDF、PPT、Excel 等、釘釘文檔、網頁鏈接等多種格式文件。值得一提的是,釘釘AI助理對長文本的處理能力已支持單次閱讀500頁的文件,可以為法律、醫學、金融等專業領域提供信息服務。

為讓AI助理可以完成一系列更複雜的任務,釘釘AI助理上線了工作流能力,比如搭建能自動寫腳本並生成視頻的創作AI助理。為降低用戶的使用門檻,釘釘官方還提供了多種工作流模板。