商湯絕影原生流式多模態座艙產品量產上車 AI汽車開始認識世界
新京報貝殼財經訊(記者羅亦丹)記者1月10日獲悉,商湯絕影與國內知名車企聯手打造的行業首個原生流式多模態座艙產品已經量產上車,並向用戶進行OTA(在線升級)推送。
兩個月前,商湯絕影正選了AI汽車創新產品「A New Member For U(你的家庭新成員)」,通過AI能力,該產品能夠「察言觀色」,例如會在注意到後排孩子睡覺時升高空調溫度,降低音樂聲量,調整駕駛模式為舒適等,原生流式多模態大模型是其能力核心所在。
如今,隨著多模態艙外識別功能量產上車,它已經開始認識並且理解世界。據瞭解,目前其已經具備前車識別、交通標誌識別、沿途風光識別三項基於AI的能力。
例如,前面如果有三輛車,左中右分別為紅黃藍,如果問「藍色車輛是什麼車」,傳統模型可能依舊會識別中間黃車,而原生流式大模型能精準識別右前方的藍色車輛,甚至是偽裝車、無車標等特殊外觀,通過尾燈、外形、構造等品牌特點也可以識別。
此外,其還能夠進行車輛行駛途中的建築物和景點的識別,並在此基礎上提供圖文介紹,詳細講解景點和建築,相關的歷史典故、趣聞逸事等。
商湯絕影CEO、商湯科技聯合創始人、首席科學家王曉剛表示,原生流式多模態大模型是讓文字、語音、影片等模態一同輸入,模型統一處理後輸出相應模態的信息。
「原生流式多模態是一種非常自然且新穎的交互方式,將會成為一個全新的直接接觸用戶的超級入口,而智能汽車是這個超級入口的最佳落地場景。依靠智能汽車內外各種常開的攝像頭,用戶可以實時跟汽車通過多模態的方式進行交互。同時,智能汽車的保有量不斷增加,能夠產生豐富的終端用戶反饋和數據信息,讓模型不斷迭代成長。」王曉剛說。
校對 盧茜