行業首個原生流式多模態座艙產品量產上車，商湯絕影「家庭新成員」邁出成長第一步

近日，商湯絕影與國內知名車企合作夥伴聯手打造的行業首個原生流式多模態座艙產品已經量產上車，並向用戶進行 OTA 推送。

在兩個月前的 2024「絕影實力 AI DAY」上，商湯絕影正選了 AI 汽車創新產品「A New Member For U」（你的家庭新成員），它能夠察言觀色，無時不在，心有靈犀，將會讓智能汽車擁有「有趣的靈魂」。原生流式多模態大模型是打造「家庭新成員」的關鍵之一，也是它能察言觀色的核心所在。

如今，隨著商湯絕影的多模態艙外識別功能量產上車，它已經開始認識並且理解世界，能夠實現「前車識別」、「交通標誌識別」和「沿途風光識別」等功能，識別準確率、識別範圍等性能全面領先行業，還能和車內駕乘人員進行深入交流與互動，這位未來的「家庭新成員」邁出了成長的第一步。

多模態艙外識別性能全面領先，「懂車博士」、「隨車教練」、「地陪達人」，一車搞掂

隨著小米、小鵬、比亞迪等企業紛紛上車多模態識別功能，多模態大模型上車已成為行業趨勢。近日，商湯絕影的行業首個原生流式多模態座艙產品已經量產上車，艙外識別功能已向用戶進行 OTA 推送。

商湯絕影量產上車的多模態艙外識別功能包括三大能力，即前車識別、交通標誌識別、沿途風光識別。

l 「懂車博士」——前車識別功能

相當於把馬路變成了流動 4S 店，也是大型的車型展覽場，路上看到了喜歡的車型，或者不認識但又想瞭解的車型，隨時隨地就可以讓車機這個「懂車博士」為你答疑解惑，從車型、價格、上市日期，到背後的發展歷史，幾乎無所不知。

相較於已量產的同類功能，商湯絕影的前車識別功能認得更準、更多、更深、更新。

認得更準，就是商湯絕影前車識別準確率超過 90%，領跑行業；在極端環境下，如晚上環境光線弱的時候，識別率依然很高。

同時，原生流式多模態大模型的強大指代能力，前面如果有三輛車，左中右分別為紅黃藍，如果問「藍色車輛是什麼車」，傳統模型可能依舊會識別中間黃車，商湯絕影的原生流式大模型能精準識別右前方的藍色車輛。

認得更多，是絕影的多模態能夠識別的種類和範圍非常廣，尤其是豪車和小眾品牌。甚至是偽裝車、無車標等特殊外觀，通過尾燈、外形、構造等品牌特點也可以識別。

認得更深，舉例來看，現在很多車型已經不再生產，一部分經典車型仍然在道路上平治，它們背後有值得挖掘的歷史，通過對話、圖文等形式，絕影的前車識別功能可以把豐富且完整的信息展示給艙內用戶，幫助他們全方位深入瞭解感興趣的車型產品。

認得更新，是因為絕影的原生流式多模態大模型一直在持續訓練和迭代，即使是上市不久的新車也能夠快速識別。

l 「隨車教練」——交通標誌識別

商湯絕影的艙外識別功能不僅能識別前車，還能夠識別交通標誌，這也是行業正選的產品能力，其他上車的多模態大模型都沒有做到交通標誌的準確識別。

面對路面上越來越多的交通標誌，即使是老司機有時候也會不知所措，反應不及。有了商湯絕影的「交通標誌識別」功能，就相當於有了可靠的駕校教練坐鎮車內，交通標誌的識別和解讀信息不僅準確完善，車機系統還可以根據用戶詢問，給出駕駛建議，讓司機駕駛起來更加安穩放心。

準確識別「車道數即將減少」的交通標誌

l 「地陪達人」——沿途風光識別

商湯絕影的原生流式多模態座艙產品還能夠對沿途風光進行識別，成為最強的地陪達人。大家免不了要接待來遊玩的親朋好友，也不一定能夠對當地景點進行充分的介紹，「沿途風光識別」能夠進行車輛行駛途中的建築物和景點的識別，準確率高，達 90% 以上。在此基礎上，它還可以提供圖文介紹，詳細講解景點和建築，相關的歷史典故、趣聞軼事等都能信手拈來，娓娓道出。

如果對這個沿途風光感興趣，用戶可以詢問車機，進一步瞭解信息，比如，朋友問你某個路過小區的房價，它也能輕鬆準確應對。

不止如此，商湯絕影的沿途風光功能還能結合不同用戶的需求，製定特色旅遊路線並推薦給用戶，如網紅打卡路線、親子歡樂之旅、高校遊覽路線、美食路線等，帶來全新的智慧出行體驗。

原生流式多模態，智能汽車通往 AGI 時代的鑰匙

商湯絕影全面行業領先的艙外識別功能離不開原生流式多模態大模型能力。

大模型的發展從單一模態到多模態已經是不可阻擋的趨勢，人工智能（AI）想要提升全面理解世界和理解「人」的能力，向通用人工智能（AGI）演進，從而真正在工作和生活中幫助人類，AI 就必須能夠支持並實現多種模態的感知、理解和交互，多模態能力是 AI 向 AGI 進化的核心推動力。

商湯絕影 CEO、商湯科技聯合創始人、首席科學家王曉剛就表示，基於商湯「日日新 5o」打造的原生流式多模態大模型讓世間萬物都可被感知、被理解、被交互。原生流式多模態大模型是讓文字、語音、影片等模態一同輸入，模型統一處理後輸出相應模態的信息。

原生流式多模態是一種非常自然且新穎的交互方式，將會成為一個全新的直接接觸用戶的超級入口，而智能汽車是這個超級入口的最佳落地場景。依靠智能汽車內外各種常開的攝像頭，用戶可以實時跟汽車通過多模態的方式進行交互。同時，智能汽車的保有量不斷增加，能夠產生豐富的終端用戶反饋和數據信息，讓模型不斷迭代成長。

通過應用場景和用戶需求驅動，以原生流式多模態大模型為基礎的座艙產品將能夠讓智能汽車高效準確地全景感知和深度理解用戶需求和周圍環境，並以此為核心打通不同應用，全局調用車上開放的軟硬件服務，將離散的單點功能聚合在一起，從而為用戶提供更多深度個性化的主動關懷和服務，讓智能汽車成為你的新助手、新夥伴乃至新的家庭成員。

現在，商湯絕影原生流式多模態大模型量產上車，大模型加速深度融入智能汽車，絕影正在用原生流式多模態這把鑰匙，打開智慧出行的 AGI 新時代。

商湯絕影的「家庭新成員」，邁出了成長第一步

智能座艙目前陷入了「冰箱彩電大沙發」的內卷當中，原生流式多模態帶來的自然、舒心的交互體驗或許能夠為車企突圍這一輪內卷開闢出一條全新的路徑。

在去年 11 月的 2024「絕影實力 AI DAY」上，商湯絕影正選了 AI 汽車創新產品「A New Member For U」（你的家庭新成員），將會讓智能汽車擁有「有趣的靈魂」。

依託原生流式多模態大模型、車載類人記憶框架和持續運行框架等前沿 AI 汽車創新技術，商湯絕影打造的「家庭新成員」能夠察言觀色，無時不在，並且做到與你心有靈犀。

智能汽車從冰冷的工具和機械式的助手，進化為「你的家庭新成員」，是一個逐步轉型與成長過程。商湯絕影的原生流式多模態座艙產品量產上車，艙外識別能力覆蓋了座艙、汽車周邊的環境，這意味著「家庭新成員」開始逐步認識世界、理解世界，邁出了成長的第一步。

這第一步邁得很踏實，首先，離不開商湯絕影強大的原生流式多模態大模型。在 OpenCompass 多模態評測榜單中，絕影多模態大模型的理解和推理能力排名第一，以此為基礎，「家庭新成員」能全面感知用戶的語音、表情、手勢、以及環境數據，並進行深度理解和推理思考。

同時，車端模型部署能力是智能汽車交互革新不可或缺的技術保障。商湯絕影在行業率先實現原生多模態大模型的車端部署，如今可實現首包延遲低至 60 毫秒以內，推理速度 40 Tokens/秒。以雲側、端雲結合、端側等全棧方式靈活部署多模態大模型，商湯絕影能快速、準確響應用戶的識別需求，並充分保護個人隱私和數據安全。

作為最專注於汽車行業的 AI 公司，商湯絕影在智能座艙領域具備豐富的量產經驗。第三方調研數據顯示，商湯絕影在座艙視覺 AI 軟件市場的份額連續五年蟬聯第一，座艙 AI 大模型產品已上車智己全系車型、LEVC L380 等車型。截至 2024 年底，商湯絕影已與超 30 家國內外車企達成合作，覆蓋 100 餘款車型，量產交付累計突破 350 萬輛。

基於領先的模型能力、全棧的模型部署能力和豐富的量產經驗，商湯絕影能夠深入理解用戶需求並進行個性化設計，讓原生流式多模態座艙產品具備強大的複雜環境適應能力，並且提供自然、流暢的交互體驗。

隨著艙外識別功能的量產交付，商湯絕影的各項領先 AI 技術都將逐步上車，「家庭新成員」也將持續學習與成長，加速智能汽車駛入 AGI 時代。