絕影實力 AI DAY:行業正選AI 汽車創新產品「A New Member For U」,標杆級世界模型「開悟」

11 月 27 日,2024「絕影實力 AI DAY」成功舉辦,商湯絕影全面展示了「駕-艙-雲」三位一體的通用人工智能(AGI)產品體系與戰略佈局,發佈智能座艙交互革新、端到端智能駕駛等前沿領域的創新成就,領航 AI 汽車新徵程。

在本屆「絕影實力 AI DAY」上,商湯絕影行業正選智能座艙大模型創新產品「A New Member For U」(你的家庭新成員),讓汽車擁有「有趣的靈魂」。面向智能駕駛,商湯絕影構建了「車雲一體」的產品矩陣,發佈涵蓋高速、城區以及泊車等全場景的高階智駕、端到端智駕等絕影量產智駕產品體系,同時全新升級行業標杆級別的「開悟」世界模型,以此打造堅實的數據基礎設施。

作為最專注汽車行業的 AI 公司,商湯絕影同時具備豐沛算力、原生汽車垂類大模型研發能力、高質量數據體系和豐富量產經驗等全棧實力,全力以赴推動大模型上車,打造領先的 AI 汽車創新技術和產品,給座艙以溫度,讓智駕更自由。

商湯絕影 CEO、商湯科技聯合創始人、首席科學家王曉剛表示:「我們已經站在 AGI 時代的門口。作為加速智能汽車駛入 AGI 時代的戰略合作夥伴,商湯絕影將牢牢把握住新一輪智能汽車變革的時間窗口,與車企夥伴進行全方位深度合作,共享大算力與大模型,共建數據基礎設施,共同打造智能汽車大模型創新應用,才能攜手共贏,領航未來。」

A New Member For U,絕影讓智能汽車擁有「有趣的靈魂」

大模型上車伊始,它們主要扮演著工具的角色,為用戶提供基礎的對話、信息查詢和問題解答服務。隨著技術的不斷進步,具備邏輯思考和通用任務處理能力的 AI Agent 出現了,能夠根據用戶的指令,完成複雜的連續性任務,成為能幹的助理。不過,這類車機都只是聽話和服從的「被動智能」。

在 2024「絕影實力 AI DAY」上,商湯絕影用領先的 AI 實力重新定義座艙,不只是賦予汽車以智能,更賦予智能以溫度。未來,它不再只是冰冷的工具或者機械式的助理,而是「A New Member For U」,成為會察言觀色、無時不在且與你心有靈犀的「家庭新成員」。

這位「家庭新成員」能夠感知和理解用戶需求,提供有溫度、有情感的主動關懷。可以暢想這麼一個場景:在駕駛旅途中,「家庭新成員」注意到坐在後排的孩子睡著了,就會主動把空調溫度升高、音樂的聲量調低,底盤和駕駛模式都調整為舒適模式,給小朋友一個舒適安心的睡眠環境。

依託原生流式多模態大模型、車載類人記憶框架和持續運行框架等前沿 AI 大模型技術,商湯絕影正在引領座艙交互體驗的革新,讓智能汽車擁有「有趣的靈魂」。

New Member「新成員」能夠察言觀色,離不開商湯絕影強大的原生流式多模態大模型。在 OpenCompass 多模態評測榜單中,絕影多模態大模型的理解和推理能力排名第一,以此為基礎,「家庭新成員」能全面感知用戶的語音、表情、手勢、以及環境數據,並進行深度理解和推理思考,具備理解世界、理解人類的能力。

如果要讓汽車與用戶心有靈犀,它還必須有擁有「記憶」,因為記憶是人類認知的核心,也是情感聯結的基礎。為此,商湯絕影打造了國內首個「車載類人記憶框架」,讓系統實現類人的記憶能力。

商湯絕影的記憶框架與人類的記憶機制非常相似。它有臨時記憶,能記得一些瞬時信息,比如車里的物品、人的搭配、有沒有系安全帶等;也有長期記憶,就像是一個「檔案庫」,存儲用戶的基本信息、行為模式和偏好等,它可以自我迭代,能從用戶長期使用中總結規律並不斷優化。而通過場景記憶,車機能針對當前場景進行毫秒級的動態記憶檢索,提取關鍵信息,進行決策,主動服務。

合格的「家庭新成員」還要無時不在時刻準備為你服務,絕影打造了能夠持續推理的 Always-on 運行框架,將多模態感知到的信息與各種記憶相結合,依託端雲協同架構,數據延遲控制在 1 毫秒以下,首包延時最快只需 60 毫秒,推理速度達 40 Tokens/秒,對數據進行高效處理和反饋,時刻感知需求,主動為用戶服務。

在追求智能和情感化的同時,商湯絕影始終堅持將用戶隱私與安全放在首位,通過全方位的隱私保護與數據安全體系,做到「數據跟人走」、「隱私數據不出車」、「不該說的不說」,確保系統在安全合規的前提下提供極致體驗,為每一位用戶打造專屬的安全空間。

端到端量產在即,「開悟」全新升級,絕影構建「車雲一體」智駕新範式

今年年初,城區無圖 NOA 是智能駕駛領域的核心話題。之後,端到端智駕技術為行業帶來了範式革新,逐漸取代模塊化的規則,成為智駕技術的進化方向。從北京車展開始,商湯絕影等多家公司陸續發佈端到端智駕方案,智駕正在邁向端到端時代。

在本屆「絕影實力 AI DAY」上,商湯絕影全面展示了基於 J6E、J6M、Orin 等不同算力平台打造的全場景高階智駕、端到端智駕等絕影量產智駕產品體系。商湯絕影的智駕量產交付也在穩步推進,基於 J6 平台的智駕方案預計 2025 年第二季度將量產交付,而量產端到端智駕方案則預計會在明年年底量產落地。

在推進量產的同時,行業也發現,研發範式從規則驅動轉變為數據驅動,端到端智駕模型對於高質量數據的需求呈指數級的增長。

然而,受限於高階智駕的量產規模、算力資源,目前大多數車企和智駕公司都面臨相同的問題,即高質量駕駛數據的獲取難度大、效率低、成本高。

商湯絕影探索出一條新的道路,通過實車採集和仿真生成「雙輪驅動」的數據閉環,構建量產智駕產品體系和世界模型深度融合的「車雲一體」智駕新範式。

商湯絕影「車雲一體」新範式

在 2024「絕影實力 AI DAY」上,王曉剛表示:「智駕高端局的競爭不止是車端模型的比拚,端到端的決戰,戰場在雲端。」為此,商湯絕影全新升級並發佈行業標杆級別的世界模型——「開悟」世界模型。

世界模型最基礎也是最核心的能力是生成高質量影片數據,高質量數據的關鍵在於「真實」。基於多模態大模型打造的絕影世界模型,能夠理解真實世界的物理規則、交通規則,生成的影片數據也更加逼真。現場展示的「開悟」生成影片案例中,晴朗天氣下,汽車、路燈都是有影子的,右轉車輛會主動讓行優先級更高的直行車輛。

在真實的基礎上,「開悟」生成的場景影片,時間最長為 150 秒、解像度可達 1080P、視角可以實現 11V,是行業首個同時完成上述指標的智駕世界模型。

基於行人車輛 3D 框和時空軌跡的信號輸入,「開悟」生成的 11V 時空一致影片

根據公開數據,「開悟」生成效果的各項指標開源均達 SOTA,優於包括 GAIA-1、DriveDreamer 在內的國內外主流世界模型。此外,從 2023 年開始,在全球知名的自動駕駛仿真模擬任務競賽 Waymo Sim Agents 的比拚中,「開悟」連續兩年獲得第一名,是當之無愧的行業標杆。

更重要的是,通過多模態大模型,「開悟」世界模型可以支持多樣化的自動駕駛場景及 Corner case 的可控生成。目前商湯絕影基於 1024 類場景,能夠泛化出更多的平行世界,打造了千萬級的生成場景庫,預計 2025 年對行業開放。

以絕影量產智駕方案和「開悟」世界模型為核心,實車採集的真實數據和雲端生成的仿真數據在「車雲一體」的新範式下進行閉環流轉,使得端到端智駕系統的訓練更加全面、高效,大幅縮短了研發週期,降低了成本,讓用戶能夠更快享受到智能駕駛帶來的便捷與安全。

攜手奇瑞大卓、東風汽車開展深度戰略合作,打造共生共創共享合作新模式

商湯絕影的技術和產品持續創新,商業化落地也全面開花,量產交付穩步推進。智駕方案已量產交付廣汽埃安、一汽紅旗等 3 家車企 6 款車型。第三方調研數據顯示,商湯絕影在座艙視覺 AI 軟件市場的份額連續五年蟬聯第一。此外座艙 AI 大模型產品已上車小米 SU7、智己、LEVC L380 等車型。

值得關注的是,商湯絕影面向海外市場升級了座艙視覺 AI 產品矩陣,助力極氪 X 的 DMS 系統斬獲 ENCAP 歷史最高分,並在「絕影實力 AI DAY」正選 ENCAP2026 OOP 離位檢測、身材檢測功能。

如今,商湯絕影已與超 30 家國內外車企達成合作,覆蓋 100 餘款車型,預計至 2024 年底,量產交付累計將突破 350 萬輛。

商湯絕影已展現出在技術研發、產品創新和商業化落地等各個領域的全面實力,成長為智能汽車領域的頂級 AI 戰略合作夥伴。

如今,智能汽車站在潛力無限的新起點上,作為加速智能汽車駛入 AGI 時代的戰略合作夥伴,商湯絕影正全力推動最前沿的 AI 技術與智能汽車產業的深度融合。

單打獨鬥難以在 AGI 時代脫穎而出,主機廠和 AI 公司必須以全新的方式進行深度戰略合作才有可能形成行業競爭力。目前,商湯絕影已和大卓智能、東風汽車等合作夥伴簽訂戰略合作協議,在高階智駕量產、端到端量產、AI 雲服務、AI 大模型等領域開展全方位的深度合作,加速自動駕駛的落地與進化。

共享強大算力集群與大模型能力、共建數據基礎施設、共創智能汽車 AI 應用生態,這一全新合作模式是通往 AGI 未來的必由之路,商湯絕影是邁向 AGI 之路的最佳同行者。

商湯絕影願意和車企合作夥伴共享算力豐沛的商湯大裝置,行業領先的 20,000 P 算力將為合作夥伴提供強有力的基礎設施保障;同時,絕影將開放性能全面的基礎大模型能力,提升車企的 AI 實力。

在共享大算力和大模型的基礎上,雙方能夠加速研發體系的對齊,共同建設以高效率世界模型和全流程數據閉環為核心的數據基礎設施。未來,數據的數量、質量和利用率等都不再是問題和阻礙,在智能汽車與雲端平台之間流動的數據,將成為加速大模型上車的高效燃料。

在基礎設施、大模型能力和全棧數據閉環進行深度合作之後,雙方才能進一步挖掘出 AGI 在智能駕駛和智能座艙領域的潛力,共同創造全新的智慧出行體驗。