李飛飛攜24人最強天團打造「大世界模型」!Hinton站台力撐,獲2.3億融資

新智元報導  

編輯:編輯部 HYX

【新智元導讀】李飛飛團隊醞釀了5個月之久的創業公司,今天終於正式官宣了!目標是打造「大世界模型」,讓AI在3D世界中感知、生成、互動。2.3億美金新一輪融資,竟被Hinton、Jeff Dean看準了。

AI教母李飛飛的創業公司World Labs,正式官宣啟動!

3個月前,這家新晉AI獨角獸,在完成約1億美元融資後,估值10億美金。

剛剛,World Labs又獲2.3億美金新一輪融資。

這一次,新一輪融資由a16z、NEA和Radical Ventures領投,還有英偉達的風投部門參與。

甚至,就連AI大牛Geoffrey Hinton、Jeff Dean、Google前CEO Eric Schmidt、LinkedIn聯創Reid Hoffman等人紛紛參投。

李飛飛和Hinton同時分別擔任Radical Ventures的科學合夥人和投資人李飛飛和Hinton同時分別擔任Radical Ventures的科學合夥人和投資人

他們瞄準的是,空間智能AI。

一直以來,World Labs成立所專攻的領域,被蒙上了一層神秘的面紗。如今,一切真相大白。

官博介紹,World Labs的誕生就是為了構建「大世界模型」(LWM),感知、生成3D世界,並與之進行交互。

World Labs拒絕透露這一輪融資後的最新估值。

過去兩年里,文本提示圖像、影片模型,以及LLM的興起,預示著AI在視覺領域的潛力。

但它們僅是冰山一角。

在李飛飛看來,我們需要的空間智能的AI,能夠對世界進行建模,同時根據3D時空中物體/地點/交互進行推理。

World Labs創始人團隊,左起依次為Ben Mildenhall、Justin Johnson、Christoph Lassner和李飛飛

那麼,究竟什麼是空間智能?

空間智能,計算機視覺下一個前沿

前段時間,李飛飛在一次活動中,首次詳細揭秘了何謂「空間智能」:

視覺化為洞察,看見成為理解,理解導致行動。

她將人類智能歸結為兩大智能,一是語言智能,另一個便是空間智能。雖然語言智能備受關注,但空間智能將對AI產生重大的影響。

而在4月公開的TED演講中,李飛飛也分享了自己關於空間智能的更多思考,同時預示著World Labs的目標所在。

她表示,「所有空間智能的生物所具備的行動能力,是與生俱來的。因為,它能夠將感知與行動進行關聯」。

「如果想讓AI超越其自身當前的能力,我們需要的是,不僅僅能夠看到、會說話的AI,而是一個可以行動的AI」。

就連英偉達高級計算機科學家Jim Fan稱,「空間智能,是計算機視覺和實體智能體的下一個前沿」。

正如World Labs的官博所闡述的那樣,人類智能包含了諸多方面。

語言智能,可以讓我們通過語言與他們進行交流和聯繫。而其中最為基礎的便是——空間智能,能夠讓我們理解,並與周圍世界進行互動。

此外,空間智能具備了極強的創造力,可以將我們腦海中的畫面,在現實中呈現。

正是有了空間智能,人類能夠推理、行動和發明。從簡單的沙堡到高聳的城市可視化設計,都離不開它。

在接受彭博最新採訪中,李飛飛表示,人類的空間智能,實際上經過了數百萬年的演化而來。

這是一種理解、推理、生成,甚至在一個3D世界中互動的能力。不論是你觀賞美麗的花朵,嘗試觸摸蝴蝶,還是建造一座城市,所有這些皆是空間智能的一部分。

不僅是人類,動物身上也可以看到這一點。

那麼,如何讓計算機也能具備空間智能的能力呢?其實我們已經取得了巨大的進步,過去十年AI領域的發展相當振奮人心。

一句提示,AI生成圖像、影片,真知還能講述故事。這些模型已經以全新的方式,重塑人類的工作和生活方式。

而我們僅是看到了GenAI革命前夜的第一章。

下一步,如何超越?

需要將這些能力,如何帶到3D領域。因為現實世界,就是3D的,同時人類空間智能是建立在非常「原生」的理解和操作3D的能力之上的。

打造「大世界模型」,從2D走向3D

以上,是李飛飛多年來的思考和預判。而World Labs這家公司,可以說是很好地凝結了這些遠見卓識。

他們的目標,簡而言之,就是構建具有空間智能的大世界模型(LWM),讓它可以感知、理解、推理,甚至生成3D世界,並能與其互動。

此外,從公司發佈的公告來看,World Labs絕不會止步於研究層面的探索。

公司目前有20名成員,不僅包括CV和圖形學領域的研究人才,還有系統工程、產品設計等職位,致力於在空間智能的基礎模型和產品之間構建反饋閉環,從而讓產品落地、服務用戶。

隨著時間的推移,預計將訓練出功能更強大、能力更廣泛的模型,可以應用於各種領域,與人們協同工作。

李飛飛在最新採訪中,也提出了類似的預期:「這是一項非常基礎的技術,將對廣泛的用例產生影響,最終包括機器人和製造業。」

比如,如果用戶可以自定義物理變量來創建虛擬的3D空間,將會為藝術家、設計師、開發者和工程師解鎖新的能力。

最終,GenAI將從2D的像素平面,走向完整的3D世界,無論是虛擬的還是現實的。

這些聽起來似乎有些難以想像,但之World Labs之所以吸引到這麼多大佬投資,其中一個重要原因就是李飛飛對技術的發展方向有準確的預判。

早在2006年,專注於搞神經網絡的Hinton還在坐冷後備,機器學習和深度學習的熱潮遠遠沒有到來。

當時,李飛飛就帶領團隊創建了ImageNet數據集,包含1500萬張圖像,以及相應的基準測試ImageNet Challenge。

正是在ImageNet挑戰賽上,Hinton、Ilya Sutskever等人設計的AlexNet脫穎而出,讓2012年成為了「深度學習元年」。

李飛飛的遠見,可見一斑,也讓我們期待她能將「空間智能」變為現實。

AI大牛轉讚慶祝

對於World Labs正式成立的消息,李飛飛高徒Karpathy表示非常期待,也特地發推慶祝。

「The World Labs團隊是頂尖的,我很期待看到他們將前沿研究應用到3D AI中!」

Karpathy表示,在博士期間,他透與李飛飛和Justin Johnson共同度過了很多時光,充滿了美好的回憶。

當時,李飛飛是他的導師,也是他們「勇敢的領袖」;Justin和他一起撰寫論文,這三位大佬共同奠基了史丹福最著名的課程之一——CS231n的第一個版本。

CS231n課程全名為計算機視覺深度學習(Deep Learning for Computer Vision),李飛飛在今年的春季學期依舊開設了這門課,和吳恩達的CS229一樣,是很多AI從業者的啟蒙課。

而在2017年首次開設的時候,Andrj Karpathy、Justin Johnson和李飛飛共同擔任講師,YouTube上依舊能找到他們當時上課的錄像影片。

此外,英偉達高級科學家Jim Fan也同樣發推,祝賀自己的博士導師李飛飛成功創業。

2016~2021年Jim Fan在史丹福大學讀博期間,就是在李飛飛的指導下開展深度強化學習、機器人學、CV等領域的研究。

他在推文中表示,李飛飛在具身智能方面的觀點深刻影響了自己的博士階段和研究品味。他相信,空間智能將是CV和具身智能體的下一個前沿。

作為Justin Johnson和Chao-Yuan Wu之前在Meta FAIR的前同事,紐約大學助理教授謝賽寧也發推祝賀,並表示「空間智能必勝!」

四人創始團隊

除了李飛飛,創始團隊中的其他3人也都是CV和圖形學領域的技術專家。

Ben Mildenhall

Ben Mildenhall本科畢業於史丹福大學的數學和計算機科學專業,博士畢業於加州大學伯克利分校,曾在Google擔任研究科學家,Google學術引用量超過2.3萬。

他博士期間師從Ren Ng,提出了著名的NeRF(神經輻射場)。

論文地址:https://arxiv.org/pdf/2003.08934論文地址:https://arxiv.org/pdf/2003.08934

Justin Johnson

Justin Johnson在創業的同時還在擔任密歇根大學助理教授,他從加州理工學院獲得了數學和計算機科學的學士學位,博士畢業於史丹福大學,是李飛飛的學生。

他博士期間曾在Google、Facebook、雅虎實習,畢業後到Meta FAIR擔任研究科學家,Google學術引用量超過3.4萬。

讀博期間發表的這篇論文《Perceptual Losses for Real-Time Style Transfer and Super-Resolution》,單篇的引用量就超過了1.1萬。

論文地址:https://arxiv.org/pdf/1603.08155論文地址:https://arxiv.org/pdf/1603.08155

Christoph Lassner

Christoph Lassner本科畢業於德國奧格斯堡大學的信息學專業,之後前往圖賓根大學以及Max Planck智能系統研究所攻讀博士。

畢業後,他曾在Meta和亞馬遜擔任研究科學家,之後在Epic Games領導研究團隊,專注於圖形學領域的3D重建和3D渲染技術。

參考資料:

https://x.com/drfeifei/status/1834584286932181300

https://www.worldlabs.ai/about

https://x.com/drfeifei/status/1834584286932181300

https://x.com/karpathy/status/1834666824904196222

https://www.bloomberg.com/news/articles/2024-09-13/ai-pioneer-fei-fei-li-raises-230-million-for-new-startup-world-labs