Vast 創始人&CEO桑治亞宸：讓每個人都能生成獨一無二的3D模型

桑治亞宸 | Vast 創始人&CEO

在矽星人首屆AI創造者大會（ACC 2024）上，Vast創始人&CEO桑治亞宸分享了生成式3D的前沿進展。從最初360P級別的生成效果，到即將邁入4K時代；從專業建模師的專屬領地，到人人都能zero-shot創作的開放平台；從靜態模型到具備骨骼、動作的完整角色，3D生成正在重塑我們創造和交互的方式。作為中國引領全球的3D生成技術企業，Vast的Tripo模型為我們展示了一個令人振奮的未來：每個人都能成為自己世界的設計師。

以下為演講實錄：

大家下午好！今天給大家帶來一些特別有趣的AI內容。我們公司叫Vast，是一家專注於3D大模型的公司，大家可能對3D大模型感到陌生，或許大家已經很熟悉語言、圖像、影片大模型，以及海外的音樂大模型，其實3D領域也有屬於自己的大模型。

我們的3D大模型叫做Tripo，其核心能力是通過輸入一段文字或一張圖片作為Prompt，甚至是多模態輸入，例如圖像、影片等，生成一個3D模型。這個模型的表達形式可以包含貼圖、材質、PBR（物理基礎渲染）等元素，它是一個有實用價值的完整3D模型。它可以應用於遊戲、動畫、元宇宙、3D打印、工業設計等多種領域，支持多樣且富有細節的使用場景。

除了3D生成本身，我們還提供了各種處理功能，包括自動骨骼綁定和動作生成。這意味著，生成的3D模型不僅是靜態的，還可以進行交互，具備動態效果。此外，我們還實現了風格化、格式轉換等功能，歡迎大家直接在我們官網上體驗 3D TripoAI 的功能。

官網鏈接：https://www.tripo3d.com/

從「文字」到「實體」，Tripo究竟「智」造了什麼？

目前我們的3D模型生成技術發展到什麼階段呢？我們可以將其與圖像大模型 Midjourney 的水平作比較：在今年年初，我們的技術相當於 Midjourney V3 的水平；到現在我們已經達到了V4的水平，預計明年年初可以達到V5甚至V6的水平。可以把它形象地比喻為：在今年年初時，我們的生成效果類似於手機攝像頭的360P 解像度，而現在的 Tripo 2.0 已經達到了 720P 的清晰度，明年我們有望實現 1080P 甚至 4K 的效果。這一進展基於去年發佈的研究論文，表明我們在3D生成領域的核心技術模塊已走在前列。作為中國公司，我們在3D生成的技術創新方面奠定了非常核心的技術模塊和能力，包括六頭六縱的CVPR等等。此外，我們還開源了許多有影響力的項目，包括全球最大的3D算法框架ThreeStudio，圖生3D的鼻祖 Wonder3D ，以及全球最大的開源3D仿真生成模型。

我們的目標是在今年使靜態的3D模型生成達到實用水平。當前生成的內容已經接近於擁有一年建模經驗的建模師的水平，同時，我們正在推進雙足及四足骨骼自動綁定、文字生成動作、影片生成動作等功能。預計明年，無論是我的外婆、我的孩子，還是在座的每一位，都可以零門檻、零成本地實時創造完整的3D內容和體驗。

3D生成在CG、工業和元宇宙中到底有多「聰明」？

當前3D生成技術已經達到了相當成熟的水平，接下來我們來看一下這個技術在哪些場景中能夠得到廣泛應用，到2024年，我們發現主要有四大傳統場景可以被AI 3D技術賦能。首先是傳統的CG行業，包括遊戲、動畫、影視製作、虛擬製作等領域；其次是傳統工業領域，特別是下半年我們重點關注的3D打印、工業設計、家居、首飾、玩具、燈具、香薰、蠟燭、文創等行業；第三類是新興行業，比如元宇宙、XR、具身智能仿真模擬、數字孿生、數字人等應用場景；最後一類是傳統的TMT行業，如社交、直播、教育、電商等。

到目前為止，作為一家專注於海外市場的公司，我們的海外開發者數量已經超過40萬人，並擁有超過一萬家中小客戶，他們通過我們的API服務於自己的To B客戶和To C客戶，此外，我們還服務著400多家大客戶。

那麼，3D生成技術解決了哪些核心問題呢？首先，降低了建模成本，以前一個3D模型的建模成本可能需要數百美金，而現在生成成本已無限接近於零；其次，顯著縮短了耗時，原來建模可能需要數週時間，而現在可以通過網絡實時生成；此外，過去需要非常高級的硬件和專業建模師，現在這些要求已不再必要，這種技術還實現了3D模型的規模化生成，比如以前一個模型需要反復修改，現在可以生成數萬個模型供挑選，這極大地提高了效率。

同時，3D生成技術還能夠滿足個性化需求，未來每個人都可以根據需求生成獨一無二的3D模型，從而實現真正的定製化。這對於3D打印領域尤其重要，它分為家用3D打印和工業3D打印兩部分，在家用3D打印領域，我們已經與全球前十的3D打印公司達成合作，過去用戶購買3D打印機後，由於不會建模而無法使用，而有了3D生成技術之後，不管是老年人還是小孩，都可以直接打印出自己喜歡的模型，比如鐵甲奇俠與比卡超的結合體，非常有趣。在工業3D打印方面，我們看到許多應用場景，比如食品、禮品和文創的3D打印，可以根據用戶需求打印出個性化的產品。舉個例子，上週我們在汕頭與全球最大的積木廠商高磚合作推出了3D積木生成大模型，現在用戶只需提供一張圖片或文字描述，就可以生成屬於自己的積木玩具。

我們與全球六七家最大的3D打印公司合作，共同舉辦了3D工業設計大賽，吸引了全球近千名工業設計愛好者參賽，創作了各式各樣的國際象棋設計作品。參賽者只需提供文字和圖片即可直接生成完整的3D模型，這些模型可以立即放入家用3D打印機進行打印，我自己也貢獻了三套作品，雖然遺憾未能入圍。

每個人都能成為自己世界的設計師

除了工業設計，3D生成還廣泛應用於虛擬內容的創作。你現在看到的所有畫面均來自Tripo1.4版本生成的3D內容，作為一個從未建過模的人，我用了一個早晨的時間，借助Tripo大模型創作出人生中第一個動畫，還獲得了入圍獎。萬聖節期間，我們也舉辦了相關活動，利用3D生成製作了許多有趣的影片和動畫內容。

我們的用戶中還有一些非常有創意的創作者，利用成千上萬個Tripo生成的3D零件拚搭了一個太空站，這個作品在Twitter上被埃隆·馬斯克轉發，全球觀看次數超過9000萬次。現如今，通過3D生成技術，各種動畫和遊戲場景都能被秒級完成，例如《我的世界》這樣的遊戲，以前需要一年時間才能搭建的大型場景，現在不到5分鐘就可以生成。

我們還與UGC內容平台、家居廠商等達成合作，在平台上用戶可以快速生成各種大型的室內外場景。在元宇宙中，用戶可以設計服飾、首飾、家居等3D元素，用於虛擬場景。無論是遊戲、動畫還是虛擬製作，3D生成技術都能快速進行調換、低成本地滿足需求。

未來，隨著UGC內容的增加，越來越多非專業建模師的人將能夠通過文字和圖片生成自己理想中的世界，諸如「海賊王」的海洋世界、「加勒比海盜」的冒險場景，甚至是「沙丘」中的神秘風光，都可以輕鬆打造，每個人都有機會成為自己最喜愛的遊戲設計師。

此外，XR也是一個重要的應用場景。雖然目前XR和MR還未普及，但當它們真正普及時，3D生成將會成為一種全新的交互方式。用戶只需發出指令，就可以即時生成場景和物品，例如為一個舞者生成舞台、為一個沙發配置絢麗的燈光等。這不僅僅是創作，更是一種表達，甚至可以成為3D日記，記錄和分享每個人的日常生活與心情。

我們的使命是「為世界進文明，為人類造幸福」。大家有任何合作或感興趣的創意可以隨時找我。謝謝大家！