2024 雲棲大會 AI 應用標杆,Motiff 妙多分享業界領先 AI 生成 UI 技術實踐
用戶只需要輸入一段話,20 秒左右,就能生成兩版 UI 設計稿……9 月 20 日,在雲棲大會現場,Motiff 妙多研發負責人樊鍇演講分享了 AI 生成 UI 功能的最新進展及開發歷程,強調盡快找到 TPF(技術產品契合度)、重視數據積累、完善後台開發體系,都是 AI 功能落地的關鍵因素。
生成式 AI 是 2024 年雲棲大會最受關注的議題之一,Motiff 妙多 AI 生成 UI 功能的落地,標誌著設計工具從效率工具向生產力工具的轉變。「我們希望 Motiff 妙多不止於設計領域的 Copilot,更能成為 Autopilot,能直接完成日常設計任務,甚至生成完整的設計稿。」樊鍇表示。
Motiff 妙多於今年 6 月面向全球發佈,開創了界面設計領域的多個 AI 功能。開發全球領先的 AI 功能面臨諸多技術挑戰:如何讓 AI 成為真正可用的生產力、創作兼具邏輯性和藝術性的 UI 設計稿?大模型的能力邊界在哪、如何揚長避短?樊鍇在演講中詳細分享了背後的工程難點和經驗。
鎖定應用場景,加速達成技術產品契合度
在 AIGC 領域,不同於常見的文本生成或圖片生成任務,UI 生成非常獨特。這是因為 UI 設計既需要保證嚴謹的產品邏輯,又要具備像素級的精確程度,還要兼具美觀的視覺效果。這對技術能力提出了相當高的要求。
AI 生成 UI 可由 AI 從零開始創建所有頁面內容,這背後有多種技術路徑,但生成效果均不理想。樊鍇舉例稱,基於擴散模型的文生圖技術可以生成設計圖片,但在像素級別的佈局控制和內容生成能力上相對欠缺。另一些方法,如生成 HTML 網頁代碼再轉為設計稿,同樣面臨細節處理能力不足的問題。
對於 AI 應用來說,盡快找到 TPF(技術產品契合度)尤為關鍵。「相比於傳統軟件開發,AI 應用的底層技術不確定性高,戰略上用戶需求驅動,但在戰術上產品設計嚴重依賴於技術可行性。」樊鍇在會上表示,關鍵在於盡快找到最有可能被實際使用的場景,更早得到用戶反饋。
生成一張設計稿,需要兼顧整體結構、頁面內容和 UI 細節三大方面。設計稿需要包含導航欄、搜索框、內容列表等模塊,並匹配合適的文字、圖片、圖標等內容,同時呈現良好的視覺效果。通用大模型普遍擅長生成整體結構和頁面內容,但對於 UI 細節控制還有所不足。
因此,為大模型尋找合適的任務成為解決問題的關鍵。「讓大模型專注於其擅長的領域,即生成頁面的整體結構和內容。在細節把控上,通過預定義的組件庫來保證美觀。」樊鍇表示。組件庫是大量組件和設計規範的集合,基於組件庫的生成方案也更容易支持自定義組件。這不僅能夠覆蓋大部分 UI 設計場景,還能滿足用戶對個性化和靈活性的需求。
這也是面向未來的技術方案。「隨著軟件開發的成本降低,未來應用場景會更個性化,也需要更靈活的交互設計,信息龐雜的交互設計頁面反而會減少。」樊鍇判斷。
築成數據護城河,率先實現設計 Autopilot
即使是基於組件庫的方案,現有通用大模型仍難以生成高質量的 UI 設計稿。這是因為通用大模型並不擅長 UI 設計,也難以理解組件庫。為了呈現多樣化的效果,組件庫包含大量不同類型的組件。以列表為例,就有上百種相似的樣式,通用大模型難以分辨其細微差別。
「核心還是在於讓大模型充分理解 UI 設計,需要有專門的領域大模型。「樊鍇表示。Motiff 妙多近期正式發佈了其自研的國內首個 UI 多模態大模型,經過大量 UI 領域的優質數據訓練,該模型在多個 UI 任務表現上顯著超越 GPT-4o 等通用大模型,能靈活地根據上下文理解界面元素,達到「設計專家」水平,最接近人類對 UI 界面的理解和表述結果。
在自研大模型加持下,Motiff 妙多有效結合了自研大模型的生成能力和組件庫的表現力,在多輪行業盲評中取得了第一的生成效果,優於此前業內領先的 AI 生成 UI 工具 Galileo AI、設計工具 Uizard 和文生圖工具 Ideogram。
Motiff 在 AI 生成 UI 功能中取得的成功,還得益於長期的專業數據積累。「未來,數據是最重要的護城河。「樊鍇表示,「隨著大模型能力不斷增強、成本不斷降低,專業數據將成為更稀缺的資源,為 AI 應用的質量提供堅實保障。」
在開發 AI 功能的工程實施中,Motiff 妙多積累了寶貴的經驗。對於大部分複雜任務,Motiff 妙多發現 Flow Engineering(流程工程)比 Prompt Engineering(提示工程)更為有效。相比於單次模型調用的黑箱運行,FLow Engineering 將任務分解為多個步驟,實現整體功能的協同,對團隊協作和工程化更為友好。
為了更好地應對 AI 應用開發中的不確定性,Motiff 妙多搭建了一個高效的實驗平台。平台不僅支持便捷地定製流程和參數,還能詳細記錄實驗的中間結果,從而幫助團隊快速嘗試和迭代。
目前,Motiff 妙多 AI 生成 UI 功能在指令遵循和設計美觀性上均處於行業領先水平,並在海外社交媒體引起大量討論。樊鍇在會上透露,Motiff 妙多還將持續迭代技術方案,有望於年內發佈新的 AI 功能。