科技

AI生成影片總不符合物理規律？匹茲堡大學團隊新作PhyT2V：不重訓練模型也能讓物理真實度狂飆2.3倍！

05月19日 12:05 新浪網 tech-auto-hilite

本文由匹茲堡大學智能系統實驗室（Intelligent Systems Laboratory）的研究團隊完成。第一作者為匹茲堡大學的一年級博士生薛琪耀。

當前文本生成影片（T2V）技術正在從注重視覺質量與模型規模的擴展階段，邁向更關注物理一致性與現實合理性的推理驅動階段。

物理規律作為建模現實世界的基本知識體系，是實現高質量影片生成的關鍵約束。提升大模型對現實物理動態的理解與遵循能力，成為推動 T2V 技術落地的重要突破方向。

為推動物理一致性驅動的 T2V 生成研究，來自匹茲堡大學的研究團隊提出了 PhyT2V 框架，並在最新論文中系統闡述了該方法的核心機制，該論文已被 CVPR 2025 接收。

論文標題：PhyT2V: LLM-Guided Iterative Self-Refinement for Physics-Grounded Text-to-Video Generation
論文地址：https://arxiv.org/abs/2412.00596

該方法不依賴模型重訓練或大規模外部數據，而是通過引入大型語言模型引導的鏈式推理與迭代自我修正機制，對文本提示進行多輪物理一致性分析與優化，從而有效增強主流 T2V 模型在現實物理場景中的泛化與生成能力。

此框架可以被廣泛地應用到任何已有的 T2V 模型上，而且不需要用戶任何的手動干預就可以實現完全自動化的 T2V 增強，因此擁有極低的落地門檻和非常好的泛化性，在實際應用中有非常廣闊的應用前景。

近年來，文本到影片（Text-to-Video，T2V）生成技術取得了顯著進展，出現了基於 Transformer 擴散模型的 Sora、Pika 和 CogVideoX 等模型。這些模型能夠生成複雜且逼真的場景。

然而，儘管單幀影片質量很高，當前的 T2V 模型在遵守現實世界常識和物理規則方面存在顯著不足。例如，它們可能無法正確處理物體的數量、材質特性、流體動力學、重力、運動、碰撞和因果關係。

現有讓 T2V 模型生成內容更符合物理規則的方法主要存在以下局限性，尤其是在處理訓練數據未涵蓋的分佈外（out-of-distribution，OOD）場景時：

數據驅動方法局限：大多數現有方法是數據驅動的，依賴於大規模多模態 T2V 數據集來訓練擴散模型。然而，這高度依賴於數據集的數量、質量和多樣性。由於物理規則並未在訓練過程中被顯式嵌入，這些方法在訓練數據未覆蓋的分佈外領域泛化能力受限，影片生成質量會大幅下降。真實世界場景的巨大多樣性進一步限制了這些模型的通用性。

注入物理知識方法的局限：也有研究嘗試使用現有的 3D 引擎（如 Blender、Unity3D、Unreal）或數學模型將物理知識注入到 T2V 模型中。但這些方法通常受限於固定的物理類別和模式，如預定義的物體和運動，同樣缺乏通用性。

現有提示增強方法的局限：雖然有研究表明通過細化提示可以改善分佈外提示下的影片生成質量，但現有許多提示增強方法僅僅是基於主觀經驗簡單地增強或修改提示，而缺乏一個有效的反饋機制來判斷生成的影片在多大程度上偏離了現實世界知識和物理規則，以及當前的提示增強是否有效提升了影片的物理真實度。

額外輸入方法的局限：一些方法嘗試通過提供額外輸入模態為 T2V 模型提供反饋。但這會引入大量的額外計算開銷並且缺乏通用性。

為了實現可泛化的物理真實的 T2V 生成，匹茲堡大學的研究人員提出了 PhyT2V。

PhyT2V 不通過擴展數據集或複雜化模型架構，而是通過將現實世界知識和物理規則嵌入到文本提示中，提供足夠的上下文，從而將現有 T2V 模型的生成能力擴展到分佈外領域。

為了避免模糊不清的提示工程，PhyT2V 的核心思想是在 T2V 提示過程中啟用思維鏈（Chain-of-Thought，CoT）和回溯推理（step-back reasoning）。通過應用分步指導和迭代自修正，確保 T2V 模型遵循正確的物理動態和幀間一致性。

其核心貢獻在於：無需任何額外訓練或模型結構更改，而是僅僅通過結合 LLM 的推理與回溯能力，進行逐輪提示修正，從而顯著提升現有 T2V 模型在物理一致性任務中的性能。該方法可泛化適用於不同架構和訓練背景的 T2V 模型，尤其在分佈外提示下展現出強大的增強效果。

方法介紹

PhyT2V 利用經過良好訓練的大型語言模型（LLM），例如 ChatGPT-4o，來促進 CoT 和回溯推理。這種推理以迭代方式進行，每一輪都自主修正 T2V 提示和生成的影片，包含三個步驟：

步驟 1：識別物理規則和主要對象

LLM 分析用戶提示，通過「上下文學習」提取影片中應顯示的對象和應遵循的物理規則。這一步的提示會給出詳細的任務說明和少量示例。LLM 的輸出描述物理規則但不提供公式。消融研究表明此步驟是必要的。

步驟 2：識別提示與影片之間的語義不匹配

首先，使用影片字幕模型（例如 Tarsier）將生成的影片的語義內容轉換為文本。然後，LLM 使用 CoT 推理評估影片字幕與當前 T2V 提示之間的不匹配之處。使用影片字幕是因為 CoT 方法更適合處理單模態數據，它強調線性分解和分步推理。通過將影片內容轉化為文本，可以在文本域中進行 CoT 和回溯推理。消融研究證實此步驟對於識別和糾正影片中與期望不符的細節至關重要。

步驟 3：生成修正後的提示

LLM 通過結合步驟 1 總結的物理規則和解決步驟 2 得出的不匹配之處，使用回溯提示來修正當前的 T2V 提示。回溯推理有助於從更高層次的抽像中導出問題。這一步驟的提示結構也包含任務說明、示例和當前任務信息。此外，還會提供上一輪提示修正效果的量化反饋（例如，使用 VideoCon-Physics 評估器的得分），指導 LLM 採取不同的推理路徑。修正後的 T2V 提示將作為新的用戶提示再次用於 T2V 模型生成影片，開始新一輪的修正。這種迭代修正會持續進行，直到生成的影片質量令人滿意或影片質量的改進收斂。整個過程通常需要幾輪，大多數改進發生在最初兩輪，3-4 輪通常足夠。

PhyT2V 的優勢

與現有提示增強方法相比，PhyT2V 的關鍵貢獻在於分析當前生成的影片與提示之間的語義不匹配，並基於不匹配與相關的物理知識進行修正，而之前的許多方法只是簡單地增強或修改提示。PhyT2V 的主要優勢包括：