OpenAI 下一代模型遭遇重大瓶頸，前首席科學家透露新技術路線
OpenAI 的下一代大語言模型「Orion」可能遭遇了前所未有的瓶頸。
據 The Information 報導，OpenAI 的內部員工稱 Orion 模型的性能提升沒有達到預期，與從 GPT-3 到 GPT-4 的升級相比，質量提升要「小得多」。
此外，他們還表示 Orion 在處理某些任務時並不比其前身 GPT-4 更可靠。儘管 Orion 在語言技能上更強，但在編程方面可能無法超越 GPT-4。
圖源：WeeTech報導指出，訓練高質量文本和其他數據的供應正在減少，這使得找到好的訓練數據變得更加困難，從而減緩了大語言模型（LLMs）在某些方面的發展。
不僅如此，未來的訓練將更加耗費計算資源、財力甚至電力。這意味著開發和運行 Orion 以及後續大語言模型的成本和代價將變得更加昂貴。
OpenAI 的研究員諾姆·布朗（Noam Brown）最近在 TED AI 大會上就表示，更先進的模型可能「在經濟上不可行」：
我們真的要花費數千億美元或數萬億美元訓練模型嗎？在某個時候，擴展定律會崩潰。
對此，OpenAI 已經成立了一個由負責預訓練的尼克·雷德（Nick Ryder）領導的基礎團隊，來研究如何應對訓練數據的匱乏，以及大模型的擴展定律（scaling laws）將持續到什麼時候。
Noam Brown擴展定律（scaling laws）是人工智能領域的一個核心假設：只要有更多數據可供學習，並有更多的計算能力來促進訓練過程，大語言模型就能繼續以相同的速度提升性能。
簡單來說，scaling laws 描述了投入（數據量、計算能力、模型大小）和產出之間的關係，即我們對大語言模型投入更多資源時，其性能提升的程度。
舉例來講，訓練大語言模型就像在車間生產汽車。最初車間規模很小，只有幾台機器和幾個工人。這時，每增加一台機器或一個工人，都能顯著提高產量，因為這些新增資源直接轉化為生產能力的提升。
隨著工廠規模的擴大，每增加一台機器或工人帶來的產量提升開始減少。可能是因為管理變得更加複雜，或者工人之間的協調變得更加困難。
當工廠達到一定規模後，再增加機器和工人可能對產量的提升非常有限。這時，工廠可能已經接近土地、電力供應和物流等的極限，增加的投入不再能帶來成比例的產出增加。
而 Orion 的困境就在於此。隨著模型規模的增加（類似增加機器和工人），在初期和中期，模型的性能提升可能非常明顯。但到了後期，即使繼續增加模型大小或訓練數據量，性能的提升也可能越來越小，這就是所謂的「撞牆」。
一篇近期發表在 arXiv 上的論文也表示，隨著對公共人類文本數據需求的增長和現有數據量的有限性，預計到 2026 年至 2032 年之間，大語言模型的發展將耗盡現有的公共人類文本數據資源。
圖源：arXiv即使諾姆·布朗指出了未來模型訓練的「經濟問題」，但他還是對以上觀點表示反對。他認為「人工智能的發展不會很快放緩」。
OpenAI 的研究人員也大都同意這種看法。他們認為，儘管模型的擴展定律可能放緩，但依靠優化推理時間和訓練後改進，AI 的整體發展不會受到影響。
此外，Meta 的馬克·朱克伯格、OpenAI 的山姆·奧特曼和其他 AI 開發商的首席執行官也公開表示，他們尚未達到傳統擴展定律的極限，並且仍在開發昂貴的數據中心以提升預訓練模型的性能。
Sam Altman（圖源：Vanity Fair）OpenAI 的產品副總裁彼得·韋林德（Peter Welinder）也在社媒上表示「人們低估了測試時計算的強大功能」。
測試時計算（湯臣C）是機器學習中的一個概念，它指的是在模型部署後，對新的輸入數據進行推理或預測時所進行的計算。這與模型訓練階段的計算是分開的，訓練階段是指模型學習數據模式和做出預測的階段。
在傳統的機器學習模型中，一旦模型被訓練好並部署，它通常不需要額外的計算來對新的數據實例做出預測。然而在某些更複雜的模型中，如某些類型的深度學習模型，可能需要在測試時（即推理時）進行額外的計算。
例如，OpenAI 所開發的「o1」模型就使用了這種推理模式。實際上，整個 AI 產業界正將重心轉向在初始訓練後再對模型進行提升的模式。
Peter Welinder（圖源：Dagens industri）對此，OpenAI 前首席科學家伊利亞·蘇茨克弗（Ilya Sutskever）最近在接受路透社採訪時承認，通過使用大量未標記數據來訓練人工智能模型，以使其理解語言模式和結構的預訓練階段，其效果提升已趨於平穩。
伊利亞表示「2010 年代是擴展的時代，現在我們再次回到了探索和發現的時代」，並且指出「擴大正確的規模比以往任何時候都更加重要」。
Orion 預計將在 2025 年推出。OpenAI 將其命名為「Orion」而非「GPT-5」，這也許暗示著一場新的革命。雖然暫時受理論限制而「難產」，我們仍然期待著這個擁有新名字的「新生兒」能給 AI 大模型帶來新的轉機。
本文來自微信公眾號「APPSO」，作者：範津瑞，36氪經授權發佈。
