萬億美元AI市場還能成嗎？這裏是12位業內人士的看法
新智元報導
編輯：alan
【新智元導讀】大模型的能力是否已經觸及極限？Business Insider採訪了12位業內前沿人士。眾人表示，利用新類型的數據、將推理能力融入系統， 以及創建更小但更專業的模型，將成為新一代的範式。
大模型的發展已經陷入瓶頸了嗎？
近幾週，關於這件事情的爭論愈演愈烈。
市場的信心很重要，CEO們趕緊出來回應。
榜首OpenAI最早發聲，Altman明確表示：沒有的事。
隨後，Anthropic的CEO Dario Amodei和英偉達的老黃，也站出來向眾人保證。
不過，包括矽谷風投大佬Marc Andreessen在內的一些人則認為，這麼長時間了，也沒看到什麼明顯的進步，表現最好的幾個模型，性能也大差不差。
花兒謝了，冬天來了，又一年要過去了，GPT-5呢？
這關係到未來價值萬億美元的AI市場，如果燒錢的Scaling Law被證實回報越來越少，就會影響到當前的投資週期。
包括新的初創公司、新的數據中心、新的產品，甚至是重新啟用的核電站。
為此，Business Insider採訪了12位人工智能行業的前沿人士，包括初創公司的創始人、投資者，以及GoogleDeepMind和OpenAI的現任（和前任）員工， 探討了在追求超智能人工智能（superintelligent AI ）的過程中所面臨的挑戰與機遇。
AGI的內幕
預訓練的難題
研究人員指出， 在人工智能開發的早期階段（即預訓練階段），公司可能會遇到兩個關鍵障礙。
第一個障礙是獲取計算能力，具體來說就是買顯卡。
這個市場主要由芯片巨頭英偉達主導， 而英偉達在持續的高需求下面臨著數錢的困難供應的挑戰。
法國風險投資公司Singular的合夥人Henri Tilloy表示，也許你可以拿出5000萬美元買GPU，但你在很可能在英偉達的供應名單上排在最後——等不起。
另一個供應問題就是訓練數據。儘管每年向大模型投入更多的數據和GPU，能夠可靠地產生更智能的模型， 但公司們已經耗盡了互聯網上公開可用的數據。
研究公司Epoch AI預測， 到2028年，可用的文本數據可能會被完全耗盡。
Clarifai的創始人兼首席執行官Matthew Zeiler表示，互聯網的規模是有限的。
多模態與私有數據
數據初創公司Encord的聯合創始人Eric Landau認為，當公共數據陷入瓶頸時，就需要其他數據來源發力了。
一個例子是多模態數據，將視覺和音頻信息（如照片或播客錄音） 輸入到AI系統中。
「這隻是增加數據的一種方式（增加更多的數據模態），儘管實驗室和企業已經開始用了，但還算不上是充分利用」。
Lamini平台的聯合創始人兼CEO Sharon Zhou，發現了另一個尚未開發的領域：私人數據。
許多公司已經與出版商簽訂了許可協議，以獲取他們龐大的信息資源。
例如OpenAI與Vox Media、Stack Overflow等組織建立了合作關係， 將受版權保護的數據引入自己的模型中。
Sharon Zhou說，「與我們的企業客戶和初創客戶的合作表明，私人數據中蘊含著許多對模型非常有用的信號。」
數據質量
目前，許多研究工作正集中在提高LLM訓練數據的質量，而不僅僅是數量。
Sharon Zhou表示，研究人員以前在預訓練階段可以「對數據相對懶惰」，只需將儘可能多的數據輸入模型，看看哪些有效。
「現在這種做法已經不再完全適用了，公司正在探索的一種解決方案是合成數據。」
初創公司Aindo AI的首席執行官Daniele Panfilo也相信，合成數據可能是「提升數據質量的強大工具」，因為它可以「幫助研究人員構建符合其具體信息需求的數據集」，這在AI開發的後訓練階段（post-training）特別有用。
一位前GoogleDeepMind的員工透露，Gemini已經改變了戰略，從追求規模轉向追求高效。
「我認為他們意識到，服務如此龐大的模型實際上非常昂貴，因此通過後訓練去適配專業的下遊任務是更明智的選擇。」 理論上，合成數據為提升模型的知識水平提供了一種有效的方法， 使其更加精簡和高效。
然而，在實際應用中，關於合成數據在提升模型智能方面的有效性，並沒有達成一致的看法。
Hugging Face的聯合創始人Thomas Wolf就表示，「通過合成數據Cosmopedia我們發現，在某些方面它確實有幫助，但並不是解決數據問題的靈丹妙藥」。
Databricks的首席AI科學家Jonathan Frankle也認為，在合成數據方面沒有「免費午餐」，並強調 「如果沒有人類的監督，也沒有過濾和選擇哪些合成數據最相關的過程，那麼模型所做的只是重覆自己的行為」。
構建推理模型
僅僅關注訓練部分是不夠的。
前OpenAI首席科學家Ilya，表達了對於預訓練模型的Scaling Law已經停滯不前的擔憂，「大家都在尋找下一個突破。」
當前，行業的關注越來越多地轉向推理模型（reasoning model）。在本月的微軟Ignite活動上，首席執行官Satya Nadella宣佈，
Scaling Law並沒有遇到瓶頸，新的範式已經出現，那就是test-time compute。
——允許模型在面對複雜的用戶提示時，花費更長的時間來做出響應。
比如Copilot推出的新功能：「think harder」，通過延長時間來解決更難的問題。
AI初創公司Agemo的創始人Aymeric Zhuo說，推理（reasoning） 「一直是一個活躍的研究領域」，尤其是在「行業面臨數據壁壘」的情況下。
來自投資公司Balderton的Sivesh Sukumar也表示，「考慮人腦的工作方式，即使是最聰明的人也需要時間來找到問題的解決方案。」
九月份，OpenAI發佈了新的推理模型o1。
「從第一原則進行推理」並不是LLM的強項，因為它們是基於「下一個單詞的統計概率」來工作的。但如果我們希望LLM能夠思考並解決新問題，就必須讓它們進行推理。
OpenAI研究員Noam Brown在上個月的TED AI演講中提到：「結果表明，讓一個機器人在一局撲克中思考20秒的效果，和將模型規模和訓練時間同時擴大100,000倍是一樣的。」
未來預期
前DeepMind員工表示，「行業可能需要適應一個較慢的進步節奏。我們經歷了一個瘋狂的時期，模型的進步非常迅速，這種情況以 前從未出現過。今年的進步速度沒有那麼快，但這並不意味著出現了瓶頸。」
Lamini的Sharon Zhou對此表示讚同。她指出，規模法則是基於對數尺度而非線性尺度。換句話說，應該將AI的進步視為一條曲線， 而不是圖表上的一條直線。這使得開發成本遠高於我們對這項技術下一個實質性進展的預期。
「這就是我們的期望在我們想要的時間框架內無法實現的原因，同時也是為什麼當能力真正出現時我們會感到驚訝的原因。」 那麼，投資者和客戶是否願意等待？
參考資料：
https://www.businessinsider.com/generative-ai-wall-scaling-laws-training-data-chatgpt-gemini-claude-2024-11
