開發者火冒三丈炮轟GenAI：垃圾語料太多，模型正在變得越來越笨
新智元報導
編輯：Lumina
【新智元導讀】人工智能是否早已達到頂峰，正在變得越來越愚蠢？
生成式AI（GenAI），尤其是以OpenAI的ChatGPT為代表，人們發現，這些大模型在一年多後的性能表現遠不及剛發佈時那樣令人驚豔了。
AI似乎正在變得越來越笨。
這種聲音逐漸出現在各個社交網絡的平台上，並有許多擁躉。
在OpenAI開發者論壇上，有用戶發帖表示：自從去年最新版本的GPT發佈後，模型的準確性就顯著下降了。
同樣的，一位ChatGPT的用戶在今年6月寫道，「經歷了這麼多的AI炒作之後，這些模型如今的表現讓我非常失望。」
Steven Vaughan-Nichols是一位自由撰稿人和技術分析師，在多家科技媒體中擔任高級特約編輯。他擁有自己的個人博客，在X上擁有數萬名訂閱者。
今年8月下旬，史蒂文在《Computerworld》的一篇言辭激烈的評論文章《I’ve got the genAI blues》中表示：
所有主要的公眾可訪問的AI模型，像ChatGPT和Claude這樣的品牌旗艦產品——其性能都不如以前的版本。
文章地址：https://www.computerworld.com/article/3488589/ive-got-the-genai-blues.html
他在文章中寫道，「這些由AI生成的結果常常令人惱火。它們有許多荒謬的錯誤，更糟糕的是，這些錯誤的出現總是反反復複，沒完沒了。」
「如果只是答案平庸但相對準確，我還可以想辦法應對。但它生成的內容讓我無能為力。」
以下是這篇評論文章的內容。
I’ve got the genAI blues
ChatGPT之類的工具遠沒有你想像的那麼好，而且隨著時間的推移，它們的表現越來越糟。
我也希望生成式AI真的有用，但事實並非如此。我一直在不斷嘗試使用各種AI——如ChatGPT、Meta AI以及Gemini等。
這些模型在你不太瞭解相關領域的情況時，看起來似乎是有用的，它們生成的回答也很合理。
但只要你仔細考察一番，就會發現這些答案是錯誤的。
如果你對內容的需求僅在高中水平，模型生成的答案還算過得去。但當你需要深入挖掘或研究某個主題時，那就另當別論了。
以我日常的工作內容為例，在Linux和開源軟件等主題上，我比一般的大語言模型（LLM）瞭解得更深入。
在我使用生成式AI對這些主題進行研究時，AI能給出的回答乍一眼看上去可能不錯，但你越深入的去討論一些細節時，它能給出的信息就越貧乏。
這些由AI生成的結果常常令人惱火。它們有許多荒謬的錯誤，更糟糕的是，這些錯誤的出現總是反反復複，沒完沒了。
如果只是答案平庸但相對準確，我還可以想辦法應對。但它生成的內容讓我無能為力。
這並非僅是我一個人的看法。
《商業週刊》報導，許多GPT-4的用戶發現它變得越來越「懶」和「愚蠢」。
其他人也對此表示認同。
正如最近在Reddit上的用戶所說的那樣，「現在ChatGPT 3和4的效果遠不如我一年前訂閱專業版時那麼有效和有幫助。」
在我看來，即使是最好的生成式AI聊天機器人Perplexity也在走下坡路。
以前我喜歡Perplexity的一個原因是它會為其觀點提供來源。在我把它看作是一個超級增強的搜索引擎時，這個功能很有用。
然而，最近它的表現也越來越不穩定，我再也無法指望它能夠準確地給出它是在哪裡找到、並重新整合出的這些信息。
為什麼會這樣？
雖然我並不是AI開發者，但我密切關注這個領域很久了。
以下是我看到的導致模型開始失效至少兩個主要原因：
首先是用於創建主要大語言模型的內容質量問題。
許多模型的訓練集中包含了來自諸如Twitter、Reddit以及4Chan等「優質」網站的數據。
正如Google在今年早些時候發佈的AI概述所顯示的那樣，採用這些數據集對AI進行訓練的結果可能會非常糟糕。
《麻省理工科技評論》同樣指出，現在的AI會生成一些質量極差的答案。
如建議用戶「往披薩上加膠水」或「每天至少吃一塊小石頭」，以及「前美國總統安德魯·莊臣在1947年至2012年間獲得了大學學位，儘管他於1875年去世。」
這類回答都是些無傷大雅的蠢例子，但如果你需要一個正確答案，那就完全是另一回事了。
以一位律師為例，他的法律文件中包含了由AI虛構的案例信息，法官們發現這一事實後並不會被逗笑。
如果你只是想用生成式AI閑聊（這似乎是ChatGPT最流行的用途之一），那麼準確性可能對你並不重要。
但對於我，以及所有希望將AI用於商業的人來說，正確答案才是最重要的。
隨著生成式AI巨頭繼續尋找更多數據，這個問題只會變得更糟。
來自Epoch AI的一項研究發現，我們最早將在2026年耗盡高質量數據。
這就引出了第二個問題。
如今，生成式AI生成的內容正在取代專家級人類內容。
結果不僅僅是劣質數據排擠了優質數據，情況還要更為糟糕：
《自然（Nature）》的最近的一篇論文發現，「不加區分地從其他模型生成的數據中學習會導致‘模型崩潰’。這是一種退化過程，隨著時間的推移，即使分佈沒有隨時間變化，模型也會忘記真正的底層數據分佈。」
我願將其稱為「垃圾進，垃圾出（Garbage In, Garbage Out）」。
但由於我看不到公司會停止使用生成式AI以更低的成本來生成文檔，因此未來充斥在互聯網中的內容質量只會繼續下降。
不管你信不信，就質量而言，我們可能已經處於人工智能的頂峰。
這難道不是一個可怕的想法嗎？
當然，我不是一個極端的AI反對者。
基於專用大語言模型的特定用途的生成式AI聊天機器人，在作為排查程序故障或發現潛在癌症的工具時，已經非常有用。
其他的一些用途中，如在線遊戲中由AI驅動的非玩家角色，將提高遊戲體驗，而像ElliQ這樣的AI朋友可以幫助很多孤獨的人。
但作為大多數公司熱衷的替代知識型員工的方式，還是算了吧。
除了CEO——他們倒是可以被AI聊天機器人取代。
我懷疑很多人不會注意到AI CEO與人類CEO的區別——除了它會為公司節省一大筆錢。
生成式AI的未來
這不應該是事情發展的方向。
通常來說，新的版本軟件應該比它們所取代的版本更好。
但由於生成式AI需要通過大量數據進行訓練，而隨著人類世界的高質量內容日益枯竭、互聯網越來越多地充斥著AI生成的劣質內容，模型未來的性能表現將會成為一個越來越嚴重的問題。
當然，我們也有可能會重新發現由人類完成的那些極其珍貴且不可替代的工作的價值。
但最好也別對此抱有太大的希望。
參考資料：
https://futurism.com/the-byte/ai-dumber
