盤點2024年的「AI 事故」：內容垃圾、幻覺與濫用

對於 AI 領域的從業者來說，過去的一年無疑是非常繁忙的，一系列產品發佈多得數不勝數，甚至還有盧保獎。然而，事情並不總是一帆風順。

很大程度上，AI 是一種難以預測的技術。隨著生成式 AI 模型的廣泛應用，人們開始以各種新的、奇怪的、甚至是有害的方式測試其極限。以下是 2024 年 AI 領域的重大失誤案例。

AI 垃圾氾濫互聯網的各個角落

生成式 AI 的出現讓大批量的文本、圖片、影片以及其他素材的創作變得輕而易舉。從輸入提示到生成結果，僅需短短幾秒。這種高效工具迅速成為大規模內容生產的快捷方式。然而，2024 年我們為這些通常質量欠佳的產物賦予了一個新名稱 —— AI 內容垃圾。

這種低門檻的生成方式使得 AI 內容垃圾幾乎滲透到互聯網的每個角落：從電子郵件中的新聞簡報，到亞馬遜出售的書籍；從網絡廣告和文章，到社交媒體上粗製濫造的圖片。尤其是那些容易引發情感共鳴的圖片，比如受傷的退伍軍人、哭泣的兒童等等，這些往往更易被分享，進而為精明的創作者帶來更多互動量和廣告收入。

此前一項發表在 Nature 上的研究表明，模型在人工智能生成的數據上進行迭代訓練時，會導致輸出質量逐代下降，最終可能陷入崩潰的困境。這種退化過程類似於一張照片經過無數次掃瞄和複製，最終只剩下一片模糊的黑暗。為了應對這一挑戰，研究人員提出在訓練過程中賦予原始數據更高權重，並追蹤數據來源，以確保模型持續接觸高質量的人類生成數據。

然而，隨著互聯網上高質量人類生成數據的減少，僅依賴原始數據可能無法滿足 AI 模型的龐大需求。將經過精心設計的合成數據與真實數據結合是一種潛在解決方案，但這種方法需要小心控制，以避免訓練數據的質量和多樣性進一步受損。此外，非主流的語言和文化群體特別容易受到模型退化的影響，因為這些群體在數據中的樣本較少，更易受到失真和偏差的侵蝕。

AI 內容垃圾不僅令人厭惡，它的氾濫還對生成這些內容的模型未來構成了實質性威脅。這是因為這些模型依賴於從互聯網抓取的大量數據進行訓練，而隨著被 AI 內容垃圾充斥的低質量網站數量不斷增加，模型輸出的質量和性能面臨下降的風險。這種循環可能使生成式模型的表現逐步惡化，形成一個有害的反饋循環。

AI 正在扭曲我們對真實事件的期望

2024 年也是超現實 AI 圖像開始滲透到我們現實生活中的一年。一些事件讓人啼笑皆非，卻揭示了問題的深度。例如，「Willy’s Chocolate Experience」是一個非官方沉浸式活動，其靈感源自 Roald Dahl 的作品《查理與巧克力工廠》，因其奇幻的 AI 生成宣傳材料而引發全球關注。這些宣傳材料讓人誤以為活動宏大無比，然而，實際場地僅是一個簡陋的倉庫。

與之類似的，還有數百人在都柏林街頭聚集並等待參加一場並不存在的萬聖節遊行。一個來自巴基史丹的網站利用 AI 生成了都柏林的活動列表，這些虛假內容在去年 10 月 31 日之前在社交媒體上廣泛分享。

當時，數千人在奧康奈爾街排隊等待遊行，直到晚上 8 點，警方社交媒體發帖證實沒有此類活動人群才開始散去。這些人都是因為看到一個網站上的帖子才來到這裏參加活動，那個網站列出了來自世界各地的數百個活動，由在不同國家/地區遠程工作的內容創建者團隊編寫。

一名該網站的負責人在接受採訪時聲稱，他無意誤導人們，他對多篇報導暗示這是一場「騙局」表示擔憂，而事實上這是一個「錯誤」。他還表示，該網站上有 1,400 多篇帖子，其中絕大多數準確地詳細介紹了世界各地的萬聖節主題活動。

不可否認，這兩起事件暴露了公眾對 AI 生成內容的盲目信任所帶來的問題，虛假宣傳不僅誤導了人們，還對現實生活造成了不小的干擾。

Grok 缺乏提示詞限制

大多數主流 AI 圖像生成器都為生成內容設置了嚴格的防護措施，以防止用戶創作出暴力、色情、非法或其他有害內容。這些規則同時也旨在避免明顯的版權侵權行為。然而，由馬斯克的 AI 公司 xAI 開發的 Grok 幾乎無視這些原則，這與馬斯克一貫反對所謂「覺醒 AI」的立場不謀而合。

與之形成對比的是，其他主流圖像生成模型通常會拒絕生成涉及名人、版權作品、暴力或恐怖主義的圖像，除非用戶使用某些複雜技巧規避限制。而 Grok 則幾乎毫無保留地接受用戶的請求，比如生成特朗普發射火箭筒或米契老鼠手持炸彈這樣的圖像。雖然它對生成裸體圖像仍有一定限制，但其對規則的鬆散執行削弱了其他公司為避免爭議內容所作的努力。

Grok 的這種無約束模式引發了廣泛爭議，對行業規範造成了直接挑戰。這種行為不僅加劇了公眾對生成式 AI 潛在風險的擔憂，還可能迫使其他公司重新評估其模型的規則和限制機制，以應對更加複雜的行業環境。

儘管主流生成式 AI 模型雖然配備了安全過濾器以阻止生成不當內容，但研究表明這些機制很容易被越獄，例如通過 SneakyPrompt 的手段攻破。這種方法利用 AI 模型處理文本提示的機制，通過替換或調整詞彙，使得過濾器難以識別並阻止有害內容。這類技術漏洞不僅可能被用於生成暴力或色情內容，還可能被用於信息戰，製造虛假新聞和操控輿論。例如，AI 生成的虛假戰爭圖像可能激化衝突，造成嚴重的後果。

為了應對這些問題，開發者應加強訓練數據的清理和預處理，採用更精細的安全措施，並提供內容標籤以幫助識別 AI 生成的內容。此外，跨行業的協作和技術改進被認為是減少 AI 濫用的關鍵。隨著生成式 AI 的能力不斷增強，其安全和倫理問題必須引起更多關注。行業需要平衡技術發展的潛力和社會責任，確保 AI 技術的應用不會帶來不可預見的負面影響。

Taylor Swift 的 AI 色情圖像在網上傳播

2024 年 1 月，歌手 Taylor Swift 的非自願色情深偽圖像開始在社交媒體平台 X 和 Facebook 上廣泛傳播。一些 Telegram 社區通過利用微軟 AI 圖像生成工具 Designer 的漏洞，成功製作了這些不雅圖像。這一事件表明，即便 AI 生成工具具備防護措施，也可能被技術性手段繞過。

隨著生成式 AI 技術的發展，非自願深度偽造色情內容已成為一種氾濫的社會問題。這種技術讓創建高質量虛假色情內容變得前所未有的容易，僅需一張社交媒體上的公開照片便可生成。這一現象嚴重侵害了女性和其他弱勢群體的隱私權，且現有法律和技術手段尚不足以有效應對。儘管一些例如水印、數據中毒工具等正在研發中，但其應用範圍有限且尚未普及，而技術公司往往因缺乏動機或監管而未採取足夠措施遏製這一問題。

儘管微軟迅速修復了 Designer 系統中的漏洞，這一事件仍暴露了平台在內容審核政策上的不足。這些不雅圖像的帖子在多個平台上傳播了數天后才被刪除，期間已造成了嚴重的影響。更令人不安的是，面對非自願色情深偽內容的快速傳播，我們的應對手段仍顯不足。

這起事件凸顯了加強技術開發與法律保護的緊迫性，迫切需要通過更強有力的工具和法規，保護個人免受此類侵害，防止類似事件再次發生。目前還有一些正在研究中的技術手段。例如，Google的 SynthID 和 MIT 的 PhotoGuard 通過在圖像中嵌入隱藏信號或扭曲像素，增加了創建或修改深度偽造內容的難度。然而，這些技術仍處於實驗階段，尚未被廣泛採用。此外，它們對已經在線發佈的內容無能為力，且難以抵禦未來更先進的 AI 模型，表現出明顯的局限性。

從根本上解決問題，依賴於更全面和嚴格的法律監管。美國、歐盟和中國已出台相關法規，但法規執行面臨跨司法轄區和匿名化技術的挑戰。全球範圍內的合作至關重要，以確保創建和傳播非自願深度偽造內容的行為能夠被有效追蹤和懲罰。同時，社會意識的提升、公眾的廣泛參與以及將此類行為定義為性犯罪的認知轉變，也將在遏製這一問題上發揮重要作用。

失控的商業 AI 聊天機器人

隨著 AI 的廣泛普及，企業紛紛引入生成式工具，希望通過它們節省時間和成本，同時提升運營效率。然而，問題在於，這些聊天機器人經常編造信息，難以始終提供準確可靠的答案。以加拿大航空公司 Air Canada 為例，去年 2 月其聊天機器人曾向一位客戶建議，按照一項實際上不存在的喪親退款政策申請退款。結果，加拿大一家小額索賠仲裁庭支持了客戶的投訴，儘管航空公司試圖辯稱該機器人是獨立法律實體，應對其行為負責。

類似問題在其他行業也頻頻出現，甚至顯得更加離譜。例如，快遞公司 DPD 的聊天機器人在稍加挑釁下竟然用粗口回覆，並自嘲自己的行為毫無用處；而一個為紐約市民提供政府信息的聊天機器人更是誤導用戶，教他們如何實施違法行為。

這些案例凸顯了聊天機器人的潛在風險。雖然它們在某些場景下能提升效率，但其不可靠性可能對企業聲譽和公眾利益造成重大威脅。這表明，在追求效率的同時，企業和開發者需要更加謹慎地設計和監控 AI 工具，確保其輸出的準確性和可信度。

生成式 AI 展現了改變經濟增長軌跡的潛力，但其實際影響尚未顯現。儘管一些研究顯示 AI 可以提升呼叫中心、軟件開發等特定行業的生產力，其擴散至更廣泛經濟領域仍面臨挑戰。尤其在製造業等關鍵領域，現有的基礎模型由於缺乏專用數據和行業知識，難以滿足複雜需求。此外，企業對 AI 技術的可靠性和數據安全的擔憂也阻礙了其大規模應用。

大語言模型的工作機制導致「幻覺」或生成虛假信息成為其固有特點。與數據庫或搜索引擎不同，這些模型通過預測文本序列中的下一個詞生成內容，而不是檢索預存信息。它們的輸出基於從海量互聯網數據中學習到的統計模式，雖然看似真實，但實際上是概率計算的結果。這種機制讓它們生成的內容大多數時候看起來可信，但偶爾出現的錯誤卻可能造成嚴重後果，例如生成虛假的診所地址或偽造的法律文件。

儘管完全消除幻覺仍然不可能，但研究表明可以通過幾種方法來減少錯誤。例如，使用更多高質量數據進行訓練可以降低模型的錯誤率，或通過鏈式思維提示則通過逐步分解問題，提高了輸出的準確性。此外，未來的大語言模型可能會集成自我校驗機制，實時檢測並糾正潛在錯誤。然而，由於模型的概率性質，這些改進仍無法完全杜絕錯誤。

AI 硬件產品並沒有真正點燃市場

2024 年，AI 行業在硬件助手領域進行了嘗試，但最終未能取得成功。Humane 公司推出了一款名為 Ai Pin 的可穿戴電腦設備，試圖向消費者兜售其概念，然而即便經歷多次降價，這款產品的銷量依然慘淡。

Ai Pin 於 2023 年 11 月首次亮相，旨在通過語音控制「取代智能手機」完成日常任務。該設備由攝像頭、激光投影儀以及一塊可以按壓的觸摸板等部件構成，運行安卓系統，利用 AI 模型回答用戶問題，與 AI Pin 的交互可以通過語音、手勢、觸碰等，其通過激光投影將信息顯示在用戶手掌上。去年 5 月，面對 Ai Pin 的市場冷遇，Humane 公司不得不尋求收購方。

同樣命運的還有個人助理設備 Rabbit R1，這是美國初創公司 Rabbit 推出的一款口袋 AI 設備，其設計理念是讓用戶不再為完成某項任務而在應用程序中摸索，利用 AI 來改變用戶與應用的交互方式。

Rabbit R1 搭載  2.88 英吋觸屏、可旋轉攝像頭以及滾輪按鈕，採用聯發科處理器和 4GB 內存，配有 128GB 的存儲空間。該設備搭載 Rabbit 研發的操作系統 rabbitOS，其「大型操作模型（LAM）」是核心功能，可以實現多種操作，比如播放音樂、購物以及發送信息等，甚至可以學習特定應用的操作。去年 1 月，Rabbit 在 CES 2024 展會上推出了這款設備。然而，此前曾有大量評論和報告稱其運行緩慢且存在漏洞，這款產品最終未能獲得市場青睞。

這些產品的失敗揭示了一個關鍵問題：它們似乎試圖「解決一個並不存在的需求」。在硬件領域，AI 的潛在應用價值雖然廣泛，但如何找到真正符合市場需求的方向仍是一個未解的挑戰。

混亂的 AI 摘要搜索

你是否曾在披薩上加過膠水，或者咬過小石頭？令人啼笑皆非的是，這些荒唐建議竟然是Google AI 摘要功能在去年 5 月為用戶提供的答案。

該功能旨在將 AI 生成的回覆置於搜索結果頂部，但由於系統無法區分真實新聞和 Reddit 上的玩笑帖子，用戶紛紛嘗試誘導它生成各種稀奇古怪的內容，最終導致這些離奇答案的出現。

然而，AI 摘要的失誤遠不止這些離奇場景，還可能帶來更嚴重的後果。例如，蘋果一項用於將應用通知分組並生成摘要的新功能曾錯誤創建了一條虛假的 BBC 新聞頭條，聲稱涉嫌謀殺醫療保險公司首席執行官 Brian Thompson 的 Luigi Mangione 已經自殺。而不久前，同一功能還生成了一條虛假消息，聲稱以色列總理 Benjamin Netanyahu 已被逮捕。這些錯誤不僅可能誤導公眾，還可能無意中破壞新聞機構的公信力。

這些事件表明，儘管 AI 生成的摘要能夠顯著提高信息整理效率，其在準確性和可靠性方面的缺陷卻對公共信息傳播構成了嚴重威脅。為了避免類似問題，需要對 AI 生成內容進行更嚴格的審核，同時提升其理解和篩選信息的能力，以減少對用戶和社會的潛在負面影響。

參考鏈接：

1.https://www.technologyreview.com/2024/12/31/1109612/biggest-worst-ai-artificial-intelligence-flops-fails-2024/

2.https://www.technologyreview.com/2024/07/24/1095263/ai-that-feeds-on-a-diet-of-ai-garbage-ends-up-spitting-out-nonsense/

3.https://www.technologyreview.com/2024/08/20/1096733/how-to-fine-tune-ai-for-prosperity/

4.https://www.technologyreview.com/2023/11/17/1083593/text-to-image-ai-models-can-be-tricked-into-generating-disturbing-images/

5.https://www.technologyreview.com/2024/01/29/1087376/dear-taylor-swift-were-sorry-about-those-explicit-deepfakes/

6.https://www.technologyreview.com/2024/01/29/1087325/three-ways-we-can-fight-deepfake-porn-taylors-version/

7.https://www.technologyreview.com/2024/05/31/1093019/why-are-googles-ai-overviews-results-so-bad/

8.https://www.irishtimes.com/ireland/2024/11/01/we-are-highly-embarrassed-website-creator-behind-non-existent-dublin-halloween-parade-says-it-was-a-mistake/

9.https://www.theverge.com/2024/10/23/24277964/humane-slashes-ai-pin-price-weak-sales

10.https://www.theverge.com/2024/5/2/24147159/rabbit-r1-review-ai-gadget