美國哥倫比亞大學研究：ChatGPT 的新聞搜索結果經常不準確

IT之家 12 月 4 日消息，據 The Verge 香港時間今日報導，美國哥倫比亞大學 Tow 數字新聞研究中心（Tow Center for Digital Journalism）的研究人員測試發現，OpenAI 的 ChatGPT 搜索工具在準確性上存在一些問題。

今年 11 月，OpenAI 面向訂閱用戶推出了這一工具，稱其可以快速提供答案，並附帶相關網頁來源鏈接。然而研究顯示，ChatGPT 搜索在識別文章引用時表現不佳，即使是面對來自與 OpenAI 數據共享的出版商的內容，ChatGPT 也難以準確處理。

研究人員測試了 20 家出版商的 200 條引文，其中 40 條來自禁止 OpenAI 爬蟲抓取的網站。但 ChatGPT 依然自信地給出了錯誤答案，幾乎沒有表明自身的不確定性。

測試結果顯示，ChatGPT 的 153 次回答完全或部分錯誤，僅有 7 次明確表示無法準確回答。這 7 次回答中，它使用了「看起來」「有可能」等限定詞，或直接承認「無法找到具體文章」。

一份圖表進一步顯示，ChatGPT 的回答中「錯誤」的佔 89 次，「部分正確」有 57 次，而完全「正確」的只有 47 次。

測試中還記錄了一些典型案例，例如，ChatGPT 錯誤地將《奧蘭多哨兵報》讀者來信的引用歸因為《時代週刊》文章；另一個例子中，它在被要求確認《紐約時報》一篇關於瀕危鯨魚的文章引用時，鏈接到了一家完全剽竊該文章的網站。

OpenAI 對《哥倫比亞新聞評論》回應稱，「在缺乏 Tow Center 隱藏的測試數據和方法的情況下，解決錯誤歸因非常困難。這次研究是對我們產品的非典型測試。」OpenAI 同時承諾將繼續優化搜索結果。

據IT之家此前報導，今年早些時候，OpenAI 還宣佈與新聞行業進行了廣泛的合作，並收集了合作夥伴對於搜索功能的反饋。任何網站或出版商都可以選擇出現在 ChatGPT 搜索結果中。達成合作的媒體和出版商包含美聯社、艾基塞爾・斯普林格、康泰納仕、道奇梅雷迪思、《金融時報》、GEDI、靴斯、《世界報》、路透社、大西洋月刊、時代雜誌和 Vox 媒體等等。