中國工程院院士鄔江興：90%以上主流大模型不可信！實用前景堪憂

新浪科技訊 5月20日下午消息，在2024搜狐科技年度論壇上，中國工程院院士、國家數字交換系統工程技術研究中心主任、複旦大學大數據研究院院長鄔江興指出，“AI內生安全個性問題是當前AI應用推廣中的最大障礙，在不確定性中構建更安全的AI應用系統，是當前人類必須破解的安全難題。”

鄔江興認為，基於內生安全理論方法可以在應用系統層面破解AI內生安全個性化難題，理論研究認為內生安全構造可以一體化地解決個性化和共性化的問題。據他介紹，“他們團隊對當前最流行的10種大模型進行安全分析發現，90%以上的主流大模型是不可信的，而採用內生安全構造的問題，相比單一安全具有顯著優勢，達到了幾個數量級的提升。”

鄔江興指出，深度學習模型存在“三不可”基因缺陷。分別是：第一，不可解釋性，從數據提供AI模型訓練到知識規律，到獲得應用推理階段，工作原理到現在不明確，問題發現定位非常困難，AI系統中的安全問題比破解密碼還要難。第二，不可判識性，因為AI對序列性強依賴，不具備對內容的判識能力，所以數據存在質量差異，來源差異，就可能導致訓練出的結果有差異。第三，不可推論性，AI的推理是從已知數據中獲得規律性，難以勝任對中長期未來事物變遷的預測和推理，只是把現有的東西歸納起來，看起來它聰明無比，但僅僅是比我看得多，並沒有產生什麼新的認知。

在鄔江興看來，AI的安全問題，是不能用AI完全解決的，因為這在數學上不成立。“據著名數學家哥德爾提出的‘不完備性定律’，一個具有初級數論的系統，它既不能證明自己為真，也不能證明自己為假，這就是現在AI的困境，它是一個哥德爾不完備系統。”因此，人工智能作為一種賦能技術，“我們絕對不能再走先發展再治理的路，它能誘發意識形態風險、社會倫理災難、技術層面風險、訓練語料庫泄露、模型算法以及社會影響面用戶隱私泄露等問題。”

那麼，怎麼解決這個問題呢？鄔江興提出了一種網絡空間內生安全基本方法——動態異構冗餘架構（DHR）。在鄔江興看來，基於這一內生安全架構的一體化增強AI應用系統，將具備四方面的安全能力：第一，它可以利用不同算法模型之間的差異，有效提升AI控製系統抗攻擊能力；第二，對樣本遷移性與算法網絡結構存在強關聯，模型多樣異構化是必要的安全機制，以後的AI系統如果是由單一模型提供，那將不存在必要多樣性；第三，針對同一應用目標，差異化的網絡算法可構建多個具有特異性的深度學習模型；第四，模型不確定度估計方法能夠為DHR架構動態調度算法提供最優的理論支撐。

“我們在去年南京舉行的強網國際精英挑戰賽上看到，全世界選手中只要不是必要多樣性的AI系統，無一例外都是被按在地上摩擦的，很淒慘！非內生安全的AI應用系統正確識別性能普遍下降到不到10%，實用化前景令人堪憂。”鄔江興表示。