2024智源大會落幕 黃鐵軍首談AGI能力與風險分級

新京報貝殼財經訊（記者陳維城）6月15日，為期2天的2024智源大會落下帷幕。本次大會圍繞大語言模型、多模態模型、Agent、具身智能、數據新基建、AI系統、AI開源、AI for Science、AI安全等人工智能熱門技術方向和焦點議題，召開了20+平行論壇，共計百場報告。

過去一年，大模型發展速度之快，行業紛紛探討通用人工智能的實現路徑與曙光，但AI安全問題的嚴重性與緊迫性不容忽視。

「當我們從不同層面對人工智能安全問題進行審視，除了對社會偏見，錯誤信息，潛在的工作替代或者大模型、自主機器人帶來的大規模自動化而導致的工作流失，以及潛在的加速財富集中或財富兩極化等問題有所瞭解，更應該關注人工智能可能帶來新的經濟體系和包括潛在的災難性風險或誤用事故，甚至可能導致延伸性的人類風險。人工智能安全已有很多聲明和請願，但更重要的是明確目標、投入資源、採取行動、共同應對風險。」北京智源人工智能研究院學術顧問委員會主任張宏江在AI安全論壇的開幕致辭中對人工智能安全進行了預警和呼籲。

今年3月，張宏江發起，智源研究院承辦了中國首個AI安全國際對話高端閉門論壇——「北京AI安全國際對話」。張宏江與Yoshua Bengio擔任論壇主席，邀請Geoffrey Hinton、Stuart Russell、姚期智、傅瑩、薛瀾等30餘位專家，Anthropic、智譜AI、零一萬物等國內外頭部大模型企業，以及相關政府部門參與，聯合簽署了《北京AI安全國際共識》。

本次AI安全論壇，加州大學伯克利分校教授Stuart Russell，圖靈獎得主姚期智，清華大學資深文科教授、蘇世民學院院長薛瀾，中國工程院院士、清華大學智能產業研究院（AIR）院長張亞勤，Google DeepMind前沿安全與治理主任Allan Dafoe，MIT人工智能與基礎交互研究中心教授、未來生命研究所創始人Max Tegmark等專家分享了關於AI安全的觀察洞見與前沿研究。

北京智源人工智能研究院理事長黃鐵軍在AI安全論壇閉幕致辭中表示，水深流急，AI安全已進入風險很突出的階段。應對AI安全風險，需要對AGI水平和能力進行分級。

第0級

AI認知水平低於人類。對應DeepMind 2023年AGI分級之1-4級，還沒達到AGI（Artificial General Intelligence）水平，只是GAI（General Artificial Intelligence），目前大模型處於這一階段。這一階段的風險在於人類行為的規範，AI可能被善用、誤用或惡用。即使出發點良好的善用，也可能因為對AI可能帶來的正面和負面作用理解不足，造成傷害。

第1級

認知水平超越人類。對應DeepMind 2023年AGI分級之5級。大模型是用海量文本圖像影片數據訓練出來，認知能力可以超越人類，甚至超越頂尖科學家，具備了人類思考能實現的所有能力。但是沒有身體執行，因此只能通過和人類的交流釋放它的智慧。如果停留在這個階段，人類仍然存在控制AGI的可能，可以選擇與之理性對齊，借助它的能力解決人類智力難以解決的重大挑戰性難題。這個階段的風險在於，人類可能選擇「躺平」，因為絕大多數人努力一生都達不到AGI的智力水平，於是乾脆「躺平」，人類出現頂尖人才的機會越來越小，AGI智力水平反而快速提高，人類和AGI的智力水平差距越來越大，人類甘拜下風，失去主動權。

第2級

感知能力超越人類。AGI擁有了身體，也就是具身智能，視、聽、觸等感知性能遠超人類，動作靈敏度和速度也遠超人類，遠遠超出人類的物理控制能力，形態多樣，遍佈陸海空天，數量龐大，難以清除，人類面臨巨大風險。

第3級

感知和認知能力同時超越人類，這樣的物理實體與世界互動，產生意識。意識是生物體（特別是神經系統）作為複雜動力系統產生的自然現象，這個階段的機器也可能出現意識。機器擁有了全面超越人類的感知、認知和行動力，機器霸權超越人類控制。

第4級

機器從具備意識進化為具備自我意識。動物都有意識，但是只有少數種類的動物有自我意識，從意識到自我意識沒有絕對邊界，神經系統達到一定水平的複雜程度，機器在與世界的互動中意識到「這是我」，從而產生慾望和訴求。這一階段人類淪為次等物種，但AGI還是基於人類知識、類人腦神經網絡訓練出來的，是人類智能結構、機理和功能的高級鏡像，或者說是人類的高級後代，掌握了主動權，有可能和人類和平共處。

第5級

AGI的認知不再源於人類知識，AGI神經結構超越人類大腦，形態和智力水平都超出了人類想像，可能適應不同的物理環境，開始宇宙智能進化的新歷程。相比之下，人類作為地球環境的產物，最適合在地球上長期存在下去，如果能夠在AGI協助下應對各種天災人禍的話。

校對 付春愔