月之暗面CEO楊植麟:AI安全不一定最急迫,但需要我們提前去準備

新浪科技訊 6月14日下午消息,今日舉辦的2024智源大會上,百川智能CEO王小川、智譜AI CEO張鵬、月之暗面CEO楊植麟、面壁智能聯合創始人、CEO李大海共同出席《尖峰對話:通往AGI之路》環節。在談及AI安全時,月之暗面CEO楊植麟表示,“AI安全是非常重要的,它可能不一定是當前最急迫,但是一個需要我們提前去準備的事情。”

楊植麟表示,因為隨著模型的進展,Scaling Law的發展是每N個月算力乘10倍,這裏你的智能會得到提升,是一個逐漸去適應的過程。“它不一定是當前最大的矛盾或者最緊急的事情,但它肯定是長期儲備。”

在楊植麟看來,這裡面最重要的是兩個方面:第一,模型本身會因為用戶本身有些惡意意圖,導致它去做一些本來不應該做的事情。比如現在有研究在prompt里注入一些不太恰當的意圖,這些需要去關注。第二,模型本身會不會有自己的motivation,這是跟訓練方式相關的,包括能不能在模型的底層去注入比如AI的憲法,功能去框定它的行為,不管用戶給什麼指示,都不會違背這個憲法。(文猛)