AI生成合成內容將有「專屬水印」，能遏製「換臉」詐騙嗎？

人工智能（AI）生成合成內容的逼真程度已經讓普通人難以辨別。多方人士曾提議，加快規範AI生成合成內容。「內容標識」是目前國際上較為通用的做法。

日前，國家網信辦起草的《人工智能生成合成內容標識辦法（徵求意見稿）》（以下簡稱《辦法》），面向社會公開徵求意見。新京報記者注意到，與之配套的強製性國家標準《網絡安全技術 人工智能生成合成內容標識方法》（以下簡稱《標識方法》）同步在全國標準信息公共服務平台公開徵求意見。

真假難辨，「AI換聲」「AI換臉」詐騙案件量正在增加

《辦法》擬規定什麼？簡單來說，AI生成合成的內容要在顯著位置作出標識，也就是要給它們打上「專屬水印」。

給AI生成合成內容打水印為何如此重要，需要單獨出台文件加以規製？受訪者認為，這與AI應用帶來的虛假宣傳、欺詐等社會風險有著直接關係。

生成式人工智能的應用落地不過是近兩年的事情，然而利用AI實施詐騙、侵權等違法犯罪的數量正在快速增加。記者注意到，多地公安機關曾發佈過相關提醒，司法機關也發佈了多起利用AI實施犯罪的典型案例。部分案例經由媒體報導和平台傳播，引發不少人的擔憂甚至是恐慌。

「AI詐騙正在全國爆發」的詞條一度登上熱搜，一時討論聲四起。據浙江省科普聯合會發佈的文章，AI詐騙的類型包括：語音合成詐騙、影片/圖像合成詐騙、聊天機器人詐騙、數據操控與偽造。其所依託的技術主要為自然語言處理和機器學習。

上述前兩種類型便是很多人聽說過的「AI換聲」「AI換臉」。《辦法》提出，對於AI生成合成的音頻，在起始、末尾或中間適當位置添加語音提示或音頻節奏提示等標識；AI生成合成的影片，在起始畫面和影片播放周邊的適當位置添加顯著的提示標識，可在影片末尾和中間適當位置添加顯著的提示標識。對於AI生成合成的文本、圖片等信息，《辦法》也擬作出相應規定。

除了上述可被用戶明顯感知的顯式標識，《辦法》還擬對隱式標識的添加予以明確，提出服務提供者在生成合成內容的文件元數據中添加隱式標識，隱式標識包含生成合成內容屬性信息、服務提供者名稱或編碼、內容編號等製作要素信息。

《辦法》擬作何具體規定？解決什麼問題？

具體來說，《辦法》擬對服務提供者、網絡信息內容傳播平台的服務提供者、互聯網應用程序分發平台、用戶分別規定相應的責任義務。

北京大成律師事務所高級合夥人肖颯解釋，服務提供者即利用生成式人工智能技術提供生成式人工智能服務，利用算法技術提供信息服務、深度合成服務的組織、個人。

對服務提供者，《辦法》提出在生成合成內容時主動添加顯式標識或隱式標識，執行強製性國家標準；在用戶服務協議中明確說明生成合成內容標識的方法、樣式等，並提示用戶仔細閱讀並理解相關的標識管理要求。

對於提供網絡信息內容傳播平台的服務提供者，如AI聊天網站，《辦法》特別提出，在處理和核驗生成合成內容時，平台需要承擔核驗標識的責任。

對於互聯網應用程序分發平台，如應用商店，《辦法》提出，在應用程序上架時，應當核驗服務提供者是否按要求提供生成合成內容標識功能。

用戶在上傳生成合成內容時，應當主動聲明並使用平台提供的標識功能作出標識，不得惡意刪除、篡改、偽造、隱匿生成合成內容標識。

西南政法大學科技法學研究院副院長、教授鄭誌峰認為，通過規範標識可以幫助公眾準確區分AI生成合成內容與人類創作內容，提升信息透明度，維護信息生態的真實性，保障公眾的知情權。通過標識還可追溯生成內容的來源，明確責任主體。

他指出，通過標識內容可以降低虛假宣傳、欺詐等社會風險。肖颯同樣指出，AI生成合成內容可能被用於製造社會恐慌、傳播謠言或實施其他非法活動，通過強製標識，可以有效地控制這些行為，維護社會穩定。

2022年以來，國家網信辦等部門發佈的文件中，相繼明確對符合要求的AI生成合成內容作出標識，為何還要單獨製定《辦法》？

鄭誌峰指出，之前的文件只是作出原則性要求，沒有深入討論具體的標識方式、範圍和技術標準。在此背景下，《辦法》的進一步規定可以消除標識標準的模糊性。具體來說，《辦法》主要明確責任主體和義務，《標識方法》則提供具體操作細節。

「這種雙重保障機制將確保標識要求不僅有依據，還有技術執行路徑，具備可操作性，確保規定真正落地，而不只是停留在表面要求上。」鄭誌峰向記者解釋。

此舉能防範日益突出的AI詐騙嗎？

《標識方法》這一強製性國家標準擬明確各類AI生成合成內容的具體標識方式。其中，影片內容的顯式標識應採用文字提示。

具體而言，應同時包含人工智能要素——含「人工智能」或「AI」，表明使用人工智能技術；包含生成合成要素——含「生成」和/或「合成」，表明內容製作方式為生成和/或合成。

音頻內容的顯式標識應採用語音標識或音頻節奏標識。語音標識應同時包含人工智能要素——含「人工智能」或「AI」，表明使用人工智能技術；包含生成合成要素——含「生成」和/或「合成」，表明內容製作方式為生成和/或合成。

音頻節奏標識應為「短長 短短」的節奏。《標識方法》註釋稱，「短長 短短」節奏為「AI」的摩斯碼表示。

以「AI換臉」詐騙為例，肖颯分析，根據《辦法》和《標識方法》要求，潛在受害人應該能夠在影片中看到顯著標識，提示該影片是AI生成合成內容。

具體來說：影片中可能會有明顯的文字提示，如「本影片為合成內容」，或者影片角落處有明顯的標識符號，如「人工智能生成合成」；標識應當放置在影片的顯眼位置，如角標、橫幅等，以便用戶一眼就能注意到；標識的顏色和字型應當足夠醒目，以便與影片背景區分開；如果影片支持交互功能，在用戶嘗試播放或下載影片時，系統可能會彈出提示框，告知用戶該影片是AI生產合成的。

「從效果來看，可以預測，《辦法》和《標識方法》的實施有助於提高AI生成合成內容的透明度，降低老百姓遭AI詐騙的風險。」肖颯告訴記者。

鄭誌峰認為，標識可以起到區分人機界限的作用，同時具有警示功能，提醒用戶慎重對待AI生成合成內容，避免上當受騙。「當然，標識的作用也是有局限性的，無法應對所有的問題。例如，AI生成合成內容是否侵犯他人的著作權、人格權，並非標識可以解決的。」

專家建議：明確未履行標識義務的責任規則，特別是民事侵權責任

《辦法》第13條擬規定，未對AI生成合成內容作出標識造成嚴重後果的，由網信等有關主管部門按照有關法律、行政法規、部門規章的規定予以處罰。

鄭誌峰指出，《辦法》擬作出的責任追究規定較為籠統，責任機制不夠完善，沒有明確未履行標識義務的責任規則，特別是民事侵權責任。

「《辦法》僅規定‘未對生成合成內容進行標識造成嚴重後果的’依法進行處罰。但對第10條所涉及的使用者的行為，未規定懲罰措施。」肖颯指出，有的使用者惡意濫用AI生成合成內容，通過不正當標識手段損害他人合法權益、散佈虛假信息，建議補充處罰措施或列明可供援引的其他法律規範。

此外，鄭誌峰提出，標識適用於AI生成合成內容，對於人機協作生成合成的內容是否適用並不明確。例如，AI生成一首唐詩，用戶對內容作了很小的修改，是否需要標識並不清楚。

總的來說，內容標識是防範生成式人工智能應用風險的重要一步，有助於提高透明度，幫助用戶識別AI生成合成內容。

「但這隻是多層次防控體系的一部分。」肖颯認為，要想真正規避風險，還應細化法律法規，建立行業自律標準，如明確界定法律責任，特別是版權、隱私保護等問題；推動行業自律，建立統一的技術標準和倫理準則，引導企業合理合法使用AI技術。

在鄭誌峰看來，當前我國人工智能立法呈現明顯的場景化特徵，如關注自動駕駛、人臉識別、生成式人工智能、深度合成等具體場景，且立法的級別不夠高。

「隨著我國人工智能產業的發展，人工智能立法儲備的豐富，製定一部《人工智能法》的契機已經成熟。相較於分散的部門規章，《人工智能法》可以系統明確人工智能各方權利、義務、責任，建立起覆蓋人工智能全生命週期的、統一的監管規則，避免場景化立法存在的重覆立法和監管盲區問題，具有更強的適應性。」鄭誌峰認為。

新京報記者 行海洋

編輯 張牽 校對 張彥君