「盧某某錄音」系AI合成 記者實測：3分鐘你的聲音就可被複製
9月26日，合肥市公安局高新分局發佈警情通報稱，對於網上傳播涉盧某某的音影片，9月22日抓獲犯罪嫌疑人王某某，並在其電腦、手機和製作AI音頻的網站中發現偽造相關音影片的證據；結合其供述、調查取證，並經部、省專業機構檢驗鑒定，認定報案所涉網傳音影片系偽造。
這是又一起因AI深度偽造技術而出現的案例，當前，複製他人聲音的門檻已經低到何種地步？面對門檻不斷下降的AI深度偽造手段，監管層又該從何處著手？對此，新京報貝殼財經記者進行了聲音複製的實測，並採訪了相關專家。
複製聲音 門檻有多低？
關於聲音合成技術的應用最早能夠追溯到十一年前，高德地圖推出的「林誌玲語音包」，但此後，隨著AI語音技術的發展和技術開源，語音合成的門檻逐漸降低，只要提供音源，普通人也可以進行聲音合成。從技術角度，不論是自己的聲音還是從網絡上找到的其他聲音資源，都可以用於AI語音合成的素材，這在方便了配音、數字人等行業發展的同時，也給AI聲音偽造提供了條件。
9月27日，新京報貝殼財經記者以相關關鍵詞在網絡進行搜索，很容易就找到了多個擁有聲音複製能力的軟件，其中不乏知名公司，例如科大訊飛的AI配音軟件，字節跳動旗下的剪映軟件等。此外，還有不少已經開源的AI配音技術，其中不乏只需要上傳5秒鍾就能識別並複製聲音的功能。
對此，記者分別在一款國人製作並在GitHub上開源的聲音複製軟件，以及剪映軟件中分別體驗了聲音複製功能。
記者使用聲音複製軟件製作的配音影片。新京報貝殼財經記者羅亦丹/製作
在開源軟件中，記者上傳了一段3分鐘的自己的錄音，在經過AI模型訓練後，成功得到了自己聲音的模型文件，此後輸入任意文本，軟件即可口播出自己的聲音。記者發現，經過模型訓練後，記者在發音時的一些吐字習慣都被模型牢牢記住，對於一些較短的語句，連記者本人都識別不出這是機器合成的語音，而生成長語句時，則會出現瑕疵，但只要多次生成，再從中挑選合成效果較好的語句，總有可以「以假亂真」的聲音出現。
而在剪映軟件中，選擇文本後的「朗讀」選項卡里，有「複製音色」的選項，記者發現，只要按照該軟件的提示詞朗讀其準備好的語句，只需要10秒左右，其就可以生成獨屬於自己的聲音模型，此後只需要輸入文本其就可以按照輸入的音色生成語音。
但假如創作者故意輸入了其他人的聲音，是否有防範的措施呢？記者發現，前述開源軟件的軟件作者在使用界面中標註稱，「本軟件以MIT協議開源，作者不對軟件具備任何控制力，使用軟件者、傳播軟件導出的聲音者自負全責。」
而剪映在彈出的提示中表示，其將全程採用安全加密措施處理提供的信息，不會在未經授權的情況下使用相關信息。複製音色生成後，使用複製音色進行文本朗讀，需按照文本字數進行付費，並在使用規範中標註了「您承諾所錄製的音頻為您本人所有或已獲得合法授權。」
剪映軟件中複製音頻的提示。
記者發現，由於AI合成的聲音幾乎可以「以假亂真」，因此平台在傳播相關由AI音頻製作的內容時，往往難以通過有效手段進行識別。當前，抖音、嗶哩嗶哩等平台確實有對於AI生成內容的提示，但如果平台檢測不出此內容為AI生成，內容創作者也不加以標識，確實容易導致虛假內容的傳播。
AI偽造聲音觸犯了哪些法律法規？平台和監管部門應如何用魔法打敗魔法
在「盧某某」錄音事件中，根據警方通報，9月16日，王某某利用從互聯網下載的音影片資料，杜撰盧某某酒後言論腳本，先使用AI工具訓練生成假冒盧某某的音頻（其中出現的女聲也系AI工具訓練生成），後用影片軟件合成音影片，並通過網絡發佈，形成謠言大量傳播。目前，王某某已被依法採取刑事強製措施，案件正在進一步偵辦中。
9月27日，浙江墾丁律師事務所主任律師張延來在接受新京報貝殼財經記者採訪時表示，隨著AI合成技術的普及，特別是在聲音和影片領域的廣泛應用，確實帶來了許多潛在的風險和問題。主要體現在利用AI合成實施詐騙行為、版權和知識產權侵權問題（如利用AI技術生成「AI孫燕姿」或其他名人聲音）、虛假信息和謠言傳播（如「盧某某」錄音事件中的AI偽造音頻）、製作販賣淫穢物品牟利（如用AI「一鍵去衣」技術深度偽造淫穢圖片）等。
而在「盧某某」錄音事件中，AI偽造聲音觸及的法律法規包括未經授權使用他人聲音進行AI化處理並利用侵犯了他人的人格權益，利用AI製造和傳播虛假信息屬於擾亂公共秩序的違法行為，同時還可能涉嫌誹謗罪以及尋釁滋事罪。
張延來表示，許多國家已經開始探索針對深度偽造等技術的立法，「比如，中國在2022年出台的《互聯網信息服務深度偽造管理規定》，要求用戶和企業使用AI合成技術時，必須標明是否為AI生成的內容，未標明的內容可能會受到法律追責。未來，法律應進一步細化，明確哪些場景下AI合成技術的使用是合法的，哪些情形下可能構成侵權或犯罪行為。加強對AI偽造內容的監管和懲罰力度，將有助於遏製此類行為。」
對於在法律層面應對AI偽造的方法，張延來認為，法律可以要求任何涉及他人肖像、聲音、名譽等個人信息的AI合成內容都必須經過當事人明確同意，並對未授權的內容使用者施加嚴厲的懲罰。這種機制能夠有效減少利用AI技術對個人隱私的侵害，防止偽造信息的傳播。同時，法律可以規定，使用AI生成內容的公司、平台以及個人必須留存數據生成過程的完整記錄，以便日後追查。這種追溯機制可以讓相關方對其生成的內容負責，幫助追究相關的法律責任。
貝殼財經記者注意到，9月14日，國家互聯網信息辦公室發佈關於《人工智能生成合成內容標識辦法（徵求意見稿）》（下稱《徵求意見稿》）公開徵求意見的通知，還配套發佈了國家標準《網絡安全技術 人工智能生成合成內容標識方法》。《徵求意見稿》共十四條，其中較為重要的條款包括要求人工智能生成合成內容標識包括顯式標識和隱式標識，而根據《徵求意見稿》，人工智能生成合成內容既包括文本，也包括音頻、圖片、影片等。
中國信息通信研究院人工智能研究所所長魏凱分析稱，《徵求意見稿》進一步完善生成式人工智能監管問責體系。生成式人工智能生成合成內容涉及多種類型的主體，清晰界定各主體義務更有利於壓實主體責任，便利技術檢測實施，進而落實精準問責。《徵求意見稿》不僅界定了人工智能生成合成內容的基本概念，更針對服務提供者、傳播平台、應用服務分發平台和用戶分別規定了具體標識要求，為各相關主體落實合規指明了方向。
而在技術層面，張延來表示通過技術手段可以嵌入數字水印或元數據，使得AI生成的音影片內容具有可追溯性，能夠準確識別內容的出處。這類技術可以幫助平台和監管機構快速檢測出虛假信息並阻止其傳播。同時，可以開發更強大的AI模型用於檢測深度偽造內容，這類反偽造AI可以應用於社交媒體、新聞平台等，自動過濾虛假內容。
「各大內容平台可以引入更加嚴格的AI生成內容審核機制，利用反偽造技術在內容上傳階段進行自動檢測與標記，特別是對於涉及名人、公眾人物或敏感事件的內容。此外，平台應為公眾提供舉報機制，允許用戶快速舉報疑似偽造內容，並快速響應處理。」張延來對新京報貝殼財經記者表示。
記者聯繫郵箱：luoyidan@xjbnews.com
新京報貝殼財經記者 羅亦丹
