男子濫用「AI換臉」技術偽造女明星涉黃影片，被判刑7年3個月
「AI換臉」相信大家都不陌生。只需要一張照片，通過人工智能深度合成技術，任何人都能成為影片中的主人公，甚至連表情和動作都能以假亂真。然而，這項新技術，卻讓一些人產生了不良想法，杭州的虞某就利用「AI換臉」軟件生成大量淫穢影片進行傳播，被換臉的有不少女明星等公眾人物，虞某甚至還提供換臉定製服務。
「AI換臉」偽造女明星涉黃影片
2022年8月，杭州市蕭山警方在網上巡查中獲取一條線索，轄區內有人利用AI技術製作淫穢影片在網上進行大量傳播，警方依法對此立案偵查，並迅速抓獲了犯罪嫌疑人虞某，隨後該案被移送至杭州市蕭山區人民檢察院審查起訴。
杭州市蕭山區人民檢察院檢察委員會專職委員 章蕾：虞某通過在互聯網上發現了有一個AI換臉的技術軟件，他自己通過學習這個軟件，掌握了使用技能，從此開始利用AI換臉的技術去牟利。
檢察機關調查發現，虞某從2020年開始接觸「AI換臉」軟件，起初，他想通過在網上推廣該項技術以及相關的軟件來獲利，但是，一段時間過後關注他的人卻很少，一次偶然的機會，虞某看到有人在社交群組中發佈淫穢信息來吸引他人關注，於是他也動起了類似念頭。
杭州市蕭山區人民檢察院第七檢察部檢察官助理 陳禹堯：他可能發現僅僅通過販賣軟件的方式，可能很難獲取到一般人的關注。因為他在網絡上看到有一些網絡群組在傳播一些淫穢色情影片，他就想到說通過換臉軟件製作一些淫穢色情影片，然後先放在互聯網群組上，從而吸引流量，吸引大家來關注這個軟件或者換臉影片。
據虞某供述，為了吸引更多的關注和流量，他在社交軟件上創建了「瀏覽群」和「私人定製群」，「瀏覽群」主要用來傳播「AI換臉」的淫穢影片吸引、招攬觀看者，其中包括一些經過虞某換臉的影片，當有人提出「定製換臉」的需求，虞某會將這些人引入所謂「私人定製群」。
杭州市蕭山區人民檢察院第七檢察部檢察官助理 陳禹堯：通過收取入（瀏覽）群費用的方式，一個198元、298元或者398元。另外一個就是虞某還提供人臉影片定製服務，相當於客戶如果需要定製一個換臉的影片，他可以根據時長，根據影片的難度大小收取相應的費用。
私人定製→「只要能看到臉的都能換」
據檢察機關調查，虞某一邊通過傳播換臉的淫穢影片來「吸粉引流」，同時又通過出售「AI換臉」軟件和提供所謂「AI換臉」的私人定製服務，在不到半年的時間里就獲利數萬元。而被「AI換臉」侵害人臉敏感信息的受害者，不僅包括多位知名公眾人物，還有很多不特定的普通人。
據檢察機關調查，虞某根據「AI換臉」影片的長度、清晰度等難易條件，按照5分鐘300元、10分鐘500元等標準來收取定製的費用。虞某聲稱，「只要能看到臉的都能換」。
杭州市蕭山區人民檢察院第七檢察部檢察官助理 陳禹堯：首先這個價格也是他自己定的，再一個初級、中級、高級，可能在這個影片最後完成換臉的效果上有一定的區別。有些人可能一開始購買了初級的教程，初級的一些素材和材料，發現最後達到的效果不能達到他所期望的效果，那麼有可能會繼續付費去購買一些高級的影片，包括高級教程。
杭州市蕭山區人民檢察院檢察委員會專職委員 章蕾：他通過VIP定製，就是客戶提要求「我今天想要把臉換成是誰的臉，你幫我定製一下，我支付相應的報酬」，通過這樣牟利的方式。
「定製」換臉對象既有公眾人物也有普通人
據檢察機關瞭解，虞某的客戶要求「定製」換臉的對象不僅包括一些知名的公眾人物，也有生活中的普通人，其中就有人提出想要定製自己暗戀女生的換臉影片，而對於這些未經同意就擅自侵犯他人敏感信息的違法行為，虞某也是來者不拒。
另外，虞某除了進行定製化的換臉服務，還將「AI換臉」軟件分為初級、中級和高級三個等級進行銷售並傳授使用教程，同時還提供網上非法收集的他人人臉素材。
杭州市蕭山區人民檢察院第七檢察部檢察官助理 陳禹堯：這個軟件的入門的門檻其實是比較低的，它的操作相當於通過一些已經設定好了的運行的程序和代碼，相當於我只要按照你的步驟，把需要進行換臉的影片放在它規定的一個文件夾里，或者是按照步驟來進行操作，它自動對你所要替換的人臉影片裡面的人臉信息，或者照片里的信息是自動提取，自動建立學習模型進行學習，然後下一步是自動進行合成的。
據檢察機關收集的證據顯示，虞某創建的眾多社交群組中，最少的成員95人，最多的成員達2053人，通過銷售換臉淫穢影片以及定製換臉淫穢影片等違法行為，虞某先後收取口令紅包200餘次，總金額共計6萬餘元。
除追究刑責，檢察機關還提起民事公益訴訟
檢察機關認為，作為「AI換臉」技術的使用者，虞某通過傳播侵犯公民個人信息的方法和手段，使得更多「不特定主體」個人信息被侵害的社會危險性進一步擴大。因此，杭州市蕭山區人民檢察院在依法追究虞某刑事責任外，同時還提起民事公益訴訟。2023年7月，杭州互聯網法院對這起公益訴訟案進行審理，這也是我國首例關於「AI換臉」侵犯公民個人信息公益訴訟案的審理判決。
2023年4月14日，杭州蕭山區人民檢察院決定對虞某「AI換臉」侵犯公民個人信息公益訴訟案立案，當日履行公告程序，公告期滿，無適格主體提起訴訟。6月9日，檢察機關依法對虞某提起民事公益訴訟。7月28日，該案在杭州互聯網法院一審公開審理。
在庭審中，檢察機關出示了虞某侵犯公民個人信息、損害社會公共利益的詳細證據，包括公安機關對虞某所作的訊問、詢問筆錄、勘驗記錄、檢查記錄、鑒定意見，以及淫穢影片1200多部、圖片1600多張等電子數據。
杭州互聯網法院互聯網審判第一庭庭長 肖芄：過去我們常常認為眼見為實，耳聽為實，但是隨著深度合成技術以及新技術的運用，我們眼見也不一定為實，新技術的不當應用或者是一種濫用，實際上衝擊了我們社會公眾主體相互之間的信任關係，特別是在互聯網空間這樣一種建立起來的信任關係。那麼對於這種信任關係、社會關係的一種侵害，其實本身也是對社會秩序的一種損害。
杭州互聯網法院經審理認為，虞某利用「AI換臉」技術侵犯公民個人信息的違法事實確鑿，因此支持檢察機關作為公益訴訟起訴人的全部訴訟請求：判令被告虞某刪除非法獲取的個人信息，公開賠禮道歉、消除影響並賠償損失共60000元，這些款項將專門用於個人信息保護、人臉深度合成技術不當應用的治理等公益事項。
杭州互聯網法院常務副院長 朱敏明：任何一項新技術，首先這個技術它總是有中立性的，那麼在技術本身我們是持接納支持的這種態度，但是技術開發應用的目的，它必須是有利於全人類的公益，不能是為了這個技術，用於個人的非法牟利，然後侵犯其他公民、集體、國家、社會的合法權益，一旦越界了就要承擔相應的責任。那麼這個案子中因為由檢察院來提起公益訴訟，然後法院來依法審判，充分發揮審判司法職能對新技術的規範。
技術無善惡但有邊界，須在法律規製內使用
2023年11月，杭州市蕭山區人民法院判決被告人虞某犯製作、傳播淫穢物品牟利罪，判處有期徒刑七年三個月，並處罰金6萬元。
「僅憑幾張照片，任何人都可能成為受害者。」 從網絡主播換臉女明星直播帶貨，再到換臉被嫁接到淫穢影片中，濫用「AI換臉」技術實施各類侵犯個人信息的行為時有發生，甚至在灰色領域甚至違法犯罪領域濫用。那麼，「AI換臉」技術的法律邊界在哪裡，又該如何規範和治理呢？
杭州互聯網法院互聯網審判第一庭庭長 肖芄：我們國家的民法典對於侵害他人，通過深度偽造方式侵害他人人身權益是有明確的規定的，禁止通過深度合成的方式去侵害公民的人身財產權益，這是民法典的規定。隨著技術的發展，個人信息保護法對於深度合成也有相關的規定，因為不管是面部的一個替換還是聲音的替換，它實際上都需要收集公民的個人信息，那麼這些都是屬於個人信息保護法特別保護的敏感的生物識別信息。
我國目前除了「民法典」「個人信息保護法」，2023年正式實施的《互聯網信息服務深度合成管理規定》《生成式人工智能服務管理暫行辦法》中也明確規定，強調使用者不得利用深度合成服務從事法律、行政法規禁止的活動，要求深度合成服務提供者要落實信息安全主體責任。
注意！「AI換臉」用來搞笑也存法律風險
法官認為， 「AI換臉」技術即便只是用來搞笑或者製作惡搞照片，也有可能涉及侵犯肖像權、名譽權，造成嚴重後果的，還可能構成侮辱罪或者誹謗罪。
而「AI換臉」技術的濫用，看似是對被侵害的個人的人格權、肖像權、名譽權、隱私權的侵害，實際上更是對社會公序良俗的踐踏，是對穩定的社會環境和清朗的網絡空間的挑戰。
杭州互聯網法院常務副院長 朱敏明：一項新技術的產生往往專門針對這項新技術的法律法規會有所滯後，但是總的來說我們現在國家整個的法治體系已經相當完善，每個人你哪些行為是可以做的，哪些行為是不可以做的，它的原則性規定都是已經比較健全了。我想正常人都是能夠判斷得出來的，你去運用這項新技術，你的目的是有益於整個人類，有利於就是人民生活水平的提升，福祉的提升，還是說為了個人謀取不當的利益。那麼我就想把握好這個界限，這些新技術都是能夠為我們美好生活服務的。
