北大團隊研發智能設備模型隱私保護機制，有望降低10倍計算成本

當前，大語言模型於金融、醫療等隱私攸關行業的部署面臨著隱私保護的嚴峻挑戰。諸如醫院、銀行等模型用戶，雖掌控著大量高質量機密數據，但卻欠缺訓練大模型的技術能力，故而需依賴外部供應商來提供基座大模型等必需的技術支撐。

然而，在大語言模型用戶與供應商協作時，雙方存在相互不信任的問題：用戶擔心機密數據泄露，不願將其暴露給供應商；供應商則顧慮技術核心被竊取，不願將基座大模型直接呈現給用戶。

為解決大模型用戶與供應商之間的互不信任問題，北京大學助理教授李錠團隊研發出一種基於可信執行環境（TEE，Trusted Execution Environment）的模型保護技術，並構建了開源框架 TAOISM（https://github.com/ziqi-zhang/TAOISM）。

該技術可使供應商將其基座大模型部署至用戶端的可信執行環境內，既確保用戶的機密數據不出該環境範圍，又能防止用戶侵犯供應商基座大模型的隱私。此方法不但實現了全方位的模型隱私保護，還把計算成本降低至現有技術的 1/10。

相關論文以《域外無私：端側機器學習中基於可信執行環境的模型切分技術的（不）安全性》以及《TEESlice：在攻擊者擁有預訓練模型的前提下，通過可信執行環境保護機密神經網絡模型》為題相繼發表於《IEEE 安全與隱私論壇》[1,2] 和《ACM 軟件工程與方法論學報》[3]。論文主要作者涵蓋北京大學博奧保士後張子祺、博士生蔡奕豐、助理教授李錠、教授郭耀以及教授陳向群。

該團隊所研發的技術屬於一種在新型可信執行環境保護之下的模型切分技術（TSDP，TEE-Shielded DNN Partition）。此技術能把供應商的基座大模型分割成「機密」與「公開」這兩個部分。隨後，一方面借助可信執行環境對「機密」部分予以保護，另一方面將模型的「公開」部分放置於圖形處理器（GPU，Graphics Processing Unit）之上展開加速操作，以此實現在維護模型隱私的基礎條件下，最大程度地確保模型的推理效率。

用創新訓練範式克服現有技術的局限性

該課題組的重要突破在於，其明確指出當下 TSDP 技術所運用的「先訓練後劃分」這一訓練範式，在預訓練模型愈發普及的大背景下，暴露出了極為顯著的局限性。具體而言，「先訓練後劃分」的範式會致使隱私信息不可避免地擴散至整個模型，進而導致模型的「公開」部分出現隱私泄露的風險。在預訓練模型尚未被大規模應用之前，該方法還能夠在一定程度上有效地保障模型隱私。但進入大模型時代，隨著大量預訓練模型被廣泛運用，攻擊者能夠借助開源的預訓練模型，獲取到模型中被保護的隱私部分的結構信息，進而有效地猜測出被保護在可信執行環境（TEE）中的關鍵模型的隱私信息，從而對模型的安全性構成嚴重威脅。

面對這一挑戰，該團隊提出一種「先劃分後訓練」的全新範式，也就是 TEESlice。與過往在系統層面著力優化 TEE 性能的傳統做法截然不同，TEESlice 提出於模型層面展開優化的獨特思路，將隱私敏感權重與模型的其他組件精準剝離，由此從根源上攻克了現存的一系列問題。相關實驗數據表明，TEESlice 不但能夠有效保護模型隱私，還能大幅削減隱私保護所需耗費的成本。

圖 | TSDP 和 TEESlice 訓練範式的工作流程示意圖，TSDP 採用「先訓練後劃分」的形式，TEESlice 採用「先劃分後訓練」的形式（來源：資料圖）

降低 10 倍計算成本，賦能隱私保護與低延遲服務

TEESlice 在各類涉及隱私數據的場景中具有一定應用潛力，而這主要得益於其能夠提供低延遲的隱私計算解決方案。鑒於當前大語言模型普遍具有高計算複雜度的特性，同時用戶又對低延遲有著強烈的需求，TEESlice 恰好高度適配公司開展隱私計算服務的各類場景。這些場景涵蓋醫用大模型、金融大模型以及處理用戶隱私數據等多個關鍵領域。

具體而言，TEESlice 主要聚焦於隱私數據驅動的大語言模型兩方計算。在此場景下，模型的用戶（如醫院、銀行等）可以在本地的可信執行環境中，部署大模型供應商所提供的大模型方案。在保證用戶私密數據不出域的前提下，防止用戶竊取大模型的隱私。TEESlice 為上述場景提供了一種更安全高效的解決方案，有望有效解決大模型用戶與供應商在私密場景下互不信任的問題。

此外，TEESlice 在雲端大模型服務場景中，同樣具有廣泛的應用前景。當前，許多公司的大模型服務需要依賴用戶數據進行推理，而這些數據通常需要上傳到公司的雲服務器上。但是隨著用戶隱私保護意識的提高，以及國家相關法規的完善，公司在進行大模型推理時，必須更加謹慎地保護用戶隱私數據。在此背景下，公司可以將 TEESlice 部署在自己的雲服務器上，既滿足了大語言模型推理的需求，又確保了用戶隱私數據的安全。

而在接下來，該團隊將繼續深耕基於 TEE 的隱私保護框架，致力於針對企業在實際應用場景中遇到的各種挑戰，提出更加創新且實用的解決方案。

在談及 TEESlice 技術的研究歷程時，研究人員表示他們始終保持對英偉達公司最新 GPU 架構發展的高度關注，並積極應對與之產生的競爭態勢。鑒於英偉達同樣開發並推出了針對 GPU 的可信執行環境架構，這一架構不僅在應用場景上與 TEESlice 存在重合，而且針對的隱私計算問題也頗為相似。基於此，他們將深入分析英偉達最新 GPU 產品的局限性，針對性地設計 TEESlice 的系統架構，直擊現有產品的痛點，以提供更加優化的解決方案。

未來，他們將持續聚焦於隱私計算領域的最新前沿挑戰，並依託 TAOISM 開源平台，致力於研發既高效又安全的隱私保護解決方案。後續，他們計劃圍繞 TAOISM 框架開展一系列研究工作，旨在進一步增強 TAOISM 的能力和應用範圍。

參考資料：

https://doi.org/10.48550/arXiv.2310.07152

https://ieeexplore.ieee.org/xpl/conhome/10646615/proceeding

https://dl.acm.org/doi/10.1145/3707453

排版：多加