大模型時代需要什麼樣的安全水位？火山方舟首度公開「會話無痕」技術細節

機器之心原創

作者：吳昕

2024 年，AI 大模型從「以分計價」跨入「以厘計價」的時代。

信號指向很清晰：把基礎設施成本打下來，就是為了應用的爆發，但「算力價格」這把尺子還不夠用。

在眾多大模型中貨比三家，需要投入大量信息成本。相信供應商、中間商「守規矩」、「可靠」，更不易，信任成本過高，陷入囚徒困境，用戶就會趨於保守，放棄潛在交易。

回首 2024，儘管大模型展現出非凡能力，破壞信任的糟心事情也一直沒斷過。

4 月，海外某頭部大模型商的 AI 語言模型因開源庫漏洞導致用戶對話泄露，致使意大利政府史無前例地叫停服務。此波未平，該產品長期記憶功能又出現嚴重漏洞，黑客可以隨便訪問用戶聊天記錄。

年初，荷蘭一家數據公司的配置失誤，導致多家企業（包括頭部車企）的用戶隱私數據遭泄露。

能力超凡、使用簡單但又風險叢生，這樣的混亂組合讓企業老闆難以駕馭。在採訪全球多家企業、8000 多名 IT 專業人員後，IBM《 2023 年全球 AI 採用指數》發現：

和傳統 AI 的採納門檻不同，企業採納生成式 AI 的最大障礙是數據隱私（ 57% ）以及信任和透明度（ 43% ）

一、AI 大模型，困於能力與安全的失衡

當 AI 大模型的技術迭代週期幾乎以月（甚至周）計時，數據技術仍在「蝸牛爬行」，這種失衡正在成為大模型發展的主要隱憂之一。

「生成式 AI 帶來的安全挑戰，已經超出了傳統安全技術的應對範圍。」火山引擎智能算法負責人、火山方舟負責人吳迪告訴機器之心。作為火山引擎旗下的「一站式大模型服務平台」，火山方舟為企業提供模型精調、推理、評測等全方位功能與服務。

在模型精調環節，企業的核心知識都濃縮在訓練數據中，如何確保這些數據、提示詞以及模型響應的專屬性？如何保證精調後的模型不被他人竊取使用？

推理環節更受關注，因為用戶在使用過程中會輸入大量真實、敏感的數據來獲取模型建議。平台如何保證不會濫用用戶數據？數據傳輸、計算和存儲的全流程中，如何不被黑客竊取？平台又如何向用戶證明其確實履行了承諾的安全措施？

企業在探索大模型應用場景時，這些安全痛點已經成為首要考慮因素，而傳統的安全技術方案早已對此捉襟見肘。

私有部署之困在於，過去「數據不動，模型動」——企業把數據留在私域、將 AI 模型部署到企業私有空間——的策略在大模型時代會碰壁。

首先是技術代差問題，私有部署難以跟上公有雲模型的快速迭代節奏；其次是算力成本，規模化運營的公有雲服務能提供更高的性價比。此外，模型生產商也會擔心核心技術外泄。

現有的隱私計算技術比明文計算慢了上百倍，就像給巨人穿上盔甲，只適合特定場景，但不適用於大模型服務的場景。

以 MPC 為例，將浮點數轉為整數計算會損失精度，且單次計算需要 100-200 毫秒，應用場景極其有限。同態加密技術雖可在加密狀態下計算，但性能開銷會增加百倍甚至更多，一個原本需要 3 秒的處理任務，使用同態加密後可能延長至 5 分鐘，難以滿足生產需求。

目前，AI 模型推理比較好的選擇仍是在明文狀態下進行，吳迪表示。雖然理論上存在完全密態計算，讓模型直接處理加密數據，但在大模型場景下，這種方案的計算開銷過大，實用性較低。

現在的大模型計算主要依賴 GPU 等加速設備，但 GPU 相關的可信執行環境（ TEE ）技術還不成熟。TEE 類技術主要用於加強環境隔離，要真正滿足現實安全需求，還需要配合代碼審計、網絡隔離等關鍵安全技術，多管齊下。

至於傳統雲安全更像是「大樓的物業保安」，而大模型需要的是「保險箱級別」的數據安全。

二、多重防禦的藝術：「會話無痕」

經過兩年潛心打磨，火山方舟推出了一套「會話無痕」方案，保證你的數據，唯你可見、唯你所用、唯你所有。

四重核心功能築起了數據全生命週期的銅牆鐵壁——從傳輸、使用到存儲，沒有一個環節被遺漏；推理、模型精調和評估以及數據預處理，關鍵業務場景均有覆蓋。

第一重：鏈路全加密。在用戶與平台之間修築了一條加密通道，確保用戶數據離開企業後，能夠安全抵達安全沙箱。

「雙層加密」設計，打造了一個高可靠的安全環境。其中，網絡層的傳輸加密， 通過 H湯臣PS 確保基礎安全，mTLS 提供雙向認證，PrivateLink 則在流量轉發層與 GPU 推理實例之間建立專屬隧道。

應用層的會話加密猶如疊加一層保險，即使通道被攻破，你的數據本身仍然安全。

詳言之，每個部署在安全沙箱中的推理實例，都會被分配唯一的身份證書（就像「鎖」）。當用戶發送用戶數據時，可用手中公鑰將它們加密，只有到達正確的安全沙箱環境（鑰匙和鎖「匹配上」），才能被解密使用。否則，就算攻擊者中途截獲數據，也是無用之功。

第二重：數據高保密。除了只在必要的時刻、必要的地點短暫解密，火山方舟用戶的數據其餘時間都處於密文狀態。

所有訓練數據在進入安全沙箱前都是加密存儲的，密鑰由用戶獨自掌控。

一旦進入沙箱，推理等服務進程就能像往常一樣使用這些數據，基於 FUSE 的透明加密文件系統會無縫、自動完成數據的加解密。

訓練完的模型，會被立刻加密保存到分佈式存儲系統，等待再次調用。

字節自主研發的技術可支持 GPU 加解密，保證推理等場景精調模型的高效動態調度，滿足生產環境的性能需求。

第三重：環境強隔離。它就像一個四層嵌套的「俄羅斯套娃」防護系統，從內到外依次是容器沙箱、網絡隔離、可信代理和白屏化運維。

其中，容器沙箱是一種安全增強，彌補容器隔離性不足。在網絡層面，平台創新地實現了任務級別的動態網絡隔離，即使在同一 VPC 環境下的不同任務也無法直接通信，有效防止攻擊者的橫向滲透。

外層的可信代理和白屏化運維則進一步確保了系統運行的安全性，嚴格管控數據流動和運維操作。

第四重：操作可審計。火山方舟提供三大類日誌。

首先是雲基礎安全日誌，負責主機層面的安全日誌採集。

第二個就是安全業務日誌，包括沙箱連接、沙箱登錄、容器逃逸和 KMS 訪問等關鍵日誌，幫助用戶快速定位可疑行為，預防風險。

例如，沙箱連接日誌會記錄所有對沙箱環境的連接嘗試，顯示來源 IP 、目標 IP 、進程信息（ PID ）和安全等級，方便用戶識別可疑連接；KMS 訪問日誌會跟蹤所有密鑰操作，監控精調模型的密鑰使用情況。

第三類是用戶可見日誌，包括所有歷史訪問記錄，支持用戶直接查看和與其他層面（雲基礎、安全業務）日誌的交叉驗證，確定日誌的真實性，不存在篡改和遺漏。

三、方舟安全：哲學與藍圖

就像電纜的絕緣層、保護層、鎧裝，環環相依，保護「線芯」不受外界因素侵蝕，在「會話無痕」的四重保護下，你的數據，唯你可見，唯你所用，唯你所有，平台安全水位也被提升到一個相當高的位置。

這不是簡單堆砌多種安全技術的結果，而是對大模型時代數據安全的一次重新定義，包含三個核心理念。

首先，安全不是事後添加的補丁，而是埋在大樓水泥地基里的鋼筋，從一開始就作為基本能力，被織進火山方舟大模型平台的底層設計中。

第二，在不顯著損耗模型效果和推理效率的前提下，提昇平台安全。

增強安全防護通常會導致明顯的性能損耗，因此，在保持大模型性能的同時提升安全性，任務難度呈指數級增長。「會話無痕」比較好地平衡了這一點，吳迪認為，「我們可能是業界做得最好的公司之一。」

原因很簡單，火山方舟不僅精通安全技術，還積累了豐富的場景應用 know-how ，如知道不同場景下的真正安全節點，包括用戶的實際使用模式、模型運行特點等。

有了這些知識，他們就能簡化掉一些安全性雖高但會導致大量浪費、性能損耗的冗餘開銷，在關鍵點實施精準的安全加固，優化安全措施的實現方式。

第三就是透明可信，陽光是最好的「防腐劑」。

最初，我們覺得環境強隔離的安全沙箱設計最具挑戰性，但現在發現審計日誌才是最難的。吳迪說。

這個難點並非技術本身，更多的是產品設計上，如何讓專業的安全信息變得通俗易懂，用戶不僅能看到日誌，更要能看懂日誌，理解當前的安全水準處在一個什麼樣的位置。

未來幾個月，火山方舟計劃進一步提昇平台安全水位——從「不作惡( don’t be evil )」提升到「無法作惡( can’t be evil )」，從技術層面確保平台即使想做壞事也做不到。

例如，進一步升級審計日誌系統，讓用戶能夠全方位監督平台的每一次計算過程是否合規、安全。引入更先進的硬件可信技術，並邀請第三方機構進行獨立審計和測試，通過技術手段和外部監督，從根本上保證平台行為的透明可信。

吳迪透露，火山方舟目前擁有一支獨立的安全技術團隊，由資深安全主管領銜，彙集了系統架構和信息安全領域的專家。

安全技術團隊與負責模型推理等核心功能的系統工程團隊保持著微妙的平衡：既能密切協作，又能獨立進行安全評估，形成了有效的互助與制衡機制。

同時，火山方舟還建立了常態化的藍軍攻防體系，通過持續的安全測試來檢驗和強化系統防護能力。

長遠來看，在一個快速變遷的技術世界里，構建一個既安全又不失性能的安全體系，有時就像在流沙上建造堡壘，極具挑戰性。

多模態交互的出現使問題更加複雜——不同模態數據在規模和處理方式上差異顯著，僅影片的加解密流量就遠超文本處理的需求，吳迪舉例說。

更深層的挑戰來自模型推理系統本身的複雜性。它已經演變成一個龐大的分佈式系統，涉及多樣化硬件、推理優化方案和 RDMA 網絡傳輸，而這些底層架構還在不斷演進中。這種動態變化的環境，使得安全體系的構建和維護變得愈發具有挑戰性。

然而，前景依然光明。火山方舟相信，生成式 AI 的市場規模有望達到當前的千倍，滲透各行各業的核心業務。

當它距離企業核心業務越近，除了性能、性價比，企業對數據安全和信任的要求也會水漲船高。

著眼未來，順勢而為，火山方舟希望載著越來越多的大模型玩家，加速駛向更遠的節點。