AI時代的安全挑戰：如何用好AI這把「雙刃劍」？

當前，隨著生成式人工智能（GenAI）的興起，企業也面臨著前所未有的安全挑戰。

據IBM Security發佈的《2023年數據泄露成本報告》顯示，僅數據泄露一項，2023年全球數據泄露的平均成本達到445萬美元，創該報告有史以來以來最高記錄，較過去三年均值增長了15%。

「GenAI火爆的當下，黑客攻擊手段也越來越多樣化，原先需要一個團隊完成的攻擊，現在僅需要一個人，利用不同類型的大模型就可以完成。」Fortinet北亞區首席技術顧問譚傑告訴鈦媒體APP，「通過Agent的方式，給不同的AI分配不同任務，有的負責掃瞄漏洞、有的負責製作‘武器’，有的負責實施攻擊。」

可見，AI在為企業業務提效帶來便捷，推動降本增效的同時，也為網絡攻擊者帶來了便捷，在原本錯綜複雜的網絡環境，以及數據安全風險難題上，增加了新的挑戰。而且，傳統的安全控制已經不足以應對這些新興風險，需要專門針對 AI建立管理策略以保障系統的穩健性、合規性。

享受AI技術紅利的前提是守住安全的底線，這對身處其中的科技、安全廠商和各行各業應用AI能力的企業而言，是AI時代一道新的必答題。

AI時代，安全面臨更多挑戰

生成式AI在解放生產力，提高工作效率的同時，也帶來了更多、更嚴峻的安全問題，包括內容偏見、數據泄露和 AI 應用漏洞等。

據統計，2023年以來，用AI技術開展的攻擊，已經成為企業面臨首要網絡威脅，騰訊安全總經理周斌告訴鈦媒體APP，AI大模型的火爆，也極大提升了攻擊者的攻擊效率。

首先，攻擊目標和範圍變大。AI大模型驅動的智能化時代,圍繞數據產生的交互和分析行為會越來越普遍，這將進一步擴大企業風險面的暴露面，動態的數據流轉和使用，需要更加完善的防護手段。

其次，攻擊密度增加。攻擊的成本和門檻下降之後，其攻擊的頻次、密度會大幅提升，以前的攻守節奏可能是回合製的，防守方還有一天或者一週的時間調整安全策略；但大模型加持下，黑客會讓攻防變成「即時戰略」的對抗，企業的反應時間窗口將被迫縮短至小時級，甚至分鐘級。

第三，模擬「機器」和「人」的精度提升。黑灰產利用AI提升模擬真實用戶行為的效率，企業難以辨別，例如在黃牛黨搶票、金融信貸欺詐等。

第四，攻擊特徵超越企業「情報庫」。企業安全建設往往依賴於安全情報庫，以記錄經常「幹壞事」的惡意IP和異常流量特徵。當黑客利用生成式AI實時變換大量的行為特徵時，傳統靜態情報庫將逐漸失去防護價值。

此外，據鈦媒體APP與多家企業交流發現，目前已經出現有企業在應用大模型後，遭到黑客利用提示詞進行惡意攻擊，比如讓大模型產生身份識別偏差，進一步利用假冒的身份對企業大模型輸入內容套取用戶信息或企業商業機密。

談及AI時代企業安全面臨的安全挑戰的場景時，奇安信集團董事長齊向東對鈦媒體APP表示，具體到數字安全方面，人工智能帶首要面臨的是，AI投毒安全隱患加重，攻擊者可以通過在訓練數據中加入精心構造的異常數據，破壞訓練數據集的準確性。

其次，隨著AI大模型大規模應用之後，整個社會都將面臨更加嚴峻的數據篡改隱患，齊向東告訴鈦媒體APP，AI的大規模內容生產能力可能產生真假難辨的信息，控制社交軟件乃至媒體的輿論聲音，激化意識形態矛盾。360數字安全集團安全專家也有著類似的觀點，他曾對鈦媒體APP表示，在AI時代，企業也面臨著新的內容安全的挑戰，「比如對大模型的控制、濫用、誤用和惡意應用等問題。」該專家指出。

除此之外，數據泄露隱患也隨著大模型的應用而加重。IEEE電子遊戲與競技標準委員會委員汪齊齊對鈦媒體APP表示，企業在使用非自研的大模型過程中，由於交互中的信息以及企業獨有的信息需要輸入到當前環境，如果該環境的安全性不夠理想，那麼敏感的企業和個人信息以及商業機密可能會被泄露，導致隱私侵犯和商業泄密的發生。

企業如何用AI築牢安全防線？

「之前IT行業的各類風險在AI時代會進一步擴大。以往奏效的安全措施在AI時代必然會有部分失效並被淘汰。」汪齊齊說。在AI時代，傳統的安全防護措施已經不足以確保企業的數據安全，企業需要構建一套全新的安全防線。

雖然AI大模型的出現給企業數據安全帶來了嚴峻的挑戰，但是企業也可以利用AI為工具，築起安全防線。「用AI打敗AI」是現階段安全行業的共識。

回到目前AI技術在安全行業的應用場景上，鈦媒體APP通過對安全行業巨頭，以及海內外研究機構的調查總結出，目前AI技術在安全行業主要的應用場景是安全檢測、識別，以及分析等方面。

具體到技術場景中，企業可以根據業務需求借鑒不同思路的策略打造AI安全防護能力。

阿里雲一位技術專家建議，應用大模型的企業需要在大模型之上再施加一層工程化的手段來加固安全。比如應對提示詞攻擊時，儘管用戶A成功讓大模型認定他為用戶B，但在信息查詢的指令反饋鏈路中可以對指令來源的登錄賬戶進行核驗，從而驗證其真實有效身份，避免造成其他用戶信息泄露。

企業也可以通過AI自動學習識別，預測一些潛在的風險，並將這些風險自動隔離起來，「通過AI的賦能，讓企業級防火牆具備更強的應變能力。」IEEE標準協會新標準立項委員會副主席兼IEEE數字金融與經濟標準委員會主席林道莊曾告訴鈦媒體APP。

以往通過人工進行綜合分析研判設備產生的海量告警，很容易遭遇人員、精力短缺問題。這導致安全專家只能研判少量關鍵告警，超90%的告警被迫放棄，其中隱藏的大量真實威脅被忽略，給攻擊者趁虛而入的機會。而AI依託算力資源和持續訓練後的研判能力，打破了人力資源和效率邊界。據奇安信統計，利用AI能力之後，能減少90%的漏報，實現安全能力10倍級提升。

Fortinet北亞區首席信息安全官鄺偉基曾與鈦媒體APP分享過Fortinet研發的一項類似於人臉識別的安全識別技術，該技術場景下，通過ANN進行大量辨識，並將辨識後的數據分割開，用於大模型的訓練，從而尋找到攻擊的特徵，根據某些攻擊的特徵進行攻擊的識別，「即便是攻擊換了一個‘樣貌’，但它們內在的代碼是不會變的，而我們的這項專利技術，可以根據特徵的描述，精準的識別出攻擊的意圖。」鄺偉基向鈦媒體APP介紹。

在安全識別方面，圍繞AI技術深入佈局的不僅僅Fortinet一家，奇安信也在安全識別方面有著AI+的佈局，齊向東告訴鈦媒體APP，在某核電企業的安全運營過程中，應用了安全機器人，安排安全機器人與人工團隊一起演習，共發現15起安全事件，一半以上由機器人搶先識別並確認。在高價值事件檢出率上，機器人發現兩起被專家遺漏的安全事件；在真實風險事件研判準確率上，機器人達到100%。

此外，在達到萬人規模的企業中，只有12名安全運營人員，每天能夠研判6000條的告警，但該企業的單日告警量超過10萬，漏報率極高。據奇安信介紹，在使用奇安信QAX-GPT安全機器人後，該企業可以完成10萬告警全量研判，漏報率僅0.05%，揪出人工漏掉的真實告警700多條，極大提升了集團的整體安全能力。

而360則是將告警檢測、分析研判的能力植入到了自主研發的安全大模型之中，據360方面提供的數據顯示，在安全大模型的賦能下，樣本平均分析時間、報告平均生成時間、漏洞驗證自動化率等指標提效300%；事件平均檢測時間、事件自動化響應率等指標提效200%；人工平均響應時間等指標提效100%。

AI+安全,產業升級

對於安全廠商們而言，AI在告警識別方面的應用僅是AI安全防護佈局中的一環，除此之外， AI與安全需要更深度地融合，在幫助企業築造新的安全防護體系的過程中，AI將發揮「大腦」的作用。

「體系化防禦的核心，是多種網絡安全設備的有機結合。由於不同產品之間的數據傳輸共享、相互訪問、遠程操作非常頻繁,漏報和誤報問題在這一階段呈現指數級增長。」齊向東告訴鈦媒體APP，在構建安全體系的過程中，AI具備賦能綜合分析和全局聯動的能力，可以智能的根據不同場景，調用不同接口、獲取不同數據，甚至可以根據實際變化，進行動態調整，瞬時激發各個設備的安全能力，達成體系化防護的能力，「AI賦能後，能將遺漏的威脅從10%降低到千分之一，達到安全能力百倍級提升。」

通過AI技術，為企業構建一個更為完善的安全體系，也是奇安信將AI技術運用到公司全線產品中的主要原因，據瞭解，現階段，奇安信已經將AI能力深度融合到包括安全產品開發、威脅檢測、漏洞挖掘、安全運營及自動化、攻防對抗等在內的十多個領域。

另一方面，360則選擇自研安全大模型的方式，將AI的能力全面整合進全系安全產品之中，360數字安全集團安全專家告訴鈦媒體APP，從場景層面分，360安全雲主要分為公有雲和私有化兩大場景。在公有雲場景中，360將大模型的能力以「數字專家」的身份與企業安全人員展開深度交互，為不同階段的運營工作提供對應的虛擬數字員工支持，如安全諮詢顧問、安全監測和分析專家、應急處置專家等，提升運營效果和效率的同時降低了客戶的技術應用門檻 。

私有化場景中，360以本地安全大腦產品能力為基礎，結合大模型賦能，實現了「看見、處置和知識」三大業務的重塑，在大模型賦能的本地安全大腦平台+探針產品體系下，日常安全運營工作在告警檢測、態勢監測、分析研判、自動化處置、威脅狩獵、劇本編排、分析報表及運營報告生成等環節均實現了智能化重塑。

天融信則是將大模型、小模型、機器學習等AI技術能力深度應用於未知威脅檢測、流量異常檢測、惡意URL檢測等多個方向及天融信網絡安全產品中，實現了AI對威脅檢測、安全運營等應用場景的全面賦能。

除了安全領域的專業廠商，雲廠商和一些科技巨頭也將AI+安全視為接下來業務佈局的重要部分，這決定了用戶對其產品的信任程度。而與專注安全領域的廠商開發安全行業大模型的思路不同，他們選擇將AI的能力植入到原本的產品中，進行賦能。

阿里雲一位技術專家表示，在大模型本身而言，通義千問大模型構建了一個有效、可靠的數據管理及隱私防護框架，確保大模型安全評估體系的全面性，並且在公共雲上還會用一些外圍的內容安全產品。此外，通義千問模型每一次更新迭代的模型訓練中都會引入一些安全、攻防語料，讓大模型學會識別什麼是不安全不合規的內容，然後拒絕回答。阿里雲百煉大模型服務平台提供專屬的VPC（專有網絡）、用戶數據全鏈路加密、數據不落盤等多重保護，滿足金融企業對核心業務數據的安全防護需求。

騰訊安全也將其混元大模型的能力與安全產品深度融合，周斌告訴鈦媒體APP，目前騰訊安全在安全運營、風險治理、研發安全等領域已展開了大模型安全實踐。以安全運營為例，據瞭解，在2023年底，騰訊安全就在混元大模型基礎上，通過安全知識語庫的二次訓練，打造了安全行業大模型，並基於該大模型推出了騰訊雲AI安全助手，安全助手具備了告警解釋、漏洞修復、日誌處理、智能客服等功能。

國外廠商中，以亞馬遜雲科技為例，亞馬遜雲科技推出的敏感銘感數據保護解決方案是一個開源的數據安全及數據隱私雲原生解決方案，在該方案中，亞馬遜雲科技就融合了機器學習和模式匹配進行識別，幫助用戶識別和分類敏感數據。而IBM則是提出了AI for Security的方法論，利用基礎模型和生成人工智能帶來的生產力提升，輔助人類提升安全能力，主要體現在三個方面：第一，使用AI管理重覆的安全任務，例如警報和日誌分析總結，使團隊能夠騰出時間來解決戰略問題；第二，更快地生成安全內容（如檢測、工作流程、策略等）；第三，學習並主動創建響應動作，即隨著時間的推移和經驗的積累優化主動響應，查找相似事件、更新受影響的系統，並修補易受攻擊的代碼。

除此之外，IBM還在其IBM Security產品組合中推出了數據安全軟件——IBM® Security Guardium，並將AI 和自動化的能力嵌入到 Guardium 產品組合中。

圍繞AI+安全的技術場景，各大科技巨頭有著各自的佈局，雖路徑不同，但守護企業數據資產安全的目標始終不變。

從探索應用AI大模型能力的企業自身出發，一方面應當完善風險管理，識別、評估和緩解與AI應用相關的風險，使用 AI應用安全產品來防禦外部威脅; 另一方面也要加強安全管理，確保 AI系統不受未經授權的訪問、篡改或濫用，並防止數據泄露或損壞；進行定期的安全審計和漏洞掃瞄、建立應急響應機制等。

總之，享受GenAI技術落地的紅利，需要進行全面的 AI治理，建立強大的安全防護能力，實現可持續的創新和發展。（本文正選於鈦媒體APP，作者｜張申宇，編輯丨蓋虹達）