OpenAI智能體曝本月誕生，比GoogleAnthropic慢，竟是擔心prompt攻擊
【導讀】就在剛剛，OpenAI在智能體上落後競爭對手的原因曝光了！
2025年，智能體將是AI領域最激烈的戰場。
然而，一直在AI領域「獨佔鼇頭」的OpenAI，卻遲遲沒有出手。
不過，外媒最近曝出了一條好消息——OpenAI可能在本月就會發佈自家的「計算機操作智能體」！
對此，網民們紛紛表示，已等待多時，望眼欲穿了！
計算機操作智能體
去年10月份，Anthropic率先發佈了基於Claude 3.5 Sonnet的「計算機操作智能體」。
在當時的Demo中，Anthropic首次實現了讓模型自主操控電腦屏幕、移動光標、完成任務，並驚豔了所有人。
理論上，新功能可以根據簡單的提示完成所有操作，而用戶要做的就是寫下提示，其他必要的步驟都將由模型來執行。
無獨有偶，Google也在去年4月發佈了用於簡化AI智能體開發的工具Vertex AI Agent Builder，並在10月被曝出正在秘密開發名為「Project Jarvis」的智能體。
根據爆料，Google採用的操作原理與Anthropic類似，也是通過截屏、解析屏幕內容，然後自動點擊按鈕，或輸入文本，最終幫助人們完成基於網頁的日常任務。
不過，它在執行不同操作時，中間會有幾秒鍾的思考時間。因此，在終端設備中運行還不太現實，仍然需要雲上操作。
其實，OpenAI也佈局了研發此類軟件。
去年2月份，OpenAI就對媒體放風說，自己正在開發AI智能體。
去年11月時則透露稱，將會在來年1月發佈代號為「Operator」的AI智能體工具。
在最近的博客中，Altman表示，OpenAI已經掌握了傳統上意義上的通用人工智能的創建方法。並且相信到 2025 年，會看到第一批AI智能體「加入勞動力隊伍」，並極大地改變公司的產出。
如今DDL將近，外媒突然有下場爆料稱，OpenAI的智能體還得有個三四周才能發佈。
而之所以會這樣，竟是因為他們在擔心「AI安全問題」——遭到提示注入攻擊！
提示注入攻擊
想像一下，面對即將到來的節日聚會，你決定讓智能體，尋找並訂購一套新衣服。
結果一不小心，模型點開了一個惡意網站。然後，網站指示它忘記之前的指令，讓它登錄郵箱並竊取了你信用卡信息。
在這個過程中，計算機操作智能體模型一般需要四個執行步驟：
1. 首先，模型接收用戶的API請求
2. 根據提示，選擇要使用的工具
3. 之後，截取桌面屏幕內容並評估任務是否完成
4. 如果沒有，繼續使用這些工具，直到實現目標
問題出現在第3步，截圖內容可能被惡意利用，也就是所謂的「提示注入攻擊」。
對於正在開發此類計算機操控軟件的AI實驗室來說，這是一個非常現實的擔憂。
因為，這類軟件本質上是接管用戶設備，為用戶自動完成複雜的任務，比如在線購物或編輯電子錶格等。
這種攻擊被稱為「提示注入」（prompt injection），即大語言模型被用戶誘導遵循惡意的指令。
提示注入並非新出現的威脅。
幾個月來，它一直是OpenAI的ChatGPT和Anthropic的Claude等產品面臨的問題。通過「提示注入」，這些產品曾生成了製造計算機病毒或炸彈的說明書。
但對於計算機操作智能體來說，提示注入構成了更大的威脅。
OpenAI某員工表示：「這是因為當模型在瀏覽網絡或控制用戶計算機時，用戶很難控制模型接收的信息。」
在一篇博客文章中，Anthropic也承認了提示注入的風險。
然而，它並沒有提供太多解決方案，只是敦促開發者採取「將Claude與敏感數據隔離的預防措施」，包括使用獨立於主計算機系統和敏感數據的專用虛擬環境（即虛擬機）。
這種相對放任的態度讓OpenAI的員工感到意外：「考慮到Anthropic過去一直在強調要自己十分注重AI安全，這次的操作令人非常困惑。」
但在去年10月份，Anthropic毅然決然地發佈了實驗性計算機操控功能。這一點或許說明了，此類初創公司很難在安全發展AI與為股東創造利潤之間取得平衡。
而OpenAI在發佈AI智能體軟件時，到底能不能提供更多的安全保障？能不能在功能上超越Anthropic和Google已經推出的方案？
參考資料：
https://x.com/steph_palazzolo/status/1876646459698991573
https://www.theinformation.com/articles/why-openai-is-taking-so-long-to-launch-agents?rc=epv9gi
https://www.datacamp.com/blog/what-is-anthropic-computer-use
本文來自微信公眾號「新智元」，編輯：KingHZ 好睏 ，36氪經授權發佈。
