速遞|剛剛,OpenAI 推出最新 Agent 工具 Operator,自動執行購物、訂餐和旅行等多任務

1 月 23 日晚,OpenAI 推出了其最新 AI Agent 工具——Operator,內置瀏覽器,可以獨立在網站上執行某些操作。

OpenAI 表示 Operator 可以自動執行預訂旅行住宿、預訂餐廳和在線購物等任務。用戶可以在 Operator 界面中選擇多個任務類別,包括購物、送貨、餐飲和旅行。

此外,Operator 會截取其內置瀏覽器的屏幕截圖,以幫助它瞭解如何以及何時在應用中採取行動,例如何時使用按鈕以及填寫哪些表格。

需要明確的是,當 Operator 遇到「卡住」的情況(例如當工具需要密碼時)時,它不會截取屏幕截圖。OpenAI 將此稱為「接管」模式。

OpenAI 還提到,它們可能會將使用 Operator 的客戶的聊天記錄和相關截圖存儲長達 90 天——即使用戶手動刪除它們也是如此。

目前以研究預覽的形式面向美國地區的 Pro 用戶開放。用戶只需通過 Operator 提交任務請求,AI 即可通過自主瀏覽、點擊和滾動網頁完成指定任務。

Operator 的核心功能與創新

Operator 依託全新的 Computer-Using Agent(CUA)模型,結合 GPT-4o 的視覺能力與強化學習驅動的推理能力,可與圖形用戶界面(GUI)交互,實現包括表單填寫、訂購雜貨、製作表情包等任務的自動化處理。

這種無需定製 API 的通用交互能力大幅擴展了 AI 的應用範圍,為用戶日常生活節省時間,同時為企業提供了創新客戶體驗的機會。

用戶可以通過 Operator 執行多個任務,例如在 Instacart 上快速補充食品庫存,同時在 Hipcamp 上預訂露營地。Operator 還允許用戶個性化其工作流,例如為特定網站設置偏好或保存常用的提示,便於重覆操作。

OpenAI 透露,Operator 在 WebArena 和 WebVoyager 等關鍵瀏覽器交互測試中已取得了最新的行業標杆成績,但目前仍處於早期階段,部分複雜任務(如創建幻燈片或管理日曆)上仍存在一定局限。

隱私與安全保障

OpenAI 強調了 Operator 在隱私與安全設計上的三層防護:

1)用戶優先控制:

  • 關鍵點接管模式:Operator 在處理登錄憑據或支付信息時,會主動交由用戶操作。

  • 行動確認:提交訂單或發送郵件等重要操作前,需用戶最終確認。

  • 任務限制:Operator 拒絕處理高風險任務(如銀行交易或求職決策)。

2)數據管理透明:

用戶可通過設置關閉「為全體用戶改進模型」選項,確保數據不用於模型訓練。同時,可一鍵清除瀏覽數據、註銷所有網站並刪除過往任務記錄。

3)對抗惡意行為:

  • Operator 可檢測並忽略提示注入等惡意行為。

  • 專屬監控模型和人工審查系統實時監測潛在威脅,確保任務安全執行。

儘管如此,OpenAI 也承認任何系統都無法完全避免錯誤或濫用風險,因此 Operator 將在研究預覽期間持續優化,確保功能安全與合規。

OpenAI 下一步計劃

  • CUA 模型 API 化:OpenAI 計劃將支持 Operator 的 CUA 模型開放至 API,方便開發者構建自定義 AI 代理工具。

  • 能力增強:持續提升 Operator 執行更複雜任務的能力。

  • 推廣範圍擴展:未來 Operator 將向 Plus、Team 和 Enterprise 用戶開放,並逐步整合至 ChatGPT,支持實時和異步任務處理。

為滿足真實世界需求,OpenAI 正與 DoorDash、Instacart、Uber 等企業合作,探索電商、物流等領域的應用。同時,Operator 還在與公共部門合作,例如與加州史托頓市(City of Stockton)協作,簡化市民註冊服務的流程。

Operator 的推出標誌著 AI 從被動工具向主動數字助手的轉變。作為一種創新型技術,其能力和局限性將通過用戶反饋不斷完善,未來也將為個人和企業帶來更多便利與價值。

如果你也正投身 AI 創業浪潮,無論是智能技術(算力、算法或者數據),還是智能設備、終端或者智慧服務,都可以報名由中國人工智能學會牽頭, 工信部工業文化發展中心、 寧波人才發展集團有限公司、 國投 (北京)科技創新有限公司、寧波市人工智能學會共同舉辦 的 2024 「AI 寧波」首屆人工智能賦能產業大賽。

報名截止今年 2 月 15 日,報名方式 —— https://ainingbo.iguopin.com大賽相關報名諮詢與參加 1 月 20 日大賽宣講活動,請添加微信 「jiangtian26」 聯繫)。