李飛飛丈夫、Salesforce首席科學家撰文：「AI agent黎明」之後，我們期待些什麼？
人工智能（AI）專家普遍認為，2025 年將是智能體（agent）爆發之年。
去年底，Gartner 也將 agentic AI 列入了 2025 年十大技術趨勢之一，並預測 2028 年將至少有 15% 的日常工作決策由 agentic AI 自主完成，而這一數字在 2024 年為 0。
隨著大模型在多模態理解、邏輯推理等方面的進一步發展，agent 或將在 2025 年迎來大規模落地應用，替代人類自主解決越來越多的日常工作。
日前，Salesforce 首席科學家撰文、史丹福大學計算機科學兼職教授 Silvio Savarese，在一篇文章中探討了 agent 系統的發展前景、在這一過程中需要人類提供哪些幫助，以及有關 agent 的信任和問責問題。
值得一提的是，Savarese 也是「AI 教母」、史丹福大學首位紅杉講席教授、美國三院院士李飛飛的丈夫。
他表示，正如音樂從單音旋律發展到複雜的交響樂一樣，agent 也正從「個體演奏者」發展到「管絃樂團」。從現在開始，幾乎所有企業——從個人貢獻者到高管——不僅可以協調人類勞動力，還可以協調數字勞動力。
「未來不是人類與人工智能的對決，而是雙方協同合作，發揮各自的獨特優勢。」
學術頭條在不改變原文大意的情況下，對整體內容做了精編，如下：
在由 AI agent 網絡增強的新興格局中，人類在工作中的角色變得比以往任何時候都更有能力、更有趣、更有創造力。我們現在已經迎來了人工智能的第三次浪潮，它以預測式和生成式人工智能為基礎。從人才招聘到超級醫療保健，我們現在將看到人工智能與人類在各個領域合作，以更快的速度滿足各種需求，而且在許多情況下比人類本身更準確。Agentic AI 需要一些時間來產生效應，但它將改善我們工作的許多方面：生產力、效率、戰略決策，以及總體工作滿意度。
歡迎來到 Agentic AI 時代的黎明。從現在開始，幾乎所有企業——從個人貢獻者到高管——不僅可以協調人類勞動力，還可以協調數字勞動力。
我們將看到信任和問責製作為三個階段演進的基石：掌握離散任務的專業 agent，多 agent 系統無縫協作，以及重寫業務運作方式的企業級編排。
以下是我們對 agent 系統發展前景的展望，以及在發展過程中需要人類提供哪些幫助。
agent 的演變：從規則到推理
大語言模型（LLM）是一種經過訓練的深度學習模型，能夠理解文本並生成文本。agent 的發展反映了機器學習本身的發展。傳統的基於規則的系統，如機器人流程自動化（RPA），能夠執行精確的序列，但在面對（周圍環境）變化時的表現不佳。這些早期實施需要大量的技術開銷和諮詢服務，給許多組織帶來了很高的準入門檻。
在過去的幾十年里，我們見證了漸進式和突破性的進步，這些進步改變了機器處理信息的方式——從僵化的自動化發展到更加靈活、適應性更強、效率更高的學習系統。但是，更令人興奮的是我們的發展方向：通過多 agent 推理實現自適應 agent——agent 可以從環境中學習，通過經驗不斷改進，並與人類和來自企業客戶、合作夥伴、供應商的 agent，甚至消費者的個性化人工智能助手進行協作，而人工智能助手正在成為他們生活中越來越重要的一部分。企業 agent 的未來將分為三個階段，而我們現在只是剛剛開始。
企業 AI agent 的三個階段
正如音樂從單音旋律發展到複雜的交響樂一樣，AI agent 也正從個體演奏者發展到管絃樂團。每個階段都建立在上一個階段的基礎上，在企業環境中創造出更豐富、更細微的互動。
第 1 階段：「單音」人工智能——專業貢獻者
在 agent 演變的第一階段，專業 agent 擅長特定行業中的特定任務，為常規但關鍵的業務運營帶來更高的效率和準確性。它們代表了企業人工智能採用的基礎，以一致性和速度處理離散任務，從而轉變部門工作流。它們還擅長提供人工智能迄今取得的進步所帶來的好處，如預測下一個最佳行動和產品推薦，根據每個客戶的偏好和行為進行高度個性化。此外，它們還能為客戶、服務人員和銷售代表——無論是人類還是機器人——提供最高水準的生成指導、營銷語言和通信。
例如，在商業領域，它們徹底改變了庫存和賬戶管理。事實上，agent 不只是處理基本的庫存檢查，還能主動監控多個地點的庫存水平，預測季節性需求，並生成實時賬戶摘要，以標記異常模式或機會。過去需要數小時人工分析的任務，現在只需幾秒鍾就能完成，而且具有更大準確度和深度，為零售客戶帶來優化、個性化和近乎「神奇」的體驗。
服務運營也有類似的轉變。除了基本的賬單彙總外，agent 還能分析客戶互動模式，自動分類和為服務請求設定優先級，並生成關於客戶需求的預測性見解。他們會發現客戶行為的趨勢，這些趨勢可能預示著滿意度問題或擴展機會，從而為服務團隊提供可操作的情報，而不是原始數據。其結果是，客戶服務讓終端客戶感覺毫不費力、環境友好，幾乎無處不在——他們的問題往往在不知不覺中就得到瞭解決。
在金融服務領域，agent 重新定義了客戶服務效率。在處理糾紛確認時，他們會分析交易歷史，識別潛在欺詐活動的模式，並自動觸發相關的安全協議。在財務規劃方面，它們通過關聯市場數據、個人客戶歷史和廣泛的經濟指標來生成綜合分析。如果使用得當，agent 將為企業帶來前所未有的後台效率，並為消費者提供下一代零售銀行業務、投資指導和財富管理體驗。
第二階段：「複音」人工智能——無縫合作者
這一階段引入了同一公司內專業 agent 之間的協調合作，共同致力於實現共同的業務目標。在這種情況下，「管絃樂演奏家」agent 會協調多個專家協同工作，這就好比餐廳總經理如何協調有才能的主持人、服務員、經理、廚師和預備廚師等共同工作，以獲得令人羨慕的米芝蓮星級。
對於複雜的業務運營來說，「複調」人工智能是什麼樣的呢？考慮一下這樣一種客戶服務場景：多個 agent 協同工作，為零售客戶要求調換淡季 SKU 尺寸的票據提供支持。
- 一線服務 agent 處理最初的客戶詢問
- 庫存專員檢查各地的產品供應情況
- 物流 agent 計算運輸選項和時間安排
- 計費專家審查賬戶歷史和付款選項
最重要的是：協調 agent 可以將所有這些輸入信息協調為一致、有效、符合品牌形象且與上下文相關的響應，供人類審查、完善並與客戶分享。
如果實施得當，這種由「協調 agent」為「協調人類」服務的多 agent 方法將帶來強大的人工智能驅動優勢：系統通過利用專注於特定領域的專業化、可信賴的 agent 來提高可靠性，同時減少幻覺，因為每個 agent 都在特定領域內運行。這種分佈式方法還能將敏感數據的處理隔離給特定的 agent，從而加強安全性。也許最重要的是，該生態系統提供了無縫的可擴展性——組織可以根據需要不斷添加新的專業 agent 來擴展功能。
第三階段：「合奏」人工智能——企業協調者
最後階段（一個理想階段）增加了跨越組織邊界的複雜 agent 到 agent（A2A）互動，創造了全新的業務關係模式。除了傳統的 B2B 和 B2C 模式，我們還看到 B2A（企業對 agent）甚至 B2A2C 互動的出現，在這些互動中，agent 充當工作和交易的中介。
考慮一個簡單的租車場景：客戶的個人 agent 與租賃公司的商業 agent 進行談判。客戶的 agent 會優化價格和價值，而租賃公司的 agent 則希望通過附加服務實現收入最大化。但是，業務必須在激進的銷售策略與將交易拱手讓給競爭對手的風險之間取得平衡。這些互動可能受複雜的「博弈論」原則支配，需要優秀的談判技巧和協議、不確定性下的風險管理、確保信任的驗證機制，更不用說巧妙解決衝突的能力了。
現在，想像一下我們在各行各業看到的日益複雜的企業流程：從供應鏈優化到客戶體驗編排。無論你是消費者還是企業員工，「合奏」人工智能都將為你提供一個助手，幫助你根據自己的個性化需求和願望執行複雜的編排和有意義的協作。為了實現這一目標，我們人類還有很多工作要做。
必要條件：信任和問責
隨著我們部署越來越複雜的 agent 系統，每項決策都必須遵循兩個基本原則：信任和問責。
建立信任
agentic AI 時代的信任遠遠超出了防止毒性、偏見和幻覺的技術保障。Salesforce 最近的研究表明，61% 的客戶認為人工智能的發展使可信度變得比以往任何時候都更加重要——他們是對的。我們正在進入一個需要對人類和人工智能之間的共生關係有深刻組織信任的領域。
這種信任建立在四個重要基礎之上。
首先是準確性和邊界的基石——agent 必須在明確定義的參數內運行，同時保持準確性。除了防止出錯之外，這些防護欄還將創建可預測、可信賴的合作夥伴關係，從而增強集體智慧。
同樣關鍵的是 agent 的自我意識。與任何有價值的同事一樣，agent 必須認識到自身的局限性，並知道何時需要借助人類的專業知識。這就需要複雜的切換協議，以確保人工智能和人類智能之間的無縫協作。例如，我們的人工智能研究團隊探索了訓練方法，教授 agent 標記不確定區域，並在遇到未知挑戰時尋求幫助。經過正確訓練後，人工智能將知道何時不應嘗試猜測，而應向人類尋求幫助。
對於多 agent 系統，我們還需要全球公認和採用的參與協議。可以這樣想：銀行有全球協議或規則，使個人、企業和國家之間的資金轉移系統化。交通有協議來確保遵守規則，由我們通用的交通指示燈顏色系統管理。互聯網有「IP」——我們的全球互聯網協議，允許數據包的路由和尋址穿越網絡，並到達正確的目的地。
因此，未來的 agent 也需要這些協議，這些協議應該得到普遍認可和實施，以便協調 agent 能夠安全、合乎道德地與其他企業 agent 進行溝通、協商和合作，並使雙方互惠互利。這種「合奏」級別的參與必須快速、高效和公平。如果沒有這樣的協議，往好了說，我們會面臨 agent 與 agent 之間的「垃圾郵件」風險，往壞了說，我們會面臨欺詐和其他危險。
最後，隨著我們的 agent 隊伍不斷壯大，我們的安全措施也必須跟上。與任何技術一樣，懷有惡意的人類也可能利用人工智能，設計和訓練「人工智能蠕蟲」，以達到數據泄露的目的，或試圖劫持其他 agent，泄露客戶的私人數據。加強保護、隱私控制和持續監控絕不能被視為單純的技術要求，它們對於維護信任至關重要，而這種信任能將人工智能從我們使用的工具轉變為我們企業共同成長的合作夥伴。
確保問責製
隨著企業部署每秒可以做出數千個決策的 agent，我們必須建立明確的問責和監督框架，以確保在出現問題時有一個應對計劃。這需要一種全面的方法。以下是企業高管監督 agent 實施工作的出發點。
明確 agent 決策的責任鏈。當 agent 做出重要決定時，誰應該對此負責不應該含糊不清。這甚至意味著要設立「人工智能運營官」這樣的新角色，他們既有權監督 agent 的部署，又要在出現問題時承擔責任。
強大的系統，用於檢測和糾正不完整的信息、偏差、幻覺或有毒輸出，以防它們影響你的業務。這不僅包括基本的安全檢查，還包括對 agent 決策的持續監控、實時干預能力和系統審計跟蹤。我們的研究團隊最近在檢索增強生成（RAG）方面取得了進展，極大地改進了人工智能系統訪問和驗證信息的方式，這隻是其中的一個例子。這些創新實現了快速評估和過程修正，確保人工智能系統提供人類和企業可以信賴的準確、可靠的結果。
確定人類監督和干預的程序，平衡自主與控制。我們需要超越「human in the loop」的簡單概念，為人類何時以及如何幹預 agent 決策製定複雜的框架。正如我的同事 Paula Goldman 所說，這更多的是「human-at-the-helm」。這意味著要製定與 agent 溝通的指導原則和全組織範圍內的標準方式，以及明確的升級路徑，在日常任務中最大限度地發揮 agent 的自主性，同時在重大決策中保持人類判斷的核心地位。
當錯誤發生時，採取結構化方法糾正錯誤。這不僅包括技術上的回退程序，還包括明確的客戶溝通、補救和系統改進協議，以防止出現類似問題。
新的法律和合規框架，明確解決 agent 的問責。當前的監管環境並不是為自主的 agent 做出商業決策而設計的。我們需要積極主動地與監管機構合作，製定適當的治理結構。
展望未來：科學方法與企業創新
部署真正交互式人工智能系統需要高管的遠見：我們必須將產生這些進步的同樣嚴格的科學標準應用到現實世界的實施中。成功不僅取決於部署的 agent 數量或實施速度，還取決於企業領導者和技術專家如何將其與現有的勞動力協議、流程和偏好進行整合。
隨著我們對 agent 協作、共享學習和人與人工智能交互的理解不斷加深，我們發現了一些原則，這些原則得到了可重覆研究和經驗證據的支持。未來不是人類與人工智能的對決，而是人類與人工智能的協同合作，發揮各自的獨特優勢。現在是開始這種轉變的時候了，通過仔細的假設檢驗、細緻的測量和基於證據的不斷完善，科學方法將照亮我們前進的道路。
正如每一次突破性實驗都始於假設一樣，每一次成功的人工智能轉型都始於一個願景，並以經過驗證的事實結束。
原文鏈接：
本文來自微信公眾號「學術頭條」，整理：學術君，36氪經授權發佈。
