在RTE2024，窺見實時AGI的未來
作者｜週一笑郵箱｜zhouyixiao@pingwest.com
AI+RTE：讓《Her》走進現實
GPT-4o的高級語音模式讓我們看到了AI也可以具備低延遲且自然流暢的對話能力。絲滑的體驗讓智能助手真正擺脫了「智障」的帽子，科幻電影《Her》中的場景，走進了現實。
10月，OpenAI發佈的Realtime API，讓開發者可以輕鬆地將這種絲滑的語音體驗植入自己的應用。
在此之前，需要串聯多個模型的繁瑣過程才能實現，例如，開發者需要使用自動語音識別工具，比如Whisper，來轉錄音頻，將轉錄的文本傳遞給推理模型，然後使用文本轉語音模型來播放響應。這種方法不僅耗時，且常常導致對話中情感、腔調和口音等重要元素的丟失。
相比之下，OpenAI的Realtime API能進一步降低語音交互的延時，能夠實現更接近真人的情感和情緒表達，提供更自然的對話體驗。
要實現這種體驗，離不開端到端訓練的語音基礎模型，這依靠的是OpenAI強大的科研和工程能力，而要讓這種體驗走進更多用戶的日常，不僅僅是停留在demo演示當中，則離不開成熟的語音模態基礎設施提供支撐。為此，OpenAI找到了合適的合作夥伴，其中就有聲網的兄弟公司Agora。
Agora與OpenAI宣佈合作，發佈了對話式AI SDK，該SDK集成了Realtime API，同時利用了Agora的智能路由和超低延遲實時網絡，集成了AI回聲消除和背景噪聲消除等功能，確保在任何環境下都能進行精準的語音處理，成為開發者和OpenAI的GPT模型之間的可靠連接。
眼光轉向國內，AI+RTE的故事同樣精彩。各大模型廠商都在摩拳擦掌，試圖突破「冷冰冰」的文本對話框，讓用戶與AI的交互來得更實時、更自然、更有溫度。智譜清言、豆包和Kimi等產品都推出了自己的實時語音通話功能。
這波AI+RTE的浪潮，正在悄然改變著我們與AI對話的方式，而這可能只是智能交互新時代的開始。
AI濃度拉滿的RTE2024
Agora與OpenAI的合作成為行業焦點，標誌著實時互動(RTE)與人工智能正加速融合，這不是個例，已經成為一個顯而易見的趨勢，行業正在朝著「實時構建AGI」的願景邁進。
十年光陰，見證變革。2015年，當第一屆RTE大會在國內召開時，實時音影片還是一個相對小眾的技術領域。彼時的行業氛圍基本是「一片荒蕪」：沒有專業的技術交流平台，沒有系統的知識傳承，也缺乏活躍的技術社區。十年間，聲網以實幹者的姿態，作為RTE領域的領軍企業，通過持續舉辦RTE大會、建設開發者社區、出版專業技術書籍等方式，逐步構建起行業完整的知識體系和交流生態。
今年8月，聲網還出版了行業首本系統介紹實時互動的技術型科普書籍《讀懂實時互動》，填補了RTE領域無專業書籍的空白，為行業的學習和普及提供了重要參考。
如今，RTE大會早已不是單純的音影片技術聚會，從娛樂直播、出海、音影片會議，到在線教育、iot、數字化……曆年的RTE大會就像是一個風向標 ，成為行業風口和技術變遷的第一手見證。隨著AI大模型技術與音影片技術的深度融合，今年十週年的RTE大會更是成為AI濃度最高的一屆。
從技術演進的脈絡來看，實時互聯網技術（RTE）經過十餘年發展，已從最初的點對點通訊，發展到支撐直播、遠程協作等複雜應用場景。而生成式 AI 的出現，則為RTE注入了全新的想像空間，今年的RTE2024會場內外，與會者們熱切討論著AI與RTE的結合將帶來怎樣的可能性。
在本屆大會上，聲網也正式發佈了RTE+AI能力全景圖，從實時AI基礎設施、RTE+AI生態能力、聲網AI Agent、實時多模態對話式AI解決方案、RTE+AI應用場景五個維度，從底層的實時AI基礎設施，到上層的多模態對話解決方案，再到豐富多樣的應用場景，展現了RTE與AI融合的技術版圖。
聲網創始人趙斌描繪了生成式AI驅動下的IT行業四大變革：AI PC、AI Native Software、AI Native Cloud以及以自然語言為主的人機交互界面。值得關注的是，聲網與MiniMax正在打造中國首個Realtime API，現場展示的人工智能體已實現了流暢的實時對話效果。
AI Native是一個倍受關注的概念，與其說這是一種技術選擇，不如說這預示著整個產業的思維方式正在發生轉變。正如Lepton AI創始人賈揚清所指出的：AI是繼Web雲、數據雲之後的「第三朵雲」。在他看來，未來應用開發將從「以流程為中心」轉向「以模型為中心」，他還強調實時性與智能的結合將直接等同於生產力。這種轉變堪比上世紀90年代從字符界面到圖形界面的革命性躍遷。
在基礎架構層面，聲網CTO鍾聲現場展示了端邊雲結合的方案，在超過千人的嘈雜會場環境下，基於端邊雲架構的AI智能體依然展現出優秀的實時對話能力。不僅證明了分佈式端邊雲結合方案的可行性，也展示了在複雜環境下突破次秒級響應、噪聲對抗等技術難題的可能性，為解決AI大規模落地面臨的成本、延遲和隱私等核心問題提供了新思路。
在商業化落地方面，與會嘉賓們普遍認為，模型小型化、計算效率提升將是必然趨勢。特別是在開源架構日益普及的背景下，企業可以通過開源模型+定製化路線，實現更低成本、更快速度的落地。
當然，挑戰依然存在。算力成本、端側優化困難、商業模式待驗證等問題都需要時間去解決。但從歷史經驗來看，一旦技術演進方向確立，這些問題往往會在產業鏈的共同推動下逐步得到解決。
從現場的討論來看，RTE和AI的結合正在催生新的技術範式和商業模式，大會傳遞出一個清晰的共識：多模態能力的不斷拓展可能成為引爆下一輪革新的關鍵。語音、視覺、文本等多種模態的融合，不僅擴展了AI的能力邊界，更為創新應用提供了沃土。從創作輔助到智能客服，從教育培訓到娛樂互動，多模態AI正在開啟更多的可能性。
人機交互進化，RTC築基未來
視覺和聽覺是人類感知世界的主要通道，不僅是我們最原始的信息獲取方式，也是信息密度最高、最直觀的交互模式，這一基本事實決定了無論技術如何更迭，科技行業風口如何變遷，實時音影片技術（RTE）始終是提供實時通信和交互支持的核心基礎，將在人機交互中扮演關鍵角色。
據CCW Research的報告，超過80%的客戶仍然偏好基於語音的服務。這一數據印證了在AI時代，語音交互的重要性不減反增。Meta發佈的智能眼鏡Ray-Ban Meta就展現了這一潛力，升級後的Ray-Ban一大亮點正是實時AI影片處理和實時語言翻譯能力，這些多模態功能雖然還沒有全部正式推出，但從市場反饋已足見其對消費者的吸引力。可以預見，無論是對於大模型廠商還是AI硬件廠商，實時交互能力將成為行業的新標配。
然而要實現這種新的標配能力，離不開強大的底層基礎設施的支撐。廠商沒必要，也不可能全都去做一遍重覆造輪子的事情。正如我們在影片會議、社交泛娛樂等行業發展歷程中所看到的，各個廠商與聲網這樣的RTE-PaaS平台合作成為了一種自然的選擇，這種趨勢如今正在向AI領域擴展。大模型公司和開發者可以專注於模型優化和應用開發，而不必過多關注底層通信技術的複雜性。
結語
過去十年，我們見證了太多技術從概念走向普及的精彩瞬間。在技術進化的大潮中，RTE的發展軌跡同樣令人矚目。聲網和RTE大會走過的這十年，是一段從技術突破到產業變革的關鍵旅程：RTE從一個前沿通信概念，蛻變為數字時代的關鍵基礎設施。與此同時，我們也親曆了AI技術的加速進化——從實驗室的尖端研究到開放商用，AI正以前所未有的速度滲透到各個產業場景。
傳統認知中，實時交互主要解決的是人與人之間的連接問題，但在AI時代，這種連接延伸到了人與AI之間。RTE會上展示的次秒級AI對話能力，也暗示著我們正在接近一個臨界點：AI不再是一個被動的工具，而是能夠與人類進行真正自然交互的智能體。
當RTE與AI這兩股技術浪潮交彙，我們看到的不僅是簡單的技術疊加，而是一次革命性的範式轉變。這種融合正在重塑我們對AGI的理解和想像——也許在下一個十年，那個能夠實時感知、實時思考、實時決策的AGI，將從科幻走進現實，開啟人類與人工智能協同進化的新紀元。
