日均 Tokens 使用量超 5000 億，豆包大模型怎麼抓住千行百業

在大模型浪潮呼嘯而過的一年後，行業逐漸進入理智期。潮水退去，牌桌上的大模型玩家都需要解答一個關鍵問題：對於行業而言，最需要的是什麼樣的大模型？

答案顯而易見：不再是單純卷參數量的更大模型，而是適合應用落地，能解決真實商業世界痛點的大模型。

去年，行業共識是大模型的出現將 AI 從百公里推進到十公里、一公里——也就是通用 AI 技術的能力和解決問題的距離被無限縮短。但在 2024 年，當行業真正開始擁抱 AI，人們發現目前大模型落地仍然存在痛點——效果差、成本貴、落地難。

「易用」是提供大模型服務的雲平台在過去一年競爭的焦點。近日，在上海舉辦的 2024 火山引擎 AI 創新巡展上，火山引擎分享了豆包大模型的最新進展，包括大模型綜合能力提升 20.3%，豆包·語音合成模型、豆包·語音識別模型再升級等；以及介紹一系列平台和工具，包括扣子專業版、智能體平台 HiAgent 等，讓豆包更容易在千行百業落地。

模型持續升級、壓低推理成本、降低落地難度，解決了三個關鍵問題讓豆包的調用量在過去個幾月迅速增長。據火山引擎在活動上公佈的最新據，截至 2024 年 7 月，豆包大模型日均 Tokens 使用量超過 5000 億。發佈 2 個月以來，平均每家企業客戶日均 Tokens 使用量增長了 22 倍。

豆包是怎麼做到的？

01 豆包大模型持續升級，解決千行百業落地 AI 應用的「後顧之憂」

雖然行業將 2024 年稱為大模型落地元年，但市場對大模型的態度仍然較為複雜，有的企業持續觀望，卻不敢下場。

其中，阻礙較大的是對模型性能的懷疑，不少企業擔心，大模型技術尚不成熟，與上一代的 AI 技術區別不大，業務價值不明顯。

對此，豆包在過去幾個月裡對多個維度的模型性能進行了提升，其中提升最多的角色扮演幅度達到 38.3%，語言理解達到 33.3%，此外長文任務、數學、專業知識和代碼能力也有不同幅度的提升。

目前，大模型交互主要以陪伴和工具兩種路線為主，這些多維度的更新意味著，豆包大模型可以通過這些維度的多場景覆蓋，實現更多交互路線的可能性。

除了基礎模型能力，豆包大模型還發佈了對話式 AI 實時交互解決方案，對語音模型和流式語音合成能力進行了重點升級，主要包括：

支持實時語音通話，幫助應用快速實現用戶和雲端模型的實時語音交互。讓對話更自然、更真實、更流暢，讓大模型交互體驗更強。

升級語音識別模型，升級上下文感知和多方言支持功能，進一步提升語音識別率。在多個公開測試集中，與國內公開發佈的語音識別大模型相比，錯誤率降低了 10%-40%。

升級流式語音合成能力，實時合成讓大模型能「邊想邊說」，更好地用在聊天陪伴、有聲書合成、音影片配音、數字人播報、語音客服等場景。

在人和 AI 交互的各個使用場景里，純文本交互有著天然的局限性，更適用於創作場景。而更自然、實時的語音交互可以作用於更多使用場景，比如手機的智能助手，直播場景的數字人，又或者是近來大火的 AI 耳機、AI 眼鏡等智能終端，支持這些場景都需要大模型有更強的語音能力。

而除了模型效果外，價格也是各行各業落地大模型必須考慮的因素。2023 年之所以 ToB 落地比 ToC 更快，企業一個很現實的考慮就是：大模型應用在企業內部場景使用，成本相對可控，ROI 也能夠算得過賬來；但一旦推出面向 C 端的產品，不論是免費還是按月訂閱收費，用戶的使用量過大都有可能讓經營者入不敷出。

解決這個問題的根本還是要將大模型的推理成本「打下來」。對此，火山引擎在 5 月發佈豆包大模型的時候直接將推理成本打到最低，其最強模型版本：豆包通用模型 pro 在企業市場的定價只有 0.0008 元/千 Tokens，比行業便宜 99.3%。除了價格更低，豆包通用模型 pro 為客戶提供了業內最高標準的初始 TPM（每分鐘 Tokens）和 RPM（每分鐘請求數），有助於企業的業務在高併發場景中落地。

解決了性能和成本兩大痛點，但要讓千行百業用起大模型，尤其是不具備強大技術團隊的中小企業能用上大模型，還需要進一步簡化 AI 應用落地的門檻。

對此，火山引擎推出了一系列的平台和工具，如火山方舟、扣子專業版、HiAgent、AI 全棧雲等產品，幫助企業更快落地。其中，火山方舟 2.0 是火山引擎推出的一站式大模型服務平台，提供了模型精調、推理、評測等全方位功能與服務和 AI 原生應用開發服務。此外，火山方舟 2.0 還擁有豐富的插件生態，如聯網插件、內容插件、RAG 知識庫插件、網頁解析插件、計算器插件。

為了滿足用戶多樣化、複雜化需求，火山方舟 2.0 也帶來了多款插件升級，如在聯網插件方面，新增金融旅遊影視生活服務電商等 27 個行業垂類數據源，拓展大模型的應用場景和功能邊界。

扣子專業版幫助企業實現低代碼靈活構建智能體，並通過專業級 SLA 和多種高級特性，應對企業級高併發高穩定性需求。

但還有更廣大的懂場景的非技術人員，他們也需要基於大模型開發一些服務細分場景的實用工具，而智能體是最適合他們的應用形態。對此，火山引擎推出企業專屬的 AI 智能體創新平台 HiAgent，讓業務人員可以輕鬆構建智能體，讓業務創新不受生產技能的限制。

有了智能體開發工具，業務人員想要利用 AI 技術解決一些場景痛點，不再需要聯動技術部門或者外部諮詢服務商提供開發支持，只需要利用提示詞、知識庫、插件等工具，像搭積木一樣低代碼構建智能體，就能提升應用創新的「速度」。而對企業而言，將企業級知識庫 RAG 運用到智能體構建的過程中，本質上是將企業的知識萃取成經營智慧，融入進企業的工作流程，全面提升效能，並通過智能體的部署反過來積累為業務服務的 AI 資產。

以消費行業為例，HiAgent 的智能體數字員工，在企業知識庫的加持下，可以回答消費者和員工的各類問題，幫助電商賣家在客服導購、營銷運營等環節提升效率和服務質量。智能體員工還能成為數據中樞「管家」，指導採購、銷售、企業管理等。

在雲基礎設施方面，火山引擎 AI 全棧雲的優勢則在於字節跳動的海量資源共池。隨著 AI 應用和算力需求的強勁增長，大模型捲入萬億參數時代，對雲基礎設施提出了更高要求。作為國尼馬有擁有萬卡集群 AI 的雲服務平台，火山引擎 AI 全棧雲的超大規模算力，支持萬億參數 MoE 大模型部署。

02 日均調用 5000 億 Tokens，企業如何用豆包降本增效？

在解決了性能、成本兩大難題後，大模型落地實踐、重塑行業不再是紙上談兵的空話。

雖然豆包大模型率先將 AI 使用成本從「以分為單位」，幹到了「以厘為單位」的時代。但現在火山引擎總裁譚待認為更重要的是相同價格下，把模型能力再往上提。憑藉更強的模型能力和更易落地的全面應用層優勢，豆包大模型的生態已經初具雛形。

為了繁榮模型生態，火山引擎攜手零售數字化轉型技術服務頭部企業多點 DMALL，搭建了科技驅動的創新型零售大模型生態聯盟。這也吸引了更多零售行業夥伴的加入，目前首批聯盟成員單位已達 18 家。

此外，豆包大模型聯合多點 DMALL，帶來了一整套零售核心場景大模型解決方案，嘗試用大模型能力解決零售行業的痛點。

雖然行業普遍認為，零售行業的風口，已經從連鎖化、數智化，進入 Next Level——AI 零售。但行業真正關注的，仍然是大模型究竟能否解決零售行業痛點業務場景的問題，給企業帶來降本、增效、提質、拉需、創利等實際價值？

要回答這個問題，我們需要先明確零售行業的痛點，零售企業在面對門店數智化轉型之時，由於渠道複雜鏈條較長、包含場景較多難以標準化，存在數據整合不足、庫存管理薄弱、精準營銷能力不足、運營效率低下等痛點場景。除此之外，客服回覆不及時、質量良莠不齊也是零售業客源流失的一個關鍵問題。

針對這些複雜多樣的痛點，豆包大模型提供了一系列針對性的解決方案。

首先，為了改善用戶與客服的交互體驗，基於豆包大模型，多點 DMALL 聯合火山引擎打造了 AI 購物助手小多。傳統線上導購僅支持關鍵詞搜索商品，消費者在食譜查找和商品選購環節，則需要切換不同應用。通過與小多進行語言、語音對話，消費者則可以實現一站式購物。這是因為豆包大模型著重打磨的角色扮演和語言理解等功能，讓小多可以模擬真人交互，針對顧客的售前售後問題即時回覆，也能夠針對顧客不同需求提供個性化建議，如給出商品推薦列表、生成購買清單鏈接，更易幫助消費者做出購買決策。

另外，為了給顧客提供個性化的精準營銷，豆包大模型提供了 VOC 洞察分析功能，這意味著，通過蒐集、分析客戶反饋數據，豆包大模型可以將這些數據轉化成有效的見解。另外，針對抖音電商直播場景，豆包大模型還支持直播洞察解決方案，複盤歸因直播中的數據、主播、用戶數據表現，沉澱優質話術和主播 SOP，還可以基於全域直播進行輿情、違規、主播口頭禪等敏感詞識別和預警。

此外，豆包大模型輔助建立企業商品知識庫，使得零售企業能夠更準確、實時地進行庫存管理。另外，知識庫的優勢還在於可以智能總結各類話術，在排查售後問題時，知識庫也大大縮短了排查時間，從豆包提供的數據表現來看，知識庫創造了實際價值轉化——知識應答率高達 98%，顧客轉化率提升 5%。

除零售大模型生態聯盟外，豆包大模型還與更多行業展開合作。此前在 5 月 15 日，火山引擎就發佈了汽車大模型生態聯盟和智能終端大模型聯盟。在本次創新巡展上，汽車大模型生態聯盟也迎來了領克汽車、吉利銀河、幾何汽車、上汽榮威、上汽名爵、雄獅科技、大聖科技等多位新成員。

此外在教育行業，在校學生通過簡單學習就能使用 HiAgent 這款易開發工具，進行學習答疑、總結複習、文獻獲取，提升學習與科研效率；高校行政管理人員也可以借助 HiAgent，搭建個性化應用，用於教學管理及數據分析，或者幫助學生跟教師進行線上的業務諮詢辦理。還比如在遊戲行業，基於豆包大模型的遊戲 AI 解決方案，可從文本、圖片、語音等多個方面，助力遊戲開發者以 AI 技術為動能推進遊戲玩法創新。

03 結語

自 2023 年開始，全球範圍掀起了以大模型為代表的生成式 AI 浪潮。但今年來，大家已經從關注大模型本身，轉變為思考或討論大模型本身怎麼來創造價值，怎麼來賦能產業，怎麼來落地應用。眼下，業內期待的是大模型與行業更深度的融合。

在這方面，模型應用場景越豐富、越複雜，競爭力就越強。

而這也是豆包大模型的優勢所在，從 5 月 15 日發佈後，短短幾個月的時間，豆包大模型已成為國內使用量最大、應用場景最豐富的大模型之一。

這幾個月的時間，豆包大模型經歷的打磨升級，奉行了火山引擎的「內外同源」法則——即同一個產品、同一個平台、同樣的技術架構，它既是對內服務的，也是對外服務千行百業的。字節跳動內部，就有 50 多個業務在大量使用豆包大模型。這樣就可以通過內部龐大規模的資源和場景去打磨最可靠的技術服務，並將內部的經驗能力化、產品化，外溢出去提供給行業客戶。

內部和外部客戶的巨大使用量，發揮數據飛輪效應反哺豆包大模型，帶來更強模型、更低價格、更易落地的大模型。豆包大模型也得以進一步與行業深度融合，有望創造出更為繁榮的大模型創新生態。