月之暗面 Kimi 開放平台上下文緩存 Cache 存儲費用降價 50%:現價 5 元 / 1M tokens / min
感謝IT之家網民 小星_14 的線索投遞!
IT之家 8 月 7 日消息,AI 獨角獸公司月之暗面今日宣佈,Kimi 開放平台的上下文緩存 Cache 存儲費用降價 50%,Cache 存儲費用由 10 元 / 1M tokens / min 降低至 5 元 / 1M tokens / min,即日起生效。
![](http://n.sinaimg.cn/spider20240807/258/w690h368/20240807/1141-f9d64323c931e3352f63b41d87581641.jpg)
7 月 1 日,Kimi 開放平台上下文緩存(Context Caching)功能開啟公測。官方表示,該技術在 API 價格不變的前提下,可為開發者降低最高 90% 的長文本旗艦大模型使用成本,並提升模型響應速度。
IT之家附 Kimi 開放平台上下文緩存功能公測詳情如下:
技術簡介
據介紹,上下文緩存是一種數據管理技術,允許系統預先存儲會被頻繁請求的大量數據或信息。當用戶請求相同信息時,系統可以直接從緩存中提供,無需重新計算或從原始數據源中檢索。
![](http://n.sinaimg.cn/spider20240807/88/w1080h608/20240807/5b6a-bd2da4eca5d0b6be2be9bcc7e34da6b6.png)
適用場景
上下文緩存適用於頻繁請求,重覆引用大量初始上下文場景,可降低長文本模型費用,提高效率。官方表示費用最高降低 90 %,首 Token 延遲降低 83%。適用業務場景如下:
-
提供大量預設內容的 QA Bot,例如 Kimi API 小助手
-
針對固定的文檔集合的頻繁查詢,例如上市公司信息披露問答工具
-
對靜態代碼庫或知識庫的週期性分析,例如各類 Copilot Agent
-
瞬時流量巨大的爆款 AI 應用,例如哄哄模擬器,LLM Riddles
-
交互規則複雜的 Agent 類應用等
![](http://n.sinaimg.cn/spider20240807/88/w1080h608/20240807/3e40-713e70b0e8e39864c208d555f1a868cb.png)
![](http://n.sinaimg.cn/spider20240807/88/w1080h608/20240807/7aff-45af3795df4719a7f43a4450fbf75eb3.png)
計費說明
上下文緩存收費模式主要分為以下三個部分:
Cache 創建費用
-
調用 Cache 創建接口,成功創建 Cache 後,按照 Cache 中 Tokens 按實際量計費。24 元 / M token
Cache 存儲費用
-
Cache 存活時間內,按分鐘收取 Cache 存儲費用。10 元 / M token / 分鐘
Cache 調用費用
-
Cache 調用增量 token 的收費:按模型原價收費
-
Cache 調用次數收費:Cache 存活時間內,用戶通過 chat 接口請求已創建成功的 Cache,若 chat message 內容與存活中的 Cache 匹配成功,將按調用次數收取 Cache 調用費用。0.02 元 / 次
![](http://n.sinaimg.cn/spider20240807/88/w1080h608/20240807/4c77-907c8840cd8e068272c07863f7b2865d.png)
公測時間和資格說明
-
公測時間:功能上線後,公測 3 個月,公測期價格可能隨時調整。
-
公測資格:公測期間 Context Caching 功能優先開放給 Tier5 等級用戶,其他用戶範圍放開時間待定。
廣告聲明:文內含有的對外跳轉鏈接(包括不限於超鏈接、二維碼、口令等形式),用於傳遞更多信息,節省甄選時間,結果僅供參考,IT之家所有文章均包含本聲明。