AVt天堂网 手机版,亚洲va久久久噜噜噜久久4399,天天综合亚洲色在线精品,亚洲一级Av无码毛片久久精品

當前位置:首頁 > 科技  > 知識百科

月之暗面 Kimi 開放平臺“上下文緩存”開啟公測:首 Token 延遲降低 83%、適用于文本重復引用場景

來源: 責編: 時間:2024-07-02 08:15:28 1175觀看
導讀 7 月 1 日消息,月之暗面今日官宣 Kimi 開放平臺上下文緩存(Context Caching)功能開啟公測。官方表示,該技術在 API 價格不變的前提下,可為開發者降低最高 90% 的長文本旗艦大模型使用成本,并提升模型響應速度。附Ki

7 月 1 日消息,月之暗面今日官宣 Kimi 開放平臺上下文緩存(Context Caching)功能開啟公測。官方表示,該技術在 API 價格不變的前提下,可為開發者降低最高 90% 的長文本旗艦大模型使用成本,并提升模型響應速度。pD928資訊網——每日最新資訊28at.com

pD928資訊網——每日最新資訊28at.com

附Kimi 開放平臺上下文緩存功能公測詳情如下:pD928資訊網——每日最新資訊28at.com

技術簡介

據介紹,上下文緩存是一種數據管理技術,允許系統預先存儲會被頻繁請求的大量數據或信息。當用戶請求相同信息時,系統可以直接從緩存中提供,無需重新計算或從原始數據源中檢索。pD928資訊網——每日最新資訊28at.com

pD928資訊網——每日最新資訊28at.com

適用場景

上下文緩存適用于頻繁請求,重復引用大量初始上下文場景,可降低長文本模型費用,提高效率。官方表示費用最高降低 90 %,首 Token 延遲降低 83%。適用業務場景如下:pD928資訊網——每日最新資訊28at.com

提供大量預設內容的 QA Bot,例如 Kimi API 小助手pD928資訊網——每日最新資訊28at.com

針對固定的文檔集合的頻繁查詢,例如上市公司信息披露問答工具pD928資訊網——每日最新資訊28at.com

對靜態代碼庫或知識庫的周期性分析,例如各類 Copilot AgentpD928資訊網——每日最新資訊28at.com

瞬時流量巨大的爆款 AI 應用,例如哄哄模擬器,LLM RiddlespD928資訊網——每日最新資訊28at.com

交互規則復雜的 Agent 類應用等pD928資訊網——每日最新資訊28at.com

pD928資訊網——每日最新資訊28at.com

pD928資訊網——每日最新資訊28at.com

計費說明

上下文緩存收費模式主要分為以下三個部分:pD928資訊網——每日最新資訊28at.com

Cache 創建費用

調用 Cache 創建接口,成功創建 Cache 后,按照 Cache 中 Tokens 按實際量計費。24 元 / M tokenpD928資訊網——每日最新資訊28at.com

Cache 存儲費用

Cache 存活時間內,按分鐘收取 Cache 存儲費用。10 元 / M token / 分鐘pD928資訊網——每日最新資訊28at.com

Cache 調用費用

Cache 調用增量 token 的收費:按模型原價收費pD928資訊網——每日最新資訊28at.com

Cache 調用次數收費:Cache 存活時間內,用戶通過 chat 接口請求已創建成功的 Cache,若 chat message 內容與存活中的 Cache 匹配成功,將按調用次數收取 Cache 調用費用。0.02 元 / 次pD928資訊網——每日最新資訊28at.com

pD928資訊網——每日最新資訊28at.com

公測時間和資格說明

公測時間:功能上線后,公測 3 個月,公測期價格可能隨時調整。pD928資訊網——每日最新資訊28at.com

公測資格:公測期間 Context Caching 功能優先開放給 Tier5 等級用戶,其他用戶范圍放開時間待定。pD928資訊網——每日最新資訊28at.com

相關閱讀:pD928資訊網——每日最新資訊28at.com

《月之暗面 Kimi 開放平臺將啟動 Context Caching 內測:提供預設內容 QA Bot、固定文檔集合查詢》pD928資訊網——每日最新資訊28at.com

本文鏈接:http://www.tebozhan.com/showinfo-119-97922-0.html月之暗面 Kimi 開放平臺“上下文緩存”開啟公測:首 Token 延遲降低 83%、適用于文本重復引用場景

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 微軟宣布 Microsoft 365 現已支持開放文檔格式 ODF 1.4

下一篇: 6 月桌面瀏覽器格局穩固:谷歌 Chrome 仍居首位,微軟 Edge 份額創新高

標簽:
  • 熱門焦點
Top