5月iOS設(shè)備性能榜：M1 M2依舊是榜單前五
和上個月一樣，沒有新品發(fā)布的iOS設(shè)備性能榜的上榜設(shè)備并沒有什么更替，僅僅只有跑分變化而產(chǎn)生的排名變動，剛剛開始的蘋果WWDC2023，推出的產(chǎn)品也依舊是新款Mac Pro、新款Mac Stu
7 月 1 日消息，月之暗面今日官宣 Kimi 開放平臺上下文緩存（Context Caching）功能開啟公測。官方表示，該技術(shù)在 API 價格不變的前提下，可為開發(fā)者降低最高 90% 的長文本旗艦大模型使用成本，并提升模型響應(yīng)速度。
附Kimi 開放平臺上下文緩存功能公測詳情如下：
技術(shù)簡介據(jù)介紹，上下文緩存是一種數(shù)據(jù)管理技術(shù)，允許系統(tǒng)預(yù)先存儲會被頻繁請求的大量數(shù)據(jù)或信息。當(dāng)用戶請求相同信息時，系統(tǒng)可以直接從緩存中提供，無需重新計算或從原始數(shù)據(jù)源中檢索。
上下文緩存適用于頻繁請求，重復(fù)引用大量初始上下文場景，可降低長文本模型費用，提高效率。官方表示費用最高降低 90 %，首 Token 延遲降低 83%。適用業(yè)務(wù)場景如下：
提供大量預(yù)設(shè)內(nèi)容的 QA Bot，例如 Kimi API 小助手
針對固定的文檔集合的頻繁查詢，例如上市公司信息披露問答工具
對靜態(tài)代碼庫或知識庫的周期性分析，例如各類 Copilot Agent
瞬時流量巨大的爆款 AI 應(yīng)用，例如哄哄模擬器，LLM Riddles
交互規(guī)則復(fù)雜的 Agent 類應(yīng)用等
上下文緩存收費模式主要分為以下三個部分：
Cache 創(chuàng)建費用調(diào)用 Cache 創(chuàng)建接口，成功創(chuàng)建 Cache 后，按照 Cache 中 Tokens 按實際量計費。24 元 / M token
Cache 存儲費用Cache 存活時間內(nèi)，按分鐘收取 Cache 存儲費用。10 元 / M token / 分鐘
Cache 調(diào)用費用Cache 調(diào)用增量 token 的收費：按模型原價收費
Cache 調(diào)用次數(shù)收費：Cache 存活時間內(nèi)，用戶通過 chat 接口請求已創(chuàng)建成功的 Cache，若 chat message 內(nèi)容與存活中的 Cache 匹配成功，將按調(diào)用次數(shù)收取 Cache 調(diào)用費用。0.02 元 / 次
公測時間：功能上線后，公測 3 個月，公測期價格可能隨時調(diào)整。
公測資格：公測期間 Context Caching 功能優(yōu)先開放給 Tier5 等級用戶，其他用戶范圍放開時間待定。
相關(guān)閱讀：
《月之暗面 Kimi 開放平臺將啟動 Context Caching 內(nèi)測：提供預(yù)設(shè)內(nèi)容 QA Bot、固定文檔集合查詢》
本文鏈接：http://www.tebozhan.com/showinfo-119-97922-0.html月之暗面 Kimi 開放平臺“上下文緩存”開啟公測：首 Token 延遲降低 83%、適用于文本重復(fù)引用場景
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號