亞馬遜AIGC全家桶來襲，巨頭AI大亂戰都有什么殺手锏
此前，亞馬遜云科技發布多款AIGC產品，其中包括AI大模型服務Amazon Bedrock、人工智能計算實例Amazon EC2 Trn1n和Amazon EC2 Inf2、自研“泰坦”（Titan）AI大模型、軟件
6 月 19 日消息，月之暗面官宣 Kimi 開放平臺 Context Caching 功能將啟動內測，屆時將支持長文本大模型，可實現上下文緩存功能。
據介紹，Context Caching（上下文緩存）是由 Kimi 開放平臺提供的一項高級功能，可通過緩存重復的 Tokens 內容，降低用戶在請求相同內容時的成本，原理如下：
官方表示，Context Caching 可提升 API 的接口響應速度（或首字返回速度）。在規模化、重復度高的 prompt 場景，Context Caching 功能帶來的收益越大。
Context Caching 適合于用頻繁請求，重復引用大量初始上下文的情況，通過重用已緩存的內容，可提高效率降低費用，適用業務場景如下：
提供大量預設內容的 QA Bot，例如 Kimi API 小助手。
針對固定的文檔集合的頻繁查詢，例如上市公司信息披露問答工具。
對靜態代碼庫或知識庫的周期性分析，例如各類 Copilot Agent。
瞬時流量巨大的爆款 AI 應用，例如哄哄模擬器，LLM Riddles。
交互規則復雜的 Agent 類應用，例如什么值得買 Kimi+ 等。
官方后續將發布 Context Caching 功能的場景最佳實踐 / 計費方案 / 技術文檔，將保持關注，并在第一時間帶來相關報道。
本文鏈接：http://www.tebozhan.com/showinfo-45-4703-0.html月之暗面 Kimi 開放平臺將啟動 Context Caching 內測：提供預設內容 QA Bot、固定文檔集合查詢
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號