4 月 30 日消息,在首屆 LlamaCon 大會上,Meta 公司在推出獨立 AI 應用之外,還發(fā)布了 Llama API,目前以免費預覽形式向開發(fā)者開放。
援引博文,Llama API 支持開發(fā)者測試包括 Llama 4 Scout 和 Llama 4 Maverick 在內(nèi)的最新模型,提供一鍵 API 密鑰創(chuàng)建以及輕量級的 TypeScript 和 Python SDK。
開發(fā)者可通過一鍵創(chuàng)建 API 密鑰,快速上手使用,同時 API 還提供輕量級的 TypeScript 和 Python SDK。為了方便開發(fā)者從 OpenAI 平臺遷移應用,Llama API 完全兼容 OpenAI SDK。
Meta 還聯(lián)手 Cerebras 和 Groq,進一步優(yōu)化 Llama API 的性能。Cerebras 宣稱,其 Llama 4 Cerebras 模型的 tokens 生成速度高達 2600 tokens / s,比 NVIDIA 等傳統(tǒng) GPU 解決方案快 18 倍。
根據(jù) Artificial Analysis 基準測試數(shù)據(jù),這一速度遠超 ChatGPT 的 130 tokens / s 和 DeepSeek 的 25 tokens / s。
Cerebras CEO 兼聯(lián)合創(chuàng)始人 Andrew Feldman 表示:“我們很自豪能讓 Llama API 成為全球最快的推理 API。開發(fā)者在構建實時應用時需要極致速度,Cerebras 的加入讓 AI 系統(tǒng)性能達到 GPU 云無法企及的高度。”
此外,Groq 提供的 Llama 4 Scout 模型速度為 460 tokens / s,雖不及 Cerebras,但仍比其他 GPU 方案快 4 倍。在Groq上,Llama 4 Scout 每百萬 tokens 輸入費用為 0.11 美元,每百萬 tokens 輸出費用為 0.34 美元;Llama 4 Maverick 每百萬 tokens 輸入費用為 0.50 美元,每百萬 tokens 輸出費用為 0.77 美元。
本文鏈接:http://www.tebozhan.com/showinfo-45-12691-0.html2600 tokens s:Meta 發(fā)布 Llama API,攜手 Cerebras 打造最快 AI 推理解決方案
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: Meta Llama AI 模型下載量突破 12 億,開發(fā)者貢獻數(shù)萬個衍生模型
下一篇: 微軟發(fā)布 Phi-4 系列小語言 AI 推理模型,AIME 2025 跑分超滿血版 Deepseek R1