Akamai宣布推出一款名為Akamai Cloud Inference的戰(zhàn)略級AI推理解決方案。該方案基于其全球分布式云平臺打造，與傳統(tǒng)超大規(guī)模云架構(gòu)相比，其吞吐量提升3倍，延遲降低60%，成本減少86%。
Akamai云技術(shù)部門首席運(yùn)營官兼總經(jīng)理Adam Karon表示，訓(xùn)練類似于繪制地圖，需要集中式超算中心；而推理則更像實(shí)時導(dǎo)航，必須在靠近用戶的邊緣完成。據(jù)Gartner數(shù)據(jù)，2025年約75%的數(shù)據(jù)將產(chǎn)生于傳統(tǒng)云區(qū)域之外，傳統(tǒng)云架構(gòu)在響應(yīng)速度和數(shù)據(jù)傳輸成本方面已顯不足。
Akamai Cloud Inference依托覆蓋130個國家、4200多個節(jié)點(diǎn)的分布式網(wǎng)絡(luò)，構(gòu)建了獨(dú)特的“云-邊協(xié)同”架構(gòu)。通過與NVIDIA、VAST Data等生態(tài)伙伴合作，該方案整合了GPU加速計(jì)算、向量數(shù)據(jù)庫實(shí)時檢索以及WebAssembly邊緣執(zhí)行的完整技術(shù)棧。
該解決方案創(chuàng)新性地結(jié)合了CPU、GPU和定制化ASIC VPU，根據(jù)不同推理場景動態(tài)分配資源。同時，Akamai與NVIDIA AI Enterprise生態(tài)系統(tǒng)深度整合，利用Triton、TAO Toolkit、TensorRT和NVFlare優(yōu)化NVIDIA GPU上的AI推理性能。
此外，Akamai通過VAST Data實(shí)時數(shù)據(jù)訪問、可擴(kuò)展對象存儲及Aiven/Milvus向量數(shù)據(jù)庫技術(shù)，構(gòu)建了支持檢索增強(qiáng)生成（RAG）的智能數(shù)據(jù)架構(gòu)，實(shí)現(xiàn)了微調(diào)模型的安全存儲與全球范圍內(nèi)的低延遲AI推理。
Akamai還通過Linode Kubernetes Engine企業(yè)版與新發(fā)布的Akamai App平臺，集成了KServe、Kubeflow等開源工具，構(gòu)建了支持PB級性能自動擴(kuò)展的容器化AI推理平臺，并優(yōu)化了混合多云部署和成本控制。
據(jù)悉，Akamai與Fermyon等Wasm供應(yīng)商合作，將WebAssembly技術(shù)集成到無服務(wù)器架構(gòu)中，使開發(fā)者能夠在邊緣端執(zhí)行輕量化LLM推理，為延遲敏感型應(yīng)用提供支持。

本文鏈接：http://www.tebozhan.com/showinfo-27-145221-0.htmlAkamai推出AI推理解決方案，性能提升顯著

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： TrendForce：國際形勢變化將推動2Q25存儲器合約價(jià)漲幅擴(kuò)大

下一篇： 韓國AI初創(chuàng)公司RLWRLD獲1500萬美元融資