8 月 6 日消息,摩爾線程 MUSA 架構(gòu)是 MT GPU 支持的通用計(jì)算架構(gòu),摩爾線程剛剛確認(rèn) llama.cpp 已經(jīng)適配了這種計(jì)算架構(gòu),“直通全球 AI 生態(tài)圈”。
注:llama.cpp 是一個(gè)純 C / C++ 實(shí)現(xiàn)的項(xiàng)目,旨在簡化大語言模型 (LLM) 的推理過程,并在多種硬件環(huán)境下提供最先進(jìn)的性能支持,無論是本地部署還是云端運(yùn)行。其主要目標(biāo)是以最小的設(shè)置和依賴,讓用戶在廣泛的硬件平臺上輕松進(jìn)行 LLaMA 等大模型的推理。
大語言模型因其出色的自然語言理解和生成能力而迅速被廣泛使用,llama.cpp 大幅降低了進(jìn)行大語言模型推理的門檻,能夠充分利用硬件的性能來助力用戶的大語言模型應(yīng)用。
llama.cpp 支持多種語言模型,包括 LLaMA、Mistral、Falcon、Gemma、Qwen、Baichuan、Aquila 等主流模型,以及各種多模態(tài)模型如 LLaVA 和 MobileVLM,覆蓋廣泛的推理需求。
摩爾線程 MUSA 架構(gòu)是 MT GPU 支持的通用計(jì)算架構(gòu),llama.cpp 適配了這種計(jì)算架構(gòu)。在 MTT S80 / S3000 / S4000 GPU 上,用戶可以通過 llama.cpp 官方提供的一系列容器鏡像來使用。
今年 4 月,MUSA SDK 升級到了 4.0.1 版本,支持 Intel 處理器+Ubuntu 操作系統(tǒng)、海光處理器+Kylin 麒麟操作系統(tǒng)組成的平臺。
本文鏈接:http://www.tebozhan.com/showinfo-45-25983-0.html摩爾線程:MUSA 成功適配 llama.cpp,直通全球 AI 生態(tài)圈
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com
上一篇: 面壁智能開源 MiniCPM-V 4.0 AI 模型:手機(jī) App 就能用,圖像理解超 GPT-4.1-mini
下一篇: 小紅書首個(gè)多模態(tài) AI 大模型 dots.vlm1 發(fā)布并開源,基于 DeepSeek V3 LLM