快科技2月9日消息,飛騰官方宣布,飛騰騰云S5000C、飛騰騰銳D3000處理器已成功實現對DeepSeek全系列大模型的端到端支持,覆蓋數據中心和終端場景,而且性能非常出色。
其實在2024年,DeepSeek-V2.5 236B大模型就已經在飛騰騰云S5000C平臺成功穩定運行。
DeepSeek-V3、R1版本發布后,飛騰第一時間在騰云S5000C、騰銳D3000平臺上本地部署驗證,形成整體解決方案,構建端到端的國產平臺DeepSeek大模型智算環境。
在數據中心側,騰云S5000C服務器可以與多款AI加速卡配合,實現DeepSeek蒸餾版和全量版的部署。
根據官方實測,飛騰騰云S5000C搭配8塊國產的AI加速卡,蒸餾版DeepSeek-R1-Distill-Llama-70B版本的推理速度可達到每秒22個tokens,本地部署的推理效率與國外同類產品架構解決方案相當,整體性能相當于國外平臺性能的80%左右。
同時,完整版DeepSeek R1 671B模型采用分布式推理框架,基于四機、32卡AI服務器集群,也已部署成功。
在用戶終端側,基于騰銳D3000、銀河麒麟V10系統的臺式機,可以本地部署DeepSeek-R1 7B蒸餾版模型,再搭配1張國產推理卡,就實現了AI PC能力,能夠建立安全可靠的本地知識助手。
現階段,飛騰平臺已實現端到端支持DeepSeek全系列、眾多開源和國產頭部大模型的本地化部署,可為企業級和個人應用提供全國產化、軟硬一體、性價比高、安全、開放的全棧解決方案。
本文鏈接:http://www.tebozhan.com/showinfo-24-129345-0.html國產飛騰CPU完整支持DeepSeek:可達國外平臺性能80%
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com