快科技2月6日消息,華為ModelEngine是大模型訓練、推理和應用開發的AI平臺,提供從數據預處理到模型訓練、優化及部署的一站式服務。
華為官方表示,ModelEngine現已全面支持DeepSeek系列模型R1&V3 671B以及蒸餾系列模型,開發者可通過ModelEngine實現“一鍵部署”。
此舉省去硬件選型、兼容性驗證和環境配置等繁瑣步驟,大幅降低企業AI應用門檻。
此外華為還表示,ModelEngine通過其高度的開放性和模塊化設計,極大地縮短了DeepSeek的本地部署時間。
下面以DeepSeek-R1為例,基于ModelEngine 3步快速完成部署模型
1、登錄ModelEngine模型管理頁面,上傳DeepSeek-R1 FP8權重,然后進行模型權重格式轉換,將FP8精度模型權重轉換為BF16精度模型權重;
2、在模型服務頁面,選擇BF16精度的模型權重版本,下發推理服務,啟動任務部署;
3、ModelEngine使用MindIE推理框架啟動DeepSeek-R1推理服務后,支持OpenAI API 調用風格的推理服務接口和訪問方式;
4、ModelEngine 啟動 DeepSeek-R1 推理服務后,平臺支持 OpenAI API 調用風格的推理服務接口和訪問方式,用戶可以將該 API 集成到對話、RAG 以及 Agent 應用。
到這里,基于ModelEngine私有化本地部署的DeepSeek-R1完整版推理服務API已經就緒了。
用戶可以將推理服務API集成到對話應用、RAG或者Agent應用中,在保證數據安全的前提下,讓DeepSeek-R1媲美世界頭部頂流閉源大模型服務智能的能力。
本文鏈接:http://www.tebozhan.com/showinfo-22-129073-0.html只需這4步 華為ModelEngine支持DeepSeek全系列本地部署
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com