快科技2月12日消息,DeepSeek持續火爆,大家都在體驗,但因為服務器承受能力有限,經常會遇到無響應,因此本地部署體驗就成了更好的選擇,具體規模取決于硬件配置。
AMD是早在x86處理器領域引入AI能力的,銳龍7040系列就率先集成了獨立的NPU AI引擎,此后的銳龍8040系列、銳龍AI 300系列、銳龍AI MAX 300系列都越發強大。
AMD銳龍AI處理器擁有目前行業強的NPU,算力高達50 TOPS(每秒50萬億次計算),自然是體驗DeepSeek的上佳選擇。
如果你有一臺銳龍AI筆記本,現在就可以通過LM Studio,輕松在本地部署、體驗DeepSeek R1精簡版推理模型。
具體操作方式如下:
1、安裝AMD Adrenalin 25.1.1或更新版顯卡驅動。
2、打開lmstudio.ai/ryzenai,并下載LM Studio 0.3.8或更新版本。
3、安裝啟動LM Studio,可以直接跳過引導屏幕。
4、點擊“發現”(discover)標簽頁。
5、選擇適合自己的DeepSeek R1 Distill。具體如何選擇見后。
6、在軟件頁面右側,勾選“Q4 K M”量化模式,然后點擊“下載”。
7、下載完成后,返回聊天選項頁,從下拉菜單中選擇DeepSeek R1 distill,并確保勾選“手動選擇參數”(manually select parameters)選項。
8、在“GPU卸載”(GPU offload)中,將滑塊移到大值。
9、點擊“模型加載”(model load)。
10、好了,可以在本地體驗DeepSeek R1推理模型了!
不同參數規模的大模型,決定了其性能和體積,因此不同的硬件設備需要選擇適合自己的參數量。
如果是頂級的銳龍AI MAX+ 395處理器,搭配64GB、128GB內存,高可以支持DeepSeek-R1-Distill-Llama-70B,注意64GB內存的話需要將可變顯存設置為高。
搭配32GB內存,可變顯存自定義為24GB,則能支持到DeepSeek-R1-Distill-Qwen-32B。
如果是銳龍AI HX 370、AI 365處理器,搭配24GB、32GB內存,可以支持DeepSeek-R1-Distill-Qwen-14B。
如果是銳龍7040/8040系列,需要搭配32GB內存,才能支持到DeepSeek-R1-Distill-Qwen-14B。
另外,AMD推薦將所有Distill運行在Q4 K M量化模式。
如果你使用的是臺式機,AMD RX 7000系列顯卡也都已支持本地部署DeepSeek R1。
其中,RX 7900 XTX旗艦顯卡高支持DeepSeek-R1-Distill-Qwen-32B,RX 7900 XT、7900 GRE、7800 XT、7700 XT、7600 XT均可以支持到DeepSeek-R1-Distill-Qwen-14B,RX 7600以及新發布的RX 7650 GRE則適合到DeepSeek-R1-Distill-Llama-8B。
本文鏈接:http://www.tebozhan.com/showinfo-24-130023-0.htmlAMD銳龍AI處理器輕松本地跑DeepSeek:高支持70B參數
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com