一、前言:哪個(gè)發(fā)燒友能抵擋本地部署大模型的誘惑
今年年初,橫空出世的DeepSeek AI大模型火爆出圈,一夜過后人人都在談?wù)揇eepSeek大模型,而已經(jīng)進(jìn)入第二年的AI PC方面,自然也不會落后。
相對于直接付費(fèi)使用成熟的AI應(yīng)用,DeepSeek完全開源的特性也讓更多發(fā)燒友樂于在本地部署,充分利用越發(fā)強(qiáng)大的硬件AI性能。
但是對于主流的筆記本平臺,在本地運(yùn)行DeepSeek大模型,效果如何呢?
我們找來了當(dāng)下比較新的輕薄本,Intel平臺和AMD平臺各一臺,測試一下不同平臺在本地運(yùn)行DeepSeek大模型的表現(xiàn)。
當(dāng)然我們在本地部署的DeepSeek只能是蒸餾版,因?yàn)闈M血版DeepSeek-R1模型高達(dá)671b的參數(shù)根本不是小飛機(jī)平臺所能容納的,好在還有六個(gè)蒸餾后不同規(guī)模的小模型,方便玩家根據(jù)自己的硬件配置選擇合適的模型規(guī)模。
DeepSeek-R1大模型和由它蒸餾而來的六個(gè)小模型都是開源的,每個(gè)人都可以下載部署到自己的設(shè)備上。
選擇合適的模型規(guī)模,關(guān)鍵就在于運(yùn)行設(shè)備的顯存或內(nèi)存容量,當(dāng)然對于普通玩家,特別是筆記本用戶來說,主要還是看內(nèi)存大小。
這也就是AI PC概念出現(xiàn)以來,電腦的內(nèi)存容量已經(jīng)普遍從32GB起步的原因,就連被戲稱“用金子做內(nèi)存”的蘋果,新的Mac Mini M4也把內(nèi)存升級到16GB起步。
本文鏈接:http://www.tebozhan.com/showinfo-24-140103-0.htmlIntel酷睿Ultra 285H AI體驗(yàn):DeepSeek 14B模型每秒近10 Tokens OpenVINO成制勝關(guān)鍵
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com