快科技7月30日消息,AMD Zen5架構的銳龍AI Max+ 395,是第一個可以在本地運行700億參數AI大模型的平臺,當然需要搭配128GB統一內存,而現在,AMD奉上重磅升級,1280億參數大模型都可以在本地運行了!
當然,能做到這一點的還是只有銳龍AI Max+ 395,還是必須搭配128GB統一內存,并分配96GB作為顯存,而且必須在Vulkan llama.cpp環境下。
驅動方面需要搭配還在測試階段的25.10 RC 24版本,下個月初將會變成正式版25.8.1。
這使得銳龍AI Max+ 395成為第一個能在本地運行1090億參數的Meta Llama 4 Sout大模型的平臺,體積多達66GB,活躍參數多170億,并支持Vision、MCP。
這得益于該模型使用了混合專家(MoE)模式,每次只激活模型的一部分,從而保持性能可用,銳龍AI Max+ 395實測可以做到每秒15 Tokens。
同時,銳龍AI Max+ 395還可以跑68GB體積、1230億參數的Mistral Large,至于18GB、300億參數的Qwen3 A3B、17GB、270億參數的Google Gemma,自然更是不在話下。
當然,銳龍AI Max+ 395還支持各種各樣的模型尺寸、量化格式,包括GGUF。
同樣重要的是,銳龍AI Max+ 395升級支持了更大的上下文尺寸,從傳統的4096 Tokens左右,一舉來到了驚人的256000 Tokens,從而能夠分析、匯總更大規模的文檔等數據資料。
不過這里需要注意,得開啟Flash Attention、Q8 KV Cache。
對于一般的非大規模模型,32000 Tokens的上下文就足夠用了,銳龍AI Max+ 395則提供了新的可能,而以往如此超大規模的上下文,往往需要幾萬十幾萬的設備才能實現。
銳龍AI Max+ 395、128GB配置的迷你AI工作站,價格已經低至1.3萬元左右,可以說性價比是相當高了。
本文鏈接:http://www.tebozhan.com/showinfo-24-174235-0.html唯一本地跑1280億參數大模型!AMD銳龍AI Max+ 395重磅升級
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com