掘力計劃第 20 期：Flutter 混合開發(fā)的混亂之治
在掘力計劃系列活動第20場，《Flutter 開發(fā)實戰(zhàn)詳解》作者，掘金優(yōu)秀作者，Github GSY 系列目負(fù)責(zé)人戀貓的小郭分享了Flutter 混合開發(fā)的混亂之治。Flutter 基于自研的 Skia 引擎
阿里云優(yōu)惠券 先領(lǐng)券再下單
用幾塊3000元顯卡作為加速主力的一體機(jī)，就能跑通671B的DeepSeek。
放在個把月前，你敢想象這樣的場景么？
正在埋頭苦干，希望有更多樣化產(chǎn)品交付的一體機(jī)廠商們，pick英特爾銳炫™ 顯卡 + 至強(qiáng)® W 處理器這套組合拳，首要原因就是它的成本確實誘人——基本算是砍掉了一個數(shù)量級（下線可以控制在10萬元以內(nèi)）。
其次就是這套組合也很能打，上面那個場景就是它目前的“標(biāo)桿式”戰(zhàn)績。
這兩點加起來就是“真香”定律的復(fù)現(xiàn)。
但別光說不練，這種極具性價比的一體機(jī)實測的體感到底如何呢？
帶著這個問題，我們直接上手親自測試了一波。
例如我們先用QwQ-32B離線狀態(tài)下問了個經(jīng)典題目：
>9.9和9.11哪個大？
從效果上來看，若是**單人**使用，一體機(jī)的速度已經(jīng)達(dá)到了**32 tokens/s**。
講真，這個速度在體感上已經(jīng)是非常OK了。
而且這還不是個偶然事件，在同樣的情況下，我們再問一個問題：
>一個外星人來到地球后等可能選擇以下四件事中的一件完成：
>1，自我毀滅；
>2，分裂成兩個外星人；
>3，分裂成三個外星人；
>4，什么都不做。
>此后每天，每個外星人均會做一次選擇，且彼此之間相互獨立。
>求地球上最終沒有外星人的概率。
同樣的，輸出速度依舊是非常的快。
而當(dāng)同時使用人數(shù)增加時，我們做了初步的計算，其每秒tokens的速度大概是這樣的：
那么如果是地獄難度的671B DeepSeek R1，結(jié)果又會如何呢？
畢竟即便是Q4量化版本，以往承載它的一體機(jī)成本動輒就要達(dá)到200萬元。
請聽題：
>一個漢字具有左右結(jié)構(gòu)，左邊是木，右邊是乞。這個字是什么？只需回答這個字即可。
如此大體量的大模型，這種10萬元級別的一體機(jī)依然可以達(dá)到10 tokens/s的速度。
雖然體感上會覺得稍慢一些，但夠用卻是真的。
而且有一說一，輸出速度夠快、時延夠低、性價比夠高，還只是這種英特爾一體機(jī)的優(yōu)點的一隅。
在它的背后，還有易部署、易操作等特點。
那么為何基于英特爾的一體機(jī)可以做到如此物美價廉？
##價低質(zhì)優(yōu)的一體機(jī)，是如何煉就的？
正如我們剛才提到的，10萬級別的一體機(jī)能有如此實用質(zhì)感，其關(guān)鍵就是英特爾的組合拳：
銳炫™ 顯卡 + 至強(qiáng)® W 處理器。
首先我們來看下這張英特爾銳炫™ 顯卡。
它是英特爾專門為AI和圖形處理打造的高性能顯卡，不僅游戲表現(xiàn)亮眼，在AI推理、視頻處理這些專業(yè)領(lǐng)域也很能打。
銳炫™ 顯卡采用了最新的Xe架構(gòu)，內(nèi)置XMX AI加速引擎，提供強(qiáng)大的AI加速能力，支持Ollama和vLLM serving等多種大模型主流框架，跑大模型推理可以說是完全沒有壓力。
而且它還支持TensorFlow、PyTorch這些主流AI框架，搭配OpenVINO™ 工具套件還能進(jìn)一步優(yōu)化性能，讓AI任務(wù)跑得更快、更省資源。
銳炫™ 顯卡還有一個特點，就是特別適合邊緣計算——
銳炫™ 顯卡針對邊緣計算場景優(yōu)化，提供低功耗（110-150瓦）和小尺寸選項，支持PCIe Gen 4接口，并為邊緣應(yīng)用場景承諾五年產(chǎn)品供應(yīng)和軟件支持。
也正像剛才展示的那樣，比如DeepSeek、Qwen這些開源模型，銳炫™顯卡能輕松搞定，尤其是支持多卡并聯(lián)，2卡、4卡甚至8卡都能配，性能直接起飛。
而且裝載它的一體機(jī)不僅僅能作為AI或大模型一體機(jī)來使用，有需求時還能用來執(zhí)行視頻分析、8K視頻編解碼、3D渲染這些高負(fù)載任務(wù)，一機(jī)多用，性價比超高。
除了顯卡之外，至強(qiáng)® W 處理器，這塊適用于工作站和一體機(jī)的“性能怪獸”CPU，也是一個關(guān)鍵點。
從算力層面來看，它最高60核的配置，搭配DDR5-4800內(nèi)存和TB級內(nèi)存擴(kuò)展，跑大模型、做數(shù)據(jù)處理都游刃有余。
它內(nèi)置的AMX（高級矩陣擴(kuò)展）技術(shù)，就算沒有獨立顯卡，也能加速中小規(guī)模參數(shù)的大語言模型推理，性價比也是直接拉滿。
至強(qiáng)® W 處理器能與銳炫™ 顯卡搭檔的原因還有它支持多顯卡配置，擁有多達(dá)112條PCIe Lane，PCIe 5.0通道管夠。
在此之上，英特爾還通過統(tǒng)一的計算架構(gòu)和優(yōu)化工具鏈，讓銳炫™ 顯卡和至強(qiáng)® W 處理器，發(fā)揮出1+1＞2的效果。例如：
· IPEX-LLM：專門為大模型優(yōu)化，支持DeepSeek、Qwen、Llama等主流開源模型，讓CPU+GPU協(xié)同推理更高效。
· OpenVINO™ 工具套件：優(yōu)化AI推理，自動分配任務(wù)給CPU或GPU，還能壓縮模型，減少內(nèi)存占用，提升速度。
· oneAPI：統(tǒng)一編程模型，開發(fā)者只需寫一次代碼，就能同時在CPU和GPU上運行，不用再為不同硬件適配發(fā)愁。
總而言之，英特爾可以說是通過硬件協(xié)同+軟件優(yōu)化，讓CPU和GPU不再是孤立的計算單元，而是高效配合的“黃金搭檔”。
這也就不難理解為什么基于英特爾解決方案的一體機(jī)，能夠做到如此的價低+質(zhì)優(yōu)了。
##實戰(zhàn)：如何在英特爾架構(gòu)一體機(jī)上玩轉(zhuǎn)DeepSeek？
看過Demo演示和一體機(jī)介紹，你可能會好奇，假如現(xiàn)在就有機(jī)會拿到一臺這樣的一體機(jī)，該怎么用它把DeepSeek跑起來？
首先要配置系統(tǒng)環(huán)境，更新GPU驅(qū)動版本必不可少。
主要框架是英特爾IPEX-LLM版本的llama.cpp，
以Linux系統(tǒng)為例，IPEX-LLM llama.cpp portable tgz包
在這個框架中，推薦使用GGUF格式的模型，這里使用unsloth開源版本來說明。
開啟終端后，輸入以下命令進(jìn)入解壓縮后的文件夾：
cd /PATH/TO/EXTRACTED/FOLDER
要使用英特爾GPU加速，在運行 llama.cpp 之前，需要設(shè)置如下環(huán)境變量：
export SYCL_CACHE_PERSISTENT=1
接下來，如果要運行的是671B版本DeepSeek-R1，就要請出FlashMoE來幫忙了。
DeepSeek-R1基于MoE架構(gòu)，其實滿血版的激活參數(shù)僅約37億，但還是需要完整加載整個模型，這也是對于一體機(jī)來說最大的難點。
FlashMoE是一款基于llama.cpp構(gòu)建的命令行工具，專為MoE模型進(jìn)行優(yōu)化，整合了至強(qiáng)® W處理器內(nèi)置的AMX/AVX-512技術(shù)和GPU加速庫，進(jìn)一步釋放CPU與GPU的異構(gòu)協(xié)作能力，能在較低的硬件成本下獲得更高的推理吞吐量與更優(yōu)的性能表現(xiàn)。
在llama.cpp + FlashMoE組合加持下，初步的性能驗證表明，在單路至強(qiáng)® W處理器加2-4塊英特爾銳炫™ A770顯卡配置下，本文所述方案可以獲得接近10 Token/s 的性能表現(xiàn)，已能滿足企業(yè)級生成式AI，例如離線語音助手、文檔摘要等應(yīng)用場景的需求。
總的來說，這套高度集成的軟硬一體模式，既滿足了長上下文推理需求，又實現(xiàn)了能耗和成本的可控，為 AI 服務(wù)規(guī)模化落地提供了可靠且易用的基礎(chǔ)設(shè)施。同時，它能更好地滿足近期用戶在 DeepSeek 或其他開源大模型實踐中的迫切需求，部署方式更靈活、更貼近業(yè)務(wù)環(huán)境，響應(yīng)速度更快，還在數(shù)據(jù)安全和隱私保護(hù)方面具有先天優(yōu)勢。
以上是針對671B版DeepSeek的部署方法簡要介紹，但實際上，蒸餾版憑借其精簡而高效的特點，能夠更好地貼合各行業(yè)的實際業(yè)務(wù)場景和需求。
蒸餾版和滿血版的部的部署指南，都可在英特爾官網(wǎng)搜索“銳炫一體機(jī)”獲取。
它在應(yīng)對這些行業(yè)的常規(guī)任務(wù)時，不僅能夠提供足夠的處理能力和精準(zhǔn)度，還能以更加靈活和易于部署及適配的方式融入到行業(yè)的業(yè)務(wù)流程當(dāng)中。
##“低成本+高效率”的路子還在繼續(xù)
隨著DeepSeek的影響力不斷擴(kuò)大，大模型發(fā)展迎來了新的趨勢：走向推理普及化。
在以往，算力大多被集中投入到模型訓(xùn)練中，但在未來，算力資源的分配將發(fā)生顯著轉(zhuǎn)變，更多的算力會被應(yīng)用于推理環(huán)節(jié)而非訓(xùn)練。
（圖源：IDC&浪潮信息）
從應(yīng)用場景和市場選擇來看，除了超大規(guī)模的數(shù)據(jù)中心依舊在大模型運算中扮演關(guān)鍵角色外，一體機(jī)憑借其獨特的優(yōu)勢，正成為越來越多企業(yè)的心儀之選。
而在這個趨勢之中，一體機(jī)的優(yōu)勢就在于“低成本+高效率”，具體而言：
首先，一體機(jī)啟動成本低。與傳統(tǒng)分散式設(shè)備組合搭建系統(tǒng)相比，其在硬件采購、軟件授權(quán)和初始配置等方面資金投入少，企業(yè)無需花大量前期資金構(gòu)建完整運作體系，能以較低成本開啟業(yè)務(wù)或辦公流程。
同時，一體機(jī)易于維護(hù)部署。其高度集成化設(shè)計優(yōu)化硬件兼容性，減少硬件不匹配故障。日常維護(hù)中，其整體性強(qiáng)，便于技術(shù)人員進(jìn)行故障排查和維修，提高維護(hù)效率、降低難度。
此外，一體機(jī)可常駐用戶辦公與業(yè)務(wù)環(huán)境邊緣加速操作，在靠近數(shù)據(jù)源頭和使用場景處運行，減少數(shù)據(jù)傳輸距離和時間，降低延遲，提升業(yè)務(wù)處理速度和響應(yīng)效率。
當(dāng)然，一體機(jī)只是運行模型的硬件基礎(chǔ)，從英特爾最近的動作看來，對接和擴(kuò)展更多接地氣的AI應(yīng)用才是下一步重點：
聯(lián)合Hugging Face、Anyscale、Zilliz等AI行業(yè)合作伙伴推出的企業(yè)AI開放平臺 (OPEA) ，就是最好的證明。
如何理解OPEA？
首先，它提供了搭建大模型應(yīng)用所需的零件，如提示引擎、數(shù)據(jù)處理、記憶系統(tǒng)、安全護(hù)欄等一起打包提供，解決生成式AI技術(shù)的工具碎片化問題。
然后，它還是一款評估和優(yōu)化應(yīng)用，能夠從性能、可信度、可擴(kuò)展性和彈性等方面對AI應(yīng)用進(jìn)行 “體檢”。以電商推薦商品的 AI 應(yīng)用為例，通過 “體檢” 可對應(yīng)用進(jìn)行針對性的改進(jìn)，使其更實用。
所以眾多合作伙伴加入，共建這個項目也就不奇怪了。
隨著越來越多的合作伙伴加入，OPEA生態(tài)將不斷發(fā)展壯大并衍生出多樣化的發(fā)展路徑。
例如中國開放智能計算產(chǎn)業(yè)聯(lián)盟（COIA）目前已匯聚近60家成員單位，專注于推動企業(yè)AI生態(tài)協(xié)同發(fā)展。該聯(lián)盟即將推出“Powered By OPEA”認(rèn)證體系，旨在確保合作伙伴間OPEA生態(tài)的互聯(lián)互通。
作為業(yè)界首個企業(yè)級AI應(yīng)用認(rèn)證標(biāo)準(zhǔn)，該體系將成為OPEA生態(tài)的核心保障機(jī)制，為通過認(rèn)證的產(chǎn)品授予跨平臺互操作性標(biāo)識。
“Powered By OPEA”認(rèn)證將促進(jìn)AI產(chǎn)業(yè)生態(tài)的完善，加速企業(yè)AI標(biāo)準(zhǔn)化進(jìn)程，并最終發(fā)展成為企業(yè)選擇生成式AI組件的重要信任基準(zhǔn)。
“AI無處不在”的故事在持續(xù)上演。
(來源：量子位 作者：金磊 夢晨)
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
本文鏈接：http://www.tebozhan.com/showinfo-20-144849-0.html榨干3000元顯卡,跑通千億級大模型的秘方來了
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號