8 月 12 日消息,科技媒體 WccfTech 昨日(8 月 11 日)發布博文,報道稱英特爾為其銳炫 Pro 系列 GPU 的 Battlematrix 項目,發布首個重磅軟件更新 LLM Scaler v1.0,重點優化了 AI 推理能力。
曾于 5 月報道,英特爾在 COMPUTEX 2025 臺北國際電腦展上,推出銳炫 Arc Pro B50 和 B60 兩張顯卡之外,還推出了 Project Battlematrix 推理工作站平臺,支持最多 8 張銳炫 Pro 顯卡并具備軟件包支持,能運行高達 150B 參數的中等規模且精度高的 AI 模型。
Battlematrix 平臺集成硬件與定制化軟件棧,優化推理性能和企業部署體驗;而 LLM Scaler 是基于 vLLM 框架開發的 AI 大模型推理容器,支持多 GPU 擴展、長序列高效推理及多模態任務。
LLM Scaler v1.0 重點優化了 vLLM 推理框架,對于 32B KPI 模型,40K 序列長度下性能提升可達 1.8 倍;70B KPI 模型同條件下提升高達 4.2 倍,8B 至 32B 規模模型輸出吞吐量較上版提升約 10%。
該版本還引入分層在線量化,有效降低顯存占用,并支持管道并行、數據并行、多模態模型及嵌入、重排序等功能,提升模型適應性與擴展性。
為便于企業級運維,LLM Scaler v1.0 集成了 XPU Manager 工具,支持 GPU 電源管理、固件升級、診斷及顯存帶寬檢測。
新容器基于 Linux 平臺,充分利用多 GPU 擴展和 PCIe 點對點數據傳輸,實現最高 80% 的整體性能提升,系統同時具備 ECC、SRIOV、遙測與遠程固件更新等可靠性與可管理性特性,滿足企業級部署需求。
英特爾強調,新軟件棧遵循行業標準,兼容主流開發流程,OneCCL 基準測試工具的集成也為開發者調優和性能評測提供了便利,進一步豐富了 Battlematrix 平臺的生態支持。
根據英特爾路線圖,本季度內還將發布更為穩固的容器版本,進一步優化 vLLM 服務能力。預計到今年第四季度,Battlematrix 項目將實現全功能版本落地,推動大模型推理平臺的持續升級,為專業領域用戶帶來更高效、更易用的 AI 解決方案。
本文鏈接:http://www.tebozhan.com/showinfo-45-26085-0.html英特爾升級多顯卡 AI 推理,Battlematrix 整體性能最高提升 80%
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com