對標蘋果的靈動島 華為帶來實況窗功能
繼蘋果的靈動島之后，華為也在今天正式推出了“實況窗”功能。據(jù)今天鴻蒙OS 4.0的現(xiàn)場演示顯示，華為的實況窗可以更高效的展現(xiàn)出實時通知，比如鎖屏上就能看到外賣、打車、銀行
近日，中國聯(lián)通持續(xù)技術攻堅，依托元景大模型 MaaS 平臺成功搭建“大規(guī)模專家并行”推理集群，實現(xiàn) DeepSeek MoE 大模型在多節(jié)點間的超高效集群推理，單卡吞吐提升 3 倍，解碼時延降低 50%。這一成果不僅為人工智能技術的創(chuàng)新發(fā)展提供了強大助力，也讓各行業(yè)以更高效率應用 AI 技術，加速推動千行百業(yè)的數(shù)字化轉型。
伴隨大模型 MoE 結構重大技術革新，以往少量“全能型”專家的模式逐漸被取代，大量“專科型”小專家逐漸成為主流。這一轉變，極大地提升了模型的針對性和精細化程度，使得模型效果顯著改善。
推理應用在各行業(yè)的落地隨之全面加速，市場對于推理服務的需求呈井噴式增長，Tokens 處理量的需求與日俱增，這對推理系統(tǒng)的性能提出了更高的要求。為應對這一挑戰(zhàn)，大規(guī)模專家并行推理技術應運而生，為大模型推理的加速規(guī)模應用提供了強大的技術支撐。
聯(lián)通元景大模型與昇騰深度合作，圍繞大規(guī)模專家并行推理技術展開全方位創(chuàng)新，將 DeepSeek 671B 滿血版大模型的數(shù)百個“專科型”小專家按最優(yōu)方式分布到不同的 NPU 上，使得單卡權重占用顯存降低 75%，權重加載耗時大幅減少，可用于數(shù)據(jù)計算的顯存顯著增加。
在通信環(huán)節(jié)，雙方對集群跨機通信方案進行深度優(yōu)化，通過引入先進計算與通信并行算法，整體通信效率提升 40%。此外，雙方聯(lián)合創(chuàng)新多級負載均衡算法，精準識別并均衡各 NPU 的負載，將卡間負載差異成功控制在 10% 以下，有效提升系統(tǒng)吞吐和計算資源利用率。
聯(lián)通元景大模型 MaaS 平臺結合大規(guī)模專家并行推理集群系統(tǒng)，基于 DeepSeek 671B 滿血版大模型持續(xù)進行針對性推理優(yōu)化創(chuàng)新，打造高可靠、高性能、易運維推理服務。
圍繞高可靠
依托實例內和實例間的多級容災機制，保障業(yè)務連續(xù)性，提供長穩(wěn)推理服務。圍繞高性能，進行高并發(fā)請求調度、管理、轉發(fā)等，打造整個集群的高效數(shù)據(jù)請求管理入口。
圍繞易運維
進行集群內推理業(yè)務狀態(tài)監(jiān)控、以及 PD 身份和資源管理與決策等，打造整個推理集群的狀態(tài)監(jiān)控器和決策大腦，持續(xù)提升大規(guī)模專家并行推理集群易用性。
在數(shù)字經(jīng)濟蓬勃發(fā)展的浪潮中，中國聯(lián)通始終勇立潮頭，全面發(fā)力人工智能。從精心搭建智算基礎設施，構建強大算力“引擎”，到成功落地大規(guī)模專家并行推理集群，打造高性能低時延推理“中樞”，聯(lián)通元景大模型持續(xù)筑牢國產化智算底座，以技術需求雙輪驅動，打造“普惠速成”的元景 MaaS 平臺，讓人工智能更簡單，為 AI 產業(yè)發(fā)展注入強勁的“加速度”。
這一推理創(chuàng)新舉措必將助力各行業(yè)在復雜多變、競爭激烈的市場環(huán)境中搶占先機，以智能化驅動數(shù)字化轉型，進而推動實體經(jīng)濟高質量發(fā)展。
本文鏈接：http://www.tebozhan.com/showinfo-26-141944-0.html大規(guī)模專家并行推理集群實現(xiàn)性能 3 倍躍遷，聯(lián)通元景開啟推理新紀元
聲明：本網(wǎng)頁內容旨在傳播知識，若有侵權等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號