中興AX5400Pro+上手體驗：再升級 雙2.5G網(wǎng)口+USB 3.0這次全都有
2021年11月的時候，中興先后發(fā)布了兩款路由器產(chǎn)品，中興AX5400和中興AX5400 Pro，從產(chǎn)品命名上就不難看出這是隸屬于同一系列的，但在外觀設(shè)計上這兩款產(chǎn)品可以說是完全沒一點關(guān)系
這年頭，安卓廠商沒個大模型，都不敢開手機發(fā)布會了。
前腳OPPO剛用大模型升級了語音助手，后腳vivo就官宣自研手機AI大模型;
小米發(fā)布會則直接將大模型當(dāng)場塞進(jìn)手機系統(tǒng)……其競爭激烈程度，不亞于搶芯片首發(fā)。
到底是怎么回事?
究其原因，還是智能終端已經(jīng)成為了各類AIGC應(yīng)用的落地“新灘頭”。
先是圖像生成大模型接二連三地被塞進(jìn)手機，從十億參數(shù)的Stable Diffusion，在手機上快速生成一只金毛小狗：
相比于云端，移動終端的算力更為受限。想要把大模型裝進(jìn)手機，算力問題自然構(gòu)成了第一重挑戰(zhàn)。
計算單元之外，有限的內(nèi)存單元，是大模型進(jìn)手機面臨的第二道難關(guān)：大模型推理需要大量計算資源做支撐，與此同時，內(nèi)存大小決定了數(shù)據(jù)處理速度的上限以及推理的穩(wěn)定性。
在手機上跑大模型，也給電池帶來了更大的壓力。因此芯片能耗成為一大關(guān)鍵。
在各大廠商的最新探索之中，我們可以觀察到，解決之道目前分為軟、硬兩路。
先來看硬件部分。
高通最新推出的第三代驍龍8移動平臺，就被定位為高通“首個專門為生成式AI打造的移動平臺”：
能夠在終端側(cè)運行100億參數(shù)大模型，面向70億參數(shù)大語言模型，每秒能生成20個token。
較之前代產(chǎn)品，第三代驍龍8最重要的變化，就是驅(qū)動終端側(cè)AI推理加速的高通AI引擎。
這個AI引擎由多個硬件和軟件組成，包括高通Hexagon NPU、Adreno GPU、Kryo CPU和傳感器中樞。
其中最核心、與AI最密切相關(guān)的，是Hexagon NPU。
高通公布的數(shù)據(jù)顯示，Hexagon NPU在性能表現(xiàn)上，比前代產(chǎn)品快98%，同時功耗降低了40%。
具體而言，HexagonNPU升級了全新的微架構(gòu)。更快的矢量加速器時鐘速度、更強的推理技術(shù)和對更多更快的Transformer網(wǎng)絡(luò)的支持等等，全面提升了HexgonNPU對生成式AI的響應(yīng)能力，使得手機上的大模型“秒答”用戶提問成為可能。
Hexagon NPU之外，第三代驍龍8在SensingHub(傳感器中樞)上也下了功夫：增加下一代微型NPU，AI性能提高3.5倍，內(nèi)存增加30%。
值得關(guān)注的是，官方提到，Sensing Hub有助于大模型在手機端的“定制化”。隨時保持感知的SensingHub與大模型協(xié)同合作，可以讓用戶的位置、活動等個性化數(shù)據(jù)更好地為生成式AI所用。
而在內(nèi)存方面，第三代驍龍8支持LPDDR5X，頻率從4.2GHz提高到了4.8GHz，帶寬77GB/s，最大容量為24GB。
更快的數(shù)據(jù)傳輸速度，更大的帶寬，也就意味著第三代驍龍8能夠支持更大更復(fù)雜的AI模型。
并且，此番高通在內(nèi)存和Hexagon NPU矢量單元之間增加了直連通道，進(jìn)一步提高了AI處理效率。
恰逢驍龍峰會期間，SK海力士還特別宣布，其產(chǎn)品LPDDR5T已經(jīng)在高通第三代驍龍8上完成了性能及兼容性驗證，速度達(dá)到9.6Gbps。由此看來，搭載第三代驍龍8的手機在內(nèi)存方面還有更多的選擇。
除此之外，在CPU方面，第三代驍龍8采用“1+5+2”架構(gòu)(1個主核心、5個性能核心和2個能效核心)，相較于前代的“1+4+3”，將1個能效核心轉(zhuǎn)換為性能核心。其中超大核頻率提升到3.3GHz，性能核心頻率提升到最高3.2GHz，能效核心頻率提升到2.3GHz。
新架構(gòu)下，Kryo CPU性能提高了30%，功耗降低了20%。
GPU方面，第三代驍龍8則在性能和能效方面均實現(xiàn)25%的提升。
AI引擎之外，第三代驍龍8的ISP、調(diào)制解調(diào)器等其他模塊，也已根植AI基因。
現(xiàn)在，高通的認(rèn)知ISP是醬嬸的：
支持多達(dá)12層的照片/視頻幀實時語義分割;
融合生成式AI技術(shù)，支持聲控拍照和視頻編輯;
支持利用AI技術(shù)從視頻中刪除不需要的人和物;
支持AI擴展照片;
……
量化是壓縮AI模型的一種經(jīng)典方法，然而此前在壓縮Transformer模型的時候，容易出現(xiàn)一些問題。
這篇論文提出了兩種方法來對Transformer模型進(jìn)行量化，在確保壓縮效果的同時，進(jìn)一步提升模型輸出性能，確保模型看起來“更小更好”。
然后，還需要增強大模型軟件在不同軟件終端之間的通用性，進(jìn)一步加速落地。
對于大模型而言，從一個硬件設(shè)備遷移到另一個硬件設(shè)備，并沒有想象中那么容易。
不同的計算平臺之間，硬件的配置往往差異很大，電腦上能運行的大模型，放到手機上還真不一定就能立刻運行。
而這也正是阻礙大模型在種類繁多、部件繁雜的智能終端落地的另一重原因。
對此，高通的準(zhǔn)備是一個“轉(zhuǎn)換器”一樣的角色：高通AI軟件棧。
這是一套容納了大量AI技術(shù)的工具包，全面支持各種主流AI框架、不同操作系統(tǒng)和各類編程語言，能提升各種AI軟件在智能終端上的兼容性。
不僅如此，這套軟件棧還包含高通AI Studio，相當(dāng)于將高通的所有AI工具集成到一起，直接進(jìn)行可視化開發(fā)。
其中，如AI模型增效工具包、模型分析器和神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索(NAS)等都在里面。
AI軟件只需要在里面從設(shè)計、優(yōu)化、部署到分析“走一趟流程”，就能快速轉(zhuǎn)換成在其他操作系統(tǒng)和平臺上也可以運行的軟件產(chǎn)品。
只需要一次開發(fā)，甚至是大模型軟件的開發(fā)，就能讓它在多個平臺運行，不需要擔(dān)心適配的問題，像StableDiffusion就已經(jīng)部署到其中，其他平臺也同樣可以隨取隨用了。
這樣一來，不僅僅是將百億參數(shù)大模型塞進(jìn)手機，甚至還能將它塞進(jìn)汽車、XR、PC和物聯(lián)網(wǎng)。
原本的設(shè)備類型繁多的缺點也能化為優(yōu)勢，進(jìn)一步加速大模型軟件的落地。
總結(jié)來看，大模型移植到智能終端所需的技術(shù)，不僅是硬實力，軟件上也同樣需要有所儲備。
所以，對于在大模型時代下蓄勢待發(fā)的移動端軟硬件廠商而言，究竟如何才能抓住這次難得的機遇?
或者說，各廠商要如何提前做好準(zhǔn)備，才能確保大模型時代依舊屹立于技術(shù)浪潮之巔?
大模型時代需要怎樣的終端芯片
一個時代有一個時代的計算架構(gòu)。
深度學(xué)習(xí)時代是如此，計算攝影時代是如此，大模型時代依舊如此——
無論軟硬件，「模力時代」下的智能終端芯片評判標(biāo)準(zhǔn)已經(jīng)悄然生變。
一方面，對于硬件性能而言，芯片已經(jīng)從單純的硬件性能對比、算力較量、功耗計算，逐漸轉(zhuǎn)變成對AI算力的比拼，甚至是對AI軟硬件技術(shù)能力的全面要求。
這種轉(zhuǎn)變，從大模型廠商巨頭的技術(shù)儲備棧變化可以窺見一斑。
以微軟為例，這家科技巨頭和云廠商，近期開始注重起AI軟硬件結(jié)合的技術(shù)，如大模型訓(xùn)練等。
在微軟前不久的一篇訓(xùn)練研究中，就系統(tǒng)闡述了大模型在FP8精度下訓(xùn)練的效果，能在同樣硬件成本下，訓(xùn)練更大規(guī)模的大模型、同時確保訓(xùn)練出來的模型性能。
△圖源論文FP8-LM: Training FP8 Large Language Models
以AI算法研究著稱的OpenAI，則被曝出有造芯的意向，開始朝硬件方向的技術(shù)發(fā)力。
顯然，從不同科技巨頭最新研究中能看出，在這個技術(shù)日新月異的時代，手握一張底牌就能抓住機遇、打出自身價值的概率，正變得越來越低。
如果還停留在“硬件公司造好芯、軟件公司做好算法”的階段，勢必只會被其他虎視眈眈的廠商超過，在「模力時代」失去已有的競爭力。
反觀硬件場景有優(yōu)勢的芯片公司，亦是如此。
除了硬件性能的提升以外，與時俱進(jìn)擴展軟件技術(shù)棧、提升軟硬件結(jié)合的AI能力，同樣不可或缺。
高通在前陣子推出的白皮書中就提到，將大模型部署到個人智能終端上，不僅要考慮硬件，也同樣需要考慮模型個性化、計算量等問題。
但相比等待大模型廠商去解決這些問題，高通選擇自己在軟件方面進(jìn)行研究，最新成果也同樣實時寫成論文分享出來。
只有這樣，才能更好地了解算法軟件側(cè)對于硬件的需求，從而更好地提升芯片的性能。
另一方面，對于算力更受限、用戶范圍更廣的終端而言，未來的趨勢必然是無縫互聯(lián)。這就意味著，跨平臺適用性會成為AI解決方案的關(guān)鍵。
這種動向，從今年的驍龍峰會上發(fā)布的Snapdragon Seamless技術(shù)就能窺見一斑。
像是將平板上的照片，用鼠標(biāo)就能“一鍵平移”到PC，在電腦上進(jìn)行快速處理：
本文鏈接：http://www.tebozhan.com/showinfo-16-27244-0.html掰開安卓手機，滿屏都是三個字：大模型
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號