IBM近期揭曉了其Granite 4.0系列中的一款迷你版模型——Granite 4.0 Tiny預(yù)覽版的細(xì)節(jié)。這款模型在5月2日進(jìn)行了介紹，是Granite系列中的小型版本之一。zua28資訊網(wǎng)——每日最新資訊28at.com

Granite 4.0 Tiny Preview以其卓越的計算效率和極低的內(nèi)存需求脫穎而出。在FP8精度下，它僅需12GB顯存便能同時運(yùn)行5個128KB上下文窗口的對話。這樣強(qiáng)大的性能只需一張英偉達(dá)GeForce RTX 3060 12GB顯卡便能實(shí)現(xiàn)，該顯卡的建議零售價為329美元（約2383元人民幣）。zua28資訊網(wǎng)——每日最新資訊28at.com

盡管目前預(yù)覽版僅訓(xùn)練了2.5T的Token數(shù)，但其性能已能與訓(xùn)練了12T Token的Granite 3.3 2B Instruct相媲美。更令人驚訝的是，在128KB上下文窗口下支持16個并發(fā)會話時，其內(nèi)存需求降低了約72%。據(jù)IBM透露，最終版本的Granite 4.0 Tiny預(yù)計性能將達(dá)到甚至超越Granite 3.3 8B Instruct的水平。zua28資訊網(wǎng)——每日最新資訊28at.com

zua28資訊網(wǎng)——每日最新資訊28at.com

Granite 4.0 Tiny Preview的總參數(shù)規(guī)模為70億，但實(shí)際參與計算的活躍參數(shù)僅為10億。它基于Granite 4.0系列全線采用的混合Mamba-2/Transformer架構(gòu)，這種架構(gòu)結(jié)合了速度與精度，有效降低了內(nèi)存消耗，同時保持了出色的性能。zua28資訊網(wǎng)——每日最新資訊28at.com

目前，Granite 4.0 Tiny預(yù)覽版已在Hugging Face平臺上以標(biāo)準(zhǔn)的Apache 2.0許可證開放獲取。IBM計劃在今年夏天正式發(fā)布Granite 4.0系列的Tiny、Small和Medium版本，為用戶帶來更多選擇。zua28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-22-149084-0.htmlIBM預(yù)覽Granite 4.0 Tiny：12GB顯卡驅(qū)動5會話，高效低耗引領(lǐng)新潮流

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 雷諾Boreal SUV原型車路測曝光，設(shè)計源自Dacia Bigster引關(guān)注

下一篇： 5月9日短劇付費(fèi)熱度盤點(diǎn)，《錦鯉萌寶鬧京都》領(lǐng)跑，大盤熱度破五千六百萬