AVt天堂网 手机版,亚洲va久久久噜噜噜久久4399,天天综合亚洲色在线精品,亚洲一级Av无码毛片久久精品

當前位置：首頁 > 科技  > 數碼

AMD發布首個AI小語言模型：6900億token、推測解碼提速3.88倍

來源： 責編： 時間：2024-10-01 17:06:37 130觀看
導讀 快科技10月1日消息，AMD發布了自己的首個小語言模型(SLM)，名為“AMD-135M”。相比于越來越龐大的大語言模型(LLM)，它體積小巧，更加靈活，更有針對性，非常適合私密性、專業性很強的企業部署。AMD-135小模

快科技10月1日消息，AMD發布了自己的首個小語言模型(SLM)，名為“AMD-135M”。C2Y28資訊網——每日最新資訊28at.com

相比于越來越龐大的大語言模型(LLM)，它體積小巧，更加靈活，更有針對性，非常適合私密性、專業性很強的企業部署。C2Y28資訊網——每日最新資訊28at.com

AMD發布首個AI小語言模型：6900億token、推測解碼提速3.88倍C2Y28資訊網——每日最新資訊28at.com

AMD-135小模型隸屬于Llama家族，有兩個版本：C2Y28資訊網——每日最新資訊28at.com

一是基礎型“AMD-Llama-135M”，擁有多達6700億個token，在八塊Instinct MIM250 64GB加速器上訓練了六天。C2Y28資訊網——每日最新資訊28at.com

二是延伸型“AMD-Llama-135M-code”，額外增加了專門針對編程的200億個token，同樣硬件訓練了四天。C2Y28資訊網——每日最新資訊28at.com

AMD發布首個AI小語言模型：6900億token、推測解碼提速3.88倍創建與部署流程C2Y28資訊網——每日最新資訊28at.com

它使用了一種名為“推測解碼”(speculative decoding)的方法，通過較小的草稿模型，在單次前向傳播中生成多個候選token，然后發送給更大的、更精確的目標模型，進行驗證或糾正。C2Y28資訊網——每日最新資訊28at.com

這種方法可以同時生成多個token，不會影響性能，還可以降低內存占用，但因為數據交易更多，功耗也會增加。C2Y28資訊網——每日最新資訊28at.com

AMD還使用AMD-Llama-135M-code作為CodeLlama-7b的草案模型，測試了推測解碼使用與否的性能。C2Y28資訊網——每日最新資訊28at.com

比如在MI250加速器上，性能可提升多約2.8倍，銳龍AI CPU上可提升多約3.88倍，銳龍AI NPU上可提升多約2.98倍。C2Y28資訊網——每日最新資訊28at.com

AMD發布首個AI小語言模型：6900億token、推測解碼提速3.88倍推測解碼C2Y28資訊網——每日最新資訊28at.com

AMD發布首個AI小語言模型：6900億token、推測解碼提速3.88倍C2Y28資訊網——每日最新資訊28at.com

AMD-135M小模型的訓練代碼、數據集等資源都已經開源，遵循Apache 2.0。C2Y28資訊網——每日最新資訊28at.com

按照AMD的說法，它的性能與其他開源小模型基本相當或略有領先，比如Hellaswag、SciQ、ARC-Easy等任務超過Llama-68M、LLama-160M，Hellaswag、WinoGrande、SciQ、MMLU、ARC-Easy等任務則基本類似GTP2-124MN、OPT-125M。C2Y28資訊網——每日最新資訊28at.com

AMD發布首個AI小語言模型：6900億token、推測解碼提速3.88倍C2Y28資訊網——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-24-117135-0.htmlAMD發布首個AI小語言模型：6900億token、推測解碼提速3.88倍

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 銳龍7 9800X3D緩存不變還是104MB：頻率大漲！

下一篇： AMD發布首個AI小語言模型：6900億token、推測解碼提速3.88倍

標簽：
  • 熱門焦點
Top