07月13日消息，外媒Semianalysis最近對OpenAI于今年3月發(fā)布的GPT-4大模型進行了深度揭秘。據(jù)他們透露，GPT-4在架構(gòu)和參數(shù)方面有著顯著的提升，以及采用了混合專家模型(Mixtureof Experts)的構(gòu)建方式。8uK28資訊網(wǎng)——每日最新資訊28at.com

據(jù)悉，GPT-4采用了混合專家模型，這種模型利用數(shù)據(jù)進行訓(xùn)練，將多個模型分別訓(xùn)練后，將它們的輸出整合為一個單獨的任務(wù)。為了保持合理的成本，OpenAI選擇了這種方式進行構(gòu)建。GPT-4總共有120層，包含了1.8萬億個參數(shù)，相比之下，GPT-3只有約1750億個參數(shù)，可見其在規(guī)模上的巨大提升。8uK28資訊網(wǎng)——每日最新資訊28at.com

8uK28資訊網(wǎng)——每日最新資訊28at.com

GPT-4使用了16個混合專家模型，每個模型擁有1110億個參數(shù)，并且每次前向傳遞路由都會經(jīng)過兩個專家模型。此外，它還擁有550億個共享注意力參數(shù)。為了進行訓(xùn)練，OpenAI使用了一個包含13萬億個tokens的數(shù)據(jù)集，這些tokens并非唯一，而是根據(jù)迭代次數(shù)計算出更多的tokens。8uK28資訊網(wǎng)——每日最新資訊28at.com

8uK28資訊網(wǎng)——每日最新資訊28at.com

據(jù)ITBEAR科技資訊了解，GPT-4在預(yù)訓(xùn)練階段的上下文長度為8k，32k版本則是對8k版本的微調(diào)結(jié)果。然而，GPT-4的訓(xùn)練成本非常高昂。根據(jù)外媒報道，即使使用了8倍H100物理機，也無法以每秒33.33個token的速度提供所需的密集參數(shù)模型。據(jù)估算，一次GPT-4的訓(xùn)練成本高達6300萬美元(約4.51億元人民幣)。8uK28資訊網(wǎng)——每日最新資訊28at.com

為了降低訓(xùn)練成本，OpenAI選擇在云端使用A100GPU進行模型訓(xùn)練，最終將訓(xùn)練成本降低至大約2150萬美元(約1.54億元人民幣)，盡管需要更長的時間來完成訓(xùn)練過程。這一舉措在一定程度上減輕了訓(xùn)練成本的壓力。8uK28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-45-999-0.htmlGPT-4：突破巨大參數(shù)規(guī)模的下一步之旅

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 前沿技術(shù)、機器人和集成電路成為人工智能領(lǐng)域熱門融資領(lǐng)域

下一篇： 新一代AI筆記應(yīng)用Notebook LM亮相：優(yōu)化信息整理與解答需求