07月13日消息，外媒Semianalysis最近對OpenAI于今年3月發布的GPT-4大模型進行了深度揭秘。據他們透露，GPT-4在架構和參數方面有著顯著的提升，以及采用了混合專家模型(Mixtureof Experts)的構建方式。hdn28資訊網——每日最新資訊28at.com

據悉，GPT-4采用了混合專家模型，這種模型利用數據進行訓練，將多個模型分別訓練后，將它們的輸出整合為一個單獨的任務。為了保持合理的成本，OpenAI選擇了這種方式進行構建。GPT-4總共有120層，包含了1.8萬億個參數，相比之下，GPT-3只有約1750億個參數，可見其在規模上的巨大提升。hdn28資訊網——每日最新資訊28at.com

hdn28資訊網——每日最新資訊28at.com

GPT-4使用了16個混合專家模型，每個模型擁有1110億個參數，并且每次前向傳遞路由都會經過兩個專家模型。此外，它還擁有550億個共享注意力參數。為了進行訓練，OpenAI使用了一個包含13萬億個tokens的數據集，這些tokens并非唯一，而是根據迭代次數計算出更多的tokens。hdn28資訊網——每日最新資訊28at.com

hdn28資訊網——每日最新資訊28at.com

據ITBEAR科技資訊了解，GPT-4在預訓練階段的上下文長度為8k，32k版本則是對8k版本的微調結果。然而，GPT-4的訓練成本非常高昂。根據外媒報道，即使使用了8倍H100物理機，也無法以每秒33.33個token的速度提供所需的密集參數模型。據估算，一次GPT-4的訓練成本高達6300萬美元(約4.51億元人民幣)。hdn28資訊網——每日最新資訊28at.com

為了降低訓練成本，OpenAI選擇在云端使用A100GPU進行模型訓練，最終將訓練成本降低至大約2150萬美元(約1.54億元人民幣)，盡管需要更長的時間來完成訓練過程。這一舉措在一定程度上減輕了訓練成本的壓力。hdn28資訊網——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-45-999-0.htmlGPT-4：突破巨大參數規模的下一步之旅

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 前沿技術、機器人和集成電路成為人工智能領域熱門融資領域

下一篇： 新一代AI筆記應用Notebook LM亮相：優化信息整理與解答需求