3 月 1 日消息,科技媒體 smartprix 昨日(2 月 28 日)發(fā)布博文,報道稱 OpenAI 在介紹 GPT-4.5 模型的視頻中,意外泄露了 GPT-6 訓(xùn)練可能需要的 GPU 數(shù)量,暗示其規(guī)模將遠(yuǎn)超以往。
注:在 GPT-4.5 模型介紹視頻的 2 分 26 秒處,OpenAI 展示 GPT 4.5 功能的聊天記錄中,出現(xiàn)了“Num GPUs for GPT 6 Training”(訓(xùn)練 GPT-6 所需的 GPU 數(shù)量)的字樣。
雖然視頻中未對此進(jìn)行任何解釋,但“Num”可能暗示了一個前所未有的數(shù)字,該媒體推測高達(dá) 10 萬塊 GPU。
此前有消息稱,OpenAI 在訓(xùn)練 GPT-3 時使用了約 1 萬塊 GPU,而隨著模型的不斷迭代,對計算資源的需求也在不斷增加。
內(nèi)部代號為“Orion”的 GPT 4.5 在自然度和減少“幻覺”方面取得了重大進(jìn)展,其參數(shù)量可能超過 3 到 4 萬億。據(jù)推測,GPT 4.5 的訓(xùn)練使用了 3 萬到 5 萬塊 NVIDIA H100 GPU,訓(xùn)練成本約 7.5 億到 15 億美元(備注:當(dāng)前約 54.69 億到 109.37 億元人民幣)。
截圖中“Num”的含義尚不明確,它可能代表“Numerous”(大量),暗示 GPT-6 的訓(xùn)練規(guī)模遠(yuǎn)超以往。當(dāng)然,這也有可能只是 OpenAI 的一個煙霧彈,就像之前用“Strawberry”(草莓)作為 o1 系列的代號一樣。
本文鏈接:http://www.tebozhan.com/showinfo-45-11294-0.htmlOpenAI GPT-6 訓(xùn)練規(guī)模將創(chuàng)歷史新高:預(yù)估 10 萬張 H100 GPU,AI 訓(xùn)練成本達(dá)天文數(shù)字
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: OpenAI 擬將視頻生成工具 Sora 整合進(jìn) ChatGPT,并推出更強(qiáng)大 Sora Turbo
下一篇: 微軟 BioEmu-1 推動藥物研發(fā):從“單幀畫面”到“電影”,AI 精準(zhǔn)預(yù)測蛋白質(zhì)結(jié)構(gòu)變化