在AI界的一次意外曝光中，一篇看似不起眼的博客文章竟成為了打開OpenAI大門的鑰匙。近日，AI云服務(wù)商Hyperbolic的聯(lián)合技術(shù)官Yuchen Jin在社交媒體上透露，研究員Keller Jordan僅憑一篇關(guān)于新型神經(jīng)網(wǎng)絡(luò)優(yōu)化器Muon的博客，便成功加入了OpenAI，并疑似參與到了GPT-5的研發(fā)中。XW728資訊網(wǎng)——每日最新資訊28at.com

Jin的這一爆料迅速引起了業(yè)界的廣泛關(guān)注。據(jù)悉，Keller Jordan的這篇博客發(fā)布于2024年12月，題為《Muon：神經(jīng)網(wǎng)絡(luò)隱藏層的優(yōu)化器》。文章詳細(xì)介紹了Muon的設(shè)計原理及其在實際應(yīng)用中的表現(xiàn)，特別是在提高訓(xùn)練速度方面的顯著成果。XW728資訊網(wǎng)——每日最新資訊28at.com

XW728資訊網(wǎng)——每日最新資訊28at.com

Keller Jordan在博客中提到，Muon是一個專門針對神經(jīng)網(wǎng)絡(luò)隱藏層二維參數(shù)的優(yōu)化器。它通過結(jié)合SGD-momentum生成的更新，并應(yīng)用牛頓-舒爾茨迭代法作為后處理步驟，來優(yōu)化這些參數(shù)。這種方法使得更新矩陣近似正交化，從而提高了訓(xùn)練效率。XW728資訊網(wǎng)——每日最新資訊28at.com

實驗結(jié)果顯示，Muon在多個任務(wù)上都取得了顯著的速度提升。例如，在CIFAR-10數(shù)據(jù)集上，它將訓(xùn)練速度記錄從3.3秒提高到了2.6秒，準(zhǔn)確率保持在94%。在NanoGPT快速運行競賽任務(wù)FineWeb上，Muon也將訓(xùn)練速度記錄提高了1.35倍。在擴展到更大規(guī)模參數(shù)時，Muon也繼續(xù)顯示出訓(xùn)練速度的提升。XW728資訊網(wǎng)——每日最新資訊28at.com

XW728資訊網(wǎng)——每日最新資訊28at.com

Keller Jordan在文章中還批判了當(dāng)前神經(jīng)網(wǎng)絡(luò)優(yōu)化研究中的一些不良現(xiàn)象，特別是糟糕的基線和過度宣傳的新方法。他強調(diào)，許多聲稱能夠擊敗AdamW的優(yōu)化器在實際應(yīng)用中并未能達到預(yù)期效果，這主要是因為這些研究在比較時往往沒有充分調(diào)整AdamW基線。XW728資訊網(wǎng)——每日最新資訊28at.com

Keller Jordan加入OpenAI的時間恰好是在他發(fā)布這篇博客之后。這一巧合不禁讓人猜測，Muon優(yōu)化器很可能正是他加入OpenAI的敲門磚。而鑒于OpenAI在GPT-5研發(fā)上的投入和期望，Muon很有可能成為這一劃時代大模型中的重要技術(shù)之一。XW728資訊網(wǎng)——每日最新資訊28at.com

然而，盡管Muon已經(jīng)取得了顯著的成果，但仍有許多問題有待解決。例如，Muon是否可以擴展到更大規(guī)模的訓(xùn)練？是否能在大型GPU集群中正確分布其使用的牛頓-舒爾茨迭代？以及Muon是否僅適用于預(yù)訓(xùn)練，而不適用于微調(diào)或強化學(xué)習(xí)工作負(fù)載？這些問題或許在GPT-5的研究中已經(jīng)得到了答案，但業(yè)界仍需持續(xù)關(guān)注Muon的發(fā)展和應(yīng)用。XW728資訊網(wǎng)——每日最新資訊28at.com

XW728資訊網(wǎng)——每日最新資訊28at.com

總的來說，Keller Jordan的這篇博客不僅為神經(jīng)網(wǎng)絡(luò)優(yōu)化研究帶來了新的思路和方法，也為他個人的職業(yè)生涯開啟了新的篇章。而Muon優(yōu)化器作為這一研究的成果，無疑將在未來的AI發(fā)展中發(fā)揮重要作用。XW728資訊網(wǎng)——每日最新資訊28at.com

XW728資訊網(wǎng)——每日最新資訊28at.com

XW728資訊網(wǎng)——每日最新資訊28at.com

舉報 0收藏 0打賞 0評論 0分享 0  更多>同類資訊智啟醫(yī)療未來，共筑湖口衛(wèi)健網(wǎng)絡(luò)安全新防線江西?民生?新聞?訊?為進一步提升全縣衛(wèi)健系統(tǒng)網(wǎng)絡(luò)安全防護水平，推動人工智能新技術(shù)在衛(wèi)生健康行業(yè)的規(guī)范應(yīng)用，6月13日下午，湖口縣衛(wèi)健系統(tǒng)網(wǎng)絡(luò)安全培訓(xùn)會在湖口縣中醫(yī)醫(yī)院舉行。 此次培訓(xùn)會的成功舉辦，為湖口縣…06-17黃仁勛論AI與就業(yè)：程序員或淘汰，但就業(yè)恐慌大可不必06-17iOS 26測試版來了！如何免費獲取并安裝嘗鮮？iOS 26 測試版是蘋果在 2025 年 WWDC 大會上發(fā)布的下一代 iPhone操作系統(tǒng)的預(yù)發(fā)布版本。 是的，iOS 26測試版，包括開發(fā)者測試版，現(xiàn)在是免費的。 返回“軟件更新”界面，iOS 26…06-17榮耀CEO李健國內(nèi)首亮相：發(fā)布“全球百萬雄鷹計劃”，引領(lǐng)AI終端生態(tài)轉(zhuǎn)型5月28日晚，在榮耀400系列新品發(fā)布會上，榮耀新任CEO李健首次亮相國內(nèi)發(fā)布會，并發(fā)表《真實就是力量》主題演講，用三個真實故事闡述“榮耀三部曲”：回歸真實，釋放潛能，自我超越。會上，李健官宣“全球百萬雄鷹計…06-17河北斥資3億打造數(shù)據(jù)新貴，涉足大數(shù)據(jù)與AI領(lǐng)域06-17華為WATCH 5：科技美學(xué)與健康智能新典范，2025年智能手表首選它融合未來科技美學(xué)設(shè)計，將時尚與科技完美交融；搭載鴻蒙智能與AI融合大模型，帶來更智能、便捷的操作體驗；具備AI賦能的智慧健康監(jiān)測功能，為用戶的健康保駕護航；在手勢和智感窗交互方面創(chuàng)新不斷，讓操作更加自然流暢…06-17小布助手全面進化，月活用戶突破1.5億，OPPO AI戰(zhàn)略成果顯著2023年，基于OPPO自主訓(xùn)練的安第斯大模型的全面賦能，小布助手在AI通話摘要、全局自然對話等方面迎來體驗突破，成為深受用戶喜愛的專屬AI伙伴；2024年1月，隨著生成式AI的全面爆發(fā)，OPPO憑借多年來在…06-17AI手機浪潮來襲！2025年全球滲透率預(yù)計達34%【環(huán)球網(wǎng)科技綜合報道】6月9日消息，Canalys最新發(fā)布的報告顯示，預(yù)計2025年全球AI手機滲透率將達到34%，端側(cè)模型的精簡以及芯片算力的升級將進一步助推AI手機向中端價位段滲透。 Canalys方面表…06-17小布助手月活破1.5億，引領(lǐng)AI手機時代，DeepSeek融合再升級2023年，基于OPPO自主訓(xùn)練的安第斯大模型的全面賦能，小布助手在AI通話摘要、全局自然對話等方面迎來體驗突破，成為深受用戶喜愛的專屬AI伙伴；2024年1月，隨著生成式AI的全面爆發(fā)，OPPO憑借多年來在…06-17英電信CEO：人工智能或致更多裁員，未來崗位縮減計劃升級？作為英國最大的寬帶服務(wù)提供商，BT于2023年宣布裁員計劃，旨在縮小企業(yè)規(guī)模，其中包括減少合同工數(shù)量。柯克比去年接任首席執(zhí)行官后，積極推進公司業(yè)務(wù)精簡，不僅出售了意大利業(yè)務(wù)以及愛爾蘭的批發(fā)和企業(yè)部門，還將業(yè)…06-17聚象生活A(yù)PP即將上市：農(nóng)業(yè)數(shù)字化投資新機遇來臨國家大力推動新農(nóng)業(yè)發(fā)展，旨在通過數(shù)字化、智能化手段，提升農(nóng)業(yè)生產(chǎn)效率，保障農(nóng)產(chǎn)品安全，實現(xiàn)農(nóng)業(yè)可持續(xù)發(fā)展。正是在這樣的時代背景下，“聚象生活”應(yīng)運而生，它不僅是一款基于區(qū)塊鏈技術(shù)的新農(nóng)業(yè)購買和轉(zhuǎn)讓商城，更是一…06-17火山引擎崛起，字節(jié)跳動如何在AI云時代“變奏”領(lǐng)跑？在火山引擎的這次大會上，有一個觀點讓我印象深刻，他們認(rèn)為模型以及模型調(diào)用工具的這一整套的規(guī)劃能力，決定了跑在上面的 Agent 能不能成功。那么，我們可以順著這個邏輯，來推演火山引擎在 AI 時代做云業(yè)務(wù)…06-17麥芒40新機大揭秘：5000萬像素主攝搭配6100mAh電池，設(shè)計如何？【CNMO科技消息】據(jù)CNMO了解，近日有博主曝光了麥芒40新機的外觀設(shè)計和配置，包括5000萬像素主攝和6100mAh電池等。從其放出的草圖來看，手機背面似乎采用了上下拼接設(shè)計，上方的鏡頭模組較大，左邊大圓…06-17火山引擎AI大模型引領(lǐng)，灣區(qū)產(chǎn)業(yè)升級新篇章等你來探索！深圳市物聯(lián)網(wǎng)產(chǎn)業(yè)協(xié)會自成立以來，為深圳市物聯(lián)網(wǎng)產(chǎn)業(yè)高質(zhì)量發(fā)展做出了許多貢獻，主要為舉辦IOTE 國際物聯(lián)網(wǎng)博覽會，全面提升深圳物聯(lián)網(wǎng)產(chǎn)業(yè)的影響力（每年影響10萬+人次）、搭建行業(yè)需求對接平臺激發(fā)市場活力（每…06-17科創(chuàng)創(chuàng)業(yè)AI指數(shù)報1457點，前十大權(quán)重股曝光，石頭科技等領(lǐng)銜數(shù)據(jù)統(tǒng)計顯示，中證科創(chuàng)創(chuàng)業(yè)人工智能指數(shù)近一個月下跌1.35%，近三個月下跌9.88%，年至今上漲1.73%。 據(jù)了解，中證科創(chuàng)創(chuàng)業(yè)人工智能指數(shù)從科創(chuàng)板和創(chuàng)業(yè)板中選取50只業(yè)務(wù)涉及為人工智能提供基礎(chǔ)資源、技術(shù)…06-17點擊查看更多 +全站最新iPhone 17 Pro系列大升級！天藍色新配色與多項性能革新亮相石頭科技2024年度權(quán)益分派實施，多圖揭秘分配詳情！富士X-E5沉浸式體驗來襲，X-Pro系列也即將回歸？小米YU7來襲！雷軍官宣6月底發(fā)布，設(shè)計爭議能否影響其市場表現(xiàn)？一加Nord 5、CE 5及Buds 4海外發(fā)布在即，高配版電池達7000mAh小米高速吹風(fēng)機PRO，短發(fā)星人新寵？體驗后直呼：真香！熱門內(nèi)容

• 榮耀“鯤鵬”照片事件真相大白，造謠者道歉遭刑拘
• 中國知網(wǎng)CNKI AI：重塑知識服務(wù)新生態(tài)，四大核心力引領(lǐng)未來
• 華為Mate 40系列（5G）已支持5G-A網(wǎng)絡(luò)，性能再升級！
• 華為nova 14系列震撼登場！鴻蒙5直板機領(lǐng)銜，nova 14僅售2699元起
• 蘋果AI「Apple Intelligence」國行版，終于要來了嗎？
• 字節(jié)跳動火山引擎發(fā)布豆包1.6與Seedance1.0，AI技術(shù)再升級成本大降
• 華為nova14 Ultra震撼登場！鴻蒙5系統(tǒng)加持，售價4199元起
• 阿里領(lǐng)投硅基流動，清華系A(chǔ)I創(chuàng)企再獲數(shù)億融資，DeepSeek流量爆棚后新動作？
• 華為nova 15系列下半年將亮相，自研芯片加持產(chǎn)品力再升級？
• 華為昇騰超節(jié)點技術(shù)突破：384卡高速互聯(lián)，引領(lǐng)AI模型訓(xùn)練新紀(jì)元
• 榮耀400系列新品發(fā)布會：4K超清Live拼圖，定格每個精彩瞬間？
• 榮耀400系列：AI重構(gòu)手機影像，開啟DeepSeek式拍照新紀(jì)元
• 百度PaddleOCR3.0重磅發(fā)布：OCR技術(shù)再突破，識別精度飆升13%
• 夸克“深度研究”來襲，AI自動生成報告，科研市場匯報新助手！
• 斯坦福評測：DeepSeek R1醫(yī)療AI大放異彩，成臨床場景新冠軍

本欄最新智啟醫(yī)療未來，共筑湖口衛(wèi)健網(wǎng)絡(luò)安全新防線黃仁勛論AI與就業(yè)：程序員或淘汰，但就業(yè)恐慌大可不必iOS 26測試版來了！如何免費獲取并安裝嘗鮮？榮耀CEO李健國內(nèi)首亮相：發(fā)布“全球百萬雄鷹計劃”，引領(lǐng)AI終端生態(tài)轉(zhuǎn)型河北斥資3億打造數(shù)據(jù)新貴，涉足大數(shù)據(jù)與AI領(lǐng)域華為WATCH 5：科技美學(xué)與健康智能新典范，2025年智能手表首選

本文鏈接：http://www.tebozhan.com/showinfo-45-13804-0.html一篇博客敲開OpenAI大門，Muon優(yōu)化器或成GPT-5訓(xùn)練關(guān)鍵？

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 智啟醫(yī)療未來，共筑湖口衛(wèi)健網(wǎng)絡(luò)安全新防線

下一篇： 黃仁勛論AI與就業(yè)：程序員或淘汰，但就業(yè)恐慌大可不必