對標蘋果的靈動島 華為帶來實況窗功能
繼蘋果的靈動島之后，華為也在今天正式推出了“實況窗”功能。據(jù)今天鴻蒙OS 4.0的現(xiàn)場演示顯示，華為的實況窗可以更高效的展現(xiàn)出實時通知，比如鎖屏上就能看到外賣、打車、銀行
近日，AI界傳出了一則令人矚目的消息。據(jù)AI云服務商Hyperbolic的聯(lián)合創(chuàng)始人兼CTO Yuchen Jin在社交平臺上的爆料，研究員Keller Jordan僅憑一篇博客文章就成功加入了OpenAI，并且可能正在利用文章中提及的神經(jīng)網(wǎng)絡隱藏層優(yōu)化器Muon來訓練GPT-5。
Jin在爆料中感慨道，許多研究人員，包括曾經(jīng)的自己，都曾誤以為在頂級學術會議上發(fā)表論文才是最終目標。然而，發(fā)表論文并不等同于產(chǎn)生實際影響力。Keller Jordan發(fā)布的Muon優(yōu)化器僅以博客形式問世，卻幫助他叩開了OpenAI的大門，并有可能在GPT-5的訓練中大放異彩。
Jordan的這篇博客發(fā)表于2024年12月，題為《Muon：神經(jīng)網(wǎng)絡隱藏層的優(yōu)化器》。文章詳細介紹了Muon的設計理念及其在多個實驗中的優(yōu)異表現(xiàn)。從職場社交平臺領英的信息可以確認，Jordan正是在博客發(fā)布后不久加入了OpenAI，這無疑進一步證實了他的研究成果得到了業(yè)界的認可。
Muon作為一種針對神經(jīng)網(wǎng)絡隱藏層二維參數(shù)的優(yōu)化器，在設計和應用上都有其獨到之處。它通過采用SGD-momentum生成的更新，并在應用于參數(shù)之前對每個更新應用Newton-Schulz迭代作為后處理步驟，從而實現(xiàn)了更新矩陣的近似正交化。這一創(chuàng)新設計使得Muon在多個實驗中都取得了顯著優(yōu)于傳統(tǒng)優(yōu)化器AdamW的表現(xiàn)。
具體而言，Muon在CIFAR-10數(shù)據(jù)集上的訓練速度記錄從3.3秒提高到了2.6秒，準確率達到了94%；在FineWeb競賽任務上的訓練速度記錄也提高了1.35倍。在擴展到更大規(guī)模的模型時，Muon仍然能夠持續(xù)顯示訓練速度的提升。這些實證成果無疑為Muon在OpenAI中的應用提供了堅實的基礎。
除了在設計上的創(chuàng)新，Jordan在博客中還對神經(jīng)網(wǎng)絡優(yōu)化研究中的證據(jù)標準提出了犀利批評。他指出，當前的研究文獻中充斥著大量聲稱能夠擊敗AdamW的優(yōu)化器，但這些優(yōu)化器往往因為基線欠調而未能得到廣泛采用。為了糾正這種情況，Jordan建議研究界應該要求新方法在競爭性訓練任務中取得成功，以確保其有效性和可靠性。
隨著Jordan加入OpenAI并可能參與GPT-5的訓練工作，Muon這一全新優(yōu)化器有望成為GPT-5中的重要技術。然而，關于Muon的未來發(fā)展仍有許多未知因素，包括其是否能夠在更大規(guī)模的訓練中擴展應用，以及在大型GPU集群中的正確分布等。或許在GPT-5的研究中，這些問題都將得到解答。
舉報 0收藏 0打賞 0評論 0分享 0 更多>同類資訊
4G/5G物聯(lián)網(wǎng)賦能，戶外停車場如何實現(xiàn)智慧升級？4G/5G 網(wǎng)絡的高速率特性，使得車牌識別數(shù)據(jù)、控制指令等信息能夠快速傳輸，提高了系統(tǒng)的響應速度；低延遲特性則確保了車輛進出的及時性和流暢性。通過在每個停車位安裝地磁傳感器和車牌識別設備，并利用工業(yè)路由器和物…06-17
納秒級精度！SYN3307型GNSS馴服晶振模塊引領技術新變革西安同步電子科技有限公司匠心打造的 SYN3307 型 GNSS馴服晶振模塊，憑借其集成化設計與智能馴服技術，為無人機、雷達、衛(wèi)星通訊等關鍵領域提供了穩(wěn)定可靠的時空基準解決方案。隨著 5G、物聯(lián)網(wǎng)、自動駕駛…06-17
構建高可用服務器架構：保障業(yè)務連續(xù)性的關鍵策略服務器高可用性架構的核心目標是確保系統(tǒng)在面對硬件故障、軟件錯誤、網(wǎng)絡問題甚至人為失誤時，仍能持續(xù)運行并提供服務。 在設計高可用性架構時，還需要考慮監(jiān)控和告警機制。通過采用冗余設計、分布式架構、監(jiān)控告警機制以…06-17
石頭科技2024年度權益分派實施，多圖揭秘分配詳情！06-17
富士X-E5沉浸式體驗來襲，X-Pro系列也即將回歸？【CNMO科技消息】根據(jù)Petapixel的一篇采訪報道，富士膠片的產(chǎn)品開發(fā)負責人透露了公司對這兩款產(chǎn)品的未來規(guī)劃和設計理念。為了滿足這一需求，X-E5不僅增加了新的膠片模擬撥盤，還在保持XE系列一貫簡約優(yōu)雅…06-17
小米高速吹風機PRO，短發(fā)星人新寵？體驗后直呼：真香！自從剪了短發(fā)之后，就需要天天洗頭，之前的吹風機太重，噪音大，而且吹干速度也慢，新入手的小米高速吹風機PRO，能快速吹干頭發(fā)，不僅顏值在線還嘎嘎好用，巖石灰的的配色好美，吹風機不大，也很輕。用了小米的這款高速吹…06-17
混凝土臂架泵車底盤：未來智能化趨勢與日常保養(yǎng)秘籍06-17
華為WATCH 5：以鴻蒙AI引領智能手表新風尚06-17羅永浩數(shù)字人直播首秀大獲成功，AI講解近10萬字，老羅直呼效果驚人！06-17
華為Pura 80系列首銷火爆，何剛親自交付新機，影像美學再升級！06-17拼多多概念股16日大漲，主力資金凈流入超4億，元隆雅圖領跑6月16日，拼多多概念上漲3.31%，今日主力資金流入4.11億元，概念股22只上漲，3只下跌。 主力資金凈流入居前的分別為元隆雅圖（2.76億元）、美登科技（4733.67萬元）、每日互動（4331.93萬…06-17
華為Pura80系列新機發(fā)布：影像躍遷，自研升級，6月14日起陸續(xù)開售！6月11日下午，華為Pura80系列及全場景新品發(fā)布會如期而至，備受矚目的「華為Pura80系列」正式亮相，共帶來了四款旗艦新機，從標準版到Pro、Pro+再到Ultra，不僅更新了旗艦手機的硬件堆料，也在影…06-17
贛鋒鋰業(yè)領銜，上海新設資源再生科技公司，注冊資本高達1億！06-17
廣州灣區(qū)半導體產(chǎn)業(yè)集團增資近三成，總額躍升至33.36億06-17
小英上位后，雙方是否已切斷所有公司關聯(lián)？06-17點擊查看更多 +全站最新
6-7月新機潮來襲，小米魅族等國產(chǎn)中高端機型誰更亮眼？
小米月末新品大爆炸：YU7 SUV攜手AI眼鏡，智能生態(tài)再升級！
智能眼鏡卷土重來，能否借AI之力引領科技新風尚？
emoji表情跨平臺大不同，蘋果安卓用戶如何避免溝通誤會？
Win11意外“穿越”？開機聲變回Windows Vista經(jīng)典旋律
數(shù)碼博主的日常神器：揭秘他們的EDC裝備，感受科技魅力熱門內容構建高可用服務器架構：保障業(yè)務連續(xù)性的關鍵策略石頭科技2024年度權益分派實施，多圖揭秘分配詳情！富士X-E5沉浸式體驗來襲，X-Pro系列也即將回歸？小米高速吹風機PRO，短發(fā)星人新寵？體驗后直呼：真香！混凝土臂架泵車底盤：未來智能化趨勢與日常保養(yǎng)秘籍華為WATCH 5：以鴻蒙AI引領智能手表新風尚
本文鏈接：http://www.tebozhan.com/showinfo-16-160385-0.html靠博客文章入職OpenAI，Keller Jordan的Muon優(yōu)化器或助力GPT-5訓練
聲明：本網(wǎng)頁內容旨在傳播知識，若有侵權等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號