數(shù)字虛擬人23年最新變化！
作者：小資來(lái)源：米塔之家自2021年元宇宙“爆炸”后，作為現(xiàn)實(shí)世界連接元宇宙的媒介之一，大批虛擬人跑步入場(chǎng)。到了2022年底，據(jù)天眼查數(shù)據(jù)顯示，我國(guó)目前企業(yè)名稱或經(jīng)營(yíng)范圍
“o1 發(fā)布后，一個(gè)新的范式產(chǎn)生了”。
其中關(guān)鍵，OpenAI 研究科學(xué)家、o1 核心貢獻(xiàn)者 Hyung Won Chung，剛剛就此分享了他在 MIT 的一次演講。
演講主題為“Don’t teach. Incentivize（不要教，要激勵(lì)），核心觀點(diǎn)是：
激勵(lì) AI 自我學(xué)習(xí)比試圖教會(huì) AI 每一項(xiàng)具體任務(wù)更重要
思維鏈作者 Jason Wei 迅速趕來(lái)打 call：
Hyung Won 識(shí)別新范式并完全放棄任何沉沒(méi)成本的能力給我留下了深刻的印象。
2022 年底，他意識(shí)到了強(qiáng)化學(xué)習(xí)的力量，并從那時(shí)起就一直在宣揚(yáng)它。
在演講中，Hyung Won 還分享了：
技術(shù)人員過(guò)于關(guān)注問(wèn)題解決本身，但更重要的是發(fā)現(xiàn)重大問(wèn)題；
硬件進(jìn)步呈指數(shù)級(jí)增長(zhǎng)，軟件和算法需要跟上；
當(dāng)前存在一個(gè)誤區(qū)，即人們正在試圖讓 AI 學(xué)會(huì)像人類一樣思考；
“僅僅擴(kuò)展規(guī)?！蓖陂L(zhǎng)期內(nèi)更有效；
……
下面奉上演講主要內(nèi)容。
對(duì)待 AI：授人以魚(yú)不如授人以漁先簡(jiǎn)單介紹下 Hyung Won Chung，從公布的 o1 背后人員名單來(lái)看，他屬于推理研究的基礎(chǔ)貢獻(xiàn)者。
資料顯示，他是 MIT 博士（方向?yàn)榭稍偕茉春湍茉聪到y(tǒng)），去年 2 月加入 OpenAI 擔(dān)任研究科學(xué)家。
加入 OpenAI 之前，他在 Google Brain 負(fù)責(zé)大語(yǔ)言模型的預(yù)訓(xùn)練、指令微調(diào)、推理、多語(yǔ)言、訓(xùn)練基礎(chǔ)設(shè)施等。
在谷歌工作期間，曾以一作身份，發(fā)表了關(guān)于模型微調(diào)的論文。（思維鏈作者 Jason Wei 同為一作）
回到正題。在 MIT 的演講中，他首先提到：
通往 AGI 唯一可行的方法是激勵(lì)模型，使通用技能出現(xiàn)。
在他看來(lái)，AI 領(lǐng)域正處于一次范式轉(zhuǎn)變，即從傳統(tǒng)的直接教授技能轉(zhuǎn)向激勵(lì)模型自我學(xué)習(xí)和發(fā)展通用技能。
理由也很直觀，AGI 所包含的技能太多了，無(wú)法一一學(xué)習(xí)。（主打以不變應(yīng)萬(wàn)變）
具體咋激勵(lì)呢？？
他以下一個(gè) token 預(yù)測(cè)為例，說(shuō)明了這種弱激勵(lì)結(jié)構(gòu)如何通過(guò)大規(guī)模多任務(wù)學(xué)習(xí)，鼓勵(lì)模型學(xué)習(xí)解決數(shù)萬(wàn)億個(gè)任務(wù)的通用技能，而不是單獨(dú)解決每個(gè)任務(wù)。
他觀察到：
如果嘗試以盡可能少的努力解決數(shù)十個(gè)任務(wù)，那么單獨(dú)模式識(shí)別每個(gè)任務(wù)可能是最簡(jiǎn)單的；
如果嘗試解決數(shù)萬(wàn)億個(gè)任務(wù)，通過(guò)學(xué)習(xí)通用技能（例如語(yǔ)言、推理等）可能會(huì)更容易解決它們。
對(duì)此他打了個(gè)比方，“授人以魚(yú)不如授人以漁”，用一種基于激勵(lì)的方法來(lái)解決任務(wù)。
Teach him the taste of fish and make him hungry.（教 AI 嘗嘗魚(yú)的味道，讓他餓一下）
然后 AI 就會(huì)自己出去釣魚(yú)，在此過(guò)程中，AI 將學(xué)習(xí)其他技能，例如耐心、學(xué)習(xí)閱讀天氣、了解魚(yú)等。
其中一些技能是通用的，可以應(yīng)用于其他任務(wù)。
面對(duì)這一“循循善誘”的過(guò)程，也許有人認(rèn)為還不如直接教來(lái)得快。
但在 Hyung Won 看來(lái)：
對(duì)于人類來(lái)說(shuō)確實(shí)如此，但是對(duì)于機(jī)器來(lái)說(shuō)，我們可以提供更多的計(jì)算來(lái)縮短時(shí)間。
換句話說(shuō)，面對(duì)有限的時(shí)間，人類也許還要在專家 or 通才之間做選擇，但對(duì)于機(jī)器來(lái)說(shuō)，算力就能出奇跡。
他又舉例說(shuō)明，《龍珠》里有一個(gè)設(shè)定：在特殊訓(xùn)練場(chǎng)所，角色能在外界感覺(jué)只是一天的時(shí)間內(nèi)獲得一年的修煉效果。
對(duì)于機(jī)器來(lái)說(shuō)，這個(gè)感知差值要高得多。
因此，具有更多計(jì)算能力的強(qiáng)大通才通常比專家更擅長(zhǎng)特殊領(lǐng)域。
原因也眾所周知，大型通用模型能夠通過(guò)大規(guī)模的訓(xùn)練和學(xué)習(xí)，快速適應(yīng)和掌握新的任務(wù)和領(lǐng)域，而不需要從頭開(kāi)始訓(xùn)練。
他還補(bǔ)充道，數(shù)據(jù)顯示計(jì)算能力大約每 5 年提高 10 倍。
總結(jié)下來(lái)，Hyung Won 認(rèn)為核心在于：
模型的可擴(kuò)展性
算力對(duì)加速模型進(jìn)化至關(guān)重要
此外，他還認(rèn)為當(dāng)前存在一個(gè)誤區(qū)，即人們正在試圖讓 AI 學(xué)會(huì)像人類一樣思考。
但問(wèn)題是，我們并不知道自己在神經(jīng)元層面是如何思考的。
機(jī)器應(yīng)該有更多的自主性來(lái)選擇如何學(xué)習(xí)，而不是被限制在人類理解的數(shù)學(xué)語(yǔ)言和結(jié)構(gòu)中。
在他看來(lái)，一個(gè)系統(tǒng)或算法過(guò)于依賴人為設(shè)定的規(guī)則和結(jié)構(gòu)，那么它可能難以適應(yīng)新的、未預(yù)見(jiàn)的情況或數(shù)據(jù)。
造成的結(jié)果就是，面對(duì)更大規(guī)模或更復(fù)雜的問(wèn)題時(shí)，其擴(kuò)展能力將會(huì)受限。
回顧 AI 過(guò)去 70 年的發(fā)展，他總結(jié)道：
AI 的進(jìn)步與減少人為結(jié)構(gòu)、增加數(shù)據(jù)和計(jì)算能力息息相關(guān)。
與此同時(shí)，面對(duì)當(dāng)前人們對(duì) scaling Law 的質(zhì)疑，即認(rèn)為僅僅擴(kuò)大計(jì)算規(guī)模可能被認(rèn)為不夠科學(xué)或有趣。
Hyung Won 的看法是：
在擴(kuò)展一個(gè)系統(tǒng)或模型的過(guò)程中，我們需要找出那些阻礙擴(kuò)展的假設(shè)或限制條件。
舉個(gè)例子，在機(jī)器學(xué)習(xí)中，一個(gè)模型可能在小數(shù)據(jù)集上表現(xiàn)良好，但是當(dāng)數(shù)據(jù)量增加時(shí)，模型的性能可能會(huì)下降，或者訓(xùn)練時(shí)間會(huì)變得不可接受。
這時(shí)，可能需要改進(jìn)算法，優(yōu)化數(shù)據(jù)處理流程，或者改變模型結(jié)構(gòu)，以適應(yīng)更大的數(shù)據(jù)量和更復(fù)雜的任務(wù)。
也就是說(shuō)，一旦識(shí)別出瓶頸，就需要通過(guò)創(chuàng)新和改進(jìn)來(lái)替換這些假設(shè)，以便模型或系統(tǒng)能夠在更大的規(guī)模上有效運(yùn)行。
訓(xùn)練 VS 推理：效果相似，推理成本卻便宜 1000 億倍除了上述，o1 另一核心作者 Noam Brown 也分享了一個(gè)觀點(diǎn)：
訓(xùn)練和推理對(duì)模型性能提升作用相似，但后者成本更低，便宜 1000 億倍。
這意味著，在模型開(kāi)發(fā)過(guò)程中，訓(xùn)練階段的資源消耗非常巨大，而實(shí)際使用模型進(jìn)行推理時(shí)的成本則相對(duì)較低。
有人認(rèn)為這凸顯了未來(lái)模型優(yōu)化的潛力。
不過(guò)也有人對(duì)此持懷疑態(tài)度，認(rèn)為二者壓根沒(méi)法拿來(lái)對(duì)比。
這是一個(gè)奇怪的比較。一個(gè)是邊際成本，另一個(gè)是固定成本。這就像說(shuō)實(shí)體店比其中出售的商品貴 500000 倍。
對(duì)此，你怎么看？
Hyung Won Chung 演講 PPT：
https://docs.google.com/presentation/d/1nnjXIuN2XDJENAOaKXI5srQscO3276svvP6JgivTv6w/edit#slide=id.g2d1161c9c52_0_20
參考鏈接：
[1]https://x.com/hwchung27/status/1836842717302943774
[2]https://x.com/tsarnick/status/1836215965912289306
本文來(lái)自微信公眾號(hào)：量子位（ID：QbitAI），作者：一水
本文鏈接：http://www.tebozhan.com/showinfo-45-7592-0.htmlo1 核心作者 MIT 演講：激勵(lì) AI 自我學(xué)習(xí)，比試圖教會(huì) AI 每一項(xiàng)任務(wù)更重要
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
上一篇： 部分科技巨頭請(qǐng)求歐盟對(duì) AI“從寬”監(jiān)管，避免數(shù)十億美元罰款風(fēng)險(xiǎn)
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)