偉大的技術(shù)、產(chǎn)品公司,有時(shí)會(huì)折戟于管理。就好比巔峰期的雅達(dá)利因質(zhì)量品控體系松弛而崩潰。
技術(shù)和管理到底能否兼具?類似的考題,被擺在OpenAI面前。
5月15日,GPT-4o發(fā)布后僅一天,OpenAI再次成為了萬眾矚目的焦點(diǎn)。不過與此前的技術(shù)突破不同,此次OpenAI的話題點(diǎn)在于,開始其首席科學(xué)家Ilya和超級對齊團(tuán)隊(duì)的集體出走。
此前,超級對齊團(tuán)隊(duì)曾擁有OpenAI20%的算力資源。因此難免讓人懷疑,此次OpenAI短時(shí)間、大規(guī)模的人事變動(dòng)是否是其發(fā)展戰(zhàn)略變動(dòng)的前哨?
分歧已久
OpenAI內(nèi)部的分歧存在已久,在去年11月的“宮斗”事件中早已公之于眾。此次Ilya Sutskever等一行人的出走,可以看作是歷史矛盾的延續(xù)。
Ilya辭職前,OpenAI內(nèi)部大的分歧之一在于對AI安全問題的態(tài)度上。
科技巨頭和初創(chuàng)公司的互卷下,AI技術(shù)研發(fā)在快車道上一往直前,AGI時(shí)代離我們也越來越近。有人認(rèn)為“OpenAI正在訓(xùn)練更強(qiáng)大的AI系統(tǒng),目標(biāo)是終全面超越人類智能”。
未知的全新力量下蘊(yùn)藏著未知的風(fēng)險(xiǎn)。用前員工的一句話講,這可能是人類有史以來發(fā)生過的好的事情,但如果我們不小心行事,也可能是糟糕的事情。
當(dāng)前的AI監(jiān)管主要集中于“評估風(fēng)險(xiǎn)和采取緩解措施”的組合上,這種組合很容易被大型公司鉆空子,終反而疏于了對需要被監(jiān)管的前型AI實(shí)驗(yàn)室的監(jiān)管。超級對齊團(tuán)隊(duì)解散前,對于不同時(shí)間尺度的AI風(fēng)險(xiǎn),OpenAI有三個(gè)團(tuán)隊(duì)來分別應(yīng)對。
“對齊”或“超級對齊”是人工智能領(lǐng)域中使用的術(shù)語,指訓(xùn)練人工智能系統(tǒng)在人類需求和優(yōu)先事項(xiàng)范圍內(nèi)運(yùn)行的工作。2023年6月5日,超級對齊AI團(tuán)隊(duì)首次對外宣布成立。這支團(tuán)隊(duì)的使命旨在“解決如果公司成功構(gòu)建AGI,實(shí)際上會(huì)出現(xiàn)不同類型的安全問題”——也就是AI智能水平不斷提高后未來可能出現(xiàn)的安全問題。
師從人工智能教父Geoffray Hinton的Ilya是堅(jiān)持安全第一的安全派。2016年,Ilya以聯(lián)合創(chuàng)始人、研究總監(jiān)的身份加入OpenAI,并于2018年擔(dān)任首席科學(xué)家。研發(fā)期間,Ilya一直在關(guān)注AI大模型的安全問題。
Sam Altman則是商業(yè)派,致力于開發(fā)“更閃亮的產(chǎn)品”,與谷歌等競爭對手的卯足了勁較量。在他看來,AGI的安全治理問題優(yōu)先級遠(yuǎn)遠(yuǎn)不如推出“閃亮的產(chǎn)品”。雖然Altman在采訪中屢次表示對安全問題的重視,但就實(shí)際操作而言,算力資源的天平在不斷向著研發(fā)的一側(cè)傾斜。對于Altman來說,相對于未來態(tài)的安全治理,如何加足馬力在當(dāng)前的這場AI競賽中拔得頭籌顯然更為重要。
對此,OpenAI的前員工、超級對齊成員之一William Saunders在Less Wrong論壇上表示,對OpenAI能否在AGI時(shí)代負(fù)責(zé)任的行動(dòng)失去了信心。
William Saunders并非個(gè)例。對OpenAI未來AGI安全部署工作的失望成為超級對其團(tuán)隊(duì)不少人離開的關(guān)鍵要素。不少人認(rèn)為,Ilya出走很可能是已經(jīng)看到了AGI的安全隱患。
OpenAI“權(quán)力的游戲”還有幾季?
在技術(shù)驅(qū)動(dòng)的進(jìn)步面紗下,未來安全團(tuán)隊(duì)被迫“重組”。事實(shí)上,OpenAI在安全方面的人事一直在不斷“跳躍”。
2021年,GPT-3的團(tuán)隊(duì)負(fù)責(zé)人Dario和Daniela Amodei因“對安全研究的優(yōu)先次序”存在分歧而辭職,轉(zhuǎn)身創(chuàng)辦了Anthropic。
同年,RLHF的發(fā)明者兼安全研究主管Dr.Paul Christiano從安全團(tuán)隊(duì)中辭職,創(chuàng)辦了一個(gè)非盈利性的校準(zhǔn)研究中心。
2023年11月,OpenAI圍繞安全問題爆發(fā)宮斗,Sam Altman在被撤職100小時(shí)后重返OpenAI。
2024年,這場“權(quán)力的游戲”繼續(xù)上演。
2024年2月15日,安全研究員 William Saunders 在 EA 論壇上總結(jié)了自己在 OpenAI 作為超級對齊團(tuán)隊(duì)一部分的工作。表示已從OpenAI辭職。
3月17日,Jan Leike 離職。Jan Leike參與開發(fā)了ChatGPT的核心技術(shù)之一——人類反饋強(qiáng)化學(xué)習(xí)RLHF,在其加入OpenAI后,從代碼大模型Codex、ChatGPT的前身InstrucGPT,到ChatGPT、GPT-4,他都是重要貢獻(xiàn)者。
4月,Daniel Kokotajlo在拒絕簽署離職協(xié)議的情況下辭職,并在此后的媒體采訪中公開表示“OpenAI正在訓(xùn)練更強(qiáng)大的AI系統(tǒng),目標(biāo)是終全面超越人類智能。”,自己已經(jīng)“逐漸對OpenAO領(lǐng)導(dǎo)層以及他們負(fù)責(zé)地處理AGI的能力失去了信心”。
4月11日,安全團(tuán)隊(duì)的Leopold Aschenbrenner與推理團(tuán)隊(duì)的Pavel Izmailov因涉嫌信息泄密而被開除。安全研究員 Cullen O'Keefe 也離開了OpenAI。
5月15日,OpenAI的聯(lián)合創(chuàng)始人及首席科學(xué)家Ilya宣布離職,并在社交平臺(tái)X上表示自己將開啟“接下來的計(jì)劃——這個(gè)項(xiàng)目對我個(gè)人來說意義重大,我會(huì)在適當(dāng)?shù)臅r(shí)候分享細(xì)節(jié)。”
Ilya宣布離開幾小時(shí)后,Ilya的同事,OpenAI超級對齊團(tuán)隊(duì)聯(lián)合主管Jan Leike光速宣布辭職,在X上留下兩個(gè)字母:I resigned。Leike 自2021 年加入 OpenAI,并于2023年開始領(lǐng)導(dǎo)超級對齊團(tuán)隊(duì)。在此后幾天,Jan Leike陸續(xù)在X上揭開此次出走的“內(nèi)幕”:“我與 OpenAI 領(lǐng)導(dǎo)層在公司的核心優(yōu)先事項(xiàng)上存在分歧已有一段時(shí)間,直到我們終達(dá)到了臨界點(diǎn)”“過去幾個(gè)月,我的團(tuán)隊(duì)一直在逆風(fēng)前行”“建造比人類更聰明的機(jī)器本質(zhì)上是一項(xiàng)危險(xiǎn)的工作……但在過去的幾年里,安全文化和流程已經(jīng)讓位于閃亮的產(chǎn)品”。他認(rèn)為OpenAI“應(yīng)該把更多的精力花在為下一代模型做準(zhǔn)備上,包括安全性、監(jiān)控、準(zhǔn)備、安全、對抗魯棒性、(超級)對齊、保密性、社會(huì)影響和相關(guān)主題,這些問題很難解決,我擔(dān)心我們還沒有走上正確的軌道。”
超級對齊成員之一William Saunders,以及參與過GPT-4對抗性測試的Daniel Kokotajlo,此前兩人均已離開OpenAI。
在諸多離職的人中,Daniel Kokotajlo和Jan Leike屬于敢直接批判OpenAI在安全領(lǐng)域和發(fā)展方向存在問題的“特殊群體”。個(gè)中原因很可能是OpenAI的“封口協(xié)議”。 根據(jù)OpenAI前員工Kelsey Piper 爆料,OpenAI的員工需簽署一份帶有非貶低協(xié)議的離職協(xié)議,如果拒絕簽署,其拿到的股權(quán)獲益將被取消。而Daniel Kokotajlo則拒絕簽署這一協(xié)議。
在Sutskever和Leike 退出后,OpenAI向CNN 證實(shí),近幾周已開始解散其超級對齊團(tuán)隊(duì),轉(zhuǎn)而整合各個(gè)研究小組的團(tuán)隊(duì)成員。OpenAI的發(fā)言人表示,該結(jié)構(gòu)將幫助 OpenAI 更好地實(shí)現(xiàn)其超級對齊目標(biāo)。事實(shí)上,該業(yè)務(wù)線新的領(lǐng)導(dǎo)者John Schulma此前是負(fù)責(zé)OpenAI現(xiàn)有產(chǎn)品的安全問題。而將縱向超級對齊團(tuán)隊(duì)橫向合并也意味著,未來安全把關(guān)人在一定程度上的消失。
浮世新人換舊人,Sam Altman在社交平臺(tái)X上表達(dá)了對于Ilya離開的遺憾,表示“他走后的OpenAI不再和從前一樣”,但旋即又在同一條帖子宣布任命了新的首席科學(xué)家Jakub Pachoki。此外,OpenAI近日還聘請了在Google搜索廣告業(yè)務(wù)工作了多年的資深人士Shivakumar Venkataraman。
自此,OpenAI的發(fā)展戰(zhàn)略階段性地實(shí)現(xiàn)了表面一致——以“黨同伐異”的代價(jià)。
本文鏈接:http://www.tebozhan.com/showinfo-17-90136-0.htmlOpenAI又上演權(quán)力的游戲
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com