《從營銷AIGC化到AIGC營銷化》報(bào)告發(fā)布
來源：清元宇宙7月2日上午，清華大學(xué)元宇宙文化實(shí)驗(yàn)室舉辦元宇宙在線沙龍“AIGC熱潮與應(yīng)用”。會(huì)議中，清華大學(xué)新聞與傳播學(xué)院教授、元宇宙文化實(shí)驗(yàn)室主任、新媒體研究
OpenAI 離職潮中，又一研究員官宣離職，并且還發(fā)出了“警告”信息：
Ilya 和 Jan Leike 的擔(dān)憂正是我的擔(dān)憂，還有一些額外的問題。
我們需要做更多事來改進(jìn)決策流程等基礎(chǔ)性的事務(wù)，包括問責(zé)制、透明度、文檔、策略執(zhí)行、如何謹(jǐn)慎使用技術(shù)，以及減輕不平等、權(quán)利和環(huán)境影響的措施。
主人公名叫 Gretchen Krueger（簡稱格姐），是 OpenAI 的 AI 策略研究員。
她在 2019 年加入 OpenAI，參與過 GPT-4 和 DALL?E 2 的開發(fā)工作，還在 2020 年領(lǐng)導(dǎo)了 OpenAI 第一個(gè)全公司范圍的“紅隊(duì)”測試。
此番出走，除了提到 OpenAI 的決策透明度問題，她還隱約暗示：
一般來說，科技公司剝奪那些尋求追究其責(zé)任的人的權(quán)力的方法之一，就是在那些提出擔(dān)憂或挑戰(zhàn)其權(quán)力的人之間制造分裂。我非常關(guān)心防止這種情況發(fā)生。
算上 Ilya 和 Jan Leike，格姐已經(jīng)是這個(gè)月第 3 位從 OpenAI 離開的安全相關(guān)人員 —— 她提交辭呈還是在 Ilya 和 Jan Leike 確認(rèn)離職之前。
先來簡單回顧整個(gè)事情。
格姐是 OpenAI 的 AI 策略研究員，關(guān)于這個(gè)崗位的職責(zé)，有網(wǎng)友幫大家在評(píng)論區(qū)科普了。
由于感受到 OpenAI 存在巨大安全風(fēng)險(xiǎn)，格姐于 5 月 14 日通知公司自己即將離職。
在這之后，OpenAI 首席科學(xué)家 Ilya 正式宣布他將離開公司去追求“下一個(gè)計(jì)劃”。
緊隨 Ilya 離職的，還有斥責(zé) OpenAI“產(chǎn)品優(yōu)先于安全”的超級(jí)對(duì)齊負(fù)責(zé)人 Jan Leike。
那么，到底是什么風(fēng)險(xiǎn)使得格姐早就想跑呢？
總結(jié)下來其實(shí)很簡單，但也很關(guān)鍵：OpenAI 在安全問題決策上不夠透明且缺乏對(duì)決策人的問責(zé)。
（AI 透明度等）問題對(duì)所有人都很重要，它們影響著未來如何被規(guī)劃、由誰來規(guī)劃。
我想強(qiáng)調(diào)的是，這些擔(dān)憂不應(yīng)該被誤讀為狹隘、投機(jī)或脫節(jié)的。它們并非如此。
另外，格姐還特意提及了為了保留對(duì) OpenAI 的批評(píng)權(quán)、放棄 85% 家庭資產(chǎn)的 OpenAI 前員工 Daniel Kokotajio，表示感謝他的勇氣，使她有機(jī)會(huì)說出想說的。
此前，OpenAI 被曝離職需簽封口協(xié)議，“不簽字就會(huì)影響股權(quán)”。
這件事的最新進(jìn)展由格姐的另一位前同事 Jacob Hilton 曝出：
在 Vox 的深度調(diào)查發(fā)表之后，OpenAI 已經(jīng)聯(lián)系了前員工們，解除了此前簽署的保密協(xié)議。
回到安全的話題上，格姐還是給老東家保留了體面：
OpenAI 仍在領(lǐng)導(dǎo)這些重要的工作。我也將繼續(xù)對(duì)此保持關(guān)注和興奮。
不過格姐的出走，還是引發(fā)更多網(wǎng)友的好奇：
當(dāng) Ilya 等人還在的時(shí)候，OpenAI 如何決定重大安全問題？
當(dāng)一批重要安全成員離開后，OpenAI 當(dāng)前又如何決定安全問題？
誰決定 OpenAI 的安全路線？在關(guān)注誰握有最終決策權(quán)之前，我們先來看看 OpenAI 的安全團(tuán)隊(duì)有哪些。
從官網(wǎng)公布的信息來看，OpenAI 目前的安全團(tuán)隊(duì)主要分為三大塊。
超級(jí)對(duì)齊團(tuán)隊(duì)：拿出 20% 總算力，瞄準(zhǔn)如何控制還不存在的超級(jí)智能
Safety Systems 團(tuán)隊(duì)：專注于減少現(xiàn)有模型和產(chǎn)品（例如 ChatGPT）的濫用
Preparedness 團(tuán)隊(duì)：繪制前沿模型的新興風(fēng)險(xiǎn)
首先，作為核心的超級(jí)對(duì)齊團(tuán)隊(duì)由 Ilya 和 Jan Leike 在 2023 年 7 月發(fā)起。
結(jié)果不到 1 年，兩位靈魂人物接連出走，超級(jí)團(tuán)隊(duì)分崩離析。
其次，Safety Systems 成立于 2020 年，該團(tuán)隊(duì)下面有 4 個(gè)部門，包括安全工程團(tuán)隊(duì)、風(fēng)險(xiǎn)管理團(tuán)隊(duì)、監(jiān)控與響應(yīng)團(tuán)隊(duì)以及政策與合規(guī)團(tuán)隊(duì)。
它曾負(fù)責(zé)了 GPT-3 和 GPT-4 的安全性評(píng)估。
當(dāng)初領(lǐng)導(dǎo)它的 Dario Amodei，后來離開 OpenAI 創(chuàng)辦了 Anthropic。
而且 Dario Amodei 之所以離職，原因恰恰在于想建立一個(gè)更可信的模型。
最后，OpenAI 于 2023 年 10 月宣布建立 Preparedness 團(tuán)隊(duì)。
該小組由麻省理工可部署機(jī)器學(xué)習(xí)中心主任 Aleksander Madry 領(lǐng)導(dǎo)，旨在“跟蹤、預(yù)測和防范未來人工智能系統(tǒng)的危險(xiǎn)”，包括從 AI“說服和欺騙”人類的能力（如網(wǎng)絡(luò)釣魚攻擊），到惡意代碼生成能力。
目前該團(tuán)隊(duì)主要進(jìn)行模型能力評(píng)估、評(píng)價(jià)和內(nèi)部紅隊(duì)（即對(duì)模型進(jìn)行滲透測試的攻擊方）。
說了這么多，但 ——
不管 OpenAI 有多少安全團(tuán)隊(duì)，其風(fēng)險(xiǎn)評(píng)估的最終決策權(quán)仍掌握在領(lǐng)導(dǎo)層手中。
宮斗風(fēng)波之前，OpenAI 核心管理團(tuán)隊(duì)中共有四名成員：CEO Sam Altman、總裁 Greg Brockman、首席科學(xué)家 Ilya Sutskever、CTO Mira Murati。
雖然一開始 Ilya 發(fā)動(dòng)“宮變”讓 Sam Altman 短暫下臺(tái)，但很快奧特曼“熹妃回宮”，反而是 Ilya“消失”了 6 個(gè)月。
且回歸后的 Sam Altman 身邊基本都是自己人了，包括最新頂替 Ilya 的 Jakub。
不過關(guān)于安全問題的決策權(quán)，雖然領(lǐng)導(dǎo)層是決策者，但董事會(huì)擁有推翻決策的權(quán)利。
目前 OpenAI 的董事會(huì)成員包括，Salesforce 共同首席執(zhí)行官、董事會(huì)主席 Bret Taylor，經(jīng)濟(jì)學(xué)家 Larry Summers、Quora 首席執(zhí)行官 Adam D’Angelo、前比爾及梅琳達(dá)?蓋茨基金會(huì) CEO Sue Desmond-Hellmann、前索尼娛樂總裁 Nicole Seligman、Instacart 首席執(zhí)行官 Fidji Simo 以及奧特曼本人。
參考鏈接：
[1]https://x.com/GretchenMarina/status/1793403475260551517
[2]https://futurism.com/the-byte/openai-cryptic-warning
本文來自微信公眾號(hào)：量子位 （ID：QbitAI），作者：一水
本文鏈接：http://www.tebozhan.com/showinfo-45-4449-0.htmlOpenAI 又一吹哨人離職！拉響安全警報(bào)，風(fēng)險(xiǎn)隱患實(shí)在太大
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
上一篇： 長城汽車語音大模型小魏同學(xué)將開啟 OTA，支持事件即時(shí)匯總整理
下一篇： 現(xiàn)有最大 GPU 集群 4 倍規(guī)模！馬斯克擬打造 xAI “算力超級(jí)工廠”，數(shù)萬個(gè)專用芯片組成巨型超算
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)