新周期，誰在堅守窄門？
來源：錦緞今日的投資者恐怕已經忘記了，在OpenAI創造出ChatGPT這一殺器的前夜，生成式AI也曾經是一道窄門，窄到連馬斯克都差點失去了信心。在當時的輿論眼中，AGI的道路不夠性感，不夠
6 年元老為何加入離職大軍？AGI 的未來，我們到底需要面對什么？OpenAI 前高級顧問 Miles Brundage 最近發表長文，細述了自己的思考和感受。
OpenAI 的「員工叛逃」還沒有結束。
近日，OpenAI 又有一位 6 年元老、研究主管 Miles Brundage 發表長文官宣離職，并詳細解釋了自己為何「出走」。
作為一家年輕的 AI 獨角獸，成立于 2015 年的 OpenAI 如今剛剛 9 歲，因此在公司待了 6 年之久的 Brundage 足以被稱為「元老」，見證了 OpenAI 如何一路起伏、篳路藍縷地走到今天。
在博文中，Brundage 也在開頭強調：為 OpenAI 的高管和董事會提供建議，為 AGI 的到來做準備，這實際上是他夢想中的工作；甚至就在 2015 年 OpenAI 剛成立時，Brundage 興奮得一夜不睡，寫下一篇博文強調這個組織的重要性。
原文地址：https://www.milesbrundage.com/blog-posts/archives/12-2015
因此，離開 OpenAI 對他來說并不是一個容易的決定。但是為了有更多時間研究自己認為重要的課題，更獨立、自由地發表觀點和作品，Brundage 決定轉而加入（甚至自己創辦）非營利組織，將重點放在 AI 政策研究和倡導上。
Miles Brundage 本科畢業于喬治華盛頓大學，本科期間擔任過美國能源部的特別助理，之后前往亞利桑那州立大學攻讀博士，研究方向為科技的人類和社會維度，博士后期間曾在牛津大學擔任 AI 政策研究員。
2018 年，Miles Brundage 加入了剛剛成立 3 年的 OpenAI 擔任政策方面的研究科學家，之后又在 2021 年升任研究主管，目前是 AGI 準備工作的高級顧問。
為何離開 OpenAI總體來看，Brundage 的離職是希望從行業外部而非內部影響 AI 的發展，這與今年 Geoffrey Hinton 離開谷歌的原因如出一轍，具體有如下幾個考慮因素：
機會成本本職工作已經占去了幾乎全部的時間，因此 Brandage 感覺很難從事自己認為重要的研究課題。甚至在某些情況下，身處行業之外時，從事這些研究能更有影響力和說服力。
而且，OpenAI 目前已經如此引人注目，成果發布前就需要從許多不同的角度進行審查，以至于無法發表某些主題的文章。
但值得注意的是，Brundage 并不是完全反對 OpenAI 在出版物審查方面的立場，他認為行業中存在出版限制是合理的，他本人也幫助編寫了 OpenAI 政策的幾個迭代版本，但公司目前施加的限制確實已經太多了。
減少偏見如果選擇成為某個組織的一部分，并且每天都和那里的同事們密切合作，你就很難對這個組織保持公正。
Brundage 表示，他在分析中盡力追求公正，但仍然會有偏見的存在。而且在 OpenAI 工作這件事本身，就會影響到外界如何看待自己的觀點和研究。考慮到財務利益上的沖突，人們有理由質疑來自行業的政策想法。
在有關政策的對話中，有更多獨立于行業的聲音至關重要，而 Brundage 計劃成為其中之一。
在 OpenAI，能做的都做了從入職至今，Brundage 認為自己作為「AGI 準備狀態高級顧問」的工作已經完成了大部分。
「AGI 準備狀態」（AGI Readiness）主要分為兩種：一是 OpenAI 要準備好管理日益強大的 AI 能力，二是整個世界也要準備好有效管理 AI 能力，包括通過監管 OpenAI 和其他公司。
對于前者，Brundage 已經向他的負責對象 ——OpenAI 的高管和董事會 —— 詳細介紹了他認為 OpenAI 需要做什么，以及差距在哪里；而對于后者，他認為自己在 OpenAI 外部能夠更加有效。
雖然失去了一些在 OpenAI 發揮影響力的機會，但 Brandage 希望在更大程度上影響整個生態系統。
AGI，我們都沒準備好Brundage 認為，對于即將到來的 AGI，OpenAI 或任何其他的前沿實驗室都還沒有準備好，這個世界也還沒有準備好。
原文地址：https://medium.com/@miles_24227/scoring-humanitys-progress-on-ai-governance-5a5131cb84c7
但需要明確的是，他不認為這種「沒準備好」的狀態與 OpenAI 領導層的聲明相沖突；同時他也暗示，雖然距離理想的標準存在相當的差距，但是我們仍可以在相關時間點步入正軌，為此 Brundage 將在余下的職業生涯中致力于人工智能政策。
科技公司和這個世界是否走上了 AGI 準備的正軌，是一個復雜的函數，取決于安全和保障方面的文化如何隨著時間的推移而發揮作用、監管如何影響組織的激勵措施、各種有關 AI 能力和安全方面困難的事實，以及各種其他因素。
此處，Brundage 特別表揚了 OpenAI 最近新增加董事會成員的決定，新吸納的成員包括前陸軍上將 Paul M. Nakasone 和 CMU 機器學習系主任 Zico Kolter，這都是朝著正確方向邁出的一步。
順便一提，Brundage 表示，「AGI」這個術語承載了太多意義，它現在更多地暗示著一種二元思維方式，而不是實際意義，因此有必要澄清一下，此處的「為 AGI 做好準備」，指「準備好安全、可靠且有益地開發、部署和管理能力日益強大的 AI 系統」。
最近，他和團隊正在充實 OpenAI 提出的 AGI 五級框架，不久后或許會發表一篇正式的論文。這個框架曾被彭博社披露，引來了不少爭議。
雖然 Brundage 對 AI 政策抱持著謹慎和批判的態度，但對于 AGI 前景的預測，他的確稱得上是一個「技術樂觀主義者」，觀點與硅谷的風投大佬 Khosla 非常一致。
他認為，在未來短短的幾年內，人工智能很可能能夠實現足夠的經濟增長。假設我們能制定出適當的政策來確保公平分配，人類就能實現高生活水平的提前退休。
但在此之前的短期時間中，AI 很可能會搶走一些迫切需要工作的人的機會，尤其是那些可以遠程完成的、容易自動化的任務。
但事實是，人類最終應該擺脫為謀生而工作的義務，這也為構建 AI 和 AGI 提供了最強有力的論據之一。從長遠來看，有些人可能會繼續工作，但不會像現在這樣有如此迫切的激勵因素。
一個「后工作世界」（post-work world）的風險之一就是文明的停滯（比如電影「機器人總動員」所展現的），但我們目前還沒有在政治、文化或其他方面為此做好準備，因此需要更多的思考、辯論和政策討論。
2008 年電影「機器人總動員」（WALL-E），由皮克斯工作室制作、迪士尼出品
很多人都描繪過「AI 造福人類」的前景，這些描述似乎是出于好意而非陰謀論。但目前存在效率低下的問題，很大程度上是由于民間社會和政府的技術專業知識不足，以及缺乏良好的規范和理論基礎。
例如，對于出現的問題，我們是否應該期望市場機制給出解決方法？什么時候應該構建定制化、應用范圍狹窄的 AI 解決方案，什么時候應該提高通用 AI 系統的能力來解決？在各種情況中，正確的方法是繼續補足現有的技術，還是創造全新的技術，等等。
要不要在 OpenAI 工作「要不要在 OpenAI 工作」，這個問題聽起來有點凡爾賽，可以類比下「斯坦福和 MIT 該選哪個」。
但如果屏幕前的你拿到了 offer 正在糾結該去 OpenAI 還是谷歌 DeepMind，Miles Brundage 的經驗或許能幫助你解決這個甜蜜的煩惱。
在 OpenAI 工作是大多數人希望能做到的最有影響力的事情之一，所以在大多數情況下，答案是肯定的。
考慮到每個人擁有的技能和機會不同，很難做出籠統的陳述，但有一點是確定的 ——OpenAI 的每一個角色，以及每個人對待工作的謹慎程度都很重要，對 OpenAI 組織文化的每一項貢獻也很重要。
在通往更強大 AI 的道路上，每一次產品的部署都會發揮重要作用，比如影響行業規范，以及人們認知和監管 AI 的方式。
在 OpenAI 工作，無論是 AI 的安全與保障，抑或是 AI 能力和產品方面的研究，發揮個人的能動作用來推動 AI 安全都是非常有影響力的。
下面這段話，似乎是 Brundage 的一段隔空喊話，寫給他仍在 OpenAI 工作的前同事們：
「任何在 OpenAI 工作的人都應該認真對待這樣一個事實：他們的行為和言論有助于組織文化，并且當這個組織開始掌管極其先進的能力時，可能會創造正面或負面的路徑依賴。文化對任何組織都很重要，但在前沿 AI 的背景下尤其重要，因為大部分決策不取決于監管法規，而是來自公司中的人?！?span style="display:none">v3n28資訊網——每日最新資訊28at.com
正如 Brundage 在前文所表示的，他認為某些政策研究最好在外部進行，AI 的安全和保障工作有時也是如此。盡管 OpenAI 內部確實需要一些人來推動公司采取良好的政策立場，但存在獨立的安全研究也很有價值。
參考資料：
https://milesbrundage.substack.com/p/why-im-leaving-openai-and-what-im
https://www.reddit.com/r/singularity/comments/1gagocj/openai_senior_advisor_for_agi_readiness_leaving/
本文來自微信公眾號：微信公眾號（ID：null），作者：新智元
本文鏈接：http://www.tebozhan.com/showinfo-45-9417-0.html我為什么離開 OpenAI？六年元老 Miles Brundage 發離職長文：AGI 將至，我們遠沒準備好
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號