太平洋科技要聞

首頁 > 科技要聞 > 科技> 正文

OpenAI七年元老、安全副總裁Lilian Weng官宣離職！北大本科，決定專心寫博客

新智元整合編輯：太平洋科技發(fā)布于：2024-11-11 16:12

OpenAI再次痛失一員大將。

安全研究副總裁Lilian Weng正式官宣離職。

她發(fā)出離職長信，回顧了2017年時(shí)，自己對OpenAI的使命是多么著迷。

在GPT-4發(fā)布后，她又被賦予了一個(gè)全新使命：重新思考OpenAI安全系統(tǒng)的愿景。

o1-preview，就是她們團(tuán)隊(duì)的最新成果。

如今，在OpenAI工作七年后，她感覺「是時(shí)候重新出發(fā)了」。

長期以來，Lilian Weng的博客篇篇都是精品，每每發(fā)出，都會引得圈內(nèi)人士的大討論。

OpenAI的前同事們，紛紛為她送上了祝福。

Jason Wei表示，感謝她做出的貢獻(xiàn)，讓o1-preview成為迄今為止最安全的模型。

OpenAI推理研究員、o1共同作者 Noam Brown祝福她，在下一個(gè)冒險(xiǎn)中一切順利。

OpenAI微調(diào)研究員Steven Heidel表示，期待她的下一篇博客文章。

前OpenAI首位開發(fā)者關(guān)系團(tuán)隊(duì)成員、現(xiàn)任谷歌高級產(chǎn)品經(jīng)理Logan Kilpatrick則感謝她為推動安全使命所做的一切。

而Lilian Weng這次突然離職，或許也是長時(shí)間深思熟慮的結(jié)果。

比如維基媒體基金會機(jī)器學(xué)習(xí)總監(jiān)在幾天前的一條推文，似乎就暗示著她可能要離開。

離職信全文：我有時(shí)間寫博客了

親愛的朋友們，我做出了一個(gè)極其艱難的決定，那就是離開OpenAI。11月15日將是我在辦公室的最后一天。

OpenAI是我作為科學(xué)家和領(lǐng)導(dǎo)者成長的地方，我將永遠(yuǎn)珍惜與每一位共事過和結(jié)識的同事在一起的時(shí)光。OpenAI團(tuán)隊(duì)一直是我的知己、良師益友，也是我個(gè)人身份的重要組成部分。

我依然清晰地記得2017年時(shí)，我對OpenAI的使命是多么著迷。那時(shí)，我們這群人夢想著一個(gè)看似不可能、宛如科幻的未來。

開始，我在這里研究的是全棧機(jī)器人挑戰(zhàn)——從深度強(qiáng)化學(xué)習(xí)算法，到感知，再到固件——目標(biāo)是教會單只機(jī)械手如何解開魔方。整個(gè)團(tuán)隊(duì)花了整整兩年時(shí)間，但我們最終成功了。

當(dāng)OpenAI進(jìn)入GPT范式，我們開始探索如何將最佳AI模型部署到現(xiàn)實(shí)世界時(shí)，我建立了第一個(gè)「應(yīng)用研究團(tuán)隊(duì)」（Applied Research team）。團(tuán)隊(duì)推出了微調(diào)API、嵌入API和審核端點(diǎn)的初始版本，為應(yīng)用安全工作奠定了基礎(chǔ)，并為許多早期API客戶提供了創(chuàng)新解決方案。

在GPT-4發(fā)布后，我被賦予了一項(xiàng)新的使命：重新思考OpenAI安全系統(tǒng)的愿景，并將工作集中在一個(gè)掌控完整安全堆棧的團(tuán)隊(duì)之下。這是我做過的最困難、最有壓力，同時(shí)也是最令人興奮的事情之一。

如今，安全系統(tǒng)團(tuán)隊(duì)擁有80多名出色的科學(xué)家、工程師、產(chǎn)品經(jīng)理和政策專家，我為我們團(tuán)隊(duì)取得的一切感到無比自豪。我們共同成為每次重大發(fā)布的基石——從GPT-4及其視覺和turbo版本，到GPT商店、語音功能和01。

在訓(xùn)練這些模型既強(qiáng)大又負(fù)責(zé)任方面的工作上，我們樹立了新的行業(yè)標(biāo)準(zhǔn)。我特別為我們最新的成就——o1-preview模型感到自豪，它是我們迄今為止最安全的模型，在保持其實(shí)用性的同時(shí)，表現(xiàn)出對「越獄」攻擊的卓越抵抗力。

我們?nèi)〉玫某晒�，十分令人矚目�?/span>

我們訓(xùn)練模型如何處理敏感或不安全的請求，包括何時(shí)拒絕或接受，通過遵循一套明確定義的模型安全行為政策，在安全性和實(shí)用性之間取得了良好的平衡。

我們在每次模型發(fā)布中都提高了對抗性魯棒性，包括防御越獄、指令層級，并通過推理能力大大提高了模型的魯棒性。

我們設(shè)計(jì)了嚴(yán)格而創(chuàng)新的評估方法，與準(zhǔn)備框架保持一致，并為每個(gè)前沿模型進(jìn)行了全面的安全測試和紅隊(duì)測試。我們對透明度的承諾體現(xiàn)在我們詳細(xì)的模型系統(tǒng)卡中。

我們開發(fā)了業(yè)界領(lǐng)先的具有多模態(tài)能力的審核模型，并免費(fèi)與公眾分享。我們目前在更通用的監(jiān)控框架和增強(qiáng)的安全推理能力方面的工作將為更多安全工作流程提供支持。

我們?yōu)榘踩珨?shù)據(jù)日志記錄、指標(biāo)、儀表板、主動學(xué)習(xí)管道、分類器部署、推理時(shí)過濾和新型快速響應(yīng)系統(tǒng)奠定了工程基礎(chǔ)。

回顧我們?nèi)〉玫某删�，我為安全系統(tǒng)團(tuán)隊(duì)的每個(gè)成員感到無比自豪，我堅(jiān)信團(tuán)隊(duì)將繼續(xù)蓬勃發(fā)展。我由衷地感謝你們，你們是最棒的！

現(xiàn)在，在OpenAI工作了七年之后，我感覺是時(shí)候重新出發(fā)，探索新的領(lǐng)域了。OpenAI正處于火箭般的軌道上，我衷心祝愿這里的每個(gè)人一切順利。

PS：我的博客仍然活躍，并將繼續(xù)更新。我可能很快就有更多時(shí)間來更頻繁地更新博客，或許還能抽出更多時(shí)間來編碼。

OpenAI再失一位首席安全研究員

近幾個(gè)月OpenAI儼然有了一種AI界「黃埔軍校」的味道。

首席技術(shù)官M(fèi)ira Murati、首席研究官Bob McGrew、研究副總裁Barret Zoph、著名研究員Andrej Karpathy和聯(lián)合創(chuàng)始人John Schulman紛紛離職。

其中一些人，包括Leike和Schulman，離職后加入了OpenAI的競爭對手Anthropic，而其他人則去創(chuàng)辦了自己的企業(yè)。

隨著Ilya Sutskever和Jan Leike的離開，以及超級對齊團(tuán)隊(duì)的解散。在Sam Altman眼中，OpenAI的安全團(tuán)隊(duì)似乎越來越不重要了。

現(xiàn)在，盡管AI安全團(tuán)隊(duì)規(guī)�？捎^（據(jù)稱有超過80名相關(guān)的研究人員），但網(wǎng)友們反正是不相信OpenAI還會專心搞模型安全了……

10月，資深政策研究員Miles Brundage離開了OpenAI，并宣布公司正在解散他曾擔(dān)任顧問的通用人工智能準(zhǔn)備團(tuán)隊(duì)。

同一天，前OpenAI研究員Suchir Balaji也在專訪中透露，表示離開OpenAI是因?yàn)樗J(rèn)為該公司的技術(shù)對社會帶來的危害大于益處。

目前，OpenAI的公司高管和安全研究人員正在進(jìn)行交接，以接替Weng的職位。

而其發(fā)言人表示，「我們相信安全系統(tǒng)團(tuán)隊(duì)將繼續(xù)在確保系統(tǒng)安全可靠方面發(fā)揮關(guān)鍵作用，為全球數(shù)億用戶提供服務(wù)。」

Lilian Weng：北大本科，高被引學(xué)者

Lilian Weng曾是OpenAI安全系統(tǒng)負(fù)責(zé)人，主要從事機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等研究。

Weng本科畢業(yè)于北京大學(xué)信息系統(tǒng)與計(jì)算機(jī)科學(xué)專業(yè)，曾前往香港大學(xué)進(jìn)行短期交流，之后在印第安納大學(xué)布魯明頓（Indiana University Bloomington）分校獲得博士學(xué)位。

博士期間，Weng的研究領(lǐng)域?yàn)閺?fù)雜系統(tǒng)和網(wǎng)絡(luò)，關(guān)注社交媒體、社交游戲、人機(jī)交互和復(fù)雜信息網(wǎng)絡(luò)建模。

打開她的谷歌學(xué)術(shù)檔案，還可以看到Weng曾經(jīng)發(fā)表的關(guān)于模因和社交網(wǎng)絡(luò)的論文。

她曾在eBay、Mozilla等公司做過用戶分析方面的實(shí)習(xí)，之后「轉(zhuǎn)行」成功，進(jìn)入Facebook和Dropbox從事軟件工程和數(shù)據(jù)科學(xué)方面的工作。

2018年起，Weng加入OpenAI擔(dān)任研究科學(xué)家，作為機(jī)器人團(tuán)隊(duì)的技術(shù)主管，專注于訓(xùn)練機(jī)器人任務(wù)的算法。

2021年，Weng負(fù)責(zé)領(lǐng)導(dǎo)應(yīng)用人工智能的研究團(tuán)隊(duì)，并在2023年成為了安全團(tuán)隊(duì)的負(fù)責(zé)人。

今年8月，OpenAI將之前的安全團(tuán)隊(duì)負(fù)責(zé)人Aleksander Madry調(diào)任至一個(gè)專注于推理基礎(chǔ)工作的團(tuán)隊(duì)。而原來Madry領(lǐng)導(dǎo)的安全團(tuán)隊(duì)轉(zhuǎn)由Lilian Weng負(fù)責(zé)。

隨后，Weng將同時(shí)管理專注于長期和短期AI安全的團(tuán)隊(duì)，這一組織決策令一些研究人員擔(dān)心，因?yàn)殚L期和短期安全的激勵(lì)措施可能會相互沖突。

值得一提的是，Weng在個(gè)人網(wǎng)站上撰寫的博客文章非常受歡迎，基本都是萬字長文，既有技術(shù)干貨又有觀點(diǎn)輸出，是很多業(yè)內(nèi)人士的參考。

接下來，讓我們期待這位北大校友的更多成就，以及即將出現(xiàn)的干貨博文吧。

本文來源：新智元

OpenAI Lilian Weng 安全系統(tǒng)

新智元

原創(chuàng)欄目