在人工智能領(lǐng)域，一場(chǎng)關(guān)于預(yù)訓(xùn)練技術(shù)是否仍占主導(dǎo)地位的辯論正如火如荼地進(jìn)行。這一話題已成為AI行業(yè)的焦點(diǎn)，引發(fā)了廣泛討論。nGT28資訊網(wǎng)——每日最新資訊28at.com

近年來(lái)，預(yù)訓(xùn)練技術(shù)一直被視為AI發(fā)展的第一性原理。然而，隨著OpenAI前首席科學(xué)家Ilya的公開質(zhì)疑，以及強(qiáng)化學(xué)習(xí)模型DeepSeek R1的嶄露頭角，預(yù)訓(xùn)練技術(shù)的地位似乎開始動(dòng)搖。nGT28資訊網(wǎng)——每日最新資訊28at.com

預(yù)訓(xùn)練技術(shù)的命運(yùn)轉(zhuǎn)變，是AI行業(yè)共識(shí)與非共識(shí)不斷交織的縮影。為了深入探討這一話題，螞蟻集團(tuán)在2025年5月27日的“技術(shù)開放日”上組織了一場(chǎng)圓桌對(duì)話。nGT28資訊網(wǎng)——每日最新資訊28at.com

參與對(duì)話的嘉賓包括Sand.AI創(chuàng)始人曹越、阿里通義千問技術(shù)負(fù)責(zé)人林俊旸，以及香港大學(xué)助理教授孔令鵬。他們各自在AI領(lǐng)域取得了顯著成就，為對(duì)話帶來(lái)了豐富視角。nGT28資訊網(wǎng)——每日最新資訊28at.com

曹越和孔令鵬在非共識(shí)探索中取得了顯著成果。曹越將語(yǔ)言模型主流的自回歸路線應(yīng)用于視頻模型訓(xùn)練，實(shí)現(xiàn)了視頻長(zhǎng)度的無(wú)限擴(kuò)展。而孔令鵬則通過引入擴(kuò)散模型，用僅7B的參數(shù)量在語(yǔ)言任務(wù)上超越了671B的DeepSeek V3。nGT28資訊網(wǎng)——每日最新資訊28at.com

他們的經(jīng)歷展現(xiàn)了AI行業(yè)最具創(chuàng)新性的一面：勇于擁抱非共識(shí)，不斷探索未知領(lǐng)域。nGT28資訊網(wǎng)——每日最新資訊28at.com

相比之下，阿里給人的印象似乎更加保守，長(zhǎng)期專注于Dense模型的發(fā)展。直到2025年2月，千問才推出了首個(gè)MoE模型。面對(duì)外界的質(zhì)疑，林俊旸在圓桌上澄清道：“我們并不保守，只是經(jīng)過大量實(shí)驗(yàn)后未能取得預(yù)期成果。”nGT28資訊網(wǎng)——每日最新資訊28at.com

林俊旸還分享了阿里在Transformer架構(gòu)上的探索歷程。他們?cè)鴩L試多次改進(jìn)，但最終發(fā)現(xiàn)Transformer仍是最優(yōu)解。這一經(jīng)歷揭示了共識(shí)在AI行業(yè)中的重要性：共識(shí)往往代表著經(jīng)過驗(yàn)證的成功經(jīng)驗(yàn)。nGT28資訊網(wǎng)——每日最新資訊28at.com

然而，三位嘉賓都感受到了行業(yè)的變化。去年還在堅(jiān)守共識(shí)的他們，今年開始積極尋找非共識(shí)。林俊旸比喻道：“現(xiàn)在的行業(yè)就像是在不同的方向上摸彩票，看誰(shuí)能中大獎(jiǎng)。”nGT28資訊網(wǎng)——每日最新資訊28at.com

孔令鵬也表達(dá)了類似的觀點(diǎn)。他認(rèn)為，無(wú)論是語(yǔ)言模型上的擴(kuò)散模型，還是視頻模型上的自回歸路線，都是為了平衡模型偏差和數(shù)據(jù)偏差，達(dá)到更好的效果。這一觀點(diǎn)揭示了非共識(shí)探索背后的共同目標(biāo)。nGT28資訊網(wǎng)——每日最新資訊28at.com

在預(yù)訓(xùn)練技術(shù)方面，美國(guó)近期又涌現(xiàn)了新的非共識(shí)：預(yù)訓(xùn)練還未結(jié)束。林俊旸站在了這一新非共識(shí)的一方，透露阿里仍有大量數(shù)據(jù)未用于千問模型，每次加入新數(shù)據(jù)都能帶來(lái)性能提升。nGT28資訊網(wǎng)——每日最新資訊28at.com

在圓桌對(duì)話中，嘉賓們還分享了各自在模型優(yōu)化、架構(gòu)創(chuàng)新等方面的見解。曹越強(qiáng)調(diào)了稀疏化在提升多模態(tài)領(lǐng)域效率方面的重要性；林俊旸則關(guān)注了MOE模型的進(jìn)一步探索以及訓(xùn)練穩(wěn)定性的優(yōu)化；孔令鵬則探討了模型可解釋性和幻覺問題，并提出了將創(chuàng)造視為搜索問題的新視角。nGT28資訊網(wǎng)——每日最新資訊28at.com

通過這場(chǎng)對(duì)話，我們可以深刻感受到AI行業(yè)的多元性和創(chuàng)新性。在這個(gè)快速變化的領(lǐng)域里，共識(shí)與非共識(shí)不斷交織碰撞，推動(dòng)著技術(shù)的不斷前行。nGT28資訊網(wǎng)——每日最新資訊28at.com

nGT28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-24-154705-0.htmlAI頂流技術(shù)大咖同臺(tái)論劍：預(yù)訓(xùn)練還是未來(lái)方向嗎？

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： 小米盧偉冰：自研芯片攻克旗艦與5G基帶，與高通聯(lián)發(fā)科并存

下一篇： Viture攜手八位堂發(fā)布獵戶座手柄，XR眼鏡直連低延遲新體驗(yàn)！