在人工智能領(lǐng)域，一場關(guān)于預(yù)訓(xùn)練技術(shù)是否仍占主導(dǎo)地位的辯論正如火如荼地進(jìn)行。這一話題已成為AI行業(yè)的焦點(diǎn)，引發(fā)了廣泛討論。Ybg28資訊網(wǎng)——每日最新資訊28at.com

近年來，預(yù)訓(xùn)練技術(shù)一直被視為AI發(fā)展的第一性原理。然而，隨著OpenAI前首席科學(xué)家Ilya的公開質(zhì)疑，以及強(qiáng)化學(xué)習(xí)模型DeepSeek R1的嶄露頭角，預(yù)訓(xùn)練技術(shù)的地位似乎開始動搖。Ybg28資訊網(wǎng)——每日最新資訊28at.com

預(yù)訓(xùn)練技術(shù)的命運(yùn)轉(zhuǎn)變，是AI行業(yè)共識與非共識不斷交織的縮影。為了深入探討這一話題，螞蟻集團(tuán)在2025年5月27日的“技術(shù)開放日”上組織了一場圓桌對話。Ybg28資訊網(wǎng)——每日最新資訊28at.com

參與對話的嘉賓包括Sand.AI創(chuàng)始人曹越、阿里通義千問技術(shù)負(fù)責(zé)人林俊旸，以及香港大學(xué)助理教授孔令鵬。他們各自在AI領(lǐng)域取得了顯著成就，為對話帶來了豐富視角。Ybg28資訊網(wǎng)——每日最新資訊28at.com

曹越和孔令鵬在非共識探索中取得了顯著成果。曹越將語言模型主流的自回歸路線應(yīng)用于視頻模型訓(xùn)練，實(shí)現(xiàn)了視頻長度的無限擴(kuò)展。而孔令鵬則通過引入擴(kuò)散模型，用僅7B的參數(shù)量在語言任務(wù)上超越了671B的DeepSeek V3。Ybg28資訊網(wǎng)——每日最新資訊28at.com

他們的經(jīng)歷展現(xiàn)了AI行業(yè)最具創(chuàng)新性的一面：勇于擁抱非共識，不斷探索未知領(lǐng)域。Ybg28資訊網(wǎng)——每日最新資訊28at.com

相比之下，阿里給人的印象似乎更加保守，長期專注于Dense模型的發(fā)展。直到2025年2月，千問才推出了首個(gè)MoE模型。面對外界的質(zhì)疑，林俊旸在圓桌上澄清道：“我們并不保守，只是經(jīng)過大量實(shí)驗(yàn)后未能取得預(yù)期成果。”Ybg28資訊網(wǎng)——每日最新資訊28at.com

林俊旸還分享了阿里在Transformer架構(gòu)上的探索歷程。他們曾嘗試多次改進(jìn)，但最終發(fā)現(xiàn)Transformer仍是最優(yōu)解。這一經(jīng)歷揭示了共識在AI行業(yè)中的重要性：共識往往代表著經(jīng)過驗(yàn)證的成功經(jīng)驗(yàn)。Ybg28資訊網(wǎng)——每日最新資訊28at.com

然而，三位嘉賓都感受到了行業(yè)的變化。去年還在堅(jiān)守共識的他們，今年開始積極尋找非共識。林俊旸比喻道：“現(xiàn)在的行業(yè)就像是在不同的方向上摸彩票，看誰能中大獎(jiǎng)。”Ybg28資訊網(wǎng)——每日最新資訊28at.com

孔令鵬也表達(dá)了類似的觀點(diǎn)。他認(rèn)為，無論是語言模型上的擴(kuò)散模型，還是視頻模型上的自回歸路線，都是為了平衡模型偏差和數(shù)據(jù)偏差，達(dá)到更好的效果。這一觀點(diǎn)揭示了非共識探索背后的共同目標(biāo)。Ybg28資訊網(wǎng)——每日最新資訊28at.com

在預(yù)訓(xùn)練技術(shù)方面，美國近期又涌現(xiàn)了新的非共識：預(yù)訓(xùn)練還未結(jié)束。林俊旸站在了這一新非共識的一方，透露阿里仍有大量數(shù)據(jù)未用于千問模型，每次加入新數(shù)據(jù)都能帶來性能提升。Ybg28資訊網(wǎng)——每日最新資訊28at.com

在圓桌對話中，嘉賓們還分享了各自在模型優(yōu)化、架構(gòu)創(chuàng)新等方面的見解。曹越強(qiáng)調(diào)了稀疏化在提升多模態(tài)領(lǐng)域效率方面的重要性；林俊旸則關(guān)注了MOE模型的進(jìn)一步探索以及訓(xùn)練穩(wěn)定性的優(yōu)化；孔令鵬則探討了模型可解釋性和幻覺問題，并提出了將創(chuàng)造視為搜索問題的新視角。Ybg28資訊網(wǎng)——每日最新資訊28at.com

通過這場對話，我們可以深刻感受到AI行業(yè)的多元性和創(chuàng)新性。在這個(gè)快速變化的領(lǐng)域里，共識與非共識不斷交織碰撞，推動著技術(shù)的不斷前行。Ybg28資訊網(wǎng)——每日最新資訊28at.com

Ybg28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-24-154705-0.htmlAI頂流技術(shù)大咖同臺論劍：預(yù)訓(xùn)練還是未來方向嗎？

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： 小米盧偉冰：自研芯片攻克旗艦與5G基帶，與高通聯(lián)發(fā)科并存

下一篇： Viture攜手八位堂發(fā)布獵戶座手柄，XR眼鏡直連低延遲新體驗(yàn)！