人間誠實周鴻祎：360 All in 大模型的六個解讀
主筆 / 村口有牛文章架構(gòu)師 / 毛自聰出品 / 巨頭財經(jīng)5月至今，人間躁動，各路大模型你方唱罷我登場，VC圈互聯(lián)網(wǎng)圈媒體圈已近癲狂。誰也沒想到，今日，360再度刷屏，老牌互聯(lián)網(wǎng)巨頭展現(xiàn)
斯坦福 AI 團(tuán)隊，竟然曝出了抄襲事件，而且抄襲的還是中國國產(chǎn)的大模型成果 —— 模型結(jié)構(gòu)和代碼，幾乎一模一樣！跟任何抄襲事故一樣……AI 圈內(nèi)都驚呆了。
斯坦福的這項研究叫做 Llama3-V，是于 5 月 29 日新鮮發(fā)布，宣稱只需要 500 美元就能訓(xùn)出一個 SOTA 多模態(tài)大模型，比 GPT-4V、Gemini Ultra、Claude Opus 都強(qiáng)。
Llama3-V 的 3 位作者或許是擁有名校頭銜加持，又有特斯拉、SpaceX 的大廠相關(guān)背景，這個項目短短幾天就受到了不小的關(guān)注。
甚至一度沖上了 HuggingFace 趨勢榜首頁：
然而，戲劇性的一幕開始上演了。
有位細(xì)心的網(wǎng)友發(fā)現(xiàn)，咦？這“配方”怎么如此的熟悉？
然后他定睛一看，好家伙，這不就是 MiniCPM-Llama3-V 2.5（出自清華系明星創(chuàng)業(yè)公司面壁智能）嘛。
于是這位網(wǎng)友便跑到面壁智能 GitHub 項目下開始爆料了：
你們家大模型被斯坦福團(tuán)隊抄襲了！
并且他還附上了一堆的證據(jù)，最直接的莫過于這張 2 個模型代碼的對比圖了：
Emmm…… 用這位網(wǎng)友的話來說就是：
模型結(jié)構(gòu)、代碼、配置文件，簡直一模一樣，只是變量名變了而已。
至于為什么這位網(wǎng)友要跑到面壁智能 GitHub 項目下面留言，是因為他之前已經(jīng)給 Llama3-V 作者留過言了，但斯坦福團(tuán)隊的做法竟是刪庫跑路……
沒錯，現(xiàn)在不論是 GitHub 還是 HuggingFace，統(tǒng)統(tǒng)都是 404：
并且這事現(xiàn)在還在持續(xù)發(fā)酵的過程中，網(wǎng)上吃瓜的群眾也是越來越多。
那么我先來一同回顧一下這件 drama 事情的始末。
“代碼和架構(gòu)一模一樣”正如剛才所述，一個網(wǎng)友爆料 Llama3-V 抄襲 MiniCPM-Llama3-V 2.5，跑到面壁智能的 GitHub 主頁提醒團(tuán)隊注意，并把關(guān)鍵證據(jù)都一一截圖列舉整理了下來，這才有了整個抄襲門的還原現(xiàn)場。
以下是來自這位網(wǎng)友的證據(jù)。
證據(jù)一，Llama3-V 的模型架構(gòu)和代碼與 MiniCPM-Llama3-V 2.5 幾乎完全相同：
看下面的例子，配置文件就改了圖像切片、分詞器、重采樣器和數(shù)據(jù)加載等格式化和變量名：
Llama3-V 作者表示參考了 LLaVA-UHD 架構(gòu)，在 ViT 和 LLM 等選擇上有一些差異。但實際上，網(wǎng)友發(fā)現(xiàn)他們的具體實現(xiàn)在空間模式等很多方面都與 LLaVA-UHD 不同，卻出奇與 MiniCPM-Llama3-V 2.5 一致。
甚至，Llama3-V 還用了 MiniCPM-Llama3-V 2.5 的分詞器，連 MiniCPM-Llama3-V 2.5 定義的特殊符號都能“巧合”實屬離譜。
證據(jù)二，網(wǎng)友質(zhì)疑 Llama3-V 作者是如何在 MinicPM-Llama3-V2.5 項目發(fā)布之前就使用上 MinicPM-Llama3-V2.5 分詞器的。
Llama3-V 作者給的回復(fù)是這樣嬸兒的，說是用的面壁智能上一代 MinicPM-V-2 項目的：
但事實卻是，HuggingFace 中，MiniCPM-V2 與 MiniCPM-Llama3-V 2.5 分詞器分別是兩個文件，文件大小也完全不同。
MiniCPM-Llama3-V 2.5 的分詞器是用 Llama3 分詞器加上 MiniCPM-V 系列模型的特殊 token 組成，而 MiniCPM-V2 的發(fā)布都在 Llama3 開源之前，怎么會有 Llama3 分詞器。
證據(jù)三，Llama3-V 作者隨后無故刪除了網(wǎng)友在 Llama3-V 頁面上提交的質(zhì)疑他們抄襲的問題。
而且，他們似乎對 MiniCPM-Llama3-V 2.5 架構(gòu)或他們自己的代碼都不完全了解。
感知器重采樣器（Perceiver resampler）是單層交叉注意力，而不是雙層自注意力。但是下圖所示 Llama3-V 的技術(shù)博客里作者的理解很明顯是錯的。
SigLIP 的 Sigmoid 激活也不用于訓(xùn)練多模態(tài)大語言模型，而僅用于預(yù)訓(xùn)練 SigLIP。
視覺特征提取不需要 Sigmoid 激活：
基于以上三點事實，這位網(wǎng)友認(rèn)為證據(jù)足以證明 Llama3-V 項目竊取了 MiniCPM-Llama3-V 2.5 項目的學(xué)術(shù)成果。
但還沒完，他隨后又補(bǔ)充了兩點證據(jù)。
幾天前，當(dāng)這位網(wǎng)友嘗試運行 Llama3-V 時，發(fā)現(xiàn)他們提供的代碼無法與 HuggingFace 的 checkpoint 一起使用，反饋問題沒有得到作者回復(fù)。
于是網(wǎng)友把從 HuggingFace 下載的 Llama3-V 模型權(quán)重中的變量名改成了 MiniCPM-Llama3-V 2.5 的，驚奇發(fā)現(xiàn)模型居然可以用 MiniCPM-V 代碼成功運行。
此外，如果將高斯噪聲（由單個標(biāo)量參數(shù)化）添加到 MiniCPM-Llama3-V 2.5 的 checkpoint，結(jié)果就是會得到一個行為與 Llama3-V 極其相似的模型。
收到網(wǎng)友的提醒后，MiniCPM-Llama3-V 2.5 團(tuán)隊這邊也迅速展開了調(diào)查，他們按照網(wǎng)友的在 GitHub 上的說明，使用 Llama3-V 的 checkpoint 和 MiniCPM-Llama3-V 2.5 的代碼和配置文件正確獲取了推理結(jié)果。
于是，一個更為關(guān)鍵性的證據(jù)出現(xiàn)了。
Llama3-V 在一些未公開的實驗性特征上表現(xiàn)出與 MiniCPM-Llama3-V 2.5 高度相似的行為，而這些特征是根據(jù) MiniCPM-Llama3-V 2.5 團(tuán)隊內(nèi)部數(shù)據(jù)訓(xùn)練的。
例如，識別清華簡！
MiniCPM-Llama3-V 2.5 特有的功能之一是識別清華簡，這是一種非常罕見、于戰(zhàn)國時期寫在竹子上的中國古代文字。
訓(xùn)練圖像是從最近出土的文物中掃描出來的，由 MiniCPM-Llama3-V 2.5 團(tuán)隊進(jìn)行了標(biāo)注，尚未公開發(fā)布。
而 Llama3-V 的識別情況和 MiniCPM-Llama3-V 2.5 極為相似。
識別錯誤的情況竟也出奇一致：
MiniCPM-Llama3-V 2.5 團(tuán)隊還在 1000 張竹簡圖像上測試了幾種基于 Llama3 的視覺-語言模型，并比較了每對模型的預(yù)測精確匹配。
結(jié)果，每兩個模型之間的重疊為零，而 Llama3-V 和 MiniCPM-Llama3-V 2.5 之間的 && 重疊達(dá)到了驚人的 87%**。
此外，MiniCPM-Llama3-V 2.5 和 Llama3-V 甚至具有相似的錯誤分布。Llama3-V 和 MiniCPM-Llama3-V 2.5 分別做出 236 和 194 個錯誤預(yù)測，重疊部分為 182 個。
且按照網(wǎng)友在 GitHub 上的指令獲得的 MiniCPM-Llama3-V2.5-noisy 顯示出與 Llama3-V 幾乎相同的定量結(jié)果，真令人匪夷所思……
在另一個 MiniCPM-Llama3-V 2.5 內(nèi)部數(shù)據(jù)上訓(xùn)練的未公開功能 ——WebAgent 上，也出現(xiàn)了同樣的情況。
Llama3-V 甚至和 MiniCPM-Llama3-V 2.5 團(tuán)隊新定義的 WebAgent 模式中犯的錯誤都一樣。
鑒于這些結(jié)果，MiniCPM-Llama3-V 2.5 團(tuán)隊表示很難將這種不尋常的相似性解釋為巧合，希望 Llama3-V 作者能對這個問題給出一個正式的解釋。
雖然斯坦福的 2 位本科生已經(jīng)下架了幾乎所有與之相關(guān)的項目，但其實在此之前，他們最初在面對質(zhì)疑的時候還是做出了些許的解釋。
例如他們強(qiáng)調(diào)，Llama3-V 這項工作的時間是要早于面壁智能的 MiniCPM，只是使用了他們的 tokenizer。
不過作者對 Medium 上的聲明還是做了保留：
非常感謝那些在評論中指出與之前研究相似之處的人。
我們意識到我們的架構(gòu)非常類似于 OpenBMB 的“MiniCPM-Llama3-V 2.5，他們在實現(xiàn)上比我們搶先一步。
我們已經(jīng)刪除了關(guān)于作者的原始模型。
對此，一部分網(wǎng)友表示，既然選擇刪掉項目，那么就表示確實存在一定的問題。
不過另一方面，對于抄襲這事也有不一樣的聲音 ——
MiniCPM-Llama3-V 2.5 不也是在 Llama3 的基礎(chǔ)上做的改良嗎？不過連 tokenizer 都直接拿來用就應(yīng)該不算是借鑒了。
而就在剛剛，另一個戲劇性的事情發(fā)生了。
斯坦福的作者在中午時間做出了最新的回應(yīng)：
但現(xiàn)在…… 這條回應(yīng)又刪掉了。
而面壁智能這邊，CEO 李大海也做出了正式回應(yīng)：
參考鏈接：
[1]https://github.com/OpenBMB/MiniCPM-V/issues/196
[2]https://github.com/mustafaaljadery/Llama3-V
[3]https://www.reddit.com/r/LocalLLaMA/comments/1d6f1f3/Llama3-V_project_is_stealing_a_lot_of_academic/
[4]https://www.reddit.com/r/LocalLLaMA/comments/1d6f1f3/Llama3-V_project_is_stealing_a_lot_of_academic/?rdt=41696&onetap_auto=true&one_tap=true
[5]https://aksh-garg.medium.com/llama-3v-building-an-open-source-gpt-4v-competitor-in-under-500-7dd8f1f6c9ee
本文來自微信公眾號：量子位 （ID：QbitAI），作者：金磊 西風(fēng)
本文鏈接：http://www.tebozhan.com/showinfo-45-4488-0.html斯坦福團(tuán)隊被曝抄襲清華系大模型，已刪庫跑路，創(chuàng)始人回應(yīng)：也算國際認(rèn)可
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號