電子工程專輯訊此前小米公布2023Q1財報時,盧偉冰曾指出,小米不會像OpenAI公司那樣去做通用大模型,會跟公司的業務相結合,通過技術轉化為業務成果。小米對AI大模型的態度也是持開放狀態,有可能引進第三方來幫助發展。
近日,小米來自大模型評測平臺的C-Eval、CMMLU的數據評分被曝光,引發談論。AI概念這段時間的“風聲”很大,小米偷偷發力AI大模型的進展到什么程度了?
小米在Github是這樣介紹MiLM-6B:MiLM-6B是由小米開發的一個大規模預訓練語言模型,參數規模為64億。在C-Eval和CMMLU上均取得同尺寸最好的效果。
在得分方面,在C-Eval評估中,MiLM-6B的平均分為60.2,總榜單排名第10、同參數量級排名第1。在CMMLU評估中,MiLM-6B在Five-shot和Zero-shot測試中的平均分分別為57.17和60.37。
根據C-Eval給出的信息,MiLM-6B模型在具體各科目成績上,在STEM(科學、技術、工程和數學教育)全部20個科目中,計量師、物理、化學、生物等多個項目獲得了較高的準確率。不過在“法學、數學、編程、概率論、離散數學”等涉及“抽象思維”的科目中,還有一定進步空間。在人文科學的11個科目中,MiLM-6B則在“歷史與法律”基礎上有著不錯的準確率表現。
“CMMLU”是一個綜合性的中文評估基準,專門用于評估語言模型在中文語境下的知識和推理能力。CMMLU涵蓋了從基礎學科到高級專業水平的67個主題。它包括:需要計算和推理的自然科學,需要知識的人文科學和社會科學,以及需要生活常識的中國駕駛規則等。此外,CMMLU中的許多任務具有中國特定的答案,可能在其他地區或語言中并不普遍適用。因此是一個完全中國化的中文測試基準。
“C-Eval”是由上海交通大學、清華大學、愛丁堡大學共同構建的一個針對基礎模型的綜合中文評估套件。它由13948道多項選擇題組成,涵蓋52個不同學科和四個難度級別,覆蓋人文、社科、理工,及其他專業四個大方向,用以幫助中文社區研發大模型。
據悉,目前小米在大模型團隊方面的主力團隊有30多人,按照人才、數據、模型、算力、評測、產品這幾個方面進行籌備,不會擴張的太快。小米把“AI實驗室”比喻成集團層面AI技術的“試驗田”和“彈藥庫”,如果AI發展迅速,AI實驗室會研發一些中長期的前沿技術,圍繞小米業務做儲備,在集團需要的時候輸出“彈藥”。
AI的發展速度究竟會有多快或者多慢,其實很難評判。就比如OpenAI推出的ChatGPT,一夜之間就讓沉淀的AI技術發生井噴式發展,但現在AI技術還在找一個能真正落地的應用場景。小米的大模型也將在未來豐富其業務發展,比如小米的小愛同學、手機操作系統MIUI、汽車的座艙、IoT、機器人,都是應用大模型的典型場景。
而且小米現在研發的AI大模型也是有側重點的,更多側重在語言大模型上,去豐富提升小愛同學的理解能力、智能家居指令的識別能力等。至于通過大模型來實現智能家居的自動組網、個性化的家居體驗,至少小米AI實驗室沒有在做。
責編:Amy.wu <本文鏈接:http://www.tebozhan.com/showinfo-27-5635-0.html小米首次曝光AI大模型MiLM-6B,評測榜單排名第十
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com