新周期，誰在堅守窄門？
來源：錦緞今日的投資者恐怕已經(jīng)忘記了，在OpenAI創(chuàng)造出ChatGPT這一殺器的前夜，生成式AI也曾經(jīng)是一道窄門，窄到連馬斯克都差點失去了信心。在當時的輿論眼中，AGI的道路不夠性感，不夠
6 月 7 日消息，通義千問（Qwen）今天宣布經(jīng)過數(shù)月的努力，Qwen 系列模型從 Qwen1.5 到 Qwen2 的重大升級，并已在 Hugging Face 和 ModelScope 上同步開源。
附上 Qwen 2.0 主要內(nèi)容如下：
5 個尺寸的預(yù)訓(xùn)練和指令微調(diào)模型，包括 Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 以及 Qwen2-72B
在中文英語的基礎(chǔ)上，訓(xùn)練數(shù)據(jù)中增加了 27 種語言相關(guān)的高質(zhì)量數(shù)據(jù)；
多個評測基準上的領(lǐng)先表現(xiàn)；
代碼和數(shù)學能力顯著提升；
增大了上下文長度支持，最高達到 128K tokens（Qwen2-72B-Instruct）。
模型基礎(chǔ)信息Qwen2 系列包含 5 個尺寸的預(yù)訓(xùn)練和指令微調(diào)模型，其中包括 Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 和 Qwen2-72B。
模型Qwen2-0.5BQwen2-1.5BQwen2-7BQwen2-57B-A14BQwen2-72B參數(shù)量0.49B1.54B7.07B57.41B72.71B非 Embedding 參數(shù)量0.35B1.31B5.98B56.32B70.21BGQATrueTrueTrueTrueTrueTie EmbeddingTrueTrueFalseFalseFalse上下文長度32K32K128K64K128K在 Qwen1.5 系列中，只有 32B 和 110B 的模型使用了 GQA。這一次，所有尺寸的模型都使用了 GQA，以便讓大家體驗到 GQA 帶來的推理加速和顯存占用降低的優(yōu)勢。
模型評測相比 Qwen1.5，Qwen2 在大規(guī)模模型實現(xiàn)了非常大幅度的效果提升。我們對 Qwen2-72B 進行了全方位的評測。
在針對預(yù)訓(xùn)練語言模型的評估中，對比當前最優(yōu)的開源模型，Qwen2-72B 在包括自然語言理解、知識、代碼、數(shù)學及多語言等多項能力上均顯著超越當前領(lǐng)先的模型，如 Llama-3-70B 以及 Qwen1.5 最大的模型 Qwen1.5-110B。
附上參考地址
你好，Qwen2
本文鏈接：http://www.tebozhan.com/showinfo-45-4549-0.html阿里云通義千問系列 AI 開源模型升至 Qwen2：5 個尺寸、上下文長度最高支持 128K tokens
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號