4 月 10 日消息,豆包大模型團隊今日通過官方公眾號宣布,首個多語言類 SWE 數據集 Multi-SWE-bench 現已正式開源,可用于評估和提升大模型“自動修 Bug”能力。
在 SWE-bench 基礎上,Multi-SWE-bench 首次覆蓋 Python 之外的 7 種主流編程語言,是真正面向“全棧工程”的評測基準。其數據均來自 GitHub issue,歷時近一年構建,以盡可能準確測評和提高大模型高階編程智能水平。
Multi-SWE-bench 旨在推動自動編程技術從僅能解決單一語言(如 Python)和低復雜度的任務,朝著支持多語言、具備真實問題解決能力的通用型智能體邁進。
SWE-bench 是當前最具代表性的代碼修復評測基準,強調任務真實、難度高。它基于 GitHub issue,要求模型自動定位并修復 Bug,兼具跨文件修改、復雜語義推理與上下文理解等挑戰。
Multi-SWE-bench 旨在補全現有同類基準語言覆蓋方面的不足,系統性評估大模型在復雜開發環境下的“多語言泛化能力”,推動多語言軟件開發 Agent 的評估與研究,其主要特性如下:
首次覆蓋 7 種主流編程語言(包括 Java、Go、Rust、C、C++、TypeScript、JavaScript),構建多語言開發環境下的代碼修復任務,系統評估模型的跨語言適應與泛化能力;
引入任務難度分級機制,將問題劃分為簡單(Easy)、中等(Medium)和困難(Hard)三類,涵蓋從一行修改到多文件、多步驟、多語義依賴的開發挑戰;
1,632 個實例全部來源于真實開源倉庫,并經過統一的測試標準和專業開發者的審核篩選,確保每個樣本具備清晰的問題描述、正確的修復補丁以及可復現的運行測試環境。
附開源鏈接:
Multi-SWE-bench: A Multilingual Benchmark for Issue Resolving:
論文鏈接:https://arxiv.org/ abs / 2504.02605
榜單鏈接:https://multi-swe-bench.github.io
代碼鏈接:https://github.com/ multi-swe-bench / multi-swe-bench
數據鏈接:https://huggingface.co/ datasets / ByteDance-Seed / Multi-SWE-bench
本文鏈接:http://www.tebozhan.com/showinfo-45-12213-0.html大模型“自動修 bug”能力將提升,豆包團隊開源首個多語言代碼修復基準 Multi-SWE-bench
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com