在虛擬現實、元宇宙技術快速發展的背景下,三維虛擬內容創作的高成本與低效率問題一直是行業痛點。近日,浙江大學計算機科學與技術學院博士研究生、魔芯科技陳天潤帶領團隊,依托浙江大學鯤鵬昇騰科教創新卓越中心提供的算力支持,實現了基于昇騰平臺 NPU 的首個三維模型生成算法模型 Img2CAD 的開發。
該研究成果的核心突破之一在于破解了用生成模型得到腳本語言對三維結構的精準表達,讓稀疏抽象的草圖、圖片等多模態輸入能被通過 Transformer 結構高效“翻譯”為三維幾何信息,不需要可微渲染器,能夠完整在 NPU 上實現訓練和高效推理,無需大量 Vector 算力 —— 并最終得到能被 3D 打印、CNC 制造加工、數字世界展覽展示的高精度 3D 模型,可直接導入現有 CAD 軟件中進行編輯。其中昇騰加速套件 MindSpeed 提供了關鍵支撐,該工具支持多類型數據加載構建,可靈活適配多模態數據的異構特征,保障了視覺大模型與腳本語言表示模塊的高效協同。
與此同時,通過算法模型結構的優化,團隊實現了三維生成的即時交互建模。CANN 算子庫能充分發揮 NPU 的并行計算能力和高效內存訪問機制,能大幅減少計算延遲和通信開銷,進一步提升模型推理速度,使系統能夠快速響應用戶輸入的草圖或圖片,為實際落地場景中構建流暢的實時 3D 交互建模體驗提供了堅實的技術保障。
該項目開發的三維生成方法能夠用于 3D 數據資產的構建,并服務于 KOKONI 3D 打印機等應用場景,為數字制造、AR / VR 相關產業提供了高效的內容創作解決方案。目前,項目已完成 3 篇成果論文,包括 1 篇中科院 1 區期刊論文和 2 篇 CCF-A 類會議論文,相關成果已在部分場景實現商業化落地,并將持續帶動昇騰的澎湃算力在三維數字化產業應用。
此次跨模態可控三維生成技術的突破,不僅是浙江大學鯤鵬昇騰科教創新卓越中心在產學研融合上的一次成功實踐,更標志著智能三維內容創作邁入“低門檻、高效率、高質量”的新階段。未來,隨著技術的持續迭代,Img2CAD 相關模型將為工業設計、數字文創、AR / VR 等千行百業注入創意動能,推動虛擬與現實世界的融合邊界不斷拓展。
本文鏈接:http://www.tebozhan.com/showinfo-26-175540-0.html昇騰賦能三維生成新突破!浙大團隊實現跨模態可控 3D CAD 建模
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com