新周期，誰在堅守窄門？
來源：錦緞今日的投資者恐怕已經忘記了，在OpenAI創造出ChatGPT這一殺器的前夜，生成式AI也曾經是一道窄門，窄到連馬斯克都差點失去了信心。在當時的輿論眼中，AGI的道路不夠性感，不夠
單張圖直接就能生成可編輯的 CAD 工程文件！來自魔芯科技、NTU 等的研究人員提出圖生 3D 新框架，名為 CADCrafter。
CADCrafter 和過去得到網格（Mesh）或 3D 高斯潑濺（3DGS）的圖生 3D 方法大不相同。
不管是零件渲染圖，還是拍攝的 3D 打印零件，甚至是隨意拍攝的日常生活中的物體，CADCrafter 均能夠生成的對應的原始 CAD 文件（以 CAD 指令的方式表示，包括表征每個幾何特征的指令和對應參數）。
并且通過 CAD 編譯器進行編譯，可得到直接生產加工的 3D 文件（如 STP 格式的文件）。用戶可以通過編輯 CAD 指令實現對物體的編輯（下圖右）。
實驗中，從落地實用性、表面質量等特點來看，CADCrafter 相較于目前的圖生 3D 方法均有顯著提升。
這項研究的作者來自 KOKONI 3D（魔芯科技）、新加坡南洋理工大學、新加坡 A*STAR、西湖大學、德州大學奧斯汀分校和浙江大學。通訊作者為魔芯科技創始人 Tianrun Chen 和新加坡 A*STAR 研究科學家 Fayao Liu。論文已被 CVPR 2025 接收。
以下是更多細節。
從圖像到高質量 CAD 模型的端到端生成流程在現實世界中，大多數人造物體最初都是通過計算機輔助設計（CAD）軟件以參數化的方式建模的。
然而，如今大熱的 3D AI 生成內容（3D AIGC）技術，例如 TRELLIS 等方法，大多仍依賴于“網格模型”（Mesh）作為基礎。
問題也隨之而來。
相比 CAD 的參數化設計，網格模型不僅難以理解，更難精確編輯。用戶想要修改一個小部件的尺寸？在 CAD 中只需調整參數，在網格模型中卻可能要大動干戈。
而且，這些 AI 生成的網格模型表面常常不夠光滑，邊緣也不夠銳利，尤其是使用像 Marching Cubes 這樣的算法從隱式函數轉換生成網格時，幾何質量更容易受到影響。
這種粗糙不清的表面，在需要高質量渲染或動畫的應用中，顯得格外捉襟見肘。
相比之下，CAD 的參數化模型則提供了極高的可控性和精度。它們允許用戶直接通過參數調整幾何形狀，實現快速且精準的修改，大大提升了設計的靈活性與可解釋性。
CADCrafter 就率先嘗試了從 Image-to-Mesh 到 Image-to-CAD 的范式轉變。
方法概述如下：
CADCrafter 采用了一種結合 VAE 與擴散模型的兩階段生成架構。
首先，團隊訓練了一個變分自編碼器（VAE），將 CAD 指令序列映射到一個結構化的隱空間。
接著，在該隱空間中引入條件擴散生成過程：基于 Diffusion Transformer（DiT）架構，訓練一個擴散生成大模型，輸入條件為用戶提供的圖像，從而實現圖像引導下的 CAD 隱空間采樣與生成。
2. 蒸餾策略：從多視圖到單視圖的高效建模轉移考慮到從單張圖像重建 CAD 模型的挑戰性，團隊首先構建了一個多視圖輸入的 DiT 生成模型，以更穩定地學習圖像到 CAD 空間的映射關系。
隨后，通過引入蒸餾機制（使用 Ldistill 損失），將多視圖模型的知識遷移到單視圖模型中，從而實現了僅基于單張圖像進行高質量 CAD 生成的能力。
3. 引入基于 DPO 的可編譯性代碼檢查機制在 CAD 生成過程中，CAD 指令還需經過 CAD 內核（CAD Kernel）解析，才能生成可視的 3D 模型。
然而，若生成指令存在語義錯誤，例如不閉合曲線等問題，模型構建將直接失敗。
為解決這一關鍵挑戰，作者設計了一個代碼合理性判別模塊，用于判斷生成的 CAD 代碼是否能夠被成功編譯。
作者進一步采用 DPO（Direct Preference Optimization）損失，引導模型傾向于生成更可編譯、幾何結構完整的 CAD 指令，從而顯著提升最終 3D 模型生成的成功率與實用性。
渲染零件、拍攝的 3D 打印零件等均能重建研究團隊選取多個標準 CAD 模型，使用 KOKONI SOTA 3D 打印機將其打印成實物，并通過拍照獲取圖像輸入。
實驗表明，CADCrafter 能夠基于單張圖像，準確生成結構清晰、符合幾何特征的 CAD 建模指令，其生成效果在細節還原度方面優于現有方法。
拍攝日常生活中的物體，CADCrafter 也能直接生成其設計制造時可用的工程文件，其表面平面度、棱角等細節均符合物體被生產加工制造時的特點（良好表面、尺寸和幾何特征均可編輯）。
這一成果不僅展示了 CADCrafter 在建模精度上的突破，也展現了其在實際應用場景中的可行性。
例如，在制造與維修領域，工程師可通過拍攝現有零件照片，快速生成可編輯的 CAD 模型，進而加速原型設計或零件重建流程。
團隊相信，CADCrafter 為 AI 輔助工業設計提供了新的解決方案，其從 Image-to-Mesh 到 Image-to-CAD 的范式轉變，有助于推動圖像驅動的 AI 3D 建模向真正可落地應用邁出關鍵一步。
論文鏈接：https://arxiv.org/pdf/2504.04753
本文來自微信公眾號：量子位（ID：QbitAI），作者：CADCrafter 團隊，原標題《單圖直出 CAD 工程文件！CVPR 2025 新研究解決 AI 生成 3D 模型“不可編輯”痛點｜魔芯科技 NTU 等出品》
本文鏈接：http://www.tebozhan.com/showinfo-45-12274-0.html單圖直出 CAD 工程文件，新研究解決 AI 生成 3D 模型“不可編輯”痛點
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號