单张图直接就能生成可编辑的 CAD 工程文件！来自魔芯科技、NTU 等的研究人员提出图生 3D 新框架，名为 CADCrafter。
CADCrafter 和过去得到网格（Mesh）或 3D 高斯泼溅（3DGS）的图生 3D 方法大不相同。
不管是零件渲染图，还是拍摄的 3D 打印零件，甚至是随意拍摄的日常生活中的物体，CADCrafter 均能够生成的对应的原始 CAD 文件（以 CAD 指令的方式表示，包括表征每个几何特征的指令和对应参数）。
并且通过 CAD 编译器进行编译，可得到直接生产加工的 3D 文件（如 STP 格式的文件）。用户可以通过编辑 CAD 指令实现对物体的编辑（下图右）。
实验中，从落地实用性、表面质量等特点来看，CADCrafter 相较于目前的图生 3D 方法均有显著提升。
这项研究的作者来自 KOKONI 3D（魔芯科技）、新加坡南洋理工大学、新加坡 A*STAR、西湖大学、德州大学奥斯汀分校和浙江大学。通讯作者为魔芯科技创始人 Tianrun Chen 和新加坡 A*STAR 研究科学家 Fayao Liu。论文已被 CVPR 2025 接收。
以下是更多细节。
从图像到高质量 CAD 模型的端到端生成流程
在现实世界中，大多数人造物体最初都是通过计算机辅助设计（CAD）软件以参数化的方式建模的。
然而，如今大热的 3D AI 生成内容（3D AIGC）技术，例如 TRELLIS 等方法，大多仍依赖于“网格模型”（Mesh）作为基础。
问题也随之而来。
相比 CAD 的参数化设计，网格模型不仅难以理解，更难精确编辑。用户想要修改一个小部件的尺寸？在 CAD 中只需调整参数，在网格模型中却可能要大动干戈。
而且，这些 AI 生成的网格模型表面常常不够光滑，边缘也不够锐利，尤其是使用像 Marching Cubes 这样的算法从隐式函数转换生成网格时，几何质量更容易受到影响。
这种粗糙不清的表面，在需要高质量渲染或动画的应用中，显得格外捉襟见肘。
相比之下，CAD 的参数化模型则提供了极高的可控性和精度。它们允许用户直接通过参数调整几何形状，实现快速且精准的修改，大大提升了设计的灵活性与可解释性。
CADCrafter 就率先尝试了从 Image-to-Mesh 到 Image-to-CAD 的范式转变。
方法概述如下：
1. 基于 VAE 与 Diffusion Transformer 的隐空间生成框架
CADCrafter 采用了一种结合 VAE 与扩散模型的两阶段生成架构。
首先，团队训练了一个变分自编码器（VAE），将 CAD 指令序列映射到一个结构化的隐空间。
接着，在该隐空间中引入条件扩散生成过程：基于 Diffusion Transformer（DiT）架构，训练一个扩散生成大模型，输入条件为用户提供的图像，从而实现图像引导下的 CAD 隐空间采样与生成。
2. 蒸馏策略：从多视图到单视图的高效建模转移
考虑到从单张图像重建 CAD 模型的挑战性，团队首先构建了一个多视图输入的 DiT 生成模型，以更稳定地学习图像到 CAD 空间的映射关系。
随后，通过引入蒸馏机制（使用 Ldistill 损失），将多视图模型的知识迁移到单视图模型中，从而实现了仅基于单张图像进行高质量 CAD 生成的能力。
3. 引入基于 DPO 的可编译性代码检查机制
在 CAD 生成过程中，CAD 指令还需经过 CAD 内核（CAD Kernel）解析，才能生成可视的 3D 模型。
然而，若生成指令存在语义错误，例如不闭合曲线等问题，模型构建将直接失败。
为解决这一关键挑战，作者设计了一个代码合理性判别模块，用于判断生成的 CAD 代码是否能够被成功编译。
作者进一步采用 DPO（Direct Preference Optimization）损失，引导模型倾向于生成更可编译、几何结构完整的 CAD 指令，从而显著提升最终 3D 模型生成的成功率与实用性。
渲染零件、拍摄的 3D 打印零件等均能重建
研究团队选取多个标准 CAD 模型，使用 KOKONI SOTA 3D 打印机将其打印成实物，并通过拍照获取图像输入。
实验表明，CADCrafter 能够基于单张图像，准确生成结构清晰、符合几何特征的 CAD 建模指令，其生成效果在细节还原度方面优于现有方法。
拍摄日常生活中的物体，CADCrafter 也能直接生成其设计制造时可用的工程文件，其表面平面度、棱角等细节均符合物体被生产加工制造时的特点（良好表面、尺寸和几何特征均可编辑）。
这一成果不仅展示了 CADCrafter 在建模精度上的突破，也展现了其在实际应用场景中的可行性。
例如，在制造与维修领域，工程师可通过拍摄现有零件照片，快速生成可编辑的 CAD 模型，进而加速原型设计或零件重建流程。
团队相信，CADCrafter 为 AI 辅助工业设计提供了新的解决方案，其从 Image-to-Mesh 到 Image-to-CAD 的范式转变，有助于推动图像驱动的 AI 3D 建模向真正可落地应用迈出关键一步。
论文链接：https://arxiv.org/pdf/2504.04753
本文来自微信公众号：量子位（ID：QbitAI），作者：CADCrafter 团队，原标题《单图直出 CAD 工程文件！CVPR 2025 新研究解决 AI 生成 3D 模型“不可编辑”痛点｜魔芯科技 NTU 等出品》
