昇腾赋能三维生成新突破！浙大团队实现跨模态可控3DCAD建模

在虚拟现实与元宇宙技术迅猛发展的当下，三维虚拟内容创作所面临的高成本与低效率问题始终制约着行业进步。近日，浙江大学计算机科学与技术学院博士生、魔芯科技陈天润率领团队，依托浙江大学鲲鹏昇腾科教创新卓越中心提供的强大算力支持，成功研发出基于昇腾平台npu的首个三维模型生成算法——img2cad。

该研究的关键突破在于，首次实现了利用生成式模型精准输出可用于表达三维结构的脚本语言。通过引入Transformer架构，系统能够高效将稀疏且抽象的草图、图像等多模态输入“翻译”为精确的三维几何信息。整个过程无需依赖可微渲染器，完全在NPU上完成训练与高速推理，摆脱了对大量Vector算力的依赖。最终生成的3D模型不仅精度高，还可直接用于3D打印、CNC加工以及数字世界中的展示，兼容主流CAD软件，支持后续编辑。

其中，昇腾加速套件MindSpeed发挥了核心作用。该工具支持多种数据类型的加载与构建，灵活应对多模态数据的异构特性，有效保障了视觉大模型与脚本语言生成模块之间的协同效率，提升了整体系统的稳定性与运行速度。

此外，团队通过对算法结构的深度优化，实现了三维建模的即时交互能力。借助CANN算子库的强大性能，NPU的并行计算优势和高效内存访问机制得以充分发挥，显著降低了计算延迟与通信开销，使模型推理速度大幅提升。用户输入的草图或图片可被系统迅速响应并转化为三维模型，为实际应用提供了流畅、实时的交互体验，极大增强了可用性。

这一三维生成技术已在3D数据资产构建中展现出广泛应用前景，并成功服务于KOKONI3D打印机等实际场景，为数字制造、增强现实（AR）、虚拟现实（VR）等领域提供了高效的内容创作新路径。目前，项目已发表3篇高水平论文，包括1篇中科院一区期刊论文和2篇CCF-A类会议论文，部分成果已实现商业化落地，正持续推动昇腾算力在三维数字化产业中的深入应用。

此次跨模态可控三维生成技术的重大进展，不仅是浙江大学鲲鹏昇腾科教创新卓越中心在产学研协同创新方面的典范案例，也标志着智能三维内容创作正式迈入“低门槛、高效率、高质量”的全新时代。展望未来，随着Img2CAD系列模型的不断迭代升级，其将在工业设计、数字文创、元宇宙内容生产等多个领域释放巨大创造力，加速推动虚拟与现实世界的深度融合。

以上就是昇腾赋能三维生成新突破！浙大团队实现跨模态可控3DCAD建模的详细内容，更多请关注php中文网其它相关文章！