AI 科研前沿分享 |CAD-Coder：开源视觉语言模型在CAD代码生成中的突破性研究

1. 研究背景与动机

• 表示不完整：多数模型基于领域特定语言（DSL），仅支持有限CAD操作；
• 泛化能力不足：难以处理真实世界图像或未见过的CAD操作；
• 输出准确性低：生成代码常出现语法错误或几何偏差。

2. 核心创新点

2.1 专有数据集GenCAD-Code

• 规模与内容：包含163,671个CAD模型图像和对应CadQuery脚本，源自GenCAD数据集的转换（CAD程序→CadQuery代码）。
• 数据分布：token数量分布右偏，平均611 token，99.9%脚本低于3000 token，反映数据集以简单模型为主，复杂样本较少。
• 公开可用：为社区提供最大CAD图像-代码配对数据集，促进后续研究。

2.2 模型架构与训练策略

• 阶段1（特征对齐）：冻结视觉编码器和LLM，训练两层MLP将图像特征映射到词嵌入空间，使用595K图像-文本对（来自CC3M数据集）。
• 阶段2（端到端微调）：使用GenCAD-Code数据集，解冻LLM权重，优化整个模型以最大化CadQuery代码的生成概率。训练参数：学习率2e-5，批量大小128，1轮训练耗时5.7小时（4×H100 GPU）。

2.3 评估指标创新

• 有效语法率（VSR）：生成代码的语法正确百分比。
• 最佳交并比（IOUbest）：基于固体几何相似性的新指标，通过惯性矩阵归一化和主轴对齐计算，优于传统Chamfer距离，更精确反映形状匹配度。

3. 方法细节

3.1 数据集生成流程

3.2 模型推理与提示工程

• 输入：图像（渲染CAD或真实照片） + 固定文本提示：“Generate the CadQuery code needed to create the CAD for the provided image. Just the code, no other words.”
• 输出：可直接执行的Python脚本，赋值给变量solid。
• 约束：最大token限制4096，过滤超长样本（<0.1%）。

4. 实验结果与性能分析

4.1 基线对比

• VSR：100%（所有代码语法正确），远超GPT-4.5（92%）、Qwen2.5-VL-72B（94%）。
• IOUbest：0.675，比最佳基线GPT-4.5（0.524）高28.8%，几何准确性显著提升。

4.2 泛化能力实验

4.2.1 真实世界图像生成

• 测试设置：3D打印GenCAD测试集物体并拍摄等距视图照片，输入CAD-Coder。
• 结果：模型能生成合理CAD代码，但尺寸比例准确性下降（如物体2的边长低估），因训练数据仅含渲染图像（灰度、完美视角）。IOUbest低于渲染图像条件生成。

4.2.2 未见CAD操作处理

• 测试案例：圆角操作（fillet），未包含在训练数据中。
• 初始失败：CAD-Coder（基于Vicuna-13B）无法生成正确语法，因LLM缺乏CadQuery知识。
• 改进尝试：换用代码专家LLM Qwen2.5-Coder-14B，并降低学习率（1e-5），成功生成圆角代码，但需具体提示（如提醒.fillet()方法用法）。
• 意义：显示通过预训练知识保留，模型可泛化到新操作，但依赖提示工程。

5. 局限性与未来工作

5.1 当前局限

• 视角敏感性：真实图像输入时，尺寸推断易受视角影响。
• 复杂特征处理：多拉伸操作或复杂几何体生成准确性低。
• 提示依赖：泛化到新操作需详细提示，抽象提示无效。
• 数据集偏差：Token分布右偏，复杂样本不足。

5.2 未来方向

• 多视图训练：加入多视角图像增强鲁棒性。
• 真实图像增强：扩展数据集包含真实照片，改善泛化。
• 连续学习：探索LORA等参数高效微调，更好保留预训练知识。
• 推理集成：引入思维链（Chain-of-Thought）提高复杂生成准确性。

6. 研究意义与行业影响

6.1 学术贡献

• 新范式：证明通用VLM通过领域微调可专精CAD代码生成，突破DSL限制。
• 指标创新：IOUbest提供更可靠的几何评估方法。
• 开源资源：发布模型、代码和数据集，促进社区发展。

6.2 工业应用

• 设计民主化：降低CAD使用门槛，非专家也可快速生成专业模型。
• 流程加速：从图像到可制造模型的时间从小时级缩短到分钟级。
• 制造自动化：与3D打印/CNC集成，实现端到端数字化生产。

结论