这两年CAD圈里最热的话题之一就是大模型到底能不能真正辅助工程师做参数化建模。渲染图生成已经玩得很溜了可一旦落到实际工程场景——给一张手绘草图、一段设计需求让AI给出一个能编辑、能回滚、能改参数还不崩溃的模型——大多数方法就现出原形。更麻烦的是大家连“怎么评价效果好”都没个统一标准。有人报Chamfer距离有人报特征匹配率有人直接放几张好看的渲染图评测口径五花八门论文之间根本没法横向比。RealCADBench这个名字就是冲着这个乱象来的。它把“从工业设计意图出发的参数化CAD建模”这件事拆成了一套可以量化、可以复现、可以对比的评测体系。这篇文章我不打算复述paper里的每个公式而是从我实际接触这套评测框架、拿不同模型去试水、以及踩过的一堆坑出发聊聊RealCADBench到底解决了什么问题它的评测维度设计得合不合理以及真正想在CAD生成方向做研究或做工程落地的人该怎么理解和使用这套基准。1. 参数化建模评测为什么这么难先看清“工业设计意图”这条链1.1 输入端的“意图”到底长什么样要理解RealCADBench第一件事是搞清楚“工业设计意图”这个输入到底是什么。很多人以为它就是一张图片——就像ImageNet那样给张猫给张狗模型输出一个类别。但工程里的设计意图远比图像分类复杂它是多模态、多层级、带约束的。我在实际项目中接触到的设计意图常见的有这么几种形态手绘草图或工程草图设计师在纸上或平板上画的轮廓线、剖面线可能有标注尺寸也可能只有几条示意线需要算法理解“这里要倒角”“这里是个通孔”这类隐含语义。多视角投影图三视图主视、俯视、侧视是传统工程图的标准表达AI需要从二维投影反推三维参数化结构这涉及视角融合和空间推理。自然语言需求比如“一个直径30mm、长度50mm的圆柱一端带M6螺纹孔”这类文本描述在工业设计需求文档里大量存在但语言本身有歧义变量之间还有依赖关系。已有模型的修改需求在现有零件基础上“把凸台加高5mm”“把孔阵列从4个改成6个”这属于增量式设计意图对模型的历史结构和参数依赖理解要求更高。RealCADBench对输入的定义本质上是在逼评测对象面对这些真实存在的形态而不是像很多学术benchmark那样只喂一张干净的渲染图。这个设计判断我认为是准确的——工业场景里没人会给你一张完美光照、无遮挡、单一背景的输入图。1.2 输出端的参数化模型为什么不好量化输入端复杂也就罢了输出端更头疼。参数化CAD模型的核心不是那个最终网格而是它的构造过程——特征历史树feature history tree。简单说就是一个零件不是被“雕刻”出来的而是被一步步“搭建”出来的先拉伸一个基体再切一个槽再打一排孔最后倒角。这就带来一个根本性的评测难题两个模型几何外形可能几乎一模一样但特征树完全不同。一个是用“拉伸基体切除孔阵列”完成的另一个可能是用“旋转体布尔减运算镜像”完成的。从工程角度讲前者的可编辑性、参数化灵活性可能远好于后者但如果你只看几何误差两个模型得分一样。更麻烦的是特征树是有层级的父子特征之间有依赖关系。修改了父特征的参数子特征可能跟着变也可能直接报错失效拓扑失败。这种依赖关系很难用简单的距离指标来度量。我见过太多做CAD生成的研究输出的是STEP文件或者B-rep模型评测时就比一比点和面之间的距离。这种方式对“视觉相似”是有效的但对“参数化建模能力”几乎没有区分度——它完全不管你是怎么构造出来的。1.3 现有评测指标搬过来为什么“水土不服”学术界已有的做法大多是借鉴视觉领域的指标典型的有三类点云距离类Chamfer Distance、Hausdorff Distance把两个模型分别采样成点云算最近邻距离。优点是计算简单缺点是几何表面上微小的、但工程上致命的差异比如少了一个孔可能被淹没在整体距离均值里。体素/网格IoU类把空间离散成体素格子算两个模型占用的重叠比例。这个更粗糙网格分辨率稍低就丢失细节小特征全部被抹平。草图序列编辑距离把建模过程序列化成token比如草图画线、标注尺寸、选择拉伸用编辑距离比较两个序列的相似度。这个方向比纯几何好因为它开始关注过程了但编辑距离不分权重漏掉一个“旋转”操作和漏掉一个“倒角”操作惩罚是一样的可工程后果完全不是一个量级。这些指标单独拿出来用都会有明显的盲区。RealCADBench的做法不是简单发明一个“新指标”而是把这些维度组合成一个分层评测体系再补上工程约束维度的考察。这一点后面细说。2. RealCADBench到底测什么从设计意图到特征树的完整评测维度2.1 几何保真度先看“像不像”第一个维度是几何保真度这个维度解决的是“最基本的生成质量”——生成的模型和参考模型在形状上像不像。但RealCADBench在这个维度上做的改进是它没有只看全局距离而是区分了全局形状误差和局部特征误差。全局形状误差捕捉的是整体轮廓的偏离比如一个零件你本来该做成100mm长结果生成了95mm这就是全局误差。局部特征误差则针对的是小尺寸结构比如直径6mm的安装孔、R2的倒角。这种区分非常重要因为工程上有太多小尺寸、但对装配和功能至关重要的特征。全局距离指标往往把这些小特征的偏差“平均掉”了而RealCADBench会单独报告局部特征上的命中率。在实际评估操作中通常需要先做模型对齐比如PCA对齐或基于特征的配准然后再分区统计误差。模型对齐这一步看似简单实际非常容易出错——轴对齐和特征对齐的评估结果差异能大到让你怀疑人生。RealCADBench在这块的处理比较务实它允许评估者指定基准点或基准面符合工程设计图的标注习惯。2.2 特征结构合理性关键要看“能不能改”第二个维度是特征结构合理性这是RealCADBench和纯几何评测拉开差距的核心。这个维度要回答的问题是模型生成的特征树在多大程度上复原了参考设计的构造逻辑。具体拆开来看我觉得可以分成三层来理解特征类型命中率参考设计里用了拉伸、旋转、扫掠、放样、切除、打孔、倒角、抽壳等操作生成模型里能不能用同类型的特征实现同样的几何效果。用拉伸还是用扫掠去解决同一个形状从几何结果看可能差不多但后期可编辑性完全不同。特征顺序一致性CAD特征树是有严格顺序的先倒角还是先打孔结果可能完全不同。更关键的特征顺序反映了设计意图的执行优先级。特征顺序的一致性评估本质上是在检验模型是否理解了“设计步骤”而不只是会拼积木。父子依赖与参数关联一个孔的位置如果受两条边约束它的参数应该是关联到父特征的尺寸上的而不是硬编码成绝对坐标。这一点是参数化建模的精髓——关联关系决定了后续改参数时模型能不能自适应更新。评测时会检测生成模型的约束关系图和参考设计是否一致。在实现层面特征结构的比较依赖于B-rep模型的解析和特征识别技术。这一步非常难因为同一个几何结果可以被无数种特征序列构造出来。RealCADBench的做法是允许“语义等价”的特征序列匹配而不是要求token级别完全相同——这也符合工程直觉毕竟设计目标本身就不该绑定在某一种特定的建模路径上。2.3 工程约束与可制造性从“看得过去”到“做不出来”第三个维度往往被学术界忽略但恰恰是工业项目最关心的工程约束与可制造性。一个模型就算几何完全正确、特征树也很漂亮如果它没法加工制造那在工程上就是废纸一张。工程约束包括但不限于拔模角度注塑件需要设计拔模角否则无法脱模。生成模型时如果完全不考虑这个模型做得再精细也没法开模。最小壁厚金属加工和注塑对壁厚有最低要求太薄的地方在加工中会变形甚至断裂。可加工性内腔形状是否超出刀具可达范围、是否存在过深的盲孔、倒角是否可被标准刀具实现。标准件兼容性螺纹孔、沉头孔、销孔是否符合ISO/DIN/GB标准件尺寸而不是随意生成一个“看起来像螺纹”的东西。RealCADBench会把这类约束检查组织成一组规则检查器rule-based checkers对生成模型逐项判定。这个设计思路我特别认同——它把工程常识变成了可自动执行的检验项。虽然这些规则不能覆盖所有制造工艺但它起码让评测对象不再完全无视制造约束把CAD生成从“画得像”往“做得出来”的方向拉了一把。2.4 综合评分怎么合成RealCADBench没有简单地把三个维度加权平均成一个分数而是采取了分层报告综合评分的策略。分层报告意味着每个维度单独出分方便研究者定位自己模型在哪块短板综合评分则给了一个“一眼看整体水平”的快捷方式。综合评分的合成方式我理解下来大致是一个先“过门槛”再“加权汇总”的逻辑如果几何保真度过不了基础阈值说明生成质量太差后续维度直接不用看。过了基础门槛后再按特征结构合理性和工程约束各占一定权重结合同时辅以关键特征的硬性检查项——比如装配孔的位置偏差超过公差直接判为失败。这种先闸门后加权的设计比纯加权平均更符合工程设计思维。实际工程里一个核心特征的失效是无法用其他特征的优秀表现来弥补的这在产品设计叫“功能失效”不是一个评分可以糊弄过去的。3. 主流方法在RealCADBench下的表现差距为什么有的模型一测就崩3.1 合成数据训练的模型为什么容易在真实工业意图上翻车拿不同方法去RealCADBench上跑一遍会看到一个很扎心的现象很多在合成数据上号称SOTA的模型到了真实工业设计意图的评测集上性能断崖式下跌。原因其实不复杂。主流CAD生成模型的训练数据大多来自ABC数据集、Fusion 360 Gallery、DeepCAD这类来源。这些数据集里的模型很多是学术用途或公开爱好者上传的模型的复杂度、特征类型分布和真实工业零件有明显差异。工业零件的特征密度高、约束关系多、制造语义强而学术数据集的零件相对“干净”一个模型就是几个标准特征的组合。另一个问题是任务定义的错位。很多CAD生成benchmark把任务定义成“从单张渲染图重建三维模型”这本质上是一个视觉任务——输入是像素输出是几何。但RealCADBench把任务定义成“从设计意图生成参数化模型”输入是设计意图的多模态表达输出是有完整特征树的参数化模型。这完全是两种任务前者的SOTA方法到后者上大概率水土不服。这并不是说合成数据训练的模型没有价值它们在特征识别、基础几何生成上提供了很好的底座。但RealCADBench的价值恰恰在于它把“学术Demo”和“工业可用”之间的差距用量化的方式摊开给你看了。3.2 单视图重建与草图序列生成的差异化表现在实测不同技术路线的模型时会发现一个明显的分化单视图重建类方法和草图序列生成类方法各有各的强项和弱项没有哪条路线能全面碾压。单视图重建类方法典型的是从图像或渲染图做隐式函数重建强在几何保真度上毕竟图像里有丰富的表面细节和光影信息重建出的模型在视觉上和原零件相似度较高。但这类方法在特征结构合理性上往往得分很低——它能输出B-rep或网格但拿不出有意义的特征历史树基本上是一个“哑模型”几何对了但不能编辑。草图序列生成类方法典型的是基于Transformer或扩散模型生成CAD操作序列在特征结构上要好很多因为它天然以“操作序列”为输出单位生成的模型天生带构造历史。但它在几何保真度上容易翻车——序列生成是自回归的误差会累积前面的操作偏一点后面的特征全跟着歪。而且这类模型在训练数据中没有见过的特征组合上生成结果经常毫无逻辑。我在实际对比中看到几组典型数据整理出来供参考技术路线几何保真度特征结构合理性工程约束通过率单视图重建隐式函数较高但小特征易丢低基本无可编辑性低不感知制造规则草图序列生成自回归中等误差累积明显中高有特征树但顺序常乱中低参数约束较弱多模态输入微调模型中高看输入质量中受训练数据限制中等需额外规则约束这个分化说明目前这个领域真正缺的不是“更好的生成网络”而是“如何把几何学习和结构学习统一起来的框架”。谁能在一条链路里同时保住几何精度和特征结构谁才是这个benchmark真正的赢家。3.3 评估中暴露出来的典型失败模式跑完评测后把失败案例汇总分类能看到几类反复出现的典型问题特征湮灭小尺寸特征小孔、小圆角在重建后直接消失。这不是模型能力的问题而是训练目标的固有缺陷——无论用Chamfer距离还是IoU小特征对loss的贡献太小模型学不到“必须保留它”。RealCADBench把局部特征单独计分后这类问题再也藏不住了。特征树孤岛生成的特征树里各个特征之间没有关联关系每个特征都用绝对坐标硬编码位置。改一个参数其他特征不会联动更新参数化能力名存实亡。这在评测中表现为“特征结构合理性”得分低但几何保真度尚可。过拟合训练分布模型在常见零件类型上表现很好但稍微偏一点的结构比如带加强筋的壳体件、非对称支架就完全崩溃。这说明模型的泛化能力非常有限不是真的学会设计意图而是记住了训练数据的模式。这些失败模式做过CAD生成研究的人其实多少都遇到过但在RealCADBench出现之前很难把它们量化成可在论文里报告的数据。现在可以在同一个平台上测试所有方法的优劣了。4. 实操视角跑通这套评测体系的经验与隐蔽的坑4.1 数据准备和版本对齐比想象中更磨人RealCADBench的评测不是“输入模型→给出分数”一键搞定那么简单。实际准备数据时最磨人的一步是模型参数的版本对齐。CAD软件SolidWorks、Fusion 360、FreeCAD之间的特征树导出格式互不兼容同一个设计在不同软件里重建特征树结构会有差异。也就是说同一个参考模型的“标准答案”在不同CAD环境里可能不一样。RealCADBench在数据准备阶段需要把工业设计意图对应的参考模型进行统一规范化处理建议使用开源格式如STEP作为几何交换格式同时保留一份特征树的规范描述。实操时这部分的工程量和踩坑数量远超预期。如果你自己想在项目里用这套评测思路我建议在数据准备阶段就定死三条规矩固定CAD软件和版本不要混用不同版本导出特征历史否则特征树的对齐会一塌糊涂。统一单位制和公差标准毫米和英寸混杂会让你在几何误差统计时怀疑人生。为每个样本保留人工审核环节自动化流程生成的特征树描述有时会和实际构造过程有偏差需要人工抽查修正尤其是带复杂约束的零件。4.2 指标计算的隐蔽坑特征树比对没有你想的那么简单特征树比对是RealCADBench评测体系里技术难度最高的部分也是最容易出错的地方。我在这里栽过的跟头值得单独拎出来说说。第一个坑是特征等价性的判定标准。手工在CAD里建模时同一个特征可以用不同方式实现。比如一个通孔你可以用“拉伸切除”做也可以用“异形孔向导”做几何结果一模一样。但如果特征树比对算法只是按特征类型字符串做精确匹配就会把这判成“不相同”。处理方案是建立特征类型的语义等价映射表——拉伸切除和孔特征在特定条件下算等价圆角和倒圆在几何效果一致时算等价。这个映射表需要结合具体几何参数来动态判定不是拍脑袋就能定的。第二个坑是特征顺序的比较策略。CAD特征树不是严格线性的有的分支是独立的先做A后做B和先做B后做A可能产生完全相同的几何结果。这时候如果机械地按编辑距离算会把这些本来就允许交换顺序的特征对判成误伤。RealCADBench在实现上允许定义“可交换特征组”——组内特征顺序可以互换不算顺序错误。这个细节如果不处理好评测分数会明显低于模型实际水平。第三个坑是参数容差设置。尺寸参数比如拉伸深度50mm在浮点表示下会有微小误差误差容差设得太严会把正常精度的生成结果误杀设得太松又会让明显错误的尺寸蒙混过关。我试下来长度类参数容差设在1%-2%角度类容差设在0.5-1度是一个比较合理的区间。但这个值也会随零件尺寸变化而变化最好做成相对容差而不是绝对容差。4.3 评测结果的可复现性别让随机性毁掉一次对比做评测最怕的是什么是结果不可复现。同一个模型跑两次分数不一样那你对比的结论就没有意义了。CAD生成的评测里随机性来源有几个模型采样时的温度参数、特征序列生成时的beam search不确定性、几何重建时的初始点采样。RealCADBench在评测协议里建议固定随机种子并且对每个测试样本跑多次取平均。这一点看起来很基础但实际做研究时太容易被忽略——尤其是在算力紧张的时候很多人恨不得只跑一次就出结果。另外评测时的硬件差异也会引入偏差。虽然算法层面的评估不涉及GPU精度问题但某些方法会依赖CUDA加速的几何处理库不同GPU的浮点行为略有差异。我个人的建议是任何论文对比实验确保参与对比的方法在完全相同的硬件和软件环境下运行并且在论文里注明环境版本。这一点对评测社区的长远发展至关重要。还有一个非常实际的经验不要只看总分的排名一定要看分维度得分。有时候两个模型总分一样但一个是几何强结构弱另一个是结构强几何弱这两种模型的优化方向和技术路线完全不同。总分排名会掩盖这种区别而分维度得分才能帮你判断一个方法到底适不适合你手头的项目。5. 后续怎么用基于RealCADBench做方法改进与工程落地的几条路线5.1 数据侧提升训练集的质量与覆盖度从RealCADBench暴露的问题反推当前CAD生成模型最大的瓶颈是训练数据与真实工业设计意图之间的gap。数据层面的改进方向比改网络结构更立竿见影。提高数据质量的几个实操方向引入更多带完整约束关系的工业级模型真实零部件图纸的CAD模型而不是学术数据集的简单模型。这些模型的约束关系复杂、特征类型多样能让模型真正学会“参数关联”而不是“坐标堆叠”。构造多模态对齐数据同一设计意图对应一组图片、一段文本、一个三维模型。让模型学习模态之间的对齐关系可以提升它在真实输入比如自然语言需求下的表现。数据增强时保留工程语义千万别做“随机旋转随机缩放”这种无脑增强。零件有装配基准面、有功能朝向旋转90度可能在几何上没问题但工程上毫无意义。增强策略应该基于参数扰动改尺寸、改特征顺序的合法变体而不是对几何做盲目变换。这块工作说起来容易做起来非常耗时但它是整个方向的地基。RealCADBench如果能在数据侧也做一份标准化处理工具链对社区的贡献会更大。5.2 模型侧把“几何一致性”和“结构一致性”一起放进训练目标从评测维度反推模型改进的大方向很清楚不能只学几何也不能只学特征序列要同时学。我比较看好的技术路线是分层建模框架第一层是结构预测层负责生成特征树的骨架——你要用哪些特征、以什么顺序组装第二层是几何参数预测层负责为每个特征填入具体尺寸和约束。两层之间通过可微的CAD渲染/重建模块对齐到3D几何空间。这样结构层保证“可编辑”几何层保证“长得像”两条腿走路。另一个值得尝试的方向是把工程约束检查器集成到训练循环里。RealCADBench提供的那类规则检查器用来做强化学习奖励或者Diffusion guidance非常有潜力。生成模型先出结果规则检查器给信号模型迭代优化——这种“评测驱动训练”的范式在多模态生成领域已经证明有效在CAD生成领域还很早期谁先做出来谁有优势。具体到模型架构上Graph Neural Network建模特征依赖关系也是一个靠谱的方向。CAD特征树本质上是有向图结构——父特征和子特征之间存在参数传递和几何依赖。用GNN对特征树进行编码和解码理论上比纯序列模型更契合任务本质。RealCADBench评估的特征结构合理性维度恰好为这类模型提供了准确的风向标。5.3 工程侧评测驱动的落地选型策略最后聊聊工程落地视角。如果你是公司里负责CAD智能化方案的工程师RealCADBench对选型有什么参考价值我的建议是别盯着综合分数选模型要按你的具体场景选侧重的评测维度。如果你做的是批量出图工具从设计参数自动生成生产图几何保真度和工程约束通过率最重要特征树可编辑性稍微弱点可以接受因为出图后不一定需要再改。如果你做的是设计辅助插件给设计师一个可继续编辑的初始模型特征结构合理性就是第一优先级几何上差一点设计师可以手动调整但特征树如果一塌糊涂设计师根本没法接手。如果你做的是图纸逆向还原从PDF图纸或扫描图恢复参数化模型那输入端的多模态意图理解能力最关键评测时应该重点看多模态输入条件下的表现而不是单看标准接口下的分数。另外一个比较容易被忽视的点是评测速度。工业场景往往需要实时或准实时的生成而学术评测一般不关心推理延迟。RealCADBench的评测协议里没有把推理时间作为考核项但你自己选型时一定要把这个因素加进去——一个在评测集上高0.5分但推理慢十倍的模型在实际产线上往往是不可用的。根据我自己的实测经验把RealCADBench的评测体系引入项目后最有价值的并不是那个总分而是它帮你建立了一套“缺陷可归因”的意识。以前模型输出一个残次品你只知道它“不好”但说不清哪里不好。现在你可以精确地说出几何误差主要在局部特征上特征树结构缺少父-子关联工程约束没通过壁厚检查。每一类问题对应一类技术手段去优化而不是盲目地换个更大的模型重头再训。这个思路比任何单个benchmark的分数都更重要。 RealCADBench：工业设计意图驱动的参数化CAD建模评测基准
这两年CAD圈里最热的话题之一就是大模型到底能不能真正辅助工程师做参数化建模。渲染图生成已经玩得很溜了可一旦落到实际工程场景——给一张手绘草图、一段设计需求让AI给出一个能编辑、能回滚、能改参数还不崩溃的模型——大多数方法就现出原形。更麻烦的是大家连“怎么评价效果好”都没个统一标准。有人报Chamfer距离有人报特征匹配率有人直接放几张好看的渲染图评测口径五花八门论文之间根本没法横向比。RealCADBench这个名字就是冲着这个乱象来的。它把“从工业设计意图出发的参数化CAD建模”这件事拆成了一套可以量化、可以复现、可以对比的评测体系。这篇文章我不打算复述paper里的每个公式而是从我实际接触这套评测框架、拿不同模型去试水、以及踩过的一堆坑出发聊聊RealCADBench到底解决了什么问题它的评测维度设计得合不合理以及真正想在CAD生成方向做研究或做工程落地的人该怎么理解和使用这套基准。1. 参数化建模评测为什么这么难先看清“工业设计意图”这条链1.1 输入端的“意图”到底长什么样要理解RealCADBench第一件事是搞清楚“工业设计意图”这个输入到底是什么。很多人以为它就是一张图片——就像ImageNet那样给张猫给张狗模型输出一个类别。但工程里的设计意图远比图像分类复杂它是多模态、多层级、带约束的。我在实际项目中接触到的设计意图常见的有这么几种形态手绘草图或工程草图设计师在纸上或平板上画的轮廓线、剖面线可能有标注尺寸也可能只有几条示意线需要算法理解“这里要倒角”“这里是个通孔”这类隐含语义。多视角投影图三视图主视、俯视、侧视是传统工程图的标准表达AI需要从二维投影反推三维参数化结构这涉及视角融合和空间推理。自然语言需求比如“一个直径30mm、长度50mm的圆柱一端带M6螺纹孔”这类文本描述在工业设计需求文档里大量存在但语言本身有歧义变量之间还有依赖关系。已有模型的修改需求在现有零件基础上“把凸台加高5mm”“把孔阵列从4个改成6个”这属于增量式设计意图对模型的历史结构和参数依赖理解要求更高。RealCADBench对输入的定义本质上是在逼评测对象面对这些真实存在的形态而不是像很多学术benchmark那样只喂一张干净的渲染图。这个设计判断我认为是准确的——工业场景里没人会给你一张完美光照、无遮挡、单一背景的输入图。1.2 输出端的参数化模型为什么不好量化输入端复杂也就罢了输出端更头疼。参数化CAD模型的核心不是那个最终网格而是它的构造过程——特征历史树feature history tree。简单说就是一个零件不是被“雕刻”出来的而是被一步步“搭建”出来的先拉伸一个基体再切一个槽再打一排孔最后倒角。这就带来一个根本性的评测难题两个模型几何外形可能几乎一模一样但特征树完全不同。一个是用“拉伸基体切除孔阵列”完成的另一个可能是用“旋转体布尔减运算镜像”完成的。从工程角度讲前者的可编辑性、参数化灵活性可能远好于后者但如果你只看几何误差两个模型得分一样。更麻烦的是特征树是有层级的父子特征之间有依赖关系。修改了父特征的参数子特征可能跟着变也可能直接报错失效拓扑失败。这种依赖关系很难用简单的距离指标来度量。我见过太多做CAD生成的研究输出的是STEP文件或者B-rep模型评测时就比一比点和面之间的距离。这种方式对“视觉相似”是有效的但对“参数化建模能力”几乎没有区分度——它完全不管你是怎么构造出来的。1.3 现有评测指标搬过来为什么“水土不服”学术界已有的做法大多是借鉴视觉领域的指标典型的有三类点云距离类Chamfer Distance、Hausdorff Distance把两个模型分别采样成点云算最近邻距离。优点是计算简单缺点是几何表面上微小的、但工程上致命的差异比如少了一个孔可能被淹没在整体距离均值里。体素/网格IoU类把空间离散成体素格子算两个模型占用的重叠比例。这个更粗糙网格分辨率稍低就丢失细节小特征全部被抹平。草图序列编辑距离把建模过程序列化成token比如草图画线、标注尺寸、选择拉伸用编辑距离比较两个序列的相似度。这个方向比纯几何好因为它开始关注过程了但编辑距离不分权重漏掉一个“旋转”操作和漏掉一个“倒角”操作惩罚是一样的可工程后果完全不是一个量级。这些指标单独拿出来用都会有明显的盲区。RealCADBench的做法不是简单发明一个“新指标”而是把这些维度组合成一个分层评测体系再补上工程约束维度的考察。这一点后面细说。2. RealCADBench到底测什么从设计意图到特征树的完整评测维度2.1 几何保真度先看“像不像”第一个维度是几何保真度这个维度解决的是“最基本的生成质量”——生成的模型和参考模型在形状上像不像。但RealCADBench在这个维度上做的改进是它没有只看全局距离而是区分了全局形状误差和局部特征误差。全局形状误差捕捉的是整体轮廓的偏离比如一个零件你本来该做成100mm长结果生成了95mm这就是全局误差。局部特征误差则针对的是小尺寸结构比如直径6mm的安装孔、R2的倒角。这种区分非常重要因为工程上有太多小尺寸、但对装配和功能至关重要的特征。全局距离指标往往把这些小特征的偏差“平均掉”了而RealCADBench会单独报告局部特征上的命中率。在实际评估操作中通常需要先做模型对齐比如PCA对齐或基于特征的配准然后再分区统计误差。模型对齐这一步看似简单实际非常容易出错——轴对齐和特征对齐的评估结果差异能大到让你怀疑人生。RealCADBench在这块的处理比较务实它允许评估者指定基准点或基准面符合工程设计图的标注习惯。2.2 特征结构合理性关键要看“能不能改”第二个维度是特征结构合理性这是RealCADBench和纯几何评测拉开差距的核心。这个维度要回答的问题是模型生成的特征树在多大程度上复原了参考设计的构造逻辑。具体拆开来看我觉得可以分成三层来理解特征类型命中率参考设计里用了拉伸、旋转、扫掠、放样、切除、打孔、倒角、抽壳等操作生成模型里能不能用同类型的特征实现同样的几何效果。用拉伸还是用扫掠去解决同一个形状从几何结果看可能差不多但后期可编辑性完全不同。特征顺序一致性CAD特征树是有严格顺序的先倒角还是先打孔结果可能完全不同。更关键的特征顺序反映了设计意图的执行优先级。特征顺序的一致性评估本质上是在检验模型是否理解了“设计步骤”而不只是会拼积木。父子依赖与参数关联一个孔的位置如果受两条边约束它的参数应该是关联到父特征的尺寸上的而不是硬编码成绝对坐标。这一点是参数化建模的精髓——关联关系决定了后续改参数时模型能不能自适应更新。评测时会检测生成模型的约束关系图和参考设计是否一致。在实现层面特征结构的比较依赖于B-rep模型的解析和特征识别技术。这一步非常难因为同一个几何结果可以被无数种特征序列构造出来。RealCADBench的做法是允许“语义等价”的特征序列匹配而不是要求token级别完全相同——这也符合工程直觉毕竟设计目标本身就不该绑定在某一种特定的建模路径上。2.3 工程约束与可制造性从“看得过去”到“做不出来”第三个维度往往被学术界忽略但恰恰是工业项目最关心的工程约束与可制造性。一个模型就算几何完全正确、特征树也很漂亮如果它没法加工制造那在工程上就是废纸一张。工程约束包括但不限于拔模角度注塑件需要设计拔模角否则无法脱模。生成模型时如果完全不考虑这个模型做得再精细也没法开模。最小壁厚金属加工和注塑对壁厚有最低要求太薄的地方在加工中会变形甚至断裂。可加工性内腔形状是否超出刀具可达范围、是否存在过深的盲孔、倒角是否可被标准刀具实现。标准件兼容性螺纹孔、沉头孔、销孔是否符合ISO/DIN/GB标准件尺寸而不是随意生成一个“看起来像螺纹”的东西。RealCADBench会把这类约束检查组织成一组规则检查器rule-based checkers对生成模型逐项判定。这个设计思路我特别认同——它把工程常识变成了可自动执行的检验项。虽然这些规则不能覆盖所有制造工艺但它起码让评测对象不再完全无视制造约束把CAD生成从“画得像”往“做得出来”的方向拉了一把。2.4 综合评分怎么合成RealCADBench没有简单地把三个维度加权平均成一个分数而是采取了分层报告综合评分的策略。分层报告意味着每个维度单独出分方便研究者定位自己模型在哪块短板综合评分则给了一个“一眼看整体水平”的快捷方式。综合评分的合成方式我理解下来大致是一个先“过门槛”再“加权汇总”的逻辑如果几何保真度过不了基础阈值说明生成质量太差后续维度直接不用看。过了基础门槛后再按特征结构合理性和工程约束各占一定权重结合同时辅以关键特征的硬性检查项——比如装配孔的位置偏差超过公差直接判为失败。这种先闸门后加权的设计比纯加权平均更符合工程设计思维。实际工程里一个核心特征的失效是无法用其他特征的优秀表现来弥补的这在产品设计叫“功能失效”不是一个评分可以糊弄过去的。3. 主流方法在RealCADBench下的表现差距为什么有的模型一测就崩3.1 合成数据训练的模型为什么容易在真实工业意图上翻车拿不同方法去RealCADBench上跑一遍会看到一个很扎心的现象很多在合成数据上号称SOTA的模型到了真实工业设计意图的评测集上性能断崖式下跌。原因其实不复杂。主流CAD生成模型的训练数据大多来自ABC数据集、Fusion 360 Gallery、DeepCAD这类来源。这些数据集里的模型很多是学术用途或公开爱好者上传的模型的复杂度、特征类型分布和真实工业零件有明显差异。工业零件的特征密度高、约束关系多、制造语义强而学术数据集的零件相对“干净”一个模型就是几个标准特征的组合。另一个问题是任务定义的错位。很多CAD生成benchmark把任务定义成“从单张渲染图重建三维模型”这本质上是一个视觉任务——输入是像素输出是几何。但RealCADBench把任务定义成“从设计意图生成参数化模型”输入是设计意图的多模态表达输出是有完整特征树的参数化模型。这完全是两种任务前者的SOTA方法到后者上大概率水土不服。这并不是说合成数据训练的模型没有价值它们在特征识别、基础几何生成上提供了很好的底座。但RealCADBench的价值恰恰在于它把“学术Demo”和“工业可用”之间的差距用量化的方式摊开给你看了。3.2 单视图重建与草图序列生成的差异化表现在实测不同技术路线的模型时会发现一个明显的分化单视图重建类方法和草图序列生成类方法各有各的强项和弱项没有哪条路线能全面碾压。单视图重建类方法典型的是从图像或渲染图做隐式函数重建强在几何保真度上毕竟图像里有丰富的表面细节和光影信息重建出的模型在视觉上和原零件相似度较高。但这类方法在特征结构合理性上往往得分很低——它能输出B-rep或网格但拿不出有意义的特征历史树基本上是一个“哑模型”几何对了但不能编辑。草图序列生成类方法典型的是基于Transformer或扩散模型生成CAD操作序列在特征结构上要好很多因为它天然以“操作序列”为输出单位生成的模型天生带构造历史。但它在几何保真度上容易翻车——序列生成是自回归的误差会累积前面的操作偏一点后面的特征全跟着歪。而且这类模型在训练数据中没有见过的特征组合上生成结果经常毫无逻辑。我在实际对比中看到几组典型数据整理出来供参考技术路线几何保真度特征结构合理性工程约束通过率单视图重建隐式函数较高但小特征易丢低基本无可编辑性低不感知制造规则草图序列生成自回归中等误差累积明显中高有特征树但顺序常乱中低参数约束较弱多模态输入微调模型中高看输入质量中受训练数据限制中等需额外规则约束这个分化说明目前这个领域真正缺的不是“更好的生成网络”而是“如何把几何学习和结构学习统一起来的框架”。谁能在一条链路里同时保住几何精度和特征结构谁才是这个benchmark真正的赢家。3.3 评估中暴露出来的典型失败模式跑完评测后把失败案例汇总分类能看到几类反复出现的典型问题特征湮灭小尺寸特征小孔、小圆角在重建后直接消失。这不是模型能力的问题而是训练目标的固有缺陷——无论用Chamfer距离还是IoU小特征对loss的贡献太小模型学不到“必须保留它”。RealCADBench把局部特征单独计分后这类问题再也藏不住了。特征树孤岛生成的特征树里各个特征之间没有关联关系每个特征都用绝对坐标硬编码位置。改一个参数其他特征不会联动更新参数化能力名存实亡。这在评测中表现为“特征结构合理性”得分低但几何保真度尚可。过拟合训练分布模型在常见零件类型上表现很好但稍微偏一点的结构比如带加强筋的壳体件、非对称支架就完全崩溃。这说明模型的泛化能力非常有限不是真的学会设计意图而是记住了训练数据的模式。这些失败模式做过CAD生成研究的人其实多少都遇到过但在RealCADBench出现之前很难把它们量化成可在论文里报告的数据。现在可以在同一个平台上测试所有方法的优劣了。4. 实操视角跑通这套评测体系的经验与隐蔽的坑4.1 数据准备和版本对齐比想象中更磨人RealCADBench的评测不是“输入模型→给出分数”一键搞定那么简单。实际准备数据时最磨人的一步是模型参数的版本对齐。CAD软件SolidWorks、Fusion 360、FreeCAD之间的特征树导出格式互不兼容同一个设计在不同软件里重建特征树结构会有差异。也就是说同一个参考模型的“标准答案”在不同CAD环境里可能不一样。RealCADBench在数据准备阶段需要把工业设计意图对应的参考模型进行统一规范化处理建议使用开源格式如STEP作为几何交换格式同时保留一份特征树的规范描述。实操时这部分的工程量和踩坑数量远超预期。如果你自己想在项目里用这套评测思路我建议在数据准备阶段就定死三条规矩固定CAD软件和版本不要混用不同版本导出特征历史否则特征树的对齐会一塌糊涂。统一单位制和公差标准毫米和英寸混杂会让你在几何误差统计时怀疑人生。为每个样本保留人工审核环节自动化流程生成的特征树描述有时会和实际构造过程有偏差需要人工抽查修正尤其是带复杂约束的零件。4.2 指标计算的隐蔽坑特征树比对没有你想的那么简单特征树比对是RealCADBench评测体系里技术难度最高的部分也是最容易出错的地方。我在这里栽过的跟头值得单独拎出来说说。第一个坑是特征等价性的判定标准。手工在CAD里建模时同一个特征可以用不同方式实现。比如一个通孔你可以用“拉伸切除”做也可以用“异形孔向导”做几何结果一模一样。但如果特征树比对算法只是按特征类型字符串做精确匹配就会把这判成“不相同”。处理方案是建立特征类型的语义等价映射表——拉伸切除和孔特征在特定条件下算等价圆角和倒圆在几何效果一致时算等价。这个映射表需要结合具体几何参数来动态判定不是拍脑袋就能定的。第二个坑是特征顺序的比较策略。CAD特征树不是严格线性的有的分支是独立的先做A后做B和先做B后做A可能产生完全相同的几何结果。这时候如果机械地按编辑距离算会把这些本来就允许交换顺序的特征对判成误伤。RealCADBench在实现上允许定义“可交换特征组”——组内特征顺序可以互换不算顺序错误。这个细节如果不处理好评测分数会明显低于模型实际水平。第三个坑是参数容差设置。尺寸参数比如拉伸深度50mm在浮点表示下会有微小误差误差容差设得太严会把正常精度的生成结果误杀设得太松又会让明显错误的尺寸蒙混过关。我试下来长度类参数容差设在1%-2%角度类容差设在0.5-1度是一个比较合理的区间。但这个值也会随零件尺寸变化而变化最好做成相对容差而不是绝对容差。4.3 评测结果的可复现性别让随机性毁掉一次对比做评测最怕的是什么是结果不可复现。同一个模型跑两次分数不一样那你对比的结论就没有意义了。CAD生成的评测里随机性来源有几个模型采样时的温度参数、特征序列生成时的beam search不确定性、几何重建时的初始点采样。RealCADBench在评测协议里建议固定随机种子并且对每个测试样本跑多次取平均。这一点看起来很基础但实际做研究时太容易被忽略——尤其是在算力紧张的时候很多人恨不得只跑一次就出结果。另外评测时的硬件差异也会引入偏差。虽然算法层面的评估不涉及GPU精度问题但某些方法会依赖CUDA加速的几何处理库不同GPU的浮点行为略有差异。我个人的建议是任何论文对比实验确保参与对比的方法在完全相同的硬件和软件环境下运行并且在论文里注明环境版本。这一点对评测社区的长远发展至关重要。还有一个非常实际的经验不要只看总分的排名一定要看分维度得分。有时候两个模型总分一样但一个是几何强结构弱另一个是结构强几何弱这两种模型的优化方向和技术路线完全不同。总分排名会掩盖这种区别而分维度得分才能帮你判断一个方法到底适不适合你手头的项目。5. 后续怎么用基于RealCADBench做方法改进与工程落地的几条路线5.1 数据侧提升训练集的质量与覆盖度从RealCADBench暴露的问题反推当前CAD生成模型最大的瓶颈是训练数据与真实工业设计意图之间的gap。数据层面的改进方向比改网络结构更立竿见影。提高数据质量的几个实操方向引入更多带完整约束关系的工业级模型真实零部件图纸的CAD模型而不是学术数据集的简单模型。这些模型的约束关系复杂、特征类型多样能让模型真正学会“参数关联”而不是“坐标堆叠”。构造多模态对齐数据同一设计意图对应一组图片、一段文本、一个三维模型。让模型学习模态之间的对齐关系可以提升它在真实输入比如自然语言需求下的表现。数据增强时保留工程语义千万别做“随机旋转随机缩放”这种无脑增强。零件有装配基准面、有功能朝向旋转90度可能在几何上没问题但工程上毫无意义。增强策略应该基于参数扰动改尺寸、改特征顺序的合法变体而不是对几何做盲目变换。这块工作说起来容易做起来非常耗时但它是整个方向的地基。RealCADBench如果能在数据侧也做一份标准化处理工具链对社区的贡献会更大。5.2 模型侧把“几何一致性”和“结构一致性”一起放进训练目标从评测维度反推模型改进的大方向很清楚不能只学几何也不能只学特征序列要同时学。我比较看好的技术路线是分层建模框架第一层是结构预测层负责生成特征树的骨架——你要用哪些特征、以什么顺序组装第二层是几何参数预测层负责为每个特征填入具体尺寸和约束。两层之间通过可微的CAD渲染/重建模块对齐到3D几何空间。这样结构层保证“可编辑”几何层保证“长得像”两条腿走路。另一个值得尝试的方向是把工程约束检查器集成到训练循环里。RealCADBench提供的那类规则检查器用来做强化学习奖励或者Diffusion guidance非常有潜力。生成模型先出结果规则检查器给信号模型迭代优化——这种“评测驱动训练”的范式在多模态生成领域已经证明有效在CAD生成领域还很早期谁先做出来谁有优势。具体到模型架构上Graph Neural Network建模特征依赖关系也是一个靠谱的方向。CAD特征树本质上是有向图结构——父特征和子特征之间存在参数传递和几何依赖。用GNN对特征树进行编码和解码理论上比纯序列模型更契合任务本质。RealCADBench评估的特征结构合理性维度恰好为这类模型提供了准确的风向标。5.3 工程侧评测驱动的落地选型策略最后聊聊工程落地视角。如果你是公司里负责CAD智能化方案的工程师RealCADBench对选型有什么参考价值我的建议是别盯着综合分数选模型要按你的具体场景选侧重的评测维度。如果你做的是批量出图工具从设计参数自动生成生产图几何保真度和工程约束通过率最重要特征树可编辑性稍微弱点可以接受因为出图后不一定需要再改。如果你做的是设计辅助插件给设计师一个可继续编辑的初始模型特征结构合理性就是第一优先级几何上差一点设计师可以手动调整但特征树如果一塌糊涂设计师根本没法接手。如果你做的是图纸逆向还原从PDF图纸或扫描图恢复参数化模型那输入端的多模态意图理解能力最关键评测时应该重点看多模态输入条件下的表现而不是单看标准接口下的分数。另外一个比较容易被忽视的点是评测速度。工业场景往往需要实时或准实时的生成而学术评测一般不关心推理延迟。RealCADBench的评测协议里没有把推理时间作为考核项但你自己选型时一定要把这个因素加进去——一个在评测集上高0.5分但推理慢十倍的模型在实际产线上往往是不可用的。根据我自己的实测经验把RealCADBench的评测体系引入项目后最有价值的并不是那个总分而是它帮你建立了一套“缺陷可归因”的意识。以前模型输出一个残次品你只知道它“不好”但说不清哪里不好。现在你可以精确地说出几何误差主要在局部特征上特征树结构缺少父-子关联工程约束没通过壁厚检查。每一类问题对应一类技术手段去优化而不是盲目地换个更大的模型重头再训。这个思路比任何单个benchmark的分数都更重要。