一种金属锻件尺寸检测方法及系统与流程

本发明涉及三维建模、点云处理、特征提取、配准算法及热膨胀校正技术，应用于机加工制造领域，是一种金属锻件尺寸检测方法及系统。

背景技术：

1、当前在工厂中广泛使用的机动车辆金属锻件尺寸检测方法主要依赖于手工测量和基础的三维扫描技术。在手工测量方面，工厂通常使用卡尺、千分尺等传统测量工具，对金属锻件的关键尺寸进行人工测量、产品合格检验，这种方法虽然操作简单，但测量精度依赖于操作员的经验和技能，常存在较大的主观误差；此外，手工测量只能覆盖少数关键部位，对于复杂形状或多维度的金属锻件，难以全面检测，容易出现漏检或误判；并且手工测量无法对高温锻件进行直接检测。

2、在三维建模方面，现有方案通常使用低精度的三维扫描设备，对金属锻件表面进行简单的扫描，生成基础的点云数据。这些点云数据经过初步的去噪处理后，通常通过简单的点对点比对方法与标准模型进行对比，精度不足导致检测结果难以保证准确性和可靠性；此外，数据处理和分析过程通常较为手动化，依赖人工操作，效率低下，难以适应大批量生产的需求。

3、这些问题导致现有方案在精度、效率和数据分析能力方面都存在明显不足，检测的可重复性和可靠性较差，难以满足现代制造业对精密检测的高标准要求。

技术实现思路

1、本发明的目的在于提出一种金属锻件尺寸检测方法及系统，解决上述背景技术中提出的问题。

2、一个方面，本发明提出一种金属锻件尺寸检测方法，包括以下步骤：

3、s1、三维建模相机标定；

4、s2、对金属锻件标准件进行扫描和三维建模，过程中包括辅助定位标点、扫描与建模、点云处理、选点及特征提取、数据库存储数据；

5、s3、对金属锻件测试件进行扫描和三维建模，过程中包括三维扫描与数据保存、点云处理、点云配准、特征提取与匹配、距离计算与是否合格判断；

6、s4、输出测量数据并存储，生成检测报告记录测量数据供查验。

7、进一步地，上述方案包括以下步骤及内容：

8、所述s1包括：标定设备包括双目工业相机、机械臂、转台以及黑白棋盘格标定板。具体地，标定步骤如下：

9、s11、设备检查与准备：将双目工业相机稳固安装在机械臂的末端工具上，确保其视野覆盖待扫描区域，使用防缠绕的柔性线缆以避免干涉机械臂运动；转台水平放置并固定在稳定的台面上，确保旋转时不会发生晃动；标定板安装在与转台和相机视野相对的位置，确保相机在各角度拍摄时清晰可见；检查和校准机械臂上的位置传感器、转台的角度编码器以及力/扭矩传感器，确保传感器精确工作。所有设备连接至中央控制系统，确保电源和信号线稳定传输，并且预留机械臂全方位运动的空间。

10、软件与智能系统准备：启动标定软件，加载自动化标定流程，确保软件已集成智能误差反馈系统和多标定板辅助系统，在标定软件界面设置误差阈值，配置智能反馈系统的误差检测标准，确保能实时监控并报警，连接相机与机械臂的控制系统，确保自动化控制功能可用。

11、s12、相机内参、外参标定，包含以下步骤：

12、s121、多标定板辅助系统集成：采用多标定板辅助系统，在机械臂和转台周围放置多个黑白格标定板，确保标定板覆盖不同的方位和高度，从而为相机提供多个视角的图像数据。多标定板辅助系统可以从多个视角获得冗余的标定数据，并通过结合多标定板的信息来交叉验证，消除单一视角导致的误差累积，确保标定过程的鲁棒性，提高标定精度。

13、机械臂运动规划：编程机械臂按预设路径移动到不同位置，自动拍摄标定板的多视角图像。

14、s122、图像采集与智能误差反馈：相机采集标定板的多张图像后，智能误差反馈系统实时检查图像的清晰度、畸变以及角点检测精度，如果检测到图像模糊或角点提取误差过大，系统会自动调整相机的对焦、曝光设置，或提示操作员重新拍摄。

15、设置重投影误差阈值，如果图像中的重投影误差超出设定范围，系统会通过用户界面发出警告，并提供调整建议。

16、s123、内参计算与优化：使用张正友标定法(zhang’s method)处理多张采集到的标定板图像，计算相机的内参，包含焦距、主点位置、畸变系数等参数。

17、误差优化：结合智能误差反馈系统，应用levenberg-marquardt全局优化算法对相机内参进行优化，进一步减小重投影误差。

18、s124、外参计算与优化：使用标定算法从标定板的多张图像中提取出外参数据，数据包含相机的旋转矩阵和位移向量，以表示相机在世界坐标系中的位置和方向；借助多标定板辅助系统，从不同位置和角度获得冗余数据，减少由于某一角度拍摄误差带来的外参计算偏差，多标定板辅助系统融合多个标定板的外参信息进行交叉验证，提升外参标定的精度。

19、s13、手眼标定：设计机械臂的运动路径，使其从多个空间位置和角度拍摄标定板，路径规划由中央控制系统自动完成，确保每个姿态的位置信息完整、覆盖均匀。

20、实时误差反馈与调整：智能误差反馈系统监控机械臂末端的位姿和运动轨迹，检测到任何路径偏差或关节抖动时，系统会自动调整机械臂的运动路径，确保末端工具保持准确位置。

21、s14、转台标定，包含以下步骤：

22、s141、自动旋转与图像采集：将标定板固定在转台上，启动转台自动旋转，按固定角度增量旋转，每旋转一次相机捕捉一张标定板的图像；智能误差反馈系统通过转台的角度编码器实时监控旋转精度，如果旋转角度与预设不符，系统会调整转台速度或角度，确保标定板始终处于最佳拍摄位置。

23、s142、旋转轴与中心的精确计算，角点检测与几何推导：通过每张图像中提取的标定板角点，使用几何推导方法计算转台的旋转轴与旋转中心；结合智能误差反馈系统的检测结果，系统会自动优化旋转轴和中心位置的计算，确保结果精确。

24、s15、进行综合标定和误差优化，包括以下内容：

25、多模块标定数据融合：整合相机内参、外参、手眼标定和转台标定的结果，生成整个系统的统一坐标系和模型；中央控制系统应用全局优化算法，对各个物理模块之间的相对位置关系进行优化，进一步降低系统误差。

26、智能误差反馈与自动调节：智能误差反馈系统实时分析每一步标定数据中的误差来源，如果检测到标定过程中存在系统性误差，系统会自动提供调整建议或重新执行部分标定步骤；基于误差分析结果，系统可以自动调节机械臂的运动轨迹、转台的旋转速度或相机的参数，以提高整体标定精度。

27、s16、总结与报告：中央控制系统自动生成包含标定过程详细信息的报告，包括相机内参、外参、手眼变换矩阵、转台旋转轴数据、误差分析结果以及优化策略等，报告存储于云端，可供其他设备参考与分析；中央控制系统通过长期的误差监控和反馈，能够根据情况自动提醒何时需要再次执行标定，确保设备长期处于最佳工作状态。

28、所述s2包括：在完成相机标定后，开始对金属锻件标准件进行扫描和三维建模，这个过程包括辅助定位标点、扫描与建模、点云处理、选点及特征提取、数据库存储数据。

29、具体地，所述辅助定位标点，本发明中采用颜色编码贴片法，在金属锻件标准件表面需要标记点位置贴颜色编码贴片，使得这些点在扫描中更容易被相机识别，从而在三维模型中更加显著，这种方法简单易实施，标记清晰可见，且不会对金属锻件标准件的物理属性产生影响。

30、具体地，所述扫描与建模包括启动标定后的相机，将金属锻件标准件放置于转台上的架子上，对贴片后的金属锻件标准件进行多角度扫描，使相机至少从三个不同角度并结合转台转动多次扫描获取标准件的三维数据，确保覆盖所有贴片；基于helix.toolki三维可视化框架将相机采集的数据处理成三维点云并展示，将生成的点云文件保存为xyz文件格式，其中每行表示一个三维点的坐标(x,y,z)。

31、进一步地，对生成点云文件进行处理，使用pcl(point cloud library)点云库中的滤波器对点云文件进行降噪、滤波，将经过降噪和滤波后的点云数据保存为pcd文件和更新后的xyz文件，供后续分析使用。

32、进一步地，在选点中，使用三维可视化软件，通过鼠标点选点云中的贴片位置，使用pcl的kd-tree结构进行最近点搜索，对于每个选取的点，在预设半径内搜索距离最短的点，记录其坐标并保存为匹配点；系统集成sift(scale-invariant feature transform)算法，通过分析金属锻件标准件的几何表面特征，如角点、边缘、突起等，无需人工干预自动提取关键点，与辅助贴点选点方式相结合进行智能化、精准化选点。

33、进一步地，将每两个需要测量点间距的点列为一组，记录为一组点对，计算两点之间的欧氏距离，将该距离记录为标定值，若a、b点为一组，计算公式如下：

34、

35、为每组点设定允许的偏差范围，如±0.1毫米；

36、将每组点的对应关系、图纸标准距离值、实际标定值与设定的偏差范围分别存入数据库。

37、进一步地，在特征提取中，使用pcl(point cloud library)点云库中的fpfh(fastpoint feature histograms)算法，对于每个点，搜索其在一定半径内的邻域点，计算这些点的法线方向，对邻域点的法线进行统计分析，计算其与中心点法线的夹角分布，形成特征向量，以提取每个选点的局部几何特征；计算每个选点的fpfh特征向量的协方差矩阵，用于描述特征之间的相关性，协方差矩阵的定义为：

38、

39、其中，fi为特征向量，为特征向量的均值，n为邻域点数，t为转置符号。

40、将特征向量和协方差矩阵存入数据库，作为金属锻件标准件已选点的基准数据。

41、所述s3包括：对金属锻件测试件进行扫描和三维建模，过程中包括三维扫描与数据保存、点云处理、点云配准、特征提取与匹配、距离计算与是否合格判断。

42、一方面，若金属锻件测试件为常温工件，所述处理流程如下：

43、具体地，所述三维扫描与数据保存包括启动标定后的相机，将金属锻件测试件放置于转台上的架子上，对金属锻件测试件进行多角度扫描，要求相机从至少三个不同角度并结合转台转动多次扫描获取金属锻件测试件的三维数据，确保覆盖所需测量范围；基于helix.toolki三维可视化框架将相机采集的数据处理成三维点云并展示，将生成的点云文件保存为xyz文件格式，其中每行表示一个三维点的坐标(x,y,z)。

44、具体地，所述点云处理使用pcl(point cloud library)点云库中的滤波器对点云文件进行降噪、滤波，将经过降噪、滤波后的点云文件保存为pcd文件和更新后的xyz文件，供后续分析使用。

45、具体地，所述点云配准使用pca、gicp和icp技术进行多层次配准将金属锻件测试件的点云与金属锻件标准件的点云精确对齐，过程包括如下步骤：

46、s31、基于pca(principal component analysis，主成分分析)进行初步配准：计算金属锻件测试件点云的主成分轴，主成分轴是点云数据的最大方差方向，对应x、y、z轴，通过主成分分析，获得点云的主要方向，将其与金属锻件标准件点云的主轴对齐；计算每个点在主成分轴上的投影，形成新的坐标系，使得点云的长轴与金属锻件标准件点云的长轴对齐，消除大部分的初始姿态差异。

47、s32、基于gicp(generalized iterative closest point，广义迭代最近点)细化配准：使用gicp算法，将每个点附近的点集近似为一个平面，建立局部平面模型，通过计算这些平面的法线和法向距离，建立局部几何结构的匹配；通过计算金属锻件测试件点云与金属锻件标准件点云邻域点之间的局部平面关系，减少整体的配准误差；反复迭代优化配准结果，每次迭代过程中，通过最小化点云之间的均方误差函数(mean squared error，mse)来更新金属锻件测试件点云的位置和姿态，直到配准误差收敛。

48、s33、基于icp(iterative closest point，迭代最近点)精确配准：使用pcl的kd-tree结构，快速找到金属锻件测试件点云与金属锻件标准件点云距离最近的点；计算每对最近邻点之间的误差，并最小化这些误差，每次迭代后，更新金属锻件测试件点云的位置和旋转角度，使其与金属锻件标准件点云达到最佳对齐，当误差变化小于预设阈值或达到最大迭代次数时，终止迭代。

49、进一步地，点云配准完成后，进行特征提取与匹配。

50、具体地，使用fpfh算法提取金属锻件测试件点云的局部几何特征，生成fpfh特征向量，通过邻域计算和法线统计生成描述点云特征的特征向量，计算金属锻件测试件点云特征向量的协方差矩阵；从数据库中读取金属锻件标准件的fpfh特征向量和协方差矩阵，使用余弦相似性度量方法，计算金属锻件测试件特征与金属锻件标准件特征之间的相似度，余弦相似性公式如下：

51、

52、其中，a、b为fpfh特征向量；

53、在划定范围内，匹配标定点特征，在金属锻件测试件点云中找到最符合的点，存入数据库。

54、使用pcl的kd-tree结构进行最近邻搜索，在一对点中，如这对点为a、b点，选取点a附近距离最小的10个点和与点a特征最相似的10个点，组成点集∝a；选取点b附近距离最小的10个点和与点b特征最相似的10个点，组成点集βb，每个点集分别包含二十个选点。

55、进一步地，进行距离计算与工件是否合格判断。

56、具体地，计算点集∝a中任意一点和点集βb中任意一点之间的欧氏距离，记录这些距离并与金属锻件标准件对应点对之间的标准距离进行对比，如果计算所得所有距离均在允许的范围内，判定为合格品，否则为不合格品。

57、优选地，计算所有点对距离的平均值和标准差，并记录这些统计结果，将结果存入数据库，生成详细检测报告。

58、又一方面，若金属锻件测试件为高温件，在高温条件下拍摄金属锻件测试件进行三维建模时，由于金属锻件测试件的热膨胀效应，生成的点云会偏离其实际尺寸，为了纠正这种偏差，需要根据材料的热膨胀系数对点云进行缩放调整，包含如下计算步骤和流程：

59、已知金属锻件测试件材料的热膨胀系数α(单位：℃-1)、测试件拍摄时的温度thot(单位：℃)、测试件的参考温度tref(单位：℃)；

60、使用相机对高温测试件拍摄，生成初始点云phot(xhot，yhot，zhot)，对点云文件进行降噪、滤波操作并保存数据；

61、计算温差：

62、△t＝thot-tref；

63、计算膨胀系数：

64、γ＝1+α·△t；

65、对初始点云进行调整，将高温下的点云转换为参考温度下的点云：

66、

67、逐点处理，即对每个点进行如下计算：

68、

69、进一步地，完成上述操作后，继续进行点云配准、特征提取与匹配、距离计算与是否合格判断步骤。

70、所述s4包括：输出测量数据并存储，生成检测报告记录测量数据供查验。

71、具体地，将金属锻件测试件的点间距离、距离区间及其与标准值的对比结果存入数据库，数据库包含金属锻件测试件id、测量时间、测量结果、详细数据字段。

72、进一步地，生成检测报告，详细记录检测过程、原始数据、计算结果、比对分析和最终判定结果，报告格式包含图表、数据表和文字描述，确保信息清晰易读。

73、本发明另一个方面，提供了一种金属锻件尺寸检测系统，所述系统包括：

74、相机标定模块，完成相机标定、手眼标定、转台标定工作；

75、金属锻件标准件处理系统，对金属锻件标准件进行扫描和三维建模，过程中包括辅助定位标点、扫描与建模、点云处理、选点及特征提取、数据库存储数据；

76、金属锻件测试件处理系统，对金属锻件测试件进行扫描和三维建模，过程中包括三维扫描与数据保存、点云处理、点云配准、特征提取与匹配、距离计算与是否合格判断；

77、数据输出与存储模块，生成检测报告记录测量数据供查验。

78、进一步地，所述系统中相机标定程序包含相机内参、外参标定及优化计算，其中使用多标定板辅助系统进行标定精度优化。

79、进一步地，所述系统中标定程序还包含手眼标定、转台标定，智能误差反馈与自动调节。

80、进一步地，所述系统中基于helix.toolki三维可视化框架将相机采集的金属锻件标准件数据处理成三维点云并展示；使用pcl点云库中的滤波器对点云文件进行降噪、滤波；使用fpfh算法提取每个选点的局部几何特征并计算每个选点的协方差矩阵，存入数据库作为金属锻件标准件的基准数据。

81、进一步地，所述系统中金属锻件测试件点云配准使用pca、gicp和icp技术进行多层次配准将金属锻件测试件的点云与标准件的点云精确对齐。

82、进一步地，所述系统中点云配准完成后，比对标定点特征，找到最符合的点，并在该点周围选出距离最小的10个点和特征最相似的10个点组成点集α，找到与该点有对应关系点的周围同样规则下的20个点组成点集β，计算两点集之间任意两点的欧氏距离与标准值进行对比，若在允许的范围内，判定为合格品否则为不合格品。

83、进一步地，所述系统中若金属锻件测试件为高温件，热膨胀效应使生成的点云偏离其实际尺寸，根据材料的热膨胀系数对点云进行缩放调整纠正这种偏差。

84、根据上述内容，本发明具有以下优势和有益的效果：

85、1.在相机标定流程中集成智能误差反馈系统和多标定板辅助系统，从而显著提高标定的效率与精度。智能误差反馈系统通过实时分析并修正标定误差，减少人为干预和重复操作，确保在复杂操作环境下的标定精度；多标定板辅助系统可以从多个视角获得冗余的标定数据，并通过结合多标定板的信息来交叉验证，消除单一视角导致的误差累积，保证标定过程系统的鲁棒性，提高标定精度。

86、2.将颜色编码贴片辅助选点法与sift算法基于几何表面特征自动选点相结合，实现在复杂条件下灵活、精确地选点。颜色编码贴片法在均匀表面上提供了直观且高对比度的标识，方便手动选点和快速处理；而sift算法则通过自动提取复杂几何表面特征，实现无需人为操作下对“边缘点”、“角落点”的高精度选点。两者结合使用，不仅提高了整体选点的准确性和效率，还增强了系统对复杂结构金属锻件的适用性。

87、3.在点云配准时使用pca技术分析点云的主要方向大致定位物体，实现快速初步对齐；使用gicp技术在初步对齐基础上进一步优化局部匹配，处理复杂表面的局部误差；使用icp技术精细调整点云间的距离，确保两者的全局精确对齐。这种多层次的配准过程充分发挥各算法优势，有效提高了点云对齐精度和系统鲁棒性，适用于具有复杂几何结构金属锻件的高精度点云配准应用场景。

88、4.在金属锻件测试件点云上找到标定点a，同时找到与标定点a距离最近的10个点和与该标定点a特征值最相似的10个点，共同组成点集∝a，再找到与标定点a具有对应关系的另一标定点b附近同样规则的20个点组成点集βb，计算点集∝a中任意一点和点集βb中任意一点之间的欧氏距离，以计算结果对比标准值区间来检测金属锻件尺寸是否合格。这种方法减小了局部异常或噪声对结果的影响，提升了系统鲁棒性，使得检测结果更加权威和可信；同时，通过多组点对的综合分析，使结果更具全面性，确保对复杂形状金属锻件的尺寸检测结果更加可靠。

89、5.通过采用温度补偿模型和非接触式扫描技术，有效解决了金属锻件因高温热膨胀导致形状变化引发的检测误差问题，确保在高温环境下生成的三维点云模型依然具有高精度，拓宽了三维扫描建模检测的应用场景，使系统可适用于包括机动车辆金属锻件热加工测量等各种严苛的工业环境。