一种多光谱影像测量系统和方法与流程

1.本发明涉及多光谱影像测量技术，特别是涉及一种多光谱影像测量系统和方法。


背景技术：

2.随着科技发展，对各种工件和零件的测量精度和效率要求越来越高，尤其在半导体制造业中对检测的要求也是越来越苛刻。影像测量将影像测量技术、光学技术、控制技术与软件技术完美结合，实现产品的无接触精准测量，由于其非接触特性，是许多表面要求高的产品检测的首选。全自动影像测量具有高度智能化与自动化特点，让整个测量过程变得简单而轻松。通过简单的编程，自动影像测量可以轻松学会操作员的所有实操过程，具有高精度重复性。从而使操作人员从疲劳的精确目视对位，频繁选点、重复走位、功能切换等单调操作和日益繁重的待测任务中解脱出来，成倍地提高工件批测效率，满足工业抽检与大批量检测的需要。
3.公开号为cn111999254a的中国发明专利公开了一种基于双通道的增材制造缺陷检测系统，包括缺陷光源控制模块、多光谱光源模块、图像采集模块和图像处理模块；其中，所述多光谱光源模块包括可见光光源模块和红外光光源模块；所述可见光光源模块包括可见光线光光源和水冷系统，该水冷系统用于保持可见光光源模块稳定工作；所述红外光光源模块包括红外光线光光源和水冷系统，该水冷系统用于保持红外光线光光源稳定工作；所述缺陷光源控制模块包括红外光光源频闪控制器和可见光光源频闪控制器，用于控制可见光线光光源和红外光线光光源交替频闪发光；所述图像采集模块包括红外镜头和工业ccd；多光谱光源模块发出的多光谱光波照射到增材制件表面后，工件表面光谱信息反射到达图像采集模块中的红外镜头，然后被工业ccd采集；所述图像处理模块连接图像采集模块；所述图像分析处理模块用于对图像采集模块采集到的增材制件的可见光与红外成像信息进行图像处理和分析，快速识别与评价增材制件的缺陷类别。
4.公开号为cn102974918a的中国发明专利公开了一种基于多光谱分光摄影的视觉监控系统，它包括一摄像机，所述摄像机的外侧设置一个以上的辅助光源，所述摄像机内包括半透半反镜，第一窄带滤光片、第一减光元件、第一面阵图像传感器、第二窄带滤光片、第二减光元件和第二面阵图像传感器；所述辅助光源发出的光照射一焊接工件，经所述焊接工件反射的光线经所述摄像机的镜头传播到所述半透半反镜，所述半透半反镜的透射光线依次经所述第一窄带滤光片和第一减光元件传播到所述第一面阵图像传感器完成成像，所述第一窄带滤光片的法向与透射光线平行；所述半透半反镜的反射光线依次经所述第二窄带滤光片和第二减光元件传播到第二面阵图像传感器完成成像，所述第二窄带滤光片的法向与反射光线平行；其中，光线从所述半透半反镜的反射面开始，沿透射光路传播到所述第一面阵图像传感器的光程与沿反射光路传播到所述第二面阵图像传感器的光程相等。
5.现有工件检测技术中并没有对特定光谱下抓取的图片进行标定，计算出相关参数以便后续进行实时补偿以及结合多光谱的标定参数由不同光谱的图片自动合成清晰的多光谱图片的相关技术方案，有必要提出一种对应的技术方案。


技术实现要素：

6.针对现有技术中存在的缺陷，本发明的目的在于提供一种多光谱影像测量系统和方法，对特定光谱下抓取的图片进行标定，计算出相关参数以便后续进行实时补偿以及结合多光谱的标定参数由不同光谱的图片自动合成清晰的多光谱图片，能够避免光源衰减造成的误差。
7.为了达到上述目的，本发明所采用的具体技术方案如下：
8.一种多光谱影像测量系统，包括
9.多光谱光源控制模块，根据产品ct时间和表面材质可编程控制对应的光谱同步和亮度一致的高速频闪光源；
10.多光谱成像模块，根据产品ct时间和高速频闪光源保持一致，获取特定光谱下的图像；
11.多光谱图像标定模块，对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿；
12.多光谱图像合成模块，根据标定的相关参数将不同光谱下的图像进行处理并合成清晰的多光谱图像；
13.软件处理模块，控制所述多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块之间进行数据交互，向所述多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块发送控制数据并接收反馈数据。
14.优选的，所述软件处理模块控制所述多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块之间进行数据交互具体指的是
15.所述软件处理模块基于软件ui设计、参数设计控制所述多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块之间进行数据交互。
16.优选的，软件ui是与用户进行信息交互的媒介，用于接收来自用户输入的控制命令，还用于显示多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块的操作界面和运行状况，参数设计用于接收来自用户的自定义参数，还用于显示多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块的运行参数、默认参数和自定义参数。
17.优选的，还包括云端处理模块，所述云端处理模块与所述软件处理模块连接，为所述软件处理模块提供云计算和云存储支持。
18.优选的，多光谱图像标定模块对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿具体指的是
19.多光谱图像标定模块采用神经网络的自适应实时校准算法对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿。
20.优选的，所述多光谱成像模块包括黑白工业相机和成像控制器，环形led灯套在黑白工业相机的镜头周边，成像控制器分别与黑白工业相机和环形led灯连接，控制黑白工业相机和环形led灯保持高度同步进行工作，在具体实施过程中，黑白工业相机的曝光参数设置为3ms，以抑制环境光的影响；成像控制器控制环形led灯和黑白工业相机完成快速特定光谱图像的采集和光谱反射率的重建，从黑白相机的输出信号中获得被测产品的光谱反射率，产品表面在时间t
i
时以相对光谱功率分布为l(λ，t
i
)的光源照明，黑白工业相机在时间
t
i
时的输出为o(t
i
)＝∫l(λ,t
i
)r(λ)s(λ)dλ，r(λ)和s(λ)分别为物体光谱反射率和黑白工业相机的光谱灵敏度。
21.一种多光谱影像测量方法，具体包括以下步骤：
22.s1，根据产品ct时间和表面材质可编程控制对应的光谱同步和亮度一致的高速频闪光源；
23.s2，根据产品ct时间和高速频闪光源保持一致，获取特定光谱下的图像；
24.s3，对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿；
25.s4，根据标定的相关参数将不同光谱下的图像进行处理并合成清晰的多光谱图像。
26.优选的，步骤s3对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿具体指的是
27.采用神经网络的自适应实时校准算法对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿。
28.优选的，采用神经网络的自适应实时校准算法在云端进行训练得到。
29.本发明的有益效果在于：对特定光谱下抓取的图片进行标定，计算出相关参数以便后续进行实时补偿以及结合多光谱的标定参数由不同光谱的图片自动合成清晰的多光谱图片，能够避免光源衰减造成的误差。提高测量范围，达到多光谱测量，实现高速测量，提高机器的测量效率。
附图说明
30.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
31.图1是本发明实施例提供的一种多光谱影像测量系统的原理框图；
32.图2是本发明实施例提供的一种多光谱影像测量系统的流程图。
具体实施方式
33.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。
34.在本发明的描述中，需要说明的是，术语“竖直”、“上”、“下”、“水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
35.在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接
相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
36.如图1所示，本发明提出了一种多光谱影像测量系统，包括
37.多光谱光源控制模块，根据产品ct时间和表面材质可编程控制对应的光谱同步和亮度一致的高速频闪光源；ct(cycle time)是指一个循环的时间，从某个动作发生到下一次这个动作再次发生之间的时间，是生产线上每相邻两个产品产出的时间差。本发明中的产品ct时间即为产品循环时间。
38.具体的，根据产品ct时间编程调整高速频闪光源的发光频率，根据产品的表面材质调整高速频闪光源的发光亮度。
39.高速频闪光源采用合适的方式将光线照射到被测产品表面，增大被测产品与背景的对比度，易于目标的提取与识别。在本实施例中，高速频闪光源采用环形led灯。
40.多光谱光源控制模块根据产品ct时间和表面材质可编程控制对应的光谱同步和亮度一致的高速频闪光源；在此之前，可以预先建立针对产品表面材质的光源数据库，首先利用不同波段的单色led灯照射至产品表面，获取不同光谱下的产品图像，对各个产品图像的清晰度、图像对比度、边缘信息进行量化并记录；然后采用多光谱光源照射至产品表面，获取多光谱下的产品图像，对各个产品图像的清晰度、图像对比度、边缘信息进行量化并记录；基于代数融合算法将单色led灯获取的产品图像进行融合，得到融合的多光谱图像，对其清晰度、图像对比度、边缘信息进行量化并记录；将多光谱下的产品图像与融合的多光谱图像进行量化、对比并记录；统计并汇总得到针对产品表面材质的光源数据库。
41.在具体实施过程中，多光谱光源控制模块根据所需的清晰度、图像对比度、边缘信息，可以从光源数据库中匹配对应的光源。光源为特定光谱的光源。
42.多光谱成像模块，根据产品ct时间和高速频闪光源保持一致，获取特定光谱下的图像；
43.所述多光谱成像模块包括黑白工业相机和成像控制器，环形led灯套在黑白工业相机的镜头周边，成像控制器分别与黑白工业相机和环形led灯连接，控制黑白工业相机和环形led灯保持高度同步进行工作。在具体实施过程中，黑白工业相机的曝光参数设置为3ms，以抑制环境光的影响；成像控制器控制环形led灯和黑白工业相机完成快速多光谱图像的采集和光谱反射率的重建，从黑白相机的输出信号中获得被测产品的光谱反射率，产品表面在时间t
i
时以相对光谱功率分布为l(λ，t
i
)的光源照明，黑白工业相机在时间t
i
时的输出为o(t
i
)＝∫l(λ,t
i
)r(λ)s(λ)dλ，r(λ)和s(λ)分别为物体光谱反射率和黑白工业相机的光谱灵敏度。
44.多光谱图像标定模块，对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿；
45.多光谱图像标定模块接收来自的特定光谱下的图像，采用四点标定法对图像进行标定，将特定光谱和四点标定法的相关参数作为一个数据组，以便后续的相关处理。
46.多光谱图像合成模块，根据标定的相关参数将不同光谱下的图像进行处理并合成清晰的多光谱图像；根据数据组对不同光谱下的图像进行旋转、缩放等处理，合并成清晰的多光谱图像。
47.具体的，图像合并算法包括像素级图像融合算法、特征级图像融合算法和决策级
图像融合算法，可根据光源数据库
‑
特定光谱对应的清晰度、图像对比度、边缘信息以及客户需求选择任一像素级图像融合算法。
48.软件处理模块，控制所述多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块之间进行数据交互，向所述多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块发送控制数据并接收反馈数据。
49.优选的，所述软件处理模块控制所述多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块之间进行数据交互具体指的是
50.所述软件处理模块基于软件ui设计、参数设计控制所述多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块之间进行数据交互。
51.优选的，软件ui是与用户进行信息交互的媒介，用于接收来自用户输入的控制命令，还用于显示多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块的操作界面和运行状况，参数设计用于接收来自用户的自定义参数，还用于显示多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块的运行参数、默认参数和自定义参数。
52.优选的，还包括云端处理模块，所述云端处理模块与所述软件处理模块连接，为所述软件处理模块提供云计算和云存储支持。
53.优选的，多光谱图像标定模块对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿具体指的是
54.多光谱图像标定模块采用神经网络的自适应实时校准算法对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿。
55.在其他实施例中，多光谱成像模块还可采用3d相机，在获取特定光谱的图像之前需要对3d相机进行标定，主要标定3d相机的内参数，需要实现图像坐标和空间坐标的转换。3d相机包括两个镜头，分别为两个镜头建立坐标系，p是三维空间中的一点，点p1(x1,y1)、p2(x2,y2)分别是p在两个镜头成像平面上的成像点，f是两个镜头的焦距，θ是相机光轴和数字光投影仪投影光束的夹角，d1、d2分别是光源到两个镜头光学中心的距离，设p在第一个镜头对应的坐标系中的坐标为p(x1，y1，z1)，在第二个镜头对应的坐标系中的坐标为p(x2，y2，z2)，那么在图像坐标系中，成像点的坐标(u1，v1)与成像平面坐标(x1，y1)的关系为和是镜头在图像坐标上两个方向的像元尺寸，因此，同理可求出p(x2，y2，z2)。
56.本发明融合了计算机视觉、光源控制、智能io编程等领域的技术，是智能制造领域的发展趋势，可以广泛应用于手机屏幕、五金件、线路板等多种工业产品的在线测量和自动高精度贴合组装。可以为智能手机零部件的检测、贴合和组装提供快速的解决方案，具有非常好的经济和社会效益。
57.如图2所示，本发明还提出了一种多光谱影像测量方法，具体包括以下步骤：
58.s1，根据产品ct时间和表面材质可编程控制对应的光谱同步和亮度一致的高速频
闪光源；ct(cycle time)是指一个循环的时间，从某个动作发生到下一次这个动作再次发生之间的时间，是生产线上每相邻两个产品产出的时间差。本发明中的产品ct时间即为产品循环时间。
59.具体的，可根据产品ct时间编程调整高速频闪光源的发光频率，根据产品的表面材质调整高速频闪光源的发光亮度。高速频闪光源采用合适的方式将光线照射到被测产品表面，增大被测产品与背景的对比度，易于目标的提取与识别。在本实施例中，高速频闪光源采用环形led灯。
60.在其他实施例中，还可以预先建立针对产品表面材质的光源数据库，首先利用不同波段的单色led灯照射至产品表面，获取不同光谱下的产品图像，对各个产品图像的清晰度、图像对比度、边缘信息进行量化并记录；然后采用多光谱光源照射至产品表面，获取多光谱下的产品图像，对各个产品图像的清晰度、图像对比度、边缘信息进行量化并记录；基于代数融合算法将单色led灯获取的产品图像进行融合，得到融合的多光谱图像，对其清晰度、图像对比度、边缘信息进行量化并记录；将多光谱下的产品图像与融合的多光谱图像进行量化、对比并记录；统计并汇总得到针对产品表面材质的光源数据库。
61.在具体实施过程中，多光谱光源控制模块根据所需的清晰度、图像对比度、边缘信息，可以从光源数据库中匹配对应的光源。光源为特定光谱的光源。
62.s2，根据产品ct时间和高速频闪光源保持一致，获取特定光谱下的图像；
63.获取特定光谱下的图像可利用黑白工业相机和成像控制器获取多光谱图像，环形led灯套在黑白工业相机的镜头周边，成像控制器分别与黑白工业相机和环形led灯连接，控制黑白工业相机和环形led灯保持高度同步进行工作。在具体实施过程中，黑白工业相机的曝光参数设置为3ms，以抑制环境光的影响。
64.成像控制器控制环形led灯和黑白工业相机完成快速多光谱图像的采集和光谱反射率的重建。从黑白相机的输出信号中获得被测产品的光谱反射率。产品表面在时间t
i
时以相对光谱功率分布为l(λ，t
i
)的光源照明，黑白工业相机在时间t
i
时的输出为o(t
i
)＝∫l(λ,t
i
)r(λ)s(λ)dλ，r(λ)和s(λ)分别为物体光谱反射率和黑白工业相机的光谱灵敏度。
65.s3，对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿；
66.s4，根据标定的相关参数将不同光谱下的图像进行处理并合成清晰的多光谱图像。
67.优选的，步骤s3对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿具体指的是
68.采用神经网络的自适应实时校准算法对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿。
69.优选的，采用神经网络的自适应实时校准算法在云端进行训练得到。
70.本发明的有益效果在于：对特定光谱下抓取的图片进行标定，计算出相关参数以便后续进行实时补偿以及结合多光谱的标定参数由不同光谱的图片自动合成清晰的多光谱图片，能够避免光源衰减造成的误差。提高测量范围，达到多光谱测量，实现高速测量，提高机器的测量效率。
71.以上述依据本发明的理想实施例为启示，通过上述的说明内容，本领域技术人员完全可以在不偏离本发明技术思想的范围内，进行多样的变更以及修改。本发明的技术性
范围并不局限于说明书上的内容，必须要根据权利要求书范围来确定其技术性范围。