图像测量系统、图像测量方法以及图像测量存储介质与流程

1.本发明涉及一种能够同时检测出被测物体表面存在的没有立体形状变化的二维缺陷和伴随着立体形状变化的三维缺陷的图像测量系统、图像测量方法、图像测量程序以及图像测量存储介质。


背景技术：

2.在汽车车壳、厕所
·
洗脸间
·
浴室等地方使用的陶瓷制品的质量检测和质量管理等领域，需要可以测量没有立体形状变化的二维缺陷(平面缺陷)的二维测量技术，如车壳表面的划痕、印刷位置的偏离等；也需要测量伴随着立体形状变化的三维缺陷(立体缺陷)的三维测量技术，如凹陷、凸起等。图像测量技术被认为可以用于检测上述各种缺陷。可是，对于像汽车车壳、陶瓷制品这样的被测物体，由于其表面有光泽、具有较强的表面反射特性，在使用图像测量时，被测物体周围的东西很容易通过被测物体的表面反射到相机镜头里、而且还容易出现亮斑，从而使得缺陷检测变得困难。
3.常用的三维图像测量技术包括以下几种：基于双目视觉的立体视觉法，利用将图形光投影到被测物体上的图形光投影测量法，调节相机镜头的焦距、在不同的焦距下拍摄多张被测物体照片的镜头焦距调节测量法等。
4.立体视觉法是一种被广为使用的三维图像测量方法，但它不擅于测量没有特征的物体、或物体上的没有特征的部分，较难用于测量上述没有立体形状变化的二维缺陷。
5.图形光投影测量法是一种高速、高精度的三维形状测量技术，适合于表面形状的测量。可是它较难用于具有表面光泽、表面反射较强的被测物体。同时，图形光投影测量法较难实现二维缺陷和三维缺陷的同时测量。
6.镜头焦距调节测量法常用于显微镜观测中，利用多次调节镜头的焦距、在不同的焦距下拍摄物体的显微照片，实现微小物体的二维信息和三维信息的同时测量。然而，为了保证三维信息的测量精度，需要对镜头的焦距进行数十次乃至数百次的调节，并同时拍摄数十枚乃至数百枚的照片，这样重复性的焦距调节和拍照使得测量时间变长。另外，为了实现高精度的测量，需要对镜头的焦点距离进行高精度的调节，使得测量系统的成本变高。
7.为了解决上述问题，人们发明了具有较强鲁棒性的基于灰色编码图形光投影的三维测量技术(如非专利文献1)、采用3d相机的测量技术(如非专利文献2)等新技术。可是这些技术都很难适用于像汽车车壳那样的具有较强表面反射特性的光泽物体。
8.另外，本专利的发明人还发明了间接图形光投影测量技术，如专利文献1至3所述。这些间接图形光投影测量技术可以实现诸如汽车车壳那样的有较强表面反射特性的光泽物体的图像测量，但是在测量时需要进行4次以上的照片拍摄，所以测量时间仍然较长。这些都是需要进一步改进的问题。现有技术文献专利文献
9.【专利文献1】日本特开2010－185820号公报
【专利文献2】日本特开2011－64617号公报【专利文献3】日本特开2013－92465号公报非专利文献
10.【非专利文献1】zhoujie wu；wenbo guo；chao zuo；qican zhang，“high
‑
speed three
‑
dimensional shape measurement based on robust gray
‑
code coding strategies”，proceedings of spie，volume 11205，page.112052b
‑
6，2019【非专利文献2】盧存偉；上塘広也；孫可；辻野和弘；長元気，電気学会論文誌c，pp.320
‑
328，vol.131，no.2，2011发明的内容发明要解决的问题
11.本发明的目的是提供一种图像测量系统、一种图像测量方法、一种图像测量程序和一种图像测量存储介质，它可以同时检测出被测物体表面存在的没有立体形状变化的二维缺陷和伴随着立体形状变化的三维缺陷，它不仅可以用于一般物体的检测，也可以用于诸如汽车车壳、厕所
·
洗脸间
·
浴室等地方使用的陶瓷制品一类的具有较强的表面反射的被测物体的检测。用于解决问题的方案
12.本发明的图像测量系统包括测量用图形光生成单元、图形光投影单元、摄影单元、二维缺陷检测单元和三维缺陷检测单元等部分。所述图形光投影单元向被测物体投影测量用图形光。所述摄影单元利用相机拍摄被测物体表面的两枚图像：利用第1焦距拍摄上述被测物体获取第1图像、利用和上述第1焦距不同的第2焦距拍摄所述被测物体获取第2图像。所述二维缺陷检测单元利用上述第1图像和第2图像中的一枚或两枚图像进行图像处理，分析所述被测物体表面的色彩强度变化，进而检测出被测物体表面的二维缺陷。所述三维缺陷检测单元利用上述第1图像和第2图像中的一枚或两枚图像进行图像处理，分析被投影到所述被测物体表面的图形光的变化情况，进而检测出被测物体表面的三维缺陷。
13.本发明的图像测量方法具有以下特征：它使用投影器向被测物体投影测量用图形光；使用相机，利用第1焦距拍摄上述被测物体获取第1图像、利用和上述第1焦距不同的第2焦距拍摄所述被测物体获取第2图像；使用计算机，利用所述第1图像和第2图像中的一枚或两枚图像进行图像处理，分析所述被测物体表面的色彩强度变化，进而检测出被测物体表面的二维缺陷；使用计算机，利用所述第1图像和第2图像中的一枚或两枚图像进行图像处理，分析被投影到所述被测物体表面的图形光的变化情况，进而检测出被测物体表面的三维缺陷。
14.利用这些发明，使用在第1焦距所拍摄的被测物体的第1图像及在和上述第1焦距不同的第2焦距所拍摄的被测物体获取的第2图像这两枚图像中的一枚或两枚进行图像处理，分析图像中所述被测物体表面的色彩强度变化即可以检测出被测物体表面的二维缺陷，同时分析图像中被投影到所述被测物体表面的图形光的变化情况又可以检测出被测物体表面的三维缺陷。
15.拍摄上述第1图像时，尽可能做到将相机的焦点聚焦在所述被测物体的表面上，以拍摄到所述被测物体的表面清晰、被所述被测物体表面所反射的测量用图形光模糊的图像。拍摄上述第2图像时，尽可能做到将相机的焦点聚焦在测量用图形光的投影面上，以拍
摄到所述测量用图形光清晰、被测物体的表面模糊的图像。
16.在拍摄第1图像时尽管也有测量用图形光被投影到被测物体表面，但是由于镜头的焦点被聚焦在被测物体的表面而没有被聚焦在测量用图形光投影面上，所以测量用图形光就被模糊，只有被测物体表面被清晰地拍摄。这样一来，被测物体表面上的诸如划痕、印刷图案异常等没有立体形状变化的二维缺陷就很容易被检测出来。另一方面，在拍摄第2图像时由于将镜头的焦点聚焦在测量用图形光投影面上，这样测量用图形光的反射图像就会被很清晰地拍摄到，而拍摄到的物体的表面将变得模糊。由于测量用图形光的反射图像随着被测物体表面的形状变化而变化，我们就可以通过分析测量用图形光的反射图像的变化得到凹陷等伴随着立体形状变化的三维缺陷。
17.本发明的图像测量程序包括图形光投影模块、摄影模块、二维缺陷检测模块、三维缺陷检测模块，使用计算机运行这些模块，以实现本发明的各项功能。所述图形光投影模块实现图形光投影单元向被测物体投影测量用图形光的功能。所述摄影模块实现摄影单元利用相机拍摄被测物体表面的两枚图像，即利用第1焦距拍摄上述被测物体获取第1图像、利用和上述第1焦距不同的第2焦距拍摄所述被测物体获取第2图像的功能。所述二维缺陷检测模块利用上述第1图像和第2图像中的一枚或两枚图像进行图像处理，分析所述被测物体表面的色彩强度变化，进而检测出被测物体表面的二维缺陷。所述三维缺陷检测模块利用上述第1图像和第2图像中的一枚或两枚图像进行图像处理，分析被投影到所述被测物体表面的测量用图形光的变化情况，进而检测出被测物体表面的三维缺陷。发明的效果
18.(1)本发明的基本构成是：首先向被测物体投影测量用图形光；然后调节相机镜头的焦距拍摄被测物体表面的两枚图像，即利用第1焦距拍摄上述被测物体获取第1图像，利用和上述第1焦距不同的第2焦距拍摄所述被测物体获取第2图像；接着利用上述第1图像和第2图像中的一枚或两枚图像进行图像处理，分析所述被测物体表面的色彩强度变化，进而检测出被测物体表面的二维缺陷；同时利用上述第1图像和第2图像中的一枚或两枚图像进行图像处理，分析被投影到所述被测物体表面的测量用图形光的变化情况，进而检测出被测物体表面的三维缺陷。这样只需要使用一种图形光、投影一次，便可以检测出被测物体表面上存在的没有立体形状变化的二维缺陷和伴随着立体形状变化的三维缺陷。系统结构简单、成本低廉，容易实现高精度和高速度检测。
19.(2)在拍摄第1图像时，镜头的焦距被聚焦在被测物体的表面而没有被聚焦在测量用图形光投影面上，这样就可以拍摄到被测物体表面的清晰照片，同时在照片上测量用图形光是模糊的。另一方面，在拍摄第2图像时，由于将镜头的焦距聚焦在测量用图形光投影面上，这样就可以清晰地拍摄到测量用图形光的反射图像的照片，同时被测物体的表面是模糊的。这样一来，使用第1图像，被测物体表面上的诸如划痕、印刷图案异常等没有立体形状变化的二维缺陷就很容易被检查出来；使用第2图像，我们就很容易通过分析测量用图形光的反射图像的变化来得到凹陷等伴随着立体形状变化的三维缺陷。
附图说明
20.图1是本发明实施方式中的图像测量系统的构成示意图。图2是图像测量系统构成的框图。
图3是测量用图形光的示例图。图4是使用图像测量系统进行缺陷检测的流程图。图5是二维缺陷检测及二维缺陷解析的详细流程图。图6是三维缺陷检测及三维缺陷解析的详细流程图。图7是被测物体表面的图像的示例。图8是测量用图形光的图像的示例。【符号的说明】x 被测物体1 计算机2 相机3 投影器4 连接线5 测量用图形光投影面6 被测物体x的表面10 测量用图形光生成单元11 图形光投影单元12 摄影单元13 二维缺陷检测单元14 二维缺陷解析单元15 三维缺陷检测单元16 三维缺陷解析单元17 标定单元18 检测结果输出单元19 存储单元
具体实施方式
21.图1给出了本发明实施方式中的图像测量系统的构成示意图，图2给出了图像测量系统构成的框图。
22.如图1所示，在本发明的实施方式中，图像测量系统包括以下部分：负责控制测量系统的各个部分、实施各种计算及处理的诸如个人电脑(pc)的计算机1，用于拍摄被测物体的照片的相机2，由于将测量用图形光投影到被测物体x上的图形光投影器3，以及连接计算机1和相机2的连接线4。计算机1运行本实施方式所示的图像测量程序，以实现图2所示的各个单元的功能。图像测量程序由计算机从存储介质中读取并运行。[测量用图形光生成单元10]
[0023]
测量用图形光生成单元10用于生成测量时所需要的图形光。对于具有光泽的或表面反射很强的被测物体x，为了使用图形光投影三维测量技术，需要对测量用图形光的形状和强度以及投影方式进行改良。测量用图形光的生成可以是离线的也可以是在线的。所谓离线生成，就是事先先生成一个大小和形状都已固定的泛用的测量用图形光。所谓在线生成，就是在实际测量过程中，根据被测物体x的大小和形状，来决定测量用图形光的大小和
形状，生成一个适用于该被测物体x的专用的测量用图形光。
[0024]
作为测量用图形光，可以使用图3所示的各种二维形状的图形，如(a)横向条纹、(b)纵向条纹、(c)斜向条纹、(d)格子状图形、(e)国际象棋棋盘型图形、(f)圆形斑点矩阵分布图形。本实施方式的图像测量系统在这些图形中选择一个适用于被测物体x的图形来使用。
[0025]
这些图形都是一些简单的几何图形，它们具有下述特征：(1)只有明暗两种强度变化；(2)只是直线、圆等一些简单的几何图形，只具有线形或矩阵形等简单的几何形状分布；(3)图形的分布具有重复性。另外，测量用图形光也不仅仅只能使用上述图3所示的各种图像，只要是其特征可以较容易地被识别，其他的一些一维的、二维的、具有色彩强度变化的三维图形也可以被使用。
[0026]
另外，在图像处理的过程中，如果使用基于x轴或y轴方向的具有方向性的图形处理技术，可以考虑使用(a)～(c)的图形；如果使用和图像的方向性无关的图像处理技术，则可以使用(d)～(f)的图形。在下面的图7和图8所显示的实例中，我们使用了圆形斑点矩阵分布图形。[图形光投影单元11]
[0027]
图形光投影单元11使用投影器3向被测物体x投影测量用图形光。图形光投影单元11使用的测量用图形光是由上述测量用图形光生成单元10所生成的。由图形光投影单元11所投影的测量用图形光所在的面被称为测量用图形光投影面5。
[0028]
投影器可以使用液晶投影仪、dlp投影仪(注册商标：digital light processing)，也可以使用led(light emitting diode)、荧光灯等照明器械制成。在本实施方式中，我们使用了寿命长、节能性能好的led。由计算机1控制led的开和关，在需要的时候让需要亮的led开灯，在不需要亮的时候控制其关灯。这样，我们便可以利用led的开和关的组合生成测量用图形光并将其投影到被测物体上。
[0029]
图形光投影单元11的投影，可以采用由投影器3将图形光直接投影到被测物体x上的直接投影方式，也可以采取间接投影方式。所谓间接投影方式是指投影器3不是将图形光直接投影到被测物体x上，而是通过设置在投影器3和被测物体x之间的半透明膜间接地投影到被测物体x上。[摄影单元12]
[0030]
摄影单元12用于在图形光投影单元11向被测物体x投影测量用图形光的状态下，使用相机2在不同的焦点距离下，拍摄被测物体x的两张照片：第1图像和第2图像。摄影单元12分别在第1焦距拍摄被测物体的第1图像、在第2焦距拍摄第2图像，共拍摄2枚图像。这样就可以得到被测物体的不同焦距下的2枚图像：在第1焦距拍摄的第1图像和在第2焦距拍摄的第2图像。另外，在本实施方式中，第2焦距比第1焦距要长，第2焦距的值设为第1焦距的2倍。
[0031]
在本实施方式中，第1图像是调整相机镜头的焦距，使其聚焦在被测物体x的表面6上所拍摄的。按照这样的方法所拍摄的第1图像，被测物体x的表面6由于处在焦点距离附近被聚焦，所以是清晰的；而被被测物体x表面6所反射的测量用图形光，由于没有被聚焦，所以是模糊的。第1图像被称为被测物体x的表面图像(以后简称为“物体表面图像”)。第2图像是调整相机镜头的焦距，使其聚焦在被被测物体x的表面6所反射的测量用图形光投影面5
上所拍摄的。按照这样的方法所拍摄的第2图像，被测物体x的表面6由于没有被聚焦，所以是模糊的；而被被测物体x表面6所反射的测量用图形光，由于处在焦点距离附近被聚焦，所以是清晰的。第2图像被称为被被测物体x的表面6所反射的测量用图形光图像(以后简称为“测量用图形光图像”)。
[0032]
简单地说就是，摄影单元12在前述测量用图形光被投影在被测物体x上的状态下，调节相机镜头的焦距，拍摄2张照片。其中一张的焦距是聚焦在被测物体x的表面6上的。这样，尽管在拍摄这张照片时测量用图形光也被投影到被测物体x的表面6上了，但是由于焦距没有被聚焦在测量用图形光投影面5上，所以在所拍摄的照片上测量用图形光是模糊的，只有被测物体x的表面6是鲜明的。这张照片可以反应被测物体的表面特征，所以被称为物体表面图像。图7是某汽车车壳上的一个部分的物体表面图像的实例。
[0033]
另一张照片，是将相机镜头的焦距聚焦在投影器3的测量用图形光投影面5上所拍摄的。在这张照片上，被被测物体x的表面6所反射的测量用图形光是鲜明的，而被测物体的表面6则是模糊的。这张照片可以反映被被测物体x的表面6所反射的测量用图形光的变化情况，所以被称为测量用图形光图像。图8是某汽车车壳上的一个部分的测量用图形光图像的实例。
[0034]
像这样，尽管测量用图形光一直都被投影在被测物体x的表面上，我们却可以分别拍摄到焦点被聚焦在被测物体表面及测量用图形光投影面上的两枚不同的图像。由于物体表面图像清晰地拍摄到了被测物体的表面信息，所有在被测物体x表面6上存在的划痕、印刷图案缺陷等没有立体形状变化的二维缺陷，能被有效地检测出来。另一方面，由于测量用图形光图像可以清晰地拍摄到被被测物体x的表面6所反射的测量用图形光，而被反射的测量用图形光的形状会随着被测物体x的表面6的立体形状变化而变化，所以，利用测量用图形光图像可以有效地检测出诸如凹陷那样的伴随着被测物体x的表面立体形状变化的三维缺陷。通过图7和图8可以看出本实施方式的摄影单元的有效性。[二维缺陷检测单元13]
[0035]
二维缺陷检测单元13，对第1图像即物体表面图像中的被测物体x的表面6的色彩强度变化进行解析，进而得出被测物体x的表面的二维缺陷。所谓二维缺陷，就是指没有伴随着被测物体x的表面6的立体形状变化的缺陷，如汽车车壳的划痕，印刷的色彩变化、印刷位置不准确等缺陷。二维缺陷检测单元13对第1图像进行图像处理，求出被检测点和其周边区域的色彩强度的差别及其变化的规律性，进而对这些差别及变化的规律性用传统的图像解析的方法以及人工智能的方法进行处理，检测出二维缺陷，即没有伴随着被测物体x的表面6的立体形状变化的缺陷。
[0036]
更具体地说，本实施方式的二维缺陷检测单元13，主要是使用物体表面图像。由于测量用图形光一直被投影到被测物体x的表面6上，这就会对划痕、印刷色彩变化或印刷位置等二维缺陷的检测造成影响。所以，在检测二维缺陷时，不希望有测量用图形光被投影到被测物体表面上，而是希望有强度和色彩都非常均一的照明。在本实施方式的物体表面图像上，由于测量用图形光被模糊了，所以在一定程度上可以达到强度色彩均一照明的效果，但是，测量用图形光并没有被完全消除。因此，在使用物体表面图像进行二维缺陷检测时，我们首先使用了低通滤波器，以进一步减轻测量用图形光对二维缺陷检测的影响。
[0037]
接下来，计算第1图像的所有的像素的色彩强度分布，得出其强度分布图。如果被
测点和其周边区域的色彩强度的差超过预先设置的阈值，则该被测点被认为是缺陷点。二维缺陷的判定，可以使用传统的边沿处理、特征提取等图像处理技术。也可以事先对各种缺陷图像进行学习，然后使用人工智能技术进行二维缺陷判定。另外，上述二维缺陷检测是使用物体表面图像进行的，我们也可以参考测量用图形光图像进行综合分析。
[0038]
本实施方式所说的二维缺陷检测单元13所使用的边沿处理、特征提取等传统的图像处理技术以及人工智能技术，都是只需要使用摄影图像即可检测出被测物体x上存在的二维缺陷，而不需要被测物体x的cad数据等设计资料，也不需要没有缺陷时的图像等被测物体x的原始资料。[二维缺陷解析单元14]
[0039]
二维缺陷解析单元14，它是将使用二维缺陷检测单元13检测出的二维缺陷进行分类，进而算出各个二维缺陷的尺寸。二维缺陷解析单元14首先分析根据使用二维缺陷检测单元13检测出的二维缺陷的大小和形状，按照事先规定好的标准，将这些二维缺陷分为点状缺陷、线型缺陷、区域型缺陷等不同的种类。
[0040]
然后根据各个缺陷所占有的像素数，分别计算每一个缺陷的面积。面积在一定的阈值以下的缺陷被分类为点状缺陷。对于面积超过上述阈值的缺陷，进一步计算其边界线的长度、形状参数等特征。根据这些特征，再将这些面积较大的缺陷，进一步分为线型缺陷、区域型缺陷等。
[0041]
对于点状缺陷，我们计算其中心坐标、直径等参数。对于线型缺陷，我们计算其起点和终点坐标、缺陷的长度和宽度等参数。对于区域型缺陷，我们计算其中心坐标、x方向、y方向、45度方向、135度方向等各个方向的直径等参数。[三维缺陷检测单元15]
[0042]
三维缺陷检测单元15是使用第2图像即测量用图形光图像，通过解析被投影到被测物体x上的测量用图形光的变化，算出被测物体x的三维缺陷。所谓三维缺陷，是指伴随着被测物体x的表面立体形状变化的诸如凹陷那样的缺陷。三维缺陷检测单元15利用第2图像即测量用图形光图像的色彩强度解析以及频谱解析，计算出被测点和其周边区域的三维形状变化信息，根据其三维坐标变化的大小和规律性分布，检测出被测物体x表面6上的伴随着立体形状变化的三维缺陷。
[0043]
在本实施方式的三维缺陷检测单元15中，被测物体x表面6上的伴随着立体形状变化的三维缺陷的检测，主要是使用前述第2图像即测量用图形光图像，利用图形光投影三维测量技术来实现的。对于没有凹陷等立体形状急剧变化的被测物体x，由于测量用图形光会被均一地反射，所以它的频谱分布是安定的，不存在剧烈的高频变化。然而，对于存在着凹陷等伴随着立体形状急剧变化的被测物体x，在其频谱特性上，将会出现频率迅速变高的现象。这样，我们就可以通过分析频谱特性中是否存在急剧变高的高频部分，来判断被测物体x的表面6是否存在形状变化。在本实施方式中，我们首先求出测量用图形光图像的频谱特性，然后设定一个频率阈值，将图像的频谱特性中高于这个频率阈值的部分作为三维缺陷的候补区域提取出来。另外，在上述过程中，三维缺陷的检测只使用了测量用图形光图像。作为参考，我们也可以使用物体表面图像进行综合解析。
[0044]
在上述三维缺陷检测单元中，我们使用的测量用图形光和前述二维缺陷检测单元所使用测量用图形光是同一个图形光，所以我们没有必要为了检测二维缺陷和三维缺陷而
使用不同的测量用图形光。另外，三维缺陷检测单元所使用的方法是基于频谱解析技术的方法，它只需要使用摄影图像即可检测出被测物体x上存在的三维缺陷，而不需要被测物体x的cad数据等设计资料，也不需要没有缺陷时的图像等被测物体x的原始资料。[三维缺陷解析单元16]
[0045]
三维缺陷解析单元16，它是将使用三维缺陷检测单元15检测出的三维缺陷进行分类，进而算出各个三维缺陷的尺寸。三维缺陷解析单元16根据使用三维缺陷检测单元15检测出的三维缺陷的三维形状变化，将这些三维缺陷分为凹陷型缺陷和凸起型缺陷等不同的种类。
[0046]
具体的说就是，三维缺陷解析单元16，对于使用三维缺陷检测单元15检测出的伴随着被测物体x表面的立体形状变化的三维缺陷，将图像中缺陷区域的像素的三维坐标和其周边区域的像素的三维坐标进行比较，如果缺陷区域的像素的深度坐标的值比周边区域的像素的深度坐标的值大的话，就定义该缺陷为凹陷型缺陷；如果缺陷区域的像素的深度坐标的值比周边区域的像素的深度坐标的值小的话，就定义该缺陷为凸起型缺陷。然后，根据缺陷区域和周边区域的三维坐标生成缺陷区域附近的形状变化曲线，求出缺陷区域的边界线。进而，根据缺陷区域的边界线和前述形状分布曲线，对于凹陷型曲线和凸起型曲线，分布计算出缺陷的中心坐标，凹陷或凸起的具体数值，x方向、y方向、45度方向、135度方向等各个方向的直径。
[0047]
在图7所示的物体表面图像中，我们可以检测出点状缺陷和线型缺陷这些二维缺陷，但是我们无法通过这枚图像判断物体表面是否存在伴随着立体形状变化的三维缺陷。另外，在图8所示的测量用图形光图像中，我们可以通过分析测量用图形光的变化检测出凹陷这样的三维缺陷，但是我们很难通过这枚图像判断出物体表面是否存在点状缺陷、线型缺陷这样的没有立体形状变化的二维缺陷。如果我们使用图7和图8这两枚图像，那我们就既可以检测出被测物体x表面存在的没有立体形状变化的点状缺陷和线型缺陷这些二维缺陷，又可以检测出伴随着立体形状变化的凹陷这样的三维缺陷。[标定单元17]
[0048]
标定单元17是为了提高测量精度而设定的。为了提高前述二维缺陷以及三维缺陷的测量精度，对相机2进行标定是必须的。在本实施方式中，我们使用形状尺寸已知的物件作为标定物件进行系统标定。我们将标定物件的实际尺寸和根据本发明的实施方法计算出来的尺寸进行比较，使用最小二乘法推算出相机2和图像处理系统的各个参数，并对其进行优化。这样可以保证图像测量的精度。[检测结果输出单元18]
[0049]
检测结果输出单元18将根据需要将二维缺陷及三维缺陷的检测结果变换成txt、csv等文本文件格式，bmp、jpg等图像文件格式，dxf、sxf等cad格式予以输出。[存储单元19]
[0050]
存储单元19主要是由计算机的内部存储器、ssd(solid state drive)、hdd(硬盘)等数据存储装置构成。如图2所示，存储单元19主要被测量用图形光生成单元10、图形光投影单元11、摄影单元12、二维缺陷检测单元13、二维缺陷解析单元14、三维缺陷检测单元15、三维缺陷解析单元16、标定单元17、以及检测结果输出单元18等使用，用于实现控制投影器3和相机2的动作、读取相机2所拍摄的图像并进行图像处理、保存或输出处理结果，对相机2
实施标定等功能。
[0051]
图4是使用图1的图像测量系统进行测量的流程图。测量时，首先安放被测物体x到测量系统中(s100)。然后利用测量用图形光生成单元10、使用在线或离线的方法生成测量用图形光(s101)，并使用图形光投影单元将该测量用图形光投影到被测物体x上(s102)。其后，使用相机2，利用第1焦点距离即将相机镜头的焦点聚焦在被测物体x的表面6上的焦点距离、拍摄被测物体x的第1图像(物体表面图像)(s103)；利用第2焦点距离即将相机镜头的焦点聚焦在测量用图形光投影面5上的焦点距离，拍摄被测物体x的第2图像(测量用图形光图像)(s104)；并将这些图像通过连接线4送到计算机1。
[0052]
之后，在计算机1上，使用二维缺陷检测单元13、利用被测物体x的第1图像检测出被测物体x表面6上的没有立体形状变化的二维缺陷(s105)；使用三维缺陷检测单元15、利用被测物体x的第2图像检测出被测物体x表面6上的伴随着立体形状变化的三维缺陷(s107)。对于被检测出来的二维缺陷及三维缺陷，分别使用二维缺陷解析单元14和三维缺陷解析单元16对其进行分类，并给出缺陷的位置、长度、宽度、直径等参数(s106，s108)。最后，使用检测结果输出单元18将检测出的结果用文本方式、图像方式、cad数据方式等文件格式输出(s109)。
[0053]
图5是图4的二维缺陷检测和二维缺陷解析(s105、s106)的详细处理过程的流程图。首先，使用二维缺陷检测单元13对所拍摄的物体表面图像进行低频滤波处理，以减轻测量用图形光对二维缺陷检测的影响(s200)。然后，找出图像处理所需要的被测点(s201)。寻找被测点的方法是，对图像从上到下、从左到右对每一个像素进行扫描处理。这样的扫描处理，可以保证图像中的每一个像素都能被测量。
[0054]
最后，对于被测点和其周围的一个小区域，计算各个像素的色彩强度的差值id(s202)。被测点周围的小区域可以选为方形或圆形等形状。接下来，将色彩强度的差值id和事先确定好的色彩强度的差值的阈值t1进行比较(s203)，如果色彩强度的差值id不比阈值t1大的话，就将该被测点判定为非缺陷点，然后转向后述的s216，判断扫描是否完成的操作。如果色彩强度的差值id比阈值t1大的话，就将该被测点判定为二维缺陷点(s205)。
[0055]
二维缺陷解析单元14，根据被测点和其周围区域的各个像素的色彩强度值，计算该缺陷区域(二维缺陷)的面积s(s206)。然后，将缺陷区域的面积s和事先确定好的缺陷面积的阈值t2进行比较(s207)。如果面积s小于阈值t2的话，就将检测出的二维缺陷定义为点状缺陷(s208)，然后计算该点状缺陷的中心坐标、将该中心坐标作为点状缺陷的位置坐标(点状缺陷的参数)(s209)。如果缺陷的面积s不小于阈值t2的话，就进一步计算该缺陷的面积s和周长的比等形状特征参数(s210)，根据这些形状特征参数将这些二维缺陷进一步分为线型缺陷或区域型缺陷(s211)。如果被判定为线型缺陷(s212)，就计算其起始点坐标、终点坐标、线长、线宽等参数(s213)。如果被判定为区域形缺陷(s214)，就进一步计算其中心坐标和各个方向的直径等参数(s215)。
[0056]
最后，判断是否扫描完毕即整个图像所有的像素是否都已经被扫描处理过了(s216)，如果还没有，就按照前述的方法继续扫描，更新被测点(s204)，回到被测点的特定处(s201)对其他的像素进行处理。如果所有的像素都已经被扫描处理过了，则执行二维缺陷检测结果输出(s217(图4的s109))、结束二维缺陷检测和二维缺陷解析操作(图4的s105、s106)。
[0057]
图6是图4的三维缺陷检测(s107)和三维缺陷解析(s108)的详细处理流程图。首先，三维缺陷检测单元15，对于所拍摄的测量用图形光的图像进行频域变换处理(s300)，提取其具有高频特征的区域作为三维缺陷的候补区域(s301)。然后，确定要测量的缺陷候补区域，并对其进行图像处理(s302)。确定缺陷候补区域的方法是对于图像从上到下、从左到右，对每个像素进行扫描处理。三维缺陷候补有可能是真正的三维缺陷，也可能是被测物体表面固有的立体形状变化或者是干扰。为了检测出真正的三维缺陷，对三维缺陷候补区域行和其周围的区域的三维形状特征进行解析，以判断该候补区域是否是真正的三维缺陷(s303)。如果该候补区域被判断为不是三维缺陷，就转向后述的s311，实施判断扫描是否完毕的操作。
[0058]
如果该候补区域被判断为是三维缺陷，就计算该候补区域和其周围的区域的深度变化，求出三维形状分布(s306)、计算出三维缺陷区域的边界(s307)。进而，判断该三维缺陷是凹陷形缺陷还是凸起形缺陷(s308)。如果被判定为凹陷形缺陷，就计算其缺陷的中心坐标、区域的直径、最大凹陷值等参数(s309)。如果被判定为凸起形缺陷，就计算其缺陷的中心坐标、区域的直径、最大凸起值等参数(s310)。
[0059]
最后，判断扫描处理是否完毕，即判断图像上的所有的三维缺陷候补区域是否都已经被扫描处理过了(s311)。如果扫描尚未完成，则按照前述处理方法更新被测区域(s304)、返回到s302处去处理其他的区域。如果所有的三维缺陷候补区域的处理都以完毕，则执行三维缺陷检测结果输出(s312(图4的s109))、结束三维缺陷检测和三维缺陷解析操作(图4的s107、s108)
[0060]
如上所述，本实施方式的图像测量系统可以实现如下功能：使用第1焦距所拍摄的被测物体x的第1图像(物体表面图像)、对被测物体表面色彩强度变化进行解析、进而检测出二维缺陷；使用和第1焦点距离不同的第2焦距所拍摄的被测物体x的第2图像(测量用图形光图像)、对被投影到被测物体x上的测量用图形光的变化进行解析、进而检测出三维缺陷。
[0061]
本实施方式的图像测量系统对于诸如汽车车壳、厕所
·
洗脸间、浴室等处使用的陶瓷制品等具有较强的表面反射特性的被测物体x，仍然可以在短时间内高精度地同时测量出被测物体x表面6上存在的没有立体形状变化的二维缺陷和伴随着立体形状变化的三维缺陷。另外，由于在检测二维缺陷和三维缺陷时，使用同一个照明即测量用图形光，不需要分别使用不同的照明系统或投影系统，所以系统结构简单、成本低，便于实现测量的高精度化和高速度化。
[0062]
本实施方式的图像测量系统，利用将相机镜头的焦点聚焦在测量用图形光投影面5上，即可使用一般的图形光投影三维测量技术完成三维测量，所以可以实现高速、高精度的三维测量，检测出伴随着立体形状变化的三维缺陷。这样，本实施方式便可以最大限度地发挥图形光投影三维测量技术的优势。
[0063]
本实施方式的图像测量系统，使用条纹状、格子状、圆形斑点矩阵分布状或其他形状已知的简单的几何图形作为测量用图形光，便可以解决现有的图形光投影三维测量技术所存在的无法实现表面反射较强的物体的三维测量问题。
[0064]
本实施方式的图像测量系统，利用将相机镜头的焦点聚焦在被测物体x表面6上，使用对测量用图形光图像实施平滑化滤波技术，即可实现和使用强度均一化照明类似的效
果、完成二维缺陷的检测。这样，本实施方式便可以在实现三维缺陷检测的同时，完成没有立体形状变化的二维缺陷的检测，实现诸如车壳表面的划痕、印刷图案的错位等缺陷的检测。这样，本实施方式便可以最大限度地发挥出镜头变焦测量技术的优势。
[0065]
本实施方式的图像测量系统，在调节相机镜头焦距进行测量时，只需要改变一次焦距，即从拍摄第1图像时的第1焦距变化为拍摄第2图像的第2焦距，所以它不存在传统的镜头变焦测量技术所存在的测量时需要多次改变镜头焦距进行拍照而产生的测量时间长的问题。
[0066]
本实施方式的图像测量系统，由于实施二维测量和三维测量这两种不同的测量方式只需要使用同一个测量用图形光，所以测量用图形光生成单元10和图形光投影单元11都只需要一套而不需要两套，这样便可以实现系统的简单化、削减系统的硬件成本、缩短测量所要时间。另外，由于使用测量用图形光生成单元10而生成的测量用图形光的形状和强度分布等信息，在图形光生成的过程中就已经知道、是已知信息，而且是一些简单的几何图形，所以后期的图像处理将会很容易地被实现。即本实施方式中的软件处理也较为简单，这也是本实施方式的图像测量系统的一个优点。
[0067]
另外，在本实施方式中我们将第2焦距的值设置为第1焦距的2倍，这是一种理想状态，在实际使用中，我们并没有必要严格地保持这种2倍的关系。亦即，只要在拍摄第1图像时能够将焦距聚焦在被测物体x的表面6的附近、能够拍摄到被测物体x的表面6较为清晰而被被测物体x的表面6所反射的测量用图形光较为模糊的图像；在拍摄第2图像时能够将焦距聚焦在测量用图形光投影面5的附近、能够拍摄到被测物体x的表面6较为模糊而被被测物体x的表面6所反射的测量用图形光较为清晰的图像即可。也就是说，只要能满足上述要求，适当地调节第1焦距和第2焦距、保持其数值不同即可。
[0068]
本实施方式的二维缺陷检测单元13，可以使用第1图像或第2图像中的一枚、也可以使用2枚去完成被测物体x的表面6的色彩强度变化的解析，以检测出二维缺陷。三维缺陷检测单元15，可以使用第1图像或第2图像中的一枚、也可以使用2枚去完成被被测物体x的表面6所反射的测量用图形光的变化的解析，以检测出三维缺陷。
[0069]
【产业应用的可能性】
[0070]
本发明给出了一个可以同时检测出被测物体表面存在的没有立体形状变化的二维缺陷和伴随着立体形状变化的三维缺陷的图像测量系统、一种图像处理方法、一种图像处理程序以及存储介质，它特别适用于具有光泽的物体、具有较强的表面反射特性的物体的形状检测和质量管理。本发明可以用于汽车车壳的点状缺陷、划痕等线型缺陷、小石子敲砸造成的伤痕、凹陷等的检测，也可以用于车门把手、车灯的安装位置等的检测。也可以用于陶瓷产品的质量检测领域，如厕所用的水箱、便器的形状检测或缺损、损伤检测等。另外，还可以应用于智能手机等电子产品、精密仪器的外观检测。