图像检查装置和图像检查方法与流程

1.本公开涉及图像检查装置和图像检查方法。


背景技术：

2.提出了一种基于对拍摄检查对象而得到的图像进行检查的结果来判定检查对象的异常的技术。例如，在非专利文献1所记载的图像检查方法中，使自动编码器或生成对抗网络(gan)学习基于从拍摄正常的检查对象而得到的正常图像中提取出的特征来复原正常图像的图像生成方法。在该图像生成方法中具有如下性质：利用从拍摄异常的检查对象而得到的异常图像中提取出的特征无法准确地复原正常图像。在非专利文献1所记载的图像检查方法中，计算拍摄检查对象而得到的图像与被复原的图像之间的差分图像，基于差分图像来判定检查对象的异常。
3.现有技术文献
4.非专利文献
5.非专利文献1：schlegl，thomas，et al.，“unsupervised anomaly detection with generative adversarial networks to guide marker discovery”，icip 2017.


技术实现要素：

6.发明要解决的问题
7.在被摄体的产品的外观上的一部分为检查对象的情况下，拍摄该产品而得到的图像内的固定区域成为检查对象的图像区域。在该情况下，在以产品与照相机正对的状态拍摄到的图像和以未正对的状态拍摄到的图像中，图像内的检查对象的位置姿势产生偏移。非专利文献1所记载的现有技术存在以下问题：虽然位置姿势产生偏移而知晓检查对象存在异常，但无法准确地判定在检查对象的哪个部位发生了异常。
8.本公开用于解决上述问题，其目的在于，得到一种能够进行针对检查对象和拍摄装置的位置姿势的变化具有稳健性的图像检查的图像检查装置和图像检查方法。
9.用于解决问题的手段
10.本公开的图像检查装置具备：图像取得部，其取得拍摄检查对象而得到的第1图像；几何变换处理部，其估计使第1图像中的检查对象的位置与检查对象的位置已知的第1参照图像一致的几何变换参数，使用估计出的几何变换参数对第1图像进行几何变换，由此生成使第1图像中的检查对象的位置与第1参照图像一致而得到的第2图像；图像复原处理部，其使用如下图像生成网络来复原第2图像，该图像生成网络输入使用第1图像而生成的第3图像，推理第2图像作为正解图像；以及异常判定部，其使用通过第1图像的几何变换得到的第2图像与被复原的第2图像之间的差分图像，来判定检查对象的异常。
11.发明的效果
12.根据本公开，即便在检查对象和拍摄装置的位置姿势发生了变化的情况下，也使用检查对象的位置已知的第1参照图像进行几何变换从而对第1图像上的检查对象进行对
位。使用将检查对象被对位后的第2图像推理为正解图像的图像生成网络，来复原第2图像。使用通过第1图像的几何变换得到的第2图像与被复原的第2图像之间的差分图像，来判定检查对象的异常。由此，本公开的图像检查装置能够进行针对检查对象和拍摄装置的位置姿势的变化具有稳健性的图像检查。
附图说明
13.图1a是示出在被摄体与照相机正对的状态下拍摄到的图像的概要图，图1b是示出在被摄体与照相机未正对的状态下拍摄到的图像的概要图。
14.图2是示出实施方式1的图像检查装置的结构的框图。
15.图3是示出实施方式1的图像检查方法的流程图。
16.图4a是示出实现实施方式1的图像检查装置的功能的硬件结构的框图，图4b是示出执行实现实施方式1的图像检查装置的功能的软件的硬件结构的框图。
17.图5是示出实施方式2的图像检查装置的结构的框图。
18.图6是示出实施方式2的图像检查方法的流程图。
具体实施方式
19.实施方式1.
20.图1a是示出在被摄体b与照相机正对的状态下拍摄到的图像a的概要图。图1b是示出在被摄体b与照相机未正对的状态下拍摄到的图像a1的概要图。在作为检查对象的被摄体b与照相机正对的状态下拍摄被摄体b时，例如，如图1a所示，获得拍摄了被摄体b的图像a。在图像a中，在既定的位置处拍摄到被摄体b的一个部件ba。
21.在被摄体b的位置姿势偏移或者照相机的位置姿势偏移的情况下，在被摄体b与照相机未正对的状态下拍摄被摄体b。例如，如图1b所示，在图像a1中，被摄体b被倾斜地拍摄，图像a1中的部件ba的位置偏移可能被误识别为在部件ba中发生异常而如部件bb那样被拍摄到。即，该位置偏移成为无法准确地判定部件ba的异常的因素。
22.图2是示出实施方式1的图像检查装置1的结构的框图。在图2中，图像检查装置1与拍摄装置2及存储装置3连接，输入由拍摄装置2拍摄检查对象而得到的图像，使用输入的图像和存储装置3所存储的数据，来判定检查对象的异常。
23.拍摄装置2是拍摄检查对象的照相机，例如是网络摄像机、模拟摄像机、usb摄像头或hd-sdi摄像机。存储装置3是存储在由图像检查装置1进行的图像检查处理中利用或生成的数据的存储装置，具备主存储器3a和辅助存储器3b。
24.在辅助存储器3b中存储有作为图像生成网络的学习完毕模型、规定学习完毕模型的结构的模型信息这样的参数信息、在检查对象的对位中使用的第1参照图像、用于制作向图像生成网络输入的图像的第2参照图像、在检查对象的异常判定中使用的阈值信息、以及检查对象的位置和图像中的区域这样的标注信息。存储于辅助存储器3b的信息被读入到主存储器3a并用于图像检查装置1。
25.如图2所示，图像检查装置1具备图像取得部11、几何变换处理部12、图像复原处理部13以及异常判定部14。图像取得部11经由输入接口(i/f)取得由拍摄装置2拍摄检查对象而得到的图像。由拍摄装置2拍摄检查对象而得到的图像是如下第1图像，该第1图像不仅包
含作为检查对象的被摄体与拍摄装置2的拍摄视野正对的状态的情况，还包含作为检查对象的被摄体与拍摄装置2的拍摄视野未正对的状态的情况。
26.几何变换处理部12估计使由图像取得部11取得的图像中的检查对象的位置与检查对象的位置已知的第1参照图像一致的几何变换参数。然后，几何变换处理部12使用估计出的几何变换参数，对由图像取得部11取得的图像进行几何变换，由此，生成使检查对象的位置与第1参照图像一致而得到的图像。
27.第1参照图像是检查对象的位置已知的图像，是在检查对象与拍摄装置2的拍摄视野正对的状态下拍摄到的图像。例如，在图1a所示的部件ba为检查对象的情况下，部件ba的位置已知的图像a能够用作第1参照图像。由几何变换处理部12生成的图像是检查对象的位置与第1参照图像一致的第2图像。
28.图像复原处理部13通过向图像生成网络输入使用由图像取得部11取得的图像而生成的输入图像，从该输入图像复原检查对象的位置与第1参照图像一致的图像。图像生成网络的输入图像是使用由图像取得部11取得的检查对象的图像而生成的第3图像，例如是由图像取得部11取得的检查对象的图像与检查对象的位置已知的第2参照图像之间的差分图像。
29.图像生成网络是如下的学习完毕模型，该学习完毕模型输入由图像复原处理部13生成的输入图像，并推理检查对象的位置与第1参照图像一致的图像作为正解图像。例如，图像生成网络将通过几何变换处理生成的拍摄正常的检查对象而得到的图像即正解图像(输出图像)和由图像复原处理部13生成的与正常的检查对象相关的图像即输入图像的多个对作为学习用数据，对输入图像与输出图像之间的图像变换进行了学习。
30.异常判定部14计算由几何变换处理部12进行了几何变换的检查对象的图像与由图像复原处理部13复原的检查对象的图像之间的差分图像，使用差分图像来判定检查对象的异常。例如，异常判定部14基于表示检查对象的位置和其图像内的区域的标注信息，来确定差分图像中的检查对象，基于将确定出的检查对象的差分图像区域与阈值信息进行比较而得到的结果，判定检查对象的异常。差分图像例如是振幅图像、相位图像或强度图像。阈值信息是振幅、相位或强度的阈值。
31.实施方式1的图像检查方法如下所述。
32.图3是示出实施方式1的图像检查方法的流程图，示出由图像检查装置1执行的图像检查的一系列处理。
33.作为检查对象的产品位于拍摄装置2的拍摄视野内，由拍摄装置2拍摄。由拍摄装置2拍摄到的检查对象的图像是“检查对象图像”。图像取得部11取得由拍摄装置2依次拍摄到的检查对象图像(步骤st1)。由图像取得部11取得的检查对象图像被输出到几何变换处理部12。
34.几何变换处理部12估计使检查对象图像中的检查对象的位置与检查对象的位置已知的第1参照图像一致的几何变换参数，使用几何变换参数对检查对象图像进行几何变换，由此，生成使检查对象的位置与第1参照图像一致而得到的图像(步骤st2)。例如，几何变换处理部12通过图像配准处理来估计几何变换参数。
35.图像配准是如下处理：基于从关注图像和参照图像提取出的特征点的类似度或者在关注图像与参照图像之间进行了图像变换的图像区域的类似度，估计关注图像与参照图
像之间的几何变换参数。在几何变换处理中，例如具有作为线性转换的欧几里得变换、仿射变换或单应变换。此外，几何变换处理也可以是图像旋转、图像反转和裁剪中的至少一方。
36.在存储装置3具备的辅助存储器3b中，存储有在检查对象与拍摄装置2的拍摄视野正对的状态下拍摄到的检查对象图像作为第1参照图像。在第1参照图像中，标注了表示检查对象图像中的检查对象的位置和其图像区域的信息。例如，图1a所示的图像a作为第1参照图像被保存于存储装置3，对各个第1参照图像赋予表示部件ba的位置和其图像区域的标注信息。
37.几何变换处理部12执行图像配准处理，并估计对位所需的几何变换参数，其中，在该图像配准处理中，使由拍摄装置2拍摄到的检查对象图像中的检查对象的位置与基于对第1参照图像赋予的标注信息而确定的位置一致。然后，几何变换处理部12使用几何变换参数对由拍摄装置2拍摄到的检查对象的图像进行几何变换处理，由此，生成以与第1参照图像相同的位置姿势拍摄到的检查对象的图像。以下，由几何变换处理部12生成的图像是“已对位图像”。
38.图像复原处理部13生成向图像生成网络输入的输入图像(步骤st3)。例如，当图像生成网络是如u-net那样具有跨越多个层的跳跃连接(skip connection)的神经网络时，以跳跃连接的路径的权重变大的方式进行学习。因此，图像生成网络会以保持不变地将输入图像输出的方式进行学习，难以提取已对位图像与输出图像之间的差分。
39.于是，图像复原处理部13将对检查对象图像进行加工而得到的图像作为输入图像向图像生成网络输入。对检查对象图像进行加工而得到的图像例如可以是检查对象图像与第2参照图像之间的差分图像。在第2参照图像中，例如使用拍摄正常的检查对象而得到的多个检查对象图像的平均图像，并存储于辅助存储器3b。另外，如果是不具有跳跃连接的图像生成网络，则输入图像也可以是已对位图像。
40.图像复原处理部13通过将如上述那样生成的输入图像向图像生成网络输入而复原已对位图像(步骤st4)。例如，图像生成网络输入检查对象图像与第2参照图像之间的差分图像，并推理(复原)已对位图像。
41.异常判定部14使用由几何变换处理部12进行了几何变换的检查对象图像与由图像复原处理部13复原的已对位图像之间的差分图像，来判定检查对象的异常(步骤st5)。例如，异常判定部14在提取出进行了几何变换的检查对象图像与被复原的已对位图像之间的差分图像的情况下，能够基于对第1参照图像赋予的标注信息，来确定提取出的差分图像是哪个检查对象的位置和图像区域。异常判定部14判定为在确定了位置和图像区域的检查对象中存在异常。
42.作为差分图像的提取方法，具有按照每个固定区域(例如，按照图像内的每个部件区域或者按照固定尺寸的每个像素块)使用像素值的绝对差分的总和或平均值的方法。此外，在差分图像的提取方法中，具有使用每个固定区域的图像的构造类似度(ssim或psnr)的方法。异常判定部14在差分图像中的关注像素值比阈值大的情况下，判定为在与差分图像区域对应的检查对象中存在异常。
43.实现图像检查装置1的功能的硬件结构如下所述。
44.图4a是示出实现图像检查装置1的功能的硬件结构的框图。图4b是示出执行实现图像检查装置1的功能的软件的硬件结构的框图。在图4a和图4b中，输入接口100是受理由
拍摄装置2拍摄到的影像输入的接口。文件接口101是对与存储装置3之间交换的数据进行中继的接口。
45.图像检查装置1具备的图像取得部11、几何变换处理部12、图像复原处理部13以及异常判定部14的功能由处理电路实现。即，图像检查装置1具备用于执行图3所示的步骤st1至步骤st5的处理的处理电路。处理电路可以是专用的硬件，但也可以是执行存储于存储器的程序的cpu(central processing unit：中央处理单元)。
46.在处理电路是图4a所示的专用的硬件的处理电路102的情况下，处理电路102例如对应于单一电路、复合电路、程序化的处理器、并行程序化的处理器、asic(application specific integrated circuit：专用集成电路)、fpga(field-programmable gate array：现场可编程门阵列)、或者它们的组合。图像检查装置1具备的图像取得部11、几何变换处理部12、图像复原处理部13以及异常判定部14的功能可以由不同的处理电路实现，也可以将这些功能统一由1个处理电路实现。
47.在处理电路是图4b所示的处理器103的情况下，图像检查装置1具备的图像取得部11、几何变换处理部12、图像复原处理部13以及异常判定部14的功能通过软件、固件或者软件与固件的组合来实现。另外，软件或固件以程序的形式记述并存储在存储器104中。
48.处理器103通过读出并执行存储于存储器104的程序，来实现图像检查装置1具备的图像取得部11、几何变换处理部12、图像复原处理部13以及异常判定部14的功能。例如，图像检查装置1具备存储程序的存储器104，该程序在由处理器103执行时结果上执行图3所示的步骤st1至步骤st5的处理。这些程序使计算机执行图像取得部11、几何变换处理部12、图像复原处理部13以及异常判定部14的步骤或方法。存储器104也可以是存储有用于使计算机作为图像取得部11、几何变换处理部12、图像复原处理部13以及异常判定部14发挥功能的程序的计算机可读存储介质。
49.存储器104例如对应于ram(random access memory：随机存取存储器)、rom(read only memory：只读存储器)、闪存、eprom(erasable programmable rom：可擦可编程只读存储器)、eeprom(electrically-eprom：电可擦可编程只读存储器)等非易失性或易失性的半导体存储器、磁盘、软盘、光盘、高密度盘、迷你盘、dvd等。
50.也可以是，图像检查装置1具备的图像取得部11、几何变换处理部12、图像复原处理部13以及异常判定部14的功能的一部分由专用的硬件实现，剩余的一部分由软件或固件实现。例如，图像取得部11通过作为专用的硬件的处理电路102来实现功能，几何变换处理部12、图像复原处理部13以及异常判定部14通过处理器103读出并执行存储于存储器104的程序来实现功能。这样，处理电路能够通过硬件、软件、固件或者它们的组合来实现上述功能。
51.如以上那样，在实施方式1的图像检查装置1中，即便在检查对象和拍摄装置2的位置姿势发生了变化的情况下，也能够通过使用了检查对象的位置已知的第1参照图像的几何变换而将检查对象图像上的检查对象对位。使用将检查对象被对位后的已对位图像推理为正解图像的图像生成网络，来复原已对位图像。使用通过几何变换进行了对位的检查对象图像与被复原的已对位图像之间的差分图像，来判定检查对象的异常。由此，图像检查装置1能够进行针对检查对象和拍摄装置的位置姿势的变化具有稳健性的图像检查。
52.实施方式2.
53.图5是示出实施方式2的图像检查装置1a的结构的框图。在图5中，图像检查装置1a与拍摄装置2及存储装置3连接，输入由拍摄装置2拍摄检查对象而得到的图像，使用输入的图像和存储装置3所存储的数据，来判定检查对象的异常。图像检查装置1a具备图像取得部11a、几何变换处理部12a、图像复原处理部13a以及异常判定部14a。
54.图像取得部11a经由输入接口取得由拍摄装置2拍摄检查对象而得到的检查对象图像，将取得的图像向几何变换处理部12a和图像复原处理部13a输出。由图像取得部11a取得的检查对象图像是如下的第1图像，该第1图像不仅包含作为检查对象的被摄体与拍摄装置2的拍摄视野正对的状态的情况，还包含作为检查对象的被摄体与拍摄装置2的拍摄视野未正对的状态的情况。
55.几何变换处理部12a估计使由图像取得部11a取得的检查对象图像中的检查对象的位置与检查对象的位置已知的第1参照图像一致的几何变换参数，使用几何变换参数对检查对象图像进行几何变换，由此，生成使检查对象的位置与第1参照图像一致而得到的已对位图像。
56.图像复原处理部13a通过将由图像取得部11a取得的检查对象图像(第1图像)向图像生成网络输入，从该输入图像中复原已对位图像。异常判定部14a计算由几何变换处理部12a进行了几何变换的检查对象图像与由图像复原处理部13a复原的已对位图像之间的差分图像，使用差分图像来判定检查对象的异常。
57.实施方式2的图像检查方法如下所述。
58.图6是示出实施方式2的图像检查方法的流程图，示出由图像检查装置1a执行的图像检查的一系列处理。图像取得部11a取得由拍摄装置2依次拍摄到的检查对象图像(步骤st1a)。由图像取得部11a取得的检查对象图像被输出到几何变换处理部12a和图像复原处理部13a。
59.几何变换处理部12a估计使检查对象图像中的检查对象的位置与检查对象的位置已知的第1参照图像一致的几何变换参数，使用几何变换参数对检查对象图像进行几何变换，由此，生成使检查对象的位置与第1参照图像一致而得到的已对位图像(步骤st2aa)。另外，几何变换处理部12a与实施方式1中的几何变换处理部12同样地，例如通过图像配准处理来估计几何变换参数，使用几何变换参数的对由图像取得部11a取得的检查对象图像进行几何变换处理，由此，生成已对位图像。
60.此外，图像复原处理部13a通过将由图像取得部11a取得的检查对象图像保持不变地向图像生成网络输入而复原已对位图像(步骤st2ab)。例如，图像生成网络将由几何变换处理部12a生成的已对位图像即正解图像(输出图像)与由图像取得部11a取得的未对位的检查对象图像即输入图像的多个对作为学习用数据，对输入图像与输出图像之间的图像变换进行了学习。另外，在通过图像生成网络进行的学习对象的图像变换中，也包含使未对位的检查对象图像中的检查对象的位置与检查对象的位置已知的第1参照图像一致的几何变换。
61.异常判定部14a使用由几何变换处理部12a进行了几何变换的检查对象图像与由图像复原处理部13a复原的已对位图像之间的差分图像，来判定检查对象的异常(步骤st3a)。例如，异常判定部14a在提取出进行了几何变换的检查对象图像与被复原的已对位图像之间的差分图像的情况下，能够基于对第1参照图像赋予的标注信息，来确定提取出的
差分图像是哪个检查对象的位置和图像区域。异常判定部14a判定为在确定了位置和图像区域的检查对象中存在异常。
62.另外，图像检查装置1a具备的图像取得部11a、几何变换处理部12a、图像复原处理部13a以及异常判定部14a的功能由处理电路实现。即，图像检查装置1a具备用于执行图6所示的步骤st1a至步骤st3a的处理的处理电路。处理电路可以是图4a所示的专用的硬件的处理电路102，也可以是图4b所示的执行存储于存储器104的程序的处理器103。
63.如以上那样，在实施方式2的图像检查装置1a中，向图像生成网络输入的输入图像是由拍摄装置2拍摄到的检查对象图像。图像生成网络输入检查对象图像，推理已对位图像。图像复原处理部13a使用上述图像生成网络来复原已对位图像。由此，图像检查装置1a能够进行针对检查对象和拍摄装置的位置姿势的变化具有稳健性的图像检查。此外，由于省略了向图像生成网络输入的输入图像的生成处理，因此，与实施方式1的图像检查方法相比削减了运算处理量。此外，由于能够并行地进行几何变换处理和图像复原处理，因此，能够缩短图像检查的节拍时间(takt time)。
64.另外，能够进行各实施方式的组合或者各个实施方式的任意的结构要素的变形，或者能够在各个实施方式中省略任意的结构要素。
65.产业利用性
66.本公开的图像检查装置例如能够用于产品的异常检查。
67.附图标记说明
68.1、1a图像检查装置，2拍摄装置，3存储装置，3a主存储器，3b辅助存储器，11、11a图像取得部，12、12a几何变换处理部，13、13a图像复原处理部，14、14a异常判定部，100输入接口，101文件接口，102处理电路，103处理器，104存储器。