1.本技术涉及工业检测领域,尤其涉及一种图像检测方法、装置、终端设备以及存储介质。
背景技术:2.在工业生产中,能否及时有效地检测出合格产品影响着生产效率。因此,如何利用机器检测出产品是否合格具有重要的实用意义,有利于缓解工业发展的压力。
3.产品的合格性检测需要对每一个产品进行拍照,提取产品区域的图像块输入计算机学习模型进行处理,得到检测结果。虽然,目前大多数计算机学习模型在训练时可以取得较好的效果,但是,由于工业产品的尺寸较小,拍摄的图像的分辨率较高,因此拍摄图像的相机和放置产品的工作台在微观上无法做到相对静置,导致在拍摄时拍摄图像的相机和待检测产品会出现轻微的相对移动,从而使检测结果失真。
技术实现要素:4.本技术的主要目的在于提供一种图像检测方法、装置、终端设备以及存储介质,旨在解决轻微移动工业产品影响检测结果的问题,提高检测准确率。
5.为实现上述目的,本技术提供一种图像检测方法,所述图像检测方法包括以下步骤:获取待检测图像;将所述待检测图像输入预先创建的抗平移干扰模型中进行检测,得到检测结果,其中,所述抗平移干扰模型基于分割模型并结合预设降频方法训练得到。
6.可选地,所述将所述待检测图像输入预先创建的抗平移干扰模型中进行检测,得到检测结果的步骤之前还包括:创建所述抗平移干扰模型,具体包括:获取原始图像数据集;创建所述分割模型;基于所述分割模型并结合预设降频方法,构建得到初始抗平移干扰模型;将所述原始图像数据集输入所述初始抗平移干扰模型进行参数迭代,以此循环,直到模型收敛,得到创建后的抗平移干扰模型。
7.可选地,所述基于所述分割模型并结合预设降频方法,构建得到初始抗平移干扰模型的步骤包括:在所述初始第一模块中创建第一模糊操作层,得到修改后的第一模块;在所述初始第二模块中创建第二模糊操作层,得到修改后的第二模块;基于所述修改后的第一模块及所述修改后的第二模块,构建得到初始抗平移干扰模型。
8.可选地,所述在所述初始第一模块中创建第一模糊操作层,得到修改后的第一模
块的步骤包括:将所述初始下采样层的步长的数值修改为第一数值,得到修改后的下采样层;在所述修改后的下采样层的位置之后创建所述第一模糊操作层,其中,所述第一模糊操作层的步长的数值为第二数值;基于所述修改后的下采样层和所述第一模糊操作层,得到修改后的第一模块。
9.可选地,所述在所述初始第二模块中创建第二模糊操作层,得到修改后的第二模块的步骤包括:在所述初始第二模块中创建上采样层和卷积层,其中,所述卷积层的位置在所述上采样层之后,所述上采样层的放大率为所述第二数值,所述卷积层的核大小为第三数值;在所述卷积层的位置之后创建所述第二模糊操作层,其中,所述第二模糊操作层的步长的数值为所述第一数值;基于所述上采样层、所述卷积层、所述第二模糊操作层,得到修改后的第二模块。
10.可选地,所述获取原始图像数据集的步骤包括:获取若干个原始图像;通过预设图像处理工具读取并按预设的目标位置裁剪所述原始图像,得到所述原始图像数据集。
11.本技术实施例还提出一种图像检测装置,所述图像检测装置包括:图像获取模块,用于获取待检测图像;图像检测模块,用于将所述待检测图像输入预先创建的抗平移干扰模型中进行检测,得到检测结果,其中,所述抗平移干扰模型基于分割模型并结合预设降频方法训练得到。
12.本技术实施例还提出一种终端设备,所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像检测程序,所述图像检测程序被所述处理器执行时实现如上所述的图像检测方法的步骤。
13.本技术实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有图像检测程序,所述图像检测程序被处理器执行时实现如上所述的图像检测方法的步骤。
14.本技术实施例提出的图像检测方法、装置、终端设备以及存储介质,通过获取待检测图像;将所述待检测图像输入预先创建的抗平移干扰模型中进行检测,得到检测结果,其中,所述抗平移干扰模型基于分割模型并结合预设降频方法训练得到。通过训练后的抗平移干扰模型对图像进行检测,可以解决待检测产品出现轻微移动工业产品影响检测结果的问题,提高检测效率。基于本技术方案,从真实世界中拍摄图像的相机和放置产品的工作台在微观上无法做到相对静置的问题出发,构建了一个真实世界的工业产品图像数据集,并在该数据集上验证了本技术提出的图像检测修复的有效性,最后经过本技术方法检测的产品准确率得到明显提升。
附图说明
15.图1为本技术图像检测装置所属终端设备的功能模块示意图;图2为本技术图像检测方法一示例性实施例的流程示意图;
图3为本技术图像检测方法实施例中抗平移干扰模型涉及的模型创建示意图;图4为本技术图像检测方法实施例中的分割模型涉及的一种模型框架示意图;图5为本技术图像检测方法实施例中抗平移干扰模型涉及的一种模型框架示意图;图6为本技术图像检测方法实施例中抗平移干扰模型的涉及的一种模型训练示意图;图7为本技术图像检测方法中的抗平移分割模型涉及的模型构建示意图;图8为本技术图像检测方法中步骤s710的步骤细化示意图;图9为本技术图像检测方法中步骤s720的步骤细化示意图;图10为本技术图像检测方法涉及的数据处理示意图。
16.本技术目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
17.应当理解,此处所描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
18.本技术实施例的主要解决方案是:获取若干个原始图像;通过预设图像处理工具读取并按预设的目标位置裁剪所述原始图像,得到原始图像数据集;构建分割模型,所述分割模型包括解码器、编码器,所述编码器包括若干个初始第一模块,所述解码器包括若干个初始第二模块;在所述初始第一模块中创建第一模糊操作层,得到修改后的第一模块;在所述初始第二模块中创建第二模糊操作层,得到修改后的第二模块;基于所述修改后的第一模块及所述修改后的第二模块,构建得到初始抗平移干扰模型;将所述原始图像数据集输入所述初始抗平移干扰模型进行参数迭代,以此循环,直到模型收敛,得到创建后的抗平移干扰模型。通过创建后的抗平移干扰模型对待检测图像进行检测时,将待检测图像输入预先创建的抗平移干扰模型中进行检测,得到检测结果,可以解决待检测产品出现轻微移动工业产品影响检测结果的问题,提高检测效率。基于本技术方案,从真实世界中拍摄图像的相机和放置产品的工作台在微观上无法做到相对静置的问题出发,构建了一个真实世界的工业产品图像数据集,并在该数据集上验证了本技术提出的图像检测修复的有效性,最后经过本技术方法检测的产品准确率得到明显提升。
19.本技术实施例考虑到,目前大多数计算机学习模型在训练时可以取得较好的效果,但是,由于工业产品的尺寸较小,拍摄的图像的分辨率较高,因此拍摄图像的相机和放置产品的工作台在微观上无法做到相对静置,导致在拍摄时拍摄图像的相机和待检测产品会出现轻微的相对移动,从而使检测结果失真。
20.因此,本技术实施例方案,从轻微移动工业产品影响检测结果的实际问题出发,基于分割网络模型提供了缺陷检测的作用,并结合预设降低特征信息的频率方法,设计一种基于分割模型和预设降频方法的抗平移干扰模型,解决轻微移动工业产品影响检测结果的问题,提高检测效率。
21.具体地,参照图1,图1为本技术图像检测装置所属终端设备的功能模块示意图。该图像检测装置可以为独立于终端设备的、能够进行图像处理、网络模型训练的装置,其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等具有数据处理功能的智能移动终端,还可以为具有数据处理功能的固定终端设备或服务器等。
22.存储器130中存储有操作系统以及图像检测程序,图像检测装置可以将获取的待检测图像,将所述待检测图像输入预先创建的抗平移干扰模型中进行检测,得到的检测结果;在所述初始第一模块中创建第一模糊操作层,得到的修改后的第一模块;在所述初始第二模块中创建第二模糊操作层,得到的修改后的第二模块;获取的若干个原始图像;通过预设图像处理工具读取并按预设的目标位置裁剪所述原始图像,得到的所述原始图像数据集等信息存储于该存储器130中;输出模块110可为显示屏等。通信模块140可以包括wifi模块、移动通信模块以及蓝牙模块等,通过通信模块140与外部设备或服务器进行通信。
23.其中,存储器130中的图像检测程序被处理器执行时实现以下步骤:获取待检测图像;将所述待检测图像输入预先创建的抗平移干扰模型中进行检测,得到检测结果,其中,所述抗平移干扰模型基于分割模型并结合预设降频方法训练得到。
24.进一步地,存储器130中的图像检测程序被处理器执行时还实现以下步骤:创建所述抗平移干扰模型,具体包括:获取原始图像数据集;创建所述分割模型;基于所述分割模型并结合预设降频方法,构建得到初始抗平移干扰模型;将所述原始图像数据集输入所述初始抗平移干扰模型进行参数迭代,以此循环,直到模型收敛,得到创建后的抗平移干扰模型。
25.进一步地,存储器130中的图像检测程序被处理器执行时还实现以下步骤:在所述初始第一模块中创建第一模糊操作层,得到修改后的第一模块;在所述初始第二模块中创建第二模糊操作层,得到修改后的第二模块;基于所述修改后的第一模块及所述修改后的第二模块,构建得到初始抗平移干扰模型。
26.进一步地,存储器130中的图像检测程序被处理器执行时还实现以下步骤:在所述修改后的下采样层的位置之后创建所述第一模糊操作层,其中,所述第一模糊操作层的步长的数值为第二数值;基于所述修改后的下采样层和所述第一模糊操作层,得到修改后的第一模块。
27.进一步地,存储器130中的图像检测程序被处理器执行时还实现以下步骤:在所述初始第二模块中创建上采样层和卷积层,其中,所述卷积层的位置在所述上采样层之后,所述上采样层的放大率为所述第二数值,所述卷积层的核大小为第三数值;在所述卷积层的位置之后创建所述第二模糊操作层,其中,所述第二模糊操作层的步长的数值为所述第一数值;基于所述上采样层、所述卷积层、所述第二模糊操作层,得到修改后的第二模块。
28.进一步地,存储器130中的图像检测程序被处理器执行时还实现以下步骤:获取若干个原始图像;通过预设图像处理工具读取并按预设的目标位置裁剪所述原始图像,得到所述原始图像数据集。
29.本实施例通过上述方案,具体通过获取待检测图像;将所述待检测图像输入预先创建的抗平移干扰模型中进行检测,得到检测结果,其中,所述抗平移干扰模型基于分割模
型并结合预设降频方法训练得到。通过创建后的抗平移干扰模型,可以解决轻微移动工业产品影响检测结果的问题,提高检测效率。基于本技术方案,从真实世界中拍摄图像的相机和放置产品的工作台在微观上无法做到相对静置的问题出发,构建了一个真实世界的工业产品图像数据集,并在该数据集上验证了本技术提出的图像检测修复的有效性,最后经过本技术方法检测的产品准确率得到明显提升。
30.基于上述终端设备架构但不限于上述架构,提出本技术方法实施例。
31.参照图2,图2为本技术图像检测方法一示例性实施例的流程示意图。所述图像检测方法包括:步骤s1001,获取待检测图像;具体地,检测人员将待检测的工业产品静置于拍摄工作台上,采用平行光源并调整好光源的光线亮度,使用工业相机拍摄工业产品图像,获取待检测工业产品的原始图像,然后采用图像处理工具对待检测工业产品的原始图像按照预设的固定位置进行裁剪,去除与工业产品无关的区域,得到待检测图像。通过图像处理工具可以有效去除图像边缘在成像时受到外界干扰的因素。其中,上述图像处理工具可以是opencv、icl、ivt、vlfeat、simplecv、opensurf1等,本技术实施例对此不作限定。
32.步骤s1002,将所述待检测图像输入预先创建的抗平移干扰模型中进行检测,得到检测结果,其中,所述抗平移干扰模型基于分割模型并结合预设降频方法训练得到。
33.本实施例方法的执行主体可以是一种图像检测装置,也可以是一种图像检测终端设备或服务器,本实施例以图像检测装置进行举例,该图像检测装置可以集成在具有数据处理功能的智能手机、平板电脑等终端设备上,适用于计算机视觉图像处理前端的研制,且适用于多种工业检测场景的研制。
34.本实施例方案主要实现对图像检测尤其是工业产品的图像检测,解决拍摄时拍摄图像的相机和待检测产品会出现轻微的相对移动影响检测结果的问题,提升检测准确率。
35.本实施例从轻微移动工业产品影响检测结果的实际问题出发,基于分割网络模型提供了缺陷检测的作用,并结合预设降低图像特征信息的频率方法,设计一种基于分割模型并结合预设降频方法的抗平移干扰模型。
36.具体地,在工业生产中,能否及时有效地检测出合格产品影响着生产效率。如何利用机器检测出产品是否合格具有重要的实用意义,有利于缓解工业发展的压力。因此,需要获取待检测工业产品的图像,将待检测工业产品的图像输入预先创建的抗平移干扰模型中进行检测,得到检测结果。其中,抗平移干扰模型基于分割模型并结合预设降频方法训练得到。
37.上述预设降频方法可以降低特征信息的频率,减小不同平移位置特征图之间的差异,使得处理后的特征图中只包含了低频信息,从而使得最终的检测结果不会出现太大的变化,以此提高了抗平移干扰模型对平移干扰的稳定性。上述预设降频方法可以是原始分割模型的编码器-解码器分割网络基础上,在其初始下采样操作模块(即初始第一模块)和初始上采样操作模块(即初始第二模块)中创建模糊操作层(即blur),还可以是其它降低特征信息的频率方法,本实施例以通过在分割模型的基础上创建模糊操作层实现降低特征信息的频率进行举例。
38.本实施例通过获取待检测图像;将所述待检测图像输入预先创建的抗平移干扰模
型中进行检测,得到检测结果,其中,所述抗平移干扰模型基于分割模型并结合预设降频方法训练得到。通过创建后的抗平移干扰模型对待工业产品进行检测,可以解决在拍摄时拍摄图像的相机和待检测产品会出现轻微的相对移动的问题,提高检测准确率。
39.参照图3,图3为本技术图像检测方法实施例中抗平移干扰模型涉及的模型创建示意图。基于上述图2所示的实施例,在本实施例中,在步骤s1002,将所述待检测图像输入预先创建的抗平移干扰模型中进行检测,得到检测结果的步骤之前,所述图像检测方法还包括:创建所述抗平移干扰模型,具体包括:步骤s310,获取原始图像数据集;具体地,在工业生产领域中,大量的工厂使用人力进行排查,而目前经济发展下行压力大,工厂招工的压力也在变大,年轻人愿意进工厂的越来越少,他们愿意从事一些更加自由的工作。因此,利用机器检测出不合格的产品变得很有必要,也为解决工厂招工这一难题带来了希望。随着近几年人工智能的发展,尤其是深度学习技术的不断更新,推动了计算机视觉在很多领域的落地。例如,工业缺陷检测,人脸识别,短视频处理,医学图像识别等等。利用计算机辅助算法可以帮助机器更好的识别不合格产品,从而缓解了工业发展的压力,将人力资源从中解放出来。通过计算机辅助算法检测产品的合格性,需要对每一个工业产品进行拍照,提取工业产品区域的图像块输入计算机学习模型进行处理,得到检测结果。
40.首先,检测人员将待检测的工业产品静置于拍摄工作台上,然后采用平行光源并调整好光源的光线亮度,使用工业相机拍摄工业产品图像,获取多个工业产品的原始图像,然后通过图像处理工具按照预设的固定位置裁剪每一工业产品的原始图像,去除与工业产品无关的区域,最后得到原始图像数据集。通过图像处理工具可以有效去除图像边缘在成像时受到外界干扰的因素。其中,上述图像处理工具可以是opencv、icl、ivt、vlfeat、simplecv、opensurf1等,本技术实施例对此不作限定。
41.步骤s320,创建所述分割模型;具体地,创建分割模型。其中,分割模型包括解码器、编码器,编码器至少包括一个或多个初始下采样操作模块(即初始第一模块),解码器至少包括一个或多个初始上采样操作模块(即初始第二模块)。每一初始下采样操作模块包括第一卷积层、第一批归一化层、第一激活函数层、初始下采样层。每一初始上采样操作模块包括转置卷积层、第二批归一化层、第二激活函数层。其中,上述下采样层可以是最大池化层、平均池化层、步长卷积层,本技术实施例对此不作限定。通过端到端的分割模型,可以使得输入是一幅图像, 输出也是一幅图像;通过编码器和解码器之间存在的快捷连接,解码器可以更好地检测工业产品图像的细节。
42.步骤s330,基于所述分割模型并结合预设降频方法,构建得到初始抗平移干扰模型;具体地,预设降频方法具体步骤可以包括:在初始下采样操作模块中创建第一模糊操作层,得到修改后的下采样操作模块;在初始上采样操作模块中创建第二模糊操作层,得到修改后的上采样操作模块;基于修改后的下采样操作模块及修改后的上采样操作模块,构建得到初始抗平移干扰模型。
43.步骤s340,将所述原始图像数据集输入所述初始抗平移干扰模型进行参数迭代,
以此循环,直到模型收敛,得到创建后的抗平移干扰模型。
44.具体地,初始抗平移干扰模型是由一种编码器-解码器结构的分割网络模型,并在编码器和解码器中创建模糊操作层(blur)构建得到。通过模糊操作层(blur)不断的降低下采样操作和上采样操作中特征图信息的频率,使得特征图更加平滑,从而拍摄图像的相机和工业产品出现轻微的相对移动前后图像的特征信息差异变小,抗平移干扰模型更加稳定。在加入模糊操作层后可能会使模型收敛速度变慢,因此根据训练数据量可适当增加训练次数,直到模型收敛,得到创建后的抗平移干扰模型。
45.本实施例以步骤s310至步骤s340在步骤s1001之前实施,在其他实施例中,步骤s310至步骤s340也可以在步骤s1001与步骤s1002之间实施。
46.本实施例通过上述方案创建所述抗平移干扰模型,具体通过获取原始图像数据集;创建所述分割模型;基于所述分割模型并结合预设降频方法,构建得到初始抗平移干扰模型;将所述原始图像数据集输入所述初始抗平移干扰模型进行参数迭代,以此循环,直到模型收敛,得到创建后的抗平移干扰模型。通过创建后的抗平移干扰模型,在不出现大幅度晃动下收集的图像数据都可以取得较好的图像分割的检测效果。
47.参照图4,图4为本技术图像检测方法实施例中的分割模型涉及的一种模型框架示意图,分割模型的网络模型框架具体以图4为例,该分割模型由一个初始编码器、一个初始解码器构成;初始编码器由图中示出的五个初始下采样操作模块(即初始第一模块)构成;每一初始下采样操作模块由图中示出的conv(即第一卷积层)、bn(即第一批归一化层)、relu(即第一激活函数层)、maxpool(即初始下采样层)构成。初始解码器由图中示出的五个初始上采样操作模块构成(即初始第二模块);每一初始上采样操作模块由图中示出的transposeconv(即转置卷积层)、bn(即第二批归一化层)、relu(即第二激活函数)构成。
48.本实施例基于分割模型并结合预设降频方法训练得到抗平移干扰模型。其中,分割模型的网络整体的数据流如图4所示:首先,将预处理后的图像输入分割模型;然后,图像经过编码器中的五个初始下采样操作模块:在每一初始下采样操作模块中,依次通过conv、bn、relu提取特征,得到特征图;然后,通过maxpool对特征图进行下采样操作;然后,特征图经过解码器中的五个初始上采样操作模块:在每一初始上采样操作模块中,先通过transposeconv对特征图进行上采样操作,然后,依次通过bn、relu;最后,得到分割结果(即检测结果)。
49.参照图5,图5为本技术图像检测方法实施例中抗平移干扰模型涉及的一种模型框架示意图,抗平移干扰模型的网络框架具体以图5为例,该抗平移干扰模型由一个编码器、一个解码器构成;其中,编码器由图中示出的五个下采样操作模块构成(即修改后的第一模块);每一下采样操作模块由图中示出的conv(即第一卷积层)、bn(即第一批归一化层)、relu(即第一激活函数层)、maxpool(即修改后的下采样层)、blur(即第一模糊操作层)构成;解码器由图中示出的五个上采样操作模块构成(即修改后的第二模块);每一初始上采样操作模块由图中示出的upsample(nearest)(即下采样层)、conv(即第二卷积层)、blur(即第二模糊操作层)、bn(即第二批归一化层)、relu(即第二激活函数)构成。
50.本实施例基于分割模型并结合预设降频方法训练得到抗平移干扰模型。其中,抗
平移干扰模型的网络整体的数据流如图5所示:首先,将处理后的图像输入抗平移干扰模型;然后,图像经过编码器中的五个下采样操作模块:在每一下采样操作模块中,依次通过conv、bn、relu提取特征,得到特征图;然后,通过修改后的maxpool进行下采样操作;然后通过blur(即第一模糊操作层)降低特征信息的频率;然后,特征图经过解码器中的五个上采样操作模块:在每一上采样操作模块中,先通过upsample(nearest)及conv(即第二卷积层)对特征图进行上采样操作;再通过blur(即第二模糊操作层)模糊特征信息,降低特征信息的频率,保持抗平移干扰模型的稳定性;然后,依次通过bn、relu;最后,得到分割结果(即检测结果)。
51.参照图6,图6为本技术图像检测方法实施例中抗平移干扰模型的涉及的一种模型训练示意图。图6示出抗平移分割模型的训练流程示意图,具体训练流程的步骤可以包括:首先,将工业产品静置于拍摄工作台上,采用平行光源并调整好光线亮度,使用工业相机拍摄图像,获取多个工业产品的图像,然后划分训练集和测试集。
52.然后,通过图像处理工具并按预设的固定位置裁剪所有的工业产品图像,去除一些与工业产品无关区域,可以有效去除图像边缘在成像时受到外界干扰的因素。
53.最后,构建抗平移干扰分割模型并进行训练:抗平移模型分别在分割网络的编码器和解码器中加入了模糊操作(blur)。以此不断的降低编码器下采样操作和解码器上采样操作中特征分布信息的频率,使得处理后的特征图中只包含了低频信息,从而可以减小不同平移位置下采样后特征图的差异,以此可以获得较稳定的图像分割的检测结果。在加入模糊操作层后可能会使模型收敛速度变慢,因此根据训练数据量可适当增加训练次数,直到模型收敛,得到创建后的抗平移干扰模型。
54.参照图7,图7为本技术图像检测方法中的抗平移分割模型涉及的模型构建示意图。基于上述图3所示的实施例,步骤s330,基于所述分割模型并结合预设降频方法,构建得到初始抗平移干扰模型的步骤包括:步骤s710:在所述初始第一模块中创建第一模糊操作层,得到修改后的第一模块;本实施例以步骤s710在步骤s720之前实施,在其他实施例中,步骤s710也可以在步骤s720与步骤s730之间实施。
55.具体地,在初始第一模块中创建第一模糊操作层,得到修改后的第一模块。其中,创建第一模糊操作层的方法具体实现的步骤可以包括:首先,将初始下采样层的步长的数值修改为第一数值,得到修改后的下采样层;然后,在修改后的下采样层的位置之后创建第一模糊操作层,其中,第一模糊操作层的步长的数值为第二数值;最后,基于修改后的下采样层和第一模糊操作层,得到修改后的第一模块。
56.步骤s720:在所述初始第二模块中创建第二模糊操作层,得到修改后的第二模块;具体地,在初始第二模块中创建第二模糊操作层,得到修改后的第二模块。其中,创建第二模糊操作层的方法具体实现的步骤可以包括:首先,在初始第二模块中创建上采样层和卷积层,其中,卷积层的位置在上采样层之后,上采样层的放大率为所述第二数值,卷积层的核大小为第三数值;然后,在卷积层的
位置之后创建第二模糊操作层,其中,第二模糊操作层的步长的数值为所述第一数值;最后,基于上采样层、卷积层、第二模糊操作层,得到修改后的第二模块。
57.步骤s730:基于所述修改后的第一模块及所述修改后的第二模块,构建得到初始抗平移干扰模型。
58.具体地,在图4所示的分割模型的基础上,修改每一初始下采样层的步长为第一数值,通过修改后的下采样层,可以不改变输出特征图的大小;同时,在修改后的下采样层的位置后面创建一个步长为第二数值的第一模糊操作层,得到修改后的第一模块;通过修改后的下采样层和第一模糊操作层完成下采样操作。在分割模型的每一初始第二模块中的转置卷积层的位置上,将转置卷积层去除,并创建一个放大率为第二数值的上采样层,同时,在上采样层的位置后创建一个核大小为第三数值的卷积层;然后在卷积层的位置和批归一化层的位置之间创建一个步长为第一数值的模糊操作,得到修改后的第二模块;基于修改后的第一模块和修改后的第二模块,构建得到图5所示的抗平移干扰模型框架。
59.例如:在图4所示的分割模型的基础上,修改每一初始下采样层的步长为1,通过修改后的下采样层,可以不改变输出特征图的大小;同时,在修改后的下采样层的位置后面创建一个步长为2的第一模糊操作层,得到修改后的第一模块;通过修改后的下采样层和第一模糊操作层完成下采样操作。在分割模型的每一初始第二模块中的转置卷积层的位置上,将转置卷积层去除,并创建一个放大率为2的上采样层,同时,在上采样层的位置后创建一个核大小为3的卷积层;然后在卷积层的位置和批归一化层的位置之间创建一个步长为1的模糊操作,得到修改后的第二模块;基于修改后的第一模块和修改后的第二模块,构建得到图5所示的抗平移干扰模型框架。
60.本实施例中采用的模糊操作层(blur),是以卷积的方式对特征图进行巴特沃斯滤波。假设特征图的通道数为n,则模糊操作的通道数对应也为n。这样做相当于对特征图的每一个特征通道进行巴特沃斯滤波。在实际应用中可以用来只做模糊操作,也可以模糊特征的同时完成下采样。例如:在每一次下采样中先利用步长为1的下采样层对特征图进行操作,然后步长为2的模糊操作作用于特征图并完成下采样,这样做可以保留原始下采样层的性能优势,也完成了模糊特征的作用。在上采样中,同样需要模糊操作来保持模型的稳定性。具体操作是在每一个卷积操作后面创建一个模糊操作,此时模糊操作的步长为1,只模糊特征信息。
61.更具体地,下面对于本实施例中的模糊操作层做一个详细描述:对于一个工业产品,在拍摄过程中出现了轻微的平移,平移前后的图像在空间上信息频率发生了变化。而高频信息对于检测人员预测缺陷区域至关重要,平移前和平移后的图像在下采样过程中,特征信息的差异被不断扩大,在上采样过程,卷积层提取特征时也改变了信息分布,使得二者的信息差异进一步变大。因此,本实施例具体以模糊操作降低特征信息的频率,使得下采样和上采样过程中特征的差异不是很大,使得最终的图像分割的检测结果不会出现太大的变化,以此提高了模型对平移干扰的稳定性。在具体实现上,模糊操作采用了巴特沃斯滤波的原理,其公式如下:
其中d(u,v)表示频率域中点(u,v)到频率矩形中心的距离,d0表示频率域滤波器半径,n是阶数。在模糊操作中,d0和n都设置为1,并且最终滤波器的形状为3
ⅹ
3。计算得到的核参数如下:将该参数赋值给一个卷积层后,就可以进行具体的模糊操作。
62.常见模型抗平移干扰能力差的原因如下:第一,对于一个分类网络,输入图像平移了n个像素点,而最终判别的类别不变,即这个网络满足平移不变性。第二,如果一张有缺陷的图像平移了n个像素点,其分割结果也对应的平移了n个像素点,并且平移前和平移后分割结果的缺陷区域不存在差异,那么我们将这一现象定义为平移等变性。对于常见的下采样操作,如步长卷积,最大池化和平均池化。可以分为两步,第一步是步长为1的卷积,最大池化或平均池化对原始特征图进行操作,第二步进行下采样(这里假设步长为2),以特征图的一行为例,下采样可以选取奇数位置和偶数位置的点作为下采样的结果。然而一般的下采样方法只能选取奇数或者偶数位置其中一个,奇数和偶数位置采样得到的结果会有所区别,这样经过连续几次下采样之后,区别会不断扩大。例如:假定下采样方法每次采样的都是偶数位置的点。以一次下采样为例,对于一张图像,如果平移了偶数个像素点,那么下采样输出的特征图对应平移了个像素点,此时输出的下采样结果是平移等变的。如果平移的像素点数为奇数,那么下采样输出的特征图将不满足平移等变性。以此类推到多次连续下采样的过程中,如果满足以下公式,则满足平移不变性:ksz=n;其中k是一个正整数,s表示下采样的的步长,z是下采样次数,n表示图像平移的像素点数。当一个网路满足上述公式时,即满足了平移不变性,利用这样的网络结构作为分割网络的下采样结构,这是整个分割网络满足平移等变性的前提。
63.具体的创建方法步骤包括:对于编码器,首先将原始的最大池化层步长修改为1,这样就不会改变特征图的大小,其后创建一个4
ⅹ
4的步长为2的模糊操作,降低频率的同时完成了下采样。这一修改使得编码器基本上满足了平移不变性。
64.在解码器中,首先利用上采样层将特征图的尺寸变为原来的2倍,接下来的卷积层对特征图进一步处理,这一操作改变了特征图的信息分布,由于在下采样中我们使用模糊操作尽量缩小了不同平移位置图像特征图的差异,上采样如果不继续对特征信息降频,势必导致这些特征图之间的差异增大。因此,在卷积层后面创建了步长为1,核大小为4
ⅹ
4的模糊操作。
65.以上所述的算法适用于多种实施例,并不局限于少数实施例,因此具有普遍性,因此,这是一个适用于多种工业检测场景的方法,例如:转动机械设备检测、高速运行设备磨损检测等工业检测,本技术实施例对此不做限定。
66.本实施例通过上述方案,具体通过在所述初始第一模块中创建第一模糊操作层,
得到修改后的第一模块;在所述初始第二模块中创建第二模糊操作层,得到修改后的第二模块;基于所述修改后的第一模块及所述修改后的第二模块,构建得到初始抗平移干扰模型。基于分割模型并结合预设降频方法,在分割模型中创建模糊操作层,可以降低特征信息的频率,从而使得下采样和上采样过程中特征的差异不是很大,使得最终的分割结果不会出现太大的变化,以此提高了模型对平移干扰的稳定性。
67.参照图8,图8为本技术图像检测方法中步骤s710的步骤细化示意图,基于上述图7所示的实施例,对步骤s710进行细化,在所述初始第一模块中创建第一模糊操作层,得到修改后的第一模块的步骤包括:步骤s810:将所述初始下采样层的步长的数值修改为第一数值,得到修改后的下采样层;本实施例以步骤s810在步骤s820之前实施,在其他实施例中,步骤s810也可以在步骤s820与步骤s830之间实施。
68.步骤s820:在所述修改后的下采样层的位置之后创建所述第一模糊操作层,其中,所述第一模糊操作层的步长的数值为第二数值;步骤s830:基于所述修改后的下采样层和所述第一模糊操作层,得到修改后的第一模块。
69.具体地,将每一初始第一模块中的初始下采样层的步长设置为y,通过修改后的下采样层,可以不改变输出特征图的大小;同时,在修改后的下采样层的位置之后创建一个步长为x的模糊操作;基于修改后的下采样层和第一模糊操作层,得到修改后的第一模块。通过第一模糊操作层代替初始的下采样层进行下采样操作,在降低特征图信息的同时,又保留了原始下采样层的特性,使得处理后的特征图中只包含了低频信息,从而可以减小不同平移位置下采样后特征图的差异,以此可以获得较稳定的分割图像的检测结果。
70.例如,将每一初始第一模块中的步长为2的初始下采样层修改为步长为1的下采样层,修改后,可以不改变输出特征图的大小;同时在修改后的下采样层的位置之后创建一个步长为2的第一模糊操作层,可以降低信息频率,并且完成下采样操作;基于修改后的下采样层和第一模糊操作层,得到修改后的第一模块。
71.更具体地,首先将初始下采样层的步长修改为1,修改后的下采样层可以不改变特征图的大小,然后在修改后的下采样层的位置之后创建一个4
ⅹ
4的步长为2的模糊操作,降低频率的同时完成了下采样。这一修改使得编码器基本上满足了平移不变性。
72.本实施例通过上述方案,具体通过将所述初始下采样层的步长的数值修改为第一数值,得到修改后的下采样层;在所述修改后的下采样层的位置之后创建所述第一模糊操作层,其中,所述第一模糊操作层的步长的数值为第二数值;基于所述修改后的下采样层和所述第一模糊操作层,得到修改后的第一模块。通过修改后的下采样层,对特征图进行下采样操作,并通过创建的第一模糊操作层模糊特征信息,可以保留初始下采样层的性能优势,同时可以不改变输出特征图的大小,以此提高了模型对平移干扰的稳定性。
73.进一步地,参照图9,图9为本技术图像检测方法中步骤s720的步骤细化示意图,基于上述图8所示的实施例,对步骤s720进行细化,在所述初始第二模块中创建第二模糊操作层,得到修改后的第二模块的步骤包括:步骤s910:在所述初始第二模块中创建上采样层和卷积层,其中,所述卷积层的位
置在所述上采样层之后,所述上采样层的放大率为所述第二数值,所述卷积层的核大小为第三数值;本实施例以步骤s910在步骤s920之前实施,在其他实施例中,步骤s710也可以在步骤s920与步骤s930之间实施。
74.具体地,在每一初始第二模块中步长为x的转置卷积层的位置上,将转置卷积层去除,并创建一个放大率为x的上采样层和一个核大小为x+1的卷积层。其中,所述第三数值具体可以是由第二数值加1得到第三数值。
75.步骤s920:在所述卷积层的位置之后创建所述第二模糊操作层,其中,所述第二模糊操作层的步长的数值为所述第一数值;具体地,由于卷积层改变了特征图的信息分布,因此在卷积层和批归一化层之间创建一个步长为y的第二模糊操作层。
76.步骤s930:基于所述上采样层、所述卷积层、所述第二模糊操作层,得到修改后的第二模块。
77.具体地,基于上采样层、卷积层、第二模糊操作层,得到修改后的第二模块。通过每一个修改后的第二模块的中的第二模糊操作层不断地降低上采样操作中特征分布信息的频率,使处理后的特征图中只包含了低频信息,从而可以减小不同平移位置上采样后特征图的差异,可以获得较稳定的图像分割的检测结果。
78.例如,在每一初始第二模块中步长为2的转置卷积层的位置上,将转置卷积层去除,并创建一个放大率为2的上采样层和一个核大小为3的卷积层。由于卷积层改变了特征图的信息分布,因此在卷积层和批归一化层之间创建一个步长为1的模糊操作层,使得处理后的特征图中只包含了低频信息,从而减小不同平移位置上采样后特征图的差异,以此可以获得较稳定的分割结果。
79.更具体地,在解码器中,首先利用上采样层将特征图的尺寸变为原来的2倍,然后,卷积层对特征图进一步处理,从而改变了特征图的信息分布,由于在修改后的下采样操作模块(修改后的第一模块)中,使用模糊操作尽量缩小了不同平移位置图像特征图的差异,如果初始上采样操作模块(初始第二模块)不继续对特征信息降频,势必导致这些特征图之间的差异增大。因此,在卷积层后面创建了步长为1,核大小为4
ⅹ
4的模糊操作,得到修改后的上采样操作模块(修改后的第二模块)。
80.本实施例通过上述方案,具体通过在所述初始第二模块中创建上采样层和卷积层,其中,所述卷积层的位置在所述上采样层之后,所述上采样层的放大率为所述第二数值,所述卷积层的核大小为第三数值;在所述卷积层的位置之后创建所述第二模糊操作层,其中,所述第二模糊操作层的步长的数值为所述第一数值;基于所述上采样层、所述卷积层、所述第二模糊操作层,得到修改后的第二模块。通过卷积层改变特征图的信息分布,并通过创建的第二模糊操作层模糊特征信息,可以使得上采样过程中特征的差异不是很大,从而使得最终图像分割的检测结果不会出现太大的变化,以此提高了平移干扰模型对平移干扰的稳定性。
81.参照图10,图10为本技术图像检测方法涉及的数据处理示意图。基于上述图3所示的实施例,步骤s310,获取原始图像数据集的步骤包括:步骤s110:获取若干个原始图像;
具体地,在实际的生产过程中,检测人员将待检测的工业产品静置于工作台上,使用工业相机进行拍摄,得到若干个原始图像。其中,尽可能的获取多种缺陷外观的图像数据,这样可以更好的判断抗平移模型对各种外观的缺陷的识别能力和稳定性。
82.步骤s120:通过预设图像处理工具读取并按预设的目标位置裁剪所述原始图像,得到所述原始图像数据集。
83.具体地,通过工业相机拍摄得到的原始图像,往往是不能直接用来训练和测试模型的,图像的边缘部分可能会出现工作台以外的目标,这严重影响了模型识别图像中的缺陷;同时边缘部分的光照可能不均匀,会出现光线较暗或者曝光的现象。因此在收集原始图像数据时,需要将工业产品尽可能的置于工作台的中央。例如,获取了m张工业产品图像,然后对图像进行裁剪,得到原始图像数据集。其中,图像裁剪方法的具体步骤可以包括:获取的原始图像分辨率为4096
ⅹ
3000,拍摄的工作台设置为黑色,但是在原始图像边缘部分出现了很多白边,同时左侧(或右侧)出现了曝光,而底测明显的光照不足。由于工业产品在图像中的占比较小,因此,需要对原始图像进行裁剪,去除与工业产品无关的区域;又因为工业产品图像分辨率太大,严重影响了模型的训练和测试速度,裁剪可以防止边缘部分信息的干扰,也节省了计算资源。因此,在收集图像时,每一个工业产品尽可能的置于工作台的中央,可以使得每张图像中工业产品的相对位置差异不会很大。通过大致的估计和测算,可以确定裁剪框左上角坐标表示为(c
x
,cy),高度和宽度标记为(ch,cw)。然后利用opencv读取每一张图像,按预先设置的尺度对图像进行裁剪,得到原始图像数据集。
84.本实施例通过上述方案,具体通过获取若干个原始图像;通过预设图像处理工具读取并按预设的目标位置裁剪所述原始图像,得到所述原始图像数据集。在收集数据时,通过将每一个工业产品静置于拍摄工作台的同一位置,可以减小各个工业产品之间的成像环境差异;同时利用数据预处理模块对收集到的原始数据进行裁剪,每一张图像都采取同一位置,同样大小的区域,可以进一步保证了每一张图像在输入到抗平移干扰模型时的成像环境差异时比较小的。
85.而且相比现有技术,本实施例方案,提出一种新的工业产品的图像检测方法,从真实世界中拍摄图像的相机和放置产品的工作台在微观上无法做到相对静置的问题出发,构建了一个真实世界的工业产品图像数据集,并在该数据集上验证了本技术提出的图像检测修复的有效性,最后经过本技术方法检测的产品准确率得到明显提升。
86.此外,本技术实施例还提出一种图像检测装置,所述图像检测装置包括:图像获取模块,用于获取待检测图像;图像检测模块,用于将所述待检测图像输入预先创建的抗平移干扰模型中进行检测,得到检测结果,其中,所述抗平移干扰模型基于分割模型并结合预设降频方法训练得到。
87.此外,本技术实施例还提出一种终端设备,所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像检测程序,所述图像检测程序被所述处理器执行时实现如上所述的图像检测方法的步骤。
88.由于本图像检测程序被处理器执行时,采用了前述所有实施例的全部技术方案,因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果,在此不再一一赘述。
89.此外,本技术实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有图像检测程序,所述图像检测程序被处理器执行时实现如上所述的图像检测方法的步骤。
90.由于本图像检测程序被处理器执行时,采用了前述所有实施例的全部技术方案,因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果,在此不再一一赘述。
91.相比现有技术,本技术实施例提出的图像检测方法、装置、终端设备以及存储介质,通过获取待检测图像;将所述待检测图像输入预先创建的抗平移干扰模型中进行检测,得到检测结果,其中,所述抗平移干扰模型基于分割模型并结合预设降频方法训练得到。通过创建后的抗平移干扰模型,可以解决待检测产品出现轻微移动工业产品影响检测结果的问题,提高检测效率。基于本技术方案,从真实世界中拍摄图像的相机和放置产品的工作台在微观上无法做到相对静置的问题出发,构建了一个真实世界的工业产品图像数据集,并在该数据集上验证了本技术提出的图像检测修复的有效性,最后经过本技术方法检测的产品准确率得到明显提升。
92.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
93.上述本技术实施例序号仅仅为了描述,不代表实施例的优劣。
94.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上的一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,被控终端,或者网络设备等)执行本技术每个实施例的方法。
95.以上仅为本技术的优选实施例,并非因此限制本技术的专利范围,凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本技术的专利保护范围内。