图像检测方法、图像检测装置以及计算机可读存储介质与流程

本申请涉及图像识别领域，具体而言，涉及一种图像检测方法、图像检测装置以及计算机可读存储介质。

背景技术：

对于交通标志牌的检测是图像识别领域中很重要的一种应用场景，相关技术中的交通标志牌检测方法主要基于颜色与形状特征进行检测，一般先通过颜色空间取值对图像进行预处理，保留特定的颜色部分(因为交通标志牌是有固定颜色的)，得到二值化图片，然后在此基础上检测交通标志的特定形状，如圆形或三角形。，最后采用模式识别的方法确定交通标志牌的类别。

发明人发现，相关技术中的交通标志牌检测方法在基于颜色特征进行预处理的时候，很容易受到干扰，光线会对检测产生影响，尤其在夜间，车尾灯和交通灯的光线会影响交通标志牌检测的精度，单纯的颜色空间取值和形状判断无法滤除这些干扰，并且，由于只提取了图像的颜色和形状特征，检测过程鲁棒性较差，尤其在被部分遮挡(如树杈等)时会造成较多误检测或者漏检测的情况。

针对相关技术中图像检测效果不佳的问题，目前尚未提出有效的解决方案。

技术实现要素：

本申请的主要目的在于提供一种图像检测方法、图像检测装置以及计算机可读存储介质，以解决相关技术中图像检测效果不佳的问题。

为了实现上述目的，根据本申请的第一方面，本申请实施例提供了一种图像检测方法，所述方法包括：对目标图像的预设检测区域进行图像检测，得到第一目标物品信息；对所述第一目标物品信息执行信息拒识和/或信息融合操作，得到第二目标物品信息。

结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中，所述对目标图像的预设检测区域进行图像检测之前包括：根据所述目标图像的灭点信息，确定所述目标图像中的地平线的位置；根据所述地平线的位置对所述目标图像进行区域划分，确定第一检测区域。

结合第一方面，本申请实施例提供了第一方面的第二种可能的实施方式，其中，所述对目标图像的预设检测区域进行图像检测之前还包括：根据所述目标图像的分辨率信息，确定切割像素数值；根据所述切割像素数值对所述第一检测区域进行区域切割，得到多个第二检测区域。

结合第一方面，本申请实施例提供了第一方面的第三种可能的实施方式，其中，所述对目标图像的预设检测区域进行图像检测包括：根据轻量级深度神经网络和预设物体检测算法对所述目标图像进行图像检测，得到所述目标图像中的第一目标物品信息。

结合第一方面，本申请实施例提供了第一方面的第四种可能的实施方式，其中，所述对第一目标物品信息执行信息拒识操作，得到第二目标物品信息包括：判断所述第一目标物品信息的物品检测框的宽高比数值是否在预设宽高比数值范围内；如果判定所述第一目标物品信息中的物品检测框的宽高比数值不在预设宽高比数值范围内，则删除所述第一目标物品信息，得到删除后的第二目标物品信息。

结合第一方面，本申请实施例提供了第一方面的第五种可能的实施方式，其中，所述对第一目标物品信息执行信息融合操作，得到第二目标物品信息包括：判断相邻两个所述第一目标物品信息的物品检测框的交叠率数值是否大于预设交叠率数值；如果判定相邻两个所述第一目标物品信息的物品检测框的交叠率数值大于预设交叠率数值，则对相邻两个所述第一目标物品信息进行融合，得到融合后的第二目标物品信息。

为了实现上述目的，根据本申请的第二方面，本申请实施例提供了一种图像检测装置，包括：图像检测单元，用于对目标图像的预设检测区域进行图像检测，得到第一目标物品信息；信息处理单元，用于对所述图像检测单元得到的第一目标物品信息执行信息拒识和/或信息融合操作，得到第二目标物品信息。

结合第二方面，本申请实施例提供了第二方面的第一种可能的实施方式，其中，所述图像检测单元包括：神经网络构建模块，用于使用深度可分离卷积构建并得到轻量级深度神经网络；物品信息获取模块，用于根据所述轻量级深度神经网络和物体检测算法对所述目标图像进行图像检测，得到所述目标图像中的第一目标物品信息。

结合第二方面，本申请实施例提供了第二方面的第二种可能的实施方式，其中，所述信息处理单元包括：拒识处理模块，用于当判定所述第一目标物品信息中的物品检测框的宽高比数值不在预设宽高比数值范围内时，删除所述第一目标物品信息；融合处理模块，用于当判定相邻两个所述第一目标物品信息的物品检测框的交叠率数值大于预设交叠率数值时，对相邻两个所述第一目标物品信息的物品检测框进行融合。

为了实现上述目的，根据本申请的第三方面，本申请实施例提供了一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行上述任一种方法的计算机程序。

在本申请实施例中，采用对目标图像的预设检测区域进行图像检测的方式，得到第一目标物品信息，通过对第一目标物品信息执行信息拒识和/或信息融合操作，得到了经过信息处理后的第二目标物品信息的目的，从而实现了提高图像识别准确度的技术效果，进而解决了相关技术中图像检测效果不佳的问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请提供的一种图像检测方法的流程图；

图2是根据本申请提供的另一种图像检测方法的流程图；

图3是根据本申请提供的另一种图像检测方法的流程图；

图4是根据本申请提供的另一种图像检测方法的流程图；

图5是根据本申请提供的另一种图像检测方法的流程图；

图6是根据本申请提供的一种图像检测装置的示意图；

图7是根据本申请提供的另一种图像检测装置的示意图；以及

图8是根据本申请提供的另一种图像检测装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

考虑到：相关技术中的交通标志牌检测方法在基于颜色特征进行预处理的时候，很容易受到干扰，光线会对检测产生影响，尤其在夜间，车尾灯和交通灯的光线会影响交通标志牌检测的精度，单纯的颜色空间取值和形状判断无法滤除这些干扰，并且，由于只提取了图像的颜色和形状特征，检测过程鲁棒性较差，尤其在被部分遮挡(如树杈等)时会造成较多误检测或者漏检测的情况，因此，本申请提供了一种图像检测方法、图像检测装置以及计算机可读存储介质。

如图1所示，该方法包括如下的步骤s101至步骤s102：

步骤s101，对目标图像的预设检测区域进行图像检测，得到第一目标物品信息；

优选的，根据所述目标图像的灭点确定roi(感兴趣区域)，然后将roi分为多个block(小块)，最后在每个block上采用深度学习算法进行交通标志牌的检测。

具体的，首先确定所述目标图像的roi(感兴趣区域)，所述roi即指图片的待处理区域。在所述目标图像中确定感兴趣区域，相当于将待处理的像素点变少，更易于检测且提高检测速度，根据所述目标图像的灭点信息可以初步确定roi的位置，由于交通标志牌一定是在地面以上，所以roi可以确定为灭点以上部分的图片。

然后，分割roi，由于交通标志牌的尺寸很小，在整张图中所占的比例很小，导致交通标志牌在特征空间所占的比例很小，难以被检测到。针对这种情况，本发明在确定感兴趣区域的基础上，对roi进行分割，将roi再次分为多个s*s大小的正方形block，其中，所述s根据所述目标图像的分辨率进行预先设定，比如所述目标图像的分辨率为640*640，则此时可以将所述目标图像分为3份，即s设定为3，此时的s的初始数值为213.3，但是如果采用无重叠分割roi的方法(即把roi分割为多个无重叠的block的方式)，不可避免的会有同一交通标志牌被切割到不同的block中的情况出现，这种情况会导致该交通标志牌在每个block的部分都是不完整的，会影响到后续检测器的检测结果，所以本发明在分割roi时，两个相邻的block之间会留有重叠部分，即预先将s的实际数值设置的比s的初始数值大，比如s的实际数值为240，从而使每个交通标志牌都至少在一个block中基本保持完整。

再然后，采用深度学习方法对所述目标图像进行检测，由于相关技术中的交通标志牌检测方法极容易受到环境条件的干扰，因此本发明采用mobilenet(轻量级深度神经网络)+yolov2(物体检测算法)的深度学习方法对交通标志牌进行检测，深度学习的检测方法提取的特征空间要远远强于传统交通标志牌检测算法的颜色和形状融合特征，对环境条件的干扰具有很强的抑制能力，同时可以很好地解决部分遮挡(如树杈等)的问题。

具体的，所述mobilenet的主要特点在于：将普通的卷积替换为depthwise(深度可分离卷积结构)+pointwise(逐点卷积结构)的卷积形式，大大降低了算法的计算量，使算法满足实时性的需求，例如将s*s大小的16通道的图像通过3*3卷积核生成32通道的图像，计算量为：s*s*3*3*16*32，而采用3*3的depthwise卷积和1*1的pointwise卷积的计算量为：s*s*3*3*16+s*s*1*1*32，远小于普通的3*3卷积所需的计算量。

yolov2采用多尺度训练的方法，对于小目标检测有一定的优势。而且yolov2在一次前向传播后同时输出检测目标的位置，大小和类别，具有速度快，准确率较高的优点。同时，由于其可以同时输出交通标志牌的类别，不需要再通过其他方法识别交通标志牌的类别。

步骤s102，对所述第一目标物品信息执行信息拒识和/或信息融合操作，得到第二目标物品信息。

优选的，将多个block的检测结果进行融合和/或拒识，得到所述目标图像中交通标志牌的信息。

具体的，首先，将每个block上检测到的交通标志牌信息转换到原图片上，交通标志牌信息(即所述第一目标物品信息)包括但不限于：每个交通标志牌在其所在的block上的相对位置坐标、宽度高度、交通标志牌的类别以及置信度。

然后，对每个交通标志牌检测框进行拒识操作，交通标志牌的检测框是一个接近正方形的形状，根据这种几何特性计算交通标志牌检测框的宽高比，判断所述检测框的宽高比数值是否在预设合理数值范围内，如果不在，则过滤掉该交通标志牌检测框，比如，计算得到交通标志牌检测框的宽高比为0.9，预设合理数值范围为小与0.8或大于1.2，由于不在预设合理数值范围内，则过滤掉该交通标志牌检测框不做后续计算处理。

再然后，对所述交通标志牌检测框进行融合，计算相邻两个交通标志牌检测框的iou(交叠率)，并判断是否大于预设交叠率阈值，如果大于，则将所述两个交通标志牌检测框进行融合，并根据每个检测框的置信度得到最终融合后的检测框，比如，实际计算得到相邻两个交通标志牌检测框的iou为0.8，预设交叠率阈值为0.6，则将所述两个交通标志牌检测框进行融合。

从以上的描述中，可以看出，本发明实现了如下技术效果：

在本申请实施例中，采用对目标图像的预设检测区域进行图像检测的方式，得到第一目标物品信息，通过对第一目标物品信息执行信息拒识和/或信息融合操作，得到了经过信息处理后的第二目标物品信息的目的，从而实现了提高图像识别准确度的技术效果，进而解决了相关技术中图像检测效果不佳的问题。

根据本发明实施例，作为本申请实施例中的优选，如图2所示，所述对目标图像的预设检测区域进行图像检测之前包括如下的步骤s201至步骤s202：

步骤s201，根据所述目标图像的灭点信息，确定所述目标图像中的地平线的位置；

优选的，根据所述目标图像的灭点信息可以初步确定roi的位置，由于交通标志牌一定是在地面以上，所以roi可以确定为灭点以上部分的图片。

步骤s202，根据所述地平线的位置对所述目标图像进行区域划分，确定第一检测区域。

优选的，沿所述地平线对所述目标图像进行划分，取地面以上的部分为待检测区域，即所述第一检测区域。

根据本发明实施例，作为本申请实施例中的优选，如图3所示，所述对目标图像的预设检测区域进行图像检测之前还包括如下的步骤s301至步骤s302：

步骤s301，根据所述目标图像的分辨率信息，确定切割像素数值；

优选的，对roi进行分割，将roi再次分为多个s*s大小的正方形block，其中，所述s(即所述切割像素数值)根据所述目标图像的分辨率进行预先设定。

步骤s302，根据所述切割像素数值对所述第一检测区域进行区域切割，得到多个第二检测区域。

优选的，在分割roi时，两个相邻的block(即所述第二检测区域)之间会留有重叠部分，即预先将s的实际数值设置的比s的初始数值大，从而使每个交通标志牌都至少在一个block中基本保持完整。

根据本发明实施例，作为本申请实施例中的优选，所述对目标图像的预设检测区域进行图像检测包括：根据轻量级深度神经网络和预设物体检测算法对所述目标图像进行图像检测，得到所述目标图像中的第一目标物品信息。

优选的，采用深度学习方法对所述目标图像进行检测，由于相关技术中的交通标志牌检测方法极容易受到环境条件的干扰，因此本发明采用mobilenet(轻量级深度神经网络)+yolov2(物体检测算法)的深度学习方法对交通标志牌进行检测，深度学习的检测方法提取的特征空间要远远强于传统交通标志牌检测算法的颜色和形状融合特征，对环境条件的干扰具有很强的抑制能力，同时可以很好地解决部分遮挡(如树杈等)的问题。

根据本发明实施例，作为本申请实施例中的优选，如图4所示，所述对第一目标物品信息执行信息拒识操作，得到第二目标物品信息包括如下的步骤s401至步骤s402：

步骤s401，判断所述第一目标物品信息的物品检测框的宽高比数值是否在预设宽高比数值范围内；

优选的，对每个交通标志牌检测框进行拒识操作，交通标志牌的检测框是一个接近正方形的形状，根据这种几何特性计算交通标志牌检测框的宽高比。

步骤s402，如果判定所述第一目标物品信息中的物品检测框的宽高比数值不在预设宽高比数值范围内，则删除所述第一目标物品信息，得到删除后的第二目标物品信息。

优选的，判断所述检测框的宽高比数值是否在预设合理数值范围内，如果不在，则过滤掉该交通标志牌检测框，比如，计算得到交通标志牌检测框的宽高比为0.9，预设合理数值范围为小与0.8或大于1.2，由于不在预设合理数值范围内，则过滤掉该交通标志牌检测框不做后续计算处理。

根据本发明实施例，作为本申请实施例中的优选，如图5所示，所述对第一目标物品信息执行信息融合操作，得到第二目标物品信息包括如下的步骤s501至步骤s502：

步骤s501，判断相邻两个所述第一目标物品信息的物品检测框的交叠率数值是否大于预设交叠率数值；

优选的，对所述交通标志牌检测框进行融合，计算相邻两个交通标志牌检测框的iou(交叠率)，并判断是否大于预设交叠率阈值。

步骤s502，如果判定相邻两个所述第一目标物品信息的物品检测框的交叠率数值大于预设交叠率数值，则对相邻两个所述第一目标物品信息进行融合，得到融合后的第二目标物品信息。

优选的，如果大于，则将所述两个交通标志牌检测框进行融合，并根据每个检测框的置信度得到最终融合后的检测框，比如，实际计算得到相邻两个交通标志牌检测框的iou为0.8，预设交叠率阈值为0.6，则将所述两个交通标志牌检测框进行融合。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本发明实施例，还提供了一种用于实施上述方法的装置，如图6所示，该装置包括：图像检测单元10，用于对目标图像的预设检测区域进行图像检测，得到第一目标物品信息；信息处理单元20，用于对所述图像检测单元得到的第一目标物品信息执行信息拒识和/或信息融合操作，得到第二目标物品信息。

根据本申请所述的图像检测单元10用于对目标图像的预设检测区域进行图像检测，得到第一目标物品信息，优选的，根据所述目标图像的灭点确定roi(感兴趣区域)，然后将roi分为多个block(小块)，最后在每个block上采用深度学习算法进行交通标志牌的检测。

根据本申请所述的信息处理单元20用于对所述图像检测单元得到的第一目标物品信息执行信息拒识和/或信息融合操作，得到第二目标物品信息，优选的，将多个block的检测结果进行融合和/或拒识，得到所述目标图像中交通标志牌的信息。

根据本发明实施例，作为本申请实施例中的优选，如图7所示，所述图像检测单元10包括：神经网络构建模块11，用于使用深度可分离卷积构建并得到轻量级深度神经网络；物品信息获取模块12，用于根据所述轻量级深度神经网络和物体检测算法对所述目标图像进行图像检测，得到所述目标图像中的第一目标物品信息。

根据本申请所述的神经网络构建模块11用于使用深度可分离卷积构建并得到轻量级深度神经网络，优选的，采用mobilenet(轻量级深度神经网络)+yolov2(物体检测算法)的深度学习方法对交通标志牌进行检测。

根据本申请所述的物品信息获取模块12用于根据所述轻量级深度神经网络和物体检测算法对所述目标图像进行图像检测，得到所述目标图像中的第一目标物品信息，优选的，深度学习的检测方法提取的特征空间要远远强于传统交通标志牌检测算法的颜色和形状融合特征，对环境条件的干扰具有很强的抑制能力，同时可以很好地解决部分遮挡(如树杈等)的问题，所述第一目标物品信息包括但不限于：每个交通标志牌在其所在的block上的相对位置坐标、宽度高度、交通标志牌的类别以及置信度。

根据本发明实施例，作为本申请实施例中的优选，如图8所示，所述信息处理单元20包括：拒识处理模块21，用于当判定所述第一目标物品信息中的物品检测框的宽高比数值不在预设宽高比数值范围内时，删除所述第一目标物品信息；融合处理模块22，用于当判定相邻两个所述第一目标物品信息的物品检测框的交叠率数值大于预设交叠率数值时，对相邻两个所述第一目标物品信息的物品检测框进行融合。

根据本申请所述的拒识处理模块21用于当判定所述第一目标物品信息中的物品检测框的宽高比数值不在预设宽高比数值范围内时，删除所述第一目标物品信息，优选的，对每个交通标志牌检测框进行拒识操作，交通标志牌的检测框是一个接近正方形的形状，根据这种几何特性计算交通标志牌检测框的宽高比，判断所述检测框的宽高比数值是否在预设合理数值范围内，如果不在，则过滤掉该交通标志牌检测框，比如，计算得到交通标志牌检测框的宽高比为0.9，预设合理数值范围为小与0.8或大于1.2，由于不在预设合理数值范围内，则过滤掉该交通标志牌检测框不做后续计算处理。

根据本申请所述的融合处理模块22用于当判定相邻两个所述第一目标物品信息的物品检测框的交叠率数值大于预设交叠率数值时，对相邻两个所述第一目标物品信息的物品检测框进行融合，优选的，对所述交通标志牌检测框进行融合，计算相邻两个交通标志牌检测框的iou(交叠率)，并判断是否大于预设交叠率阈值，如果大于，则将所述两个交通标志牌检测框进行融合，并根据每个检测框的置信度得到最终融合后的检测框，比如，实际计算得到相邻两个交通标志牌检测框的iou为0.8，预设交叠率阈值为0.6，则将所述两个交通标志牌检测框进行融合。

此外，本发明也公开用于存储计算机可读指令的存储介质，所述计算机可读指令能够被一个或多个处理器执行以实施如前面所述的图像检测方法。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。