图像处理方法、装置、计算机设备及存储介质与流程

文档序号:17929081发布日期:2019-06-15 00:40阅读:151来源:国知局
图像处理方法、装置、计算机设备及存储介质与流程

本发明涉及图像处理领域,尤其涉及一种图像处理方法、装置、计算机设备及存储介质。



背景技术:

在图像处理领域,通常需要检测并分析某块区域,称为目标检测。在目标检测领域的众多框架中,比如fast-rcnn,faster-rcnn,rfcn,roipooling的作用是根据预选框regionproposal,也即候选区域的位置坐标在特征图中将相应区域池化为固定尺寸的特征图,以便进行后续的分类操作。但是regionproposal的位置信息是由模型回归得到的,得到的位置信息一般是浮点数的形式,而池化操作的特征图要求尺寸固定。故将相应区域池化为固定尺寸的特征图这一过程存在两次取整量化的操作:(1)将regionproposal边界取整量化为整数点坐标值。(2)将取整量化后的边界区域平均分割成nxn个单元,对每一个单元的边界再进行取整量化。

然而经过两次取整量化,得到的候选框已经和最开始回归出来的位置有一定的偏差,这个偏差会影响检测或者分割的准确度,称为区域不匹配问题(misalignment)。传统的方案中,是取消取了上述的整量化操作,使用双线性内插的方法获得坐标为浮点数的像素点上的图像数值,从而将整个特征聚集过程转化为一个连续的操作,具体是:先通过双线性内插值算法计算出一“红叉点”,并依据红叉点的旁边固定位置,例如统一红叉点所在的像素点的左下、右下像素点计算出红叉点所在的像素的位置,然而,红叉点的旁边固定位置所在的像素点的像素不一定是接近红叉点所在的像素点的像素,因此可能会导致计算出来的结果存在一定的误差。



技术实现要素:

本发明提供了一种图像处理方法、装置、计算机设备及存储介质,使得最后得到的固定尺寸的特征图的像素值计算结果比较准确。

一种图像处理方法,包括:

获取候选区域特征图,所述候选区域特征图为将候选区域映射至特征图后所得到的,所述特征图为通过卷积神经网络对输入图像进行特征提取所得到,所述候选区域为根据预设目标检测算法对所述输入图像进行目标区域检测所得到;

根据预设候选区域池化参数将所述候选区域特征图划分为nxm个大小等同的小区域,所述n、m为正整数且大于或等于1,所述预设候选区域池化参数包括用于池化处理的宽度参数以及长度参数;

根据预设采样点数p将每个所述小区域平均划分为p个采样区域,所述p为正整数且大于或等于2;

确定出所述候选区域特征图中与所述采样区域相交的相交像素点;

根据所述候选区域特征图中与所述采样区域相交的相交像素点,确定出所述采样区域的中心点位置的像素值;

根据所述小区域对应的每个所述采样区域的中心点位置的像素值,对应确定出每个所述小区域的像素值;

根据每个所述小区域的像素值获得固定尺寸的所述候选区域特征图。

一种图像处理装置,包括:

第一获取模块,用于获取候选区域特征图,所述候选区域特征图为将候选区域映射至特征图后所得到的,所述特征图为通过卷积神经网络对输入图像进行特征提取所得到,所述候选区域为根据预设目标检测算法对所述输入图像进行目标区域检测所得到;

第一划分模块,用于根据预设候选区域池化参数将所述第一获取模块获取的所述候选区域特征图划分为nxm个大小等同的小区域,所述n、m为正整数且大于或等于1,所述预设候选区域池化参数包括用于池化处理的宽度参数以及长度参数;

第二划分模块,用于根据预设采样点数p将每个所述第一划分模块划分得到的所述小区域平均划分为p个采样区域,所述p为正整数且大于或等于2;

第一确定模块,用于确定出所述第一获取模块获取的所述候选区域特征图中与所述第二划分模块划分得到的所述采样区域相交的相交像素点;

第二确定模块,用于根据所述第一确定模块确定的所述候选区域特征图中与所述采样区域相交的相交像素点,确定出所述采样区域的中心点位置的像素值;

第三确定模块,用于根据所述第二确定模块确定的所述小区域对应的每个所述采样区域的中心点位置的像素值,对应确定出每个所述小区域的像素值;

第二获取模块,用于根据所述第三确定模块确定的每个所述小区域的像素值获得固定尺寸的所述候选区域特征图。

一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述图像处理方法。一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述图像处理方法。

上述图像处理方法、装置、计算机设备及存储介质所实现的方案中,根据采样区域与像素点的相交关系,有效地保证了将相应候选区域池化为固定尺寸的特征图,且由于是根据相交像素点进行计算,最终采样区域的像素值的计算结果较为准确,使得最后得到的固定尺寸的特征图的像素值计算结果也比较准确。

附图说明

为了更清楚地说明本发明的技术方案,下面将对本发明的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1是本发明中图像处理方法所应用的系统框架图一个示意图;

图2是本发明中图像处理方法一个实施例流程示意图;

图3是本发明中候选区域特征图的采样区域的一个示意图;

图4是本发明中图像处理方法另一实施例流程示意图;

图5是本发明中候选区域特征图的采样区域的另一示意图;

图6是本发明中候选区域特征图的采样区域的另一示意图;

图7是本发明中图像处理方法另一实施例流程示意图;

图8是本发明中图像处理方法另一实施例流程示意图;

图9是本发明中图像处理方法另一实施例流程示意图;

图10是本发明中候选区域特征图的采样区域的另一示意图;

图11是本发明中图像处理方法另一实施例流程示意图;

图12是本发明中图像处理装置一个实施例结构示意图;

图13是本发明中计算机设备的一个实施例结构示意图。

具体实施方式

下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明实施例提供图像处理方法,可应用在如图1的系统框架示意图中,服务器可对输入图像执行本图像处理方法所提供的处理方式,以获得处理后得到固定尺寸的特征图,其中,服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现,下面对本发明实施例进行详细介绍:

在一实施例中,如图2所示,提供一种图像处理方法,包括如下步骤:

s10:获取候选区域特征图,所述候选区域特征图为将候选区域映射至特征图后所得到的,所述特征图为通过卷积神经网络对输入图像进行特征提取所得到,所述候选区域为根据预设目标检测算法对所述输入图像进行目标区域检测所得到。

本发明实施例应用于基于区域的卷积神经网络(regionswithconvolutionalneuralnetworks,rcnn)中,包括但不局限于fastrcnn、fasterrcnn以及基于区域的完整卷积网络(region-basedfullyconvolutionalnetworks,rfcn)。可以理解,在上述基于区域的卷积神经网络中,均会输入图像进行卷积层、池化层、感兴趣区域池化层(regionofinterestpoolinglayer,roipooling)以及全连接层的处理过程,而本发明实施例是在获得输入图像的候选区域(regionproposal),以及输入图像的特征图(也即featuremaps)后,roipooling层进行处理。

其中,候选区域,就是预先找出输入图像的中目标可能出现的位置,也即感兴趣区域,通过利用输入图像中的纹理、边缘、颜色等特征信息,检测出输入图像的候选区域,所述候选区域为根据预设目标检测算法对所述输入图像进行目标区域检测所得到,其中,具体地,在fastrcnn中,预设目标检测算法具体是采用选择性搜索(selectivesearch)直接对输入图像进行候选区域的提取,而在fasterrcnn中,预设目标检测算法是指对输入图像进行卷积层的特征提取得到特征图后,再经过区域候选网络(regionproposalnetwork,prn)对特征图进行候选区域的提取,具体过程这里不展开赘述,但可以理解的是,经过上述预设目标检测算法的处理,均可获得输入图像对应的候选区域。

候选区域特征图,是指将候选区域映射至输入图像所对应的特征图后所得到的图像,可以理解,输入图像在输入基于区域的卷积神经网络的卷积层后,经过卷积层的特征提取处理,可以得到输入对象对应的特征图,具体卷积层的特征提取过程,这里也不展开赘述。在本发明实施例中,可获取到输入图像对应的候选区域特征图,需要说明的是,本发明实施例所指的候选区域特征图泛指输入图像对应的每一张候选区域特征图,为了便于描述,下文将一张候选区域特区图对本发明实施例所提出的图像处理方法进行描述。

s20:根据预设候选区域池化参数对所述候选区域特征图划分为nxm个大小等同的小区域,所述n、m为正整数且大于或等于1,所述预设候选区域池化参数包括宽度参数以及长度参数。

其中,预设候选区域池化参数为roipooling层中预设的参数,上述预设候选区域池化参数旨在将候选区域特征图池化为固定尺寸的特征图的参数,具体地址包括宽度参数(pooled-h)以及长度参数(pooled-w)。

示例性的,假设输入图像的尺寸为800*800,基于区域的卷积神经网络卷积层使用的是vgg16网络,feat-stride=32(表示输入图像经过卷积层处理后图片缩小为原图的1/32),也即经过vgg16网络处理后得到输入图像对应的特征图为25*25,假定输入图像有一候选区域,大小为665*665,则该候选区域映射至特征图后,得到的候选区域特征图的大小为:665/32≈20.78,即候选区域特征图为:20.78*20.78。需要说明得到是,在本发明实施例中,在roipooling层处理过程中,为了便于描述,通常保留小数点两位浮点数,出现浮点数时均保留小数点后两位浮点数进行说明。假设预设候选区域池化参数的宽度参数和长度参数分别为:pooled-h=7,pooled-w=7,则该候选区域特征图经过处理后固定成7*7大小的特征图,换句话说的,将在特征图上映射的20.78*20.78的候选区域划分为7*7=49个大小等同的小区域,每个小区域的大小为20.78/7≈2.97,也就是说每个小区域均为2.97*2.97。

需要说明的是,在本发明实施例中,根据预设候选区域池化参数对所述候选区域特征图划分为nxm个大小等同的小区域中,n、m的具体大小由实际应用需求所配置,与预设候选区域池化参数相关,本发明实施例不做具体限定,示例性的,上述n、m还可以分别为8,此时,该候选区域特征图经过处理后固定成8*8大小的特征图。

s30:根据预设采样点数p将每个所述小区域平均划分为p个采样区域,所述p为正整数且大于或等于2。

本发明实施例中,在根据预设候选区域池化参数对所述候选区域特征图划分为nxm个大小等同的小区域之后,对于每个小区域作如下处理:根据预设采样点数p将每个所述小区域平均划分为p个采样区域,所述p为正整数且大于或等于2,所述采样区域与所述候选区域特征图的像素点的形状类型相同。其中,该预设采样点数p为用于计算出每个小区域的像素值的所设置的采样点数,示例性的,该预设采样点数可以为4、8等,具体本发明实施例不做限定。

如前述所示,示例性的,在特征图上映射得到的20.78*20.78的候选区域划分为7*7≈49个大小等同的小区域后,若预设采样点数p为4,则将49个大小等同的小区域中的每个小区域平均划分为4个采样区域。

s40:确定出所述候选区域特征图中与所述采样区域相交的相交像素点。

在经过步骤30,根据预设采样点数p将每个所述小区域平均划分为p个采样区域后,确定出所述候选区域特征图中与所述采样区域相交的相交像素点。也即在经过步骤s30处理得到每个小区域对应的每个采样区域之后,确定出候选区域特征图中,分别与每个采样区域相交的相交像素点。需要说明的是,具体地,可通过每个采样区域的坐标位置以及候选区域特区图的像素点的坐标位置确定出与每个采样区域相交的相交像素点。示例性的,可以理解,经过步骤s40,可得到每个小区域对应的4个采样区域的中心点位置,以及与该小区域对应的4个采样区域相交的相交像素点。

示例性的,如图3所示:

其中,图3所示的区域只是候选区域特征图中的一部分区域,包括1-16个像素点,粗线方框a、b、c以及d所在的区域为采样区域,采样区域a、b、c以及d构成一小区域。以采样区域a为例,可通过双线性差插值算法确定出采样区域a的中心点位置,并确定出与所述采样区域a相交的相交像素点,也就是像素点1、2、5以及6。对于每个小区域对应的采样区域,均可确定出中心点位置和与采样区域相交的相交像素点,例如,对于采样区域b,与采样区域b存在相交的目标像素点为2、3、6以及7。

s50:根据所述候选区域特征图中与所述采样区域相交的相交像素点,确定出所述采样区域的中心点位置的像素值。

在确定所述采样区域的中心点位置,以及确定出所述候选区域特征图中与所述采样区域相交的相交像素点之后,根据所述候选区域特征图中与所述采样区域相交的相交像素点,确定出所述采样区域的中心点位置的像素值。

如图3所示,以采样区域a为例,可根据与采样区域a存在相交的相交像素点1、2、3以及4确定出该采样区域a的中心点位置的像素值。可以理解,基于同样的计算方式,可分别获得每个小区域对应的每个采样区域的中心点位置的像素值。

s60:根据每个所述小区域对应的每个所述采样区域的中心点位置的像素值,对应确定出每个所述小区域的像素值。

经过步骤s50后,可获得候选区域中,每个小区域的采样区域的中心点位置的像素值,本发明实施例中,根据所述小区域对应的每个所述采样区域的中心点位置的像素值,对应确定出每个所述小区域的像素值。

如图3所示,可分别获得小区域对应的采样区域a、b、c以及d的中心点位置的像素值,对应确定出图3中,由采样区域a、b、c以及d所构成的小区域的像素值。基于同样的计算方式,可获得每个小区域对应的像素值,这里不一一举例说明。

s70:根据每个所述小区域的像素值获得固定尺寸的所述候选区域特征图。

在根据每个所述小区域对应的每个所述采样区域的中心点位置的像素值,对应确定出每个所述小区域的像素值之后,根据每个所述小区域的像素值获得处理后固定尺寸的所述候选区域特征图。

如前述所示,示例性的,在将在特征图上映射的20.78*20.78的候选区域划分为7*7≈49个大小等同的小区域后,每个小区域为2.97*2.97,经过前面步骤s10-s70,的获得每个小区域对应的像素值,得到49个小区域的像素值,从而输出得到7*7的候选区域特征图,因此,可输出得到固定尺寸的7*7的候选区域特征图,该固定尺寸的候选区域特征图可用于基于区域的卷积神经网络后续的分类和回归处理。可见,本发明实施例提供了一种图像处理方法,根据采样区域与像素点的相交关系,有效地保证了将相应候选区域池化为固定尺寸的特征图,且由于是根据相交像素点进行计算,最终采样区域的像素值的计算结果较为准确,使得最后得到的固定尺寸的特征图的像素值计算结果也比较准确。

需要说明的是,结合上述实施例,根据采样区域与候选区域特征图中的像素点的尺寸的大小关系,本发明实施例还提供了具体根据所述候选区域特征图中与所述采样区域相交的目标相交像素点,确定出所述采样区域的中心点位置的像素值的实现方式,下面分别进行介绍:

在一实施例中,如图4所示,步骤50之前,也即所述根据所述候选区域特征图中与所述采样区域相交的目标相交像素点,确定出所述采样区域的中心点位置的像素值之前,所述方法还包括如下步骤:

s80:判断所述采样区域的尺寸是否大于或等于所述候选区域特征图的像素点的尺寸。

在步骤s30中,根据预设采样点数p将每个所述小区域平均划分为p个采样区域后,会判断每个小区域的采样区域是否大于或等于候选区域特征图中的像素点的尺寸,可以理解,由于输入图像的每个像素点的尺寸都是一致的,因此,映射得到的候选区域特征图的每个像素点的尺寸也是一样的,又因为划分得到的候选区域的每个采样区域的大小等同,因此可以判断任意一个采样区域是否大于或等于候选区域特征图的任意一个像素点的尺寸。

s90:若判断所述采样区域的尺寸大于或等于所述候选区域图像的像素点的尺寸,则以所述中心点位置为中心生成所述采样区域对应的辅助框,所述辅助框的形状与所述候选区域特征图的像素点相同,所述辅助框的尺寸则小于或等于所述候选区域特征图的像素点的尺寸。

当判断采样区域的尺寸大于或等于所述候选区域图像的像素点的尺寸,则以所述中心点位置为中心生成所述采样区域对应的辅助框,也就是说,对于每个小区域的每个采样区域,都会生成对应的辅助框,所述辅助框的形状与所述候选区域特征图的像素点相同,所述辅助框的尺寸则小于或等于所述候选区域特征图的像素点的尺寸。需要说明的是,本发明实施例中可采用双线性插值法确定出每个采样区域的中心点位置,具体地计算每个采样区域的中心点位置的过程这里不展开赘述。

示例性的,请参阅图5,由图5可知,采样区域的尺寸大于或等于所述候选区域图像的像素点的尺寸(图5中以辅助框和像素点大小一致为例进行说明),以采样区域d为例,本发明实施例中,可以以采样区域d的中心点位置生成该采样区域d对应的辅助框d,如图5中斜杠方框所示,其中,该采样区域d对应的辅助框d的形状与所述候选区域特征图的像素点相同,采样区域d对应的辅助框d的尺寸大小则小于或等于所述候选区域特征图的像素点。需要说明的是,这里只是以采样区域d为例进行说明,对于生成候选区域特征图中每个小区域的每个采样区域,通过本发明实施例,均可生成对应的辅助框。

步骤s50中,所述根据所述候选区域特征图中与所述采样区域相交的相交像素点,确定出所述采样区域的中心点位置的像素值,具体包括如下步骤:

s50`:根据所述候选区域特征图中与所述采样区域相交的相交像素点,以及所述采样区域对应的辅助框,确定所述采样区域的中心点位置的像素值。

在生成候选区域特征图中每个采样区域的辅助框后,根据所述候选区域特征图中与所述采样区域相交的相交像素点以及对应的辅助框,确定出所述采样区域的中心点位置的像素值。

为了便于理解,请再参阅图5,以采样区域d为例,可见,与采样区域d存在相交的相交像素点为像素点6、7、10以及11,采样区域d对应的辅助框为辅助框d,则根据像素点6、7、10、11,以及辅助框d确定出该采样区域d的中心点位置的像素值。

需要说明的是,对于候选区域特征图的其他采样区域,基于上述采样区域d的中心点位置的像素值计算方式进行确定,示例性的,请参阅图6,对于采样区域a,可见,与采样区域a存在相交的相交像素点为像素点1、2、5以及6,采样区域a对应的辅助框为辅助框a,则根据像素点1、2、5、6,以及辅助框a确定出该采样区域a的中心点位置的像素值,其他采样区域的中心点的像素值的计算方式,这里不一一说明。

在一实施例中,如图7所示,步骤s50`中,也即所述根据所述候选区域特征图中与所述采样区域相交的相交像素点,以及所述采样区域对应的辅助框,确定所述采样区域的中心点位置的像素值,具体包括如下步骤:

s51`:获取所述采样区域对应的辅助框分别和所述相交像素点中各个像素点的相交面积。

s52`:根据所述采样区域对应的辅助框与所述各个像素点的相交面积,以及所述各个像素点的像素值,确定出所述采样区域对应的第一目标像素值。

s53`:将所述采样区域对应的第一目标像素值,作为所述采样区域的中心点位置的像素值。

对于步骤s51`,请继续参阅图5,以采样区域d为例,可见采样区域d对应的辅助区域d分别与相交像素点,也即像素点6、7、10以及11相交,在本步骤中,可确定辅助框d分别与相交像素点6、7、10以及11的相交面积,在本实施例中分别记为:c6d、c7d、c10d以及c11d。

对于步骤s52`-s53`,同样以采样区域d为例,在获得c6d、c7d、c10d以及c11d之后,根据c6d、c7d、c10d以及c11d,以及相交像素点6、7、10以及11确定出采样区域d对应的第一目标像素值,并将该第一目标像素值作为采样区域d的中心点位置的像素值。需要说明的是,对于候选区域特征图的其他采样区域,通过步骤s51`-s53`均可得到采样区域对应的中心点位置的像素值,这里不一一重复赘述。

在一实施例中,如图8所示,步骤s53`中,也即所述根据所述采样区域对应的辅助框与所述各个像素点的相交面积,以及所述各个像素点的像素值,确定出所述采样区域对应的第一目标像素值,具体包括如下步骤:

s531`:分别对应计算所述各个像素点的像素值与所述各个像素点的相交面积之间的乘积。

s532`:将所述各个像素点的像素值与所述各个像素点的相交面积之间的乘积相加,以得到第一乘积和。

s533`:计算所述各个像素点的相交面积的和,以得到第一相交像素点面积和。

s534`:计算第一乘积和与所述第一相交像素点面积之间的商,以获得所述采样区域对应的第一目标像素值。

这里以候选区域特征图中的采样区域d为例,对本发明实施例进行说明:

对于步骤s531`,在获得c6d、c7d、c10d以及c11d之后,分别对应计算出采样区域对应的相交像素点中各个像素点的像素值与c6d、c7d、c10d以及c11d之间的乘积,也即分别计算出c6d与像素点6的像素值a6的乘积,记为:a6c6d;计算出c7d与像素点7的像素值a7的乘积,记为:a7c7d;计算出c10d与像素点10的像素值a10的乘积,记为:a10c10d;计算出c11d与像素点11的像素值a11的乘积,记为:a11c11d。

对于步骤s532`,计算得到a6c6d、a7c7d、a10c10d以及a11c11d之后,将上述乘积进行相加得到第一乘积和,也即a6c6d+a7c7d+a10c10d+a11c11d。

对于步骤s533`,采样区域d对应的辅助框d与所述各个像素点的相交面积的和,第一相交像素点面积和,也就是c6d+c7d+c10d+c11d。

对于步骤s234`,计算采样区域d对应的第一乘积和,与所述第一相交像素点面积和之间的商ud,具体如下述公式所示:

需要说明的是,本发明实施例中,以采样区域d为例进行说明,对于候选区域特征图中的其他采样区域,均可参阅上述采样区域的d对应的第一目标像素值得计算方式进行计算,这里不重复赘述。

需要说明的是,根据采样区域与候选区域特征图中的像素点的尺寸的大小关系,本发明实施例还提供了具体根据所述候选区域特征图中与所述采样区域相交的目标相交像素点,确定出所述采样区域的中心点位置的像素值的实现方式:

如图9所示,步骤s80之后,也即所述判断所述采样区域的尺寸是否大于或等于所述候选区域特征图的像素点的尺寸之后,该图像处理方法还包括如下步骤:

s100:若判断所述采样区域的尺寸小于所述候选区域特征图的像素点的尺寸,则根据所述候选区域特征图中与所述采样区域相交的各个相交像素点的像素值,以及所述采样区域与所述各个相交像素点的相交面积,确定出所述采样区域对应的第二目标像素值。

s110:将所述采样区域对应的第二目标像素值作为所述采样区域的中心点位置的像素值。

如前述,预设采样点是预设配置的,根据预设采样点数p对候选区域中的每个小区域划分出来的采样区域的尺寸,有可能小于候选区域特征图中像素点的尺寸,例如,候选区域是小目标时,映射至输入图像对应的得到的候选区域特征图将比较小,划分出的每个采样区域的尺寸可能小于候选区域特图的像素点的尺寸。

示例性的,如图10所示:可见,小区域划分出的采样区域a、b、c以及d小于像素点的尺寸,则根据所述候选区域特征图中与所述采样区域相交的各个相交像素点的像素值,以及所述采样区域与所述各个相交像素点的相交面积,确定出所述采样区域对应的第二目标像素值。以采样区域b为例,与采样区域b相交的各个相交像素点分别为像素点5和6,分别记像素点5的像素值为a5,像素点6的像素值为a6,采样区域b与像素点5和6的相交面积分别记为c5b、c6b,则根据a5、a6、c5b以及c6b确定出采样区域b对应的第二目标像素值,并将采样区域b对应的第二目标像素值作为该采样区域b的中心点位置的像素值。对于尺寸小于候选区域特征图的像素点尺寸的其他采样区域,可基于上述方式,分别确定出采样区域的重中心点位置的像素值,这里不一一重复赘述。

在一实施例中,如图11所示,步骤s100中,若判断所述采样区域的尺寸小于所述候选区域特征图的像素点的尺寸,所述根据所述候选区域特征图中与所述采样区域相交的各个相交像素点的像素值,以及所述采样区域与所述各个相交像素点的相交面积,确定出所述采样区域对应的第二目标像素值,具体包括如下步骤:

s101:分别对应计算所述各个相交像素点的像素值,与所述各个相交像素点的相交面积之间的乘积。

s102:将所述各个相交像素点的像素值,与所述各个相交像素点的相交面积之间的乘积相加,以获得第二乘积和。

s103:计算所述各个相交像素点的相交面积之间的和,以获得第二相交像素点面积和。

s104:计算第二乘积和与所述第二相交像素点面积之间的商,以获得所述采样区域对应的第二目标像素值。

对于步骤s101-s104,请继续参阅图10,以候选区域特征图中的采样区域b为例,在获得为c5b、c6b之后,分别对应计算出相交像素点中各个像素点的像素值与c5b、c6b之间的乘积,也即分别计算出c5b与像素点5的像素值a5的乘积,记为:a5c5b;计算出c6b与像素点6的像素值a6的乘积,记为:a6c6b。

以候选区域特征图中的采样区域b为例,在获得计算出c5b与像素点5的像素值a5的乘积a5c5b,以及计算出c6b与像素点6的像素值a6的乘积a6c6b之后,对乘积进行相加得到第二乘积和,也即:a5c5b+a6c6b。

采样区域b对应的相交像素点的相交面积的和,即第一相交像素点面积和为:c5b+c6b。

第二乘积和与所述第二相交像素点面积之间的商,具体采样以下公式计算:

需要说明的是,本发明实施例中,以采样区域b为例进行说明,对于候选区域特征图中的其他采样区域,均可参阅上述采样区域的b对应的第二目标像素值得计算方式进行计算,这里不重复赘述。

应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。

在一实施例中,提供一种图像处理装置,该图像处理装置与上述实施例中图像处理方法一一对应。如图12所示,该图像处理装置10包括第一获取模块101、第一划分模块102、第二划分模块103、第一确定模块104、第二确定模块105、第三确定模块106和第二获取模块107。各功能模块详细说明如下:

第一获取模块,用于获取候选区域特征图,所述候选区域特征图为将候选区域映射至特征图后所得到的,所述特征图为通过卷积神经网络对输入图像进行特征提取所得到,所述候选区域为根据预设目标检测算法对所述输入图像进行目标区域检测所得到;

第一划分模块,用于根据预设候选区域池化参数将所述第一获取模块获取的所述候选区域特征图划分为nxm个大小等同的小区域,所述n、m为正整数且大于或等于1,所述预设候选区域池化参数包括用于池化处理的宽度参数以及长度参数;

第二划分模块,用于根据预设采样点数p将每个所述第一划分模块划分得到的所述小区域平均划分为p个采样区域,所述p为正整数且大于或等于2;

第一确定模块,用于确定出所述第一获取模块获取的所述候选区域特征图中与所述第二划分模块划分得到的所述采样区域相交的相交像素点;

第二确定模块,用于根据所述第一确定模块确定的所述候选区域特征图中与所述采样区域相交的相交像素点,确定出所述采样区域的中心点位置的像素值;

第三确定模块,用于根据所述第二确定模块确定的所述小区域对应的每个所述采样区域的中心点位置的像素值,对应确定出每个所述小区域的像素值;

第二获取模块,用于根据所述第三确定模块确定的每个所述小区域的像素值获得固定尺寸的所述候选区域特征图。

在一实施例中,所述图像处理装置还包括第四确定模块、生成模块;

所述第四确定模块,用于所述第二确定模块根据所述候选区域特征图中与所述采样区域相交的相交像素点,确定出所述采样区域的中心点位置的像素值之前,判断所述采样区域的尺寸是否大于或等于所述候选区域特征图的像素点的尺寸;

所述生成模块,用于若所述第四确定模块判断所述采样区域的尺寸大于或等于所述候选区域图像的像素点的尺寸,则以所述采样区域的中心点位置为中心生成所述采样区域对应的辅助框,所述辅助框的形状与所述候选区域特征图的像素点相同,所述辅助框的尺寸则小于或等于所述候选区域特征图的像素点的尺寸;

所述第二确定模块,具体用于:根据所述候选区域特征图中与所述采样区域相交的相交像素点,以及所述采样区域对应的辅助框,确定所述采样区域的中心点位置的像素值。

在一实施例中,所述第二确定模块用于根据所述候选区域特征图中与所述采样区域相交的相交像素点,以及所述采样区域对应的辅助框,确定所述采样区域的中心点位置的像素值,包括:

所述第二确定模块用于:

获取所述采样区域对应的辅助框分别和所述相交像素点中各个像素点的相交面积;

根据所述采样区域对应的辅助框与所述各个像素点的相交面积,以及所述各个像素点的像素值,确定出所述采样区域对应的第一目标像素值;

将所述采样区域对应的第一目标像素值,作为所述采样区域的中心点位置的像素值。

在一实施例中,所述第二确定模块用于所述根据所述采样区域对应的辅助框与所述各个像素点的相交面积,以及所述各个像素点的像素值,确定出所述采样区域对应的第一目标像素值,包括:

所述第二确定模块具体用于:

分别对应计算所述各个像素点的像素值与所述各个像素点的相交面积之间的乘积;

将所述各个像素点的像素值与所述各个像素点的相交面积之间的乘积相加,以得到第一乘积和;

计算所述各个像素点的相交面积的和,以得到第一相交像素点面积和;

计算第一乘积和与所述第一相交像素点面积之间的商,以获得所述采样区域对应的第一目标像素值。

在一实施例中,所述图像处理装置还包括第五确定模块:

所述第五确定模块:所述判断所述采样区域的尺寸是否大于或等于所述候选区域特征图的像素点的尺寸之后,若判断所述采样区域的尺寸小于所述候选区域特征图的像素点的尺寸,则根据所述候选区域特征图中与所述采样区域相交的各个相交像素点的像素值,以及所述采样区域与所述各个相交像素点的相交面积,确定出所述采样区域对应的第二目标像素值;

将所述采样区域对应的第二目标像素值作为所述采样区域的中心点位置的像素值。

在一实施例中,第五确定模块用于所述根据所述候选区域特征图中与所述采样区域相交的各个相交像素点的像素值,以及所述采样区域与所述各个相交像素点的相交面积,确定出所述采样区域对应的第二目标像素值,包括:

第五确定模块,具体用于:

分别对应计算所述各个目标相交像素点的像素值,与所述各个目标相交像素点的相交面积之间的乘积;

将所述各个相交像素点的像素值,与所述各个相交像素点的相交面积之间的乘积相加,以获得第二乘积和;

计算所述各个相交像素点的相交面积之间的和,以获得第二相交像素点面积和;

计算第二乘积和与所述第二相交像素点面积之间的商,以获得所述采样区域对应的第二目标像素值。

关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定,在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储特征图等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。

在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:

获取候选区域特征图,所述候选区域特征图为将候选区域映射至特征图后所得到的,所述特征图为通过卷积神经网络对输入图像进行特征提取所得到,所述候选区域为根据预设目标检测算法对所述输入图像进行目标区域检测所得到;

根据预设候选区域池化参数将所述候选区域特征图划分为nxm个大小等同的小区域,所述n、m为正整数且大于或等于1,所述预设候选区域池化参数包括用于池化处理的宽度参数以及长度参数;

根据预设采样点数p将每个所述小区域平均划分为p个采样区域,所述p为正整数且大于或等于2;

确定出所述候选区域特征图中与所述采样区域相交的相交像素点;

根据所述候选区域特征图中与所述采样区域相交的相交像素点,确定出所述采样区域的中心点位置的像素值;

根据所述小区域对应的每个所述采样区域的中心点位置的像素值,对应确定出每个所述小区域的像素值;

根据每个所述小区域的像素值获得固定尺寸的所述候选区域特征图。

在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:

获取候选区域特征图,所述候选区域特征图为将候选区域映射至特征图后所得到的,所述特征图为通过卷积神经网络对输入图像进行特征提取所得到,所述候选区域为根据预设目标检测算法对所述输入图像进行目标区域检测所得到;

根据预设候选区域池化参数将所述候选区域特征图划分为nxm个大小等同的小区域,所述n、m为正整数且大于或等于1,所述预设候选区域池化参数包括用于池化处理的宽度参数以及长度参数;

根据预设采样点数p将每个所述小区域平均划分为p个采样区域,所述p为正整数且大于或等于2;

确定出所述候选区域特征图中与所述采样区域相交的相交像素点;

根据所述候选区域特征图中与所述采样区域相交的相交像素点,确定出所述采样区域的中心点位置的像素值;

根据所述小区域对应的每个所述采样区域的中心点位置的像素值,对应确定出每个所述小区域的像素值;

根据每个所述小区域的像素值获得固定尺寸的所述候选区域特征图。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1