图像特征点检测方法、装置、介质及设备与流程

文档序号:30506989发布日期:2022-06-25 00:39阅读:152来源:国知局
图像特征点检测方法、装置、介质及设备与流程

1.本技术涉及计算机技术领域,具体而言,涉及一种图像特征点检测方法、装置、计算机可读存储介质及电子设备。


背景技术:

2.在图像处理中,常常涉及到需要对图像进行特征点检测,例如在进行场景三维模型的构建时,需要识别场景图像中的特征点,以根据识别到的特征点进行三维模型的构建。
3.但是,传统的特征点检测方法会受图像的光照、噪声、纹理特征等因素的影响,若获取图像的摄像设备较差,或场景的光照不佳、纹理较少等,则会导致图像的特征点检测效果不佳。


技术实现要素:

4.为解决上述技术问题,本技术的实施例提供了一种图像特征点检测方法、装置、计算机可读存储介质及电子设备,以提高图像的特征点检测效果。
5.根据本技术实施例的一个方面,提供了一种图像特征点检测方法,方法包括:对待处理图像进行随机变换处理,得到至少两张变换图像;分别对至少两张变换图像进行特征点检测,得到每张变换图像的特征点检查结果;基于每张变换图像的特征点检查结果,生成每张变换图像对应的初始特征点分布概率图;对每张变换图像对应的初始特征点分布概率图进行融合处理,得到目标特征点分布概率图。
6.在一些实施例中,对待处理图像进行随机变换处理,得到至少两张变换图像,包括:随机生成至少两个单应性变换矩阵;根据每个单应性变换矩阵计算待处理图像中每一像素点的单应性,得到每一像素点的随机单应性变换结果;根据随机单应性变换结果,得到至少两张变换图像。
7.在一些实施例中,分别对至少两张变换图像进行特征点检测,得到每张变换图像的特征点检查结果,包括:将至少两张变换图像分别输入至检测网络中,得到每张变换图像中每一区域对应的特征点概率;根据每张变换图像中每一区域对应的特征点概率,得到每张变换图像的特征点检查结果。
8.在一些实施例中,将至少两张变换图像分别输入至检测网络中,得到每张变换图像中每一区域对应的特征点概率,包括:根据检测网络中含有的多个级联的残差网络对每张变换图像进行特征提取,得到每张变换图像对应的特征提取结果;分别对每张变换图像对应的特征提取结果进行解码处理,得到每张变换图像中每一区域对应的特征点概率。
9.在一些实施例中,对每张变换图像对应的初始特征点分布概率图进行融合处理,得到目标特征点分布概率图,包括:获取每张变换图像对应的初始特征点分布概率图中每一区域对应的特征点概率;对每个初始特征点分布概率图中每一区域对应的特征点概率进行叠加处理,得到待处理图像对应的目标特征点分布概率图。
10.在一些实施例中,对每个初始特征点分布概率图中每一区域对应的特征点概率进
行叠加处理,得到待处理图像对应的目标特征点分布概率图,包括:对每张初始特征点分布概率图进行随机变换处理的逆运算处理,得到每张初始特征点分布概率图对应的中间特征点分布概率图;根据每张中间特征点分布概率图中属于同一区域的特征点概率,得到区域的特征点目标概率;根据像素点的特征点目标概率,得到待处理图像对应的目标特征点分布概率图。
11.在一些实施例中,对每张初始特征点分布概率图进行随机变换处理的逆运算处理,得到每张初始特征点分布概率图对应的中间特征点分布概率图,包括:获取每张初始特征点分布概率图对应的变换图像在随机变换处理过程中的变换矩阵;根据变换矩阵得到变换逆矩阵;根据变换逆矩阵计算每张初始特征点分布概率图中每一像素点的位置信息,得到每张初始特征点分布概率图对应的中间特征点分布概率图。
12.根据本技术实施例的一个方面,提供了一种图像特征点检测装置,装置包括:图像变换模块,配置为对待处理图像进行随机变换处理,得到至少两张变换图像;特征点检测模块,配置为分别对至少两张变换图像进行特征点检测,得到每张变换图像的特征点检查结果;分布概率图获取模型,配置为基于每张变换图像的特征点检查结果,生成每张变换图像对应的初始特征点分布概率图;结果获取模块,配置为对每张变换图像对应的初始特征点分布概率图进行融合处理,得到目标特征点分布概率图。
13.根据本技术实施例的一个方面,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如上的图像特征点检测方法。
14.根据本技术实施例的一个方面,提供了一种电子设备,包括一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被电子设备执行时,使得电子设备实现如上的图像特征点检测方法。
15.在本技术的实施例提供的技术方案中,通过对待处理图像进行随机变换处理,得到至少两张变换图像;分别对至少两张变换图像进行特征点检测,得到每张变换图像的特征点检查结果;基于每张变换图像的特征点检查结果,生成每张变换图像对应的初始特征点分布概率图;对每张变换图像对应的初始特征点分布概率图进行融合处理,得到目标特征点分布概率图。由于每张变换图像都是由待处理图像变换而来,使每张变换图像在包含有待处理图像的信息内容的前提下,每张变换图像之间还存在差异,即通过对每张变换图像均进行特征点检测处理,达到对待处理图像进行多次不同的特征点检测处理的效果,进而得到多个特征点检测结果,即得到多个初始特征点分布概率图。然后,通过对多个初始特征点分布概率图进行融合,以综合每次特征点检测处理得到的特征点检测结果,得到目标特征点分布概率图,使目标特征点分布概率图更加精准,降低了特征点检测的漏检率,且该特征点检测方法具有更好的鲁棒性。
16.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本技术。
附图说明
17.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本技术的实施例,并与说明书一起用于解释本技术的原理。显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术者来讲,在不付出创造性劳动的前提下,还可以根据这
些附图获得其他的附图。在附图中:
18.图1是本技术的一示例性实施例示出的应用环境的示意图;
19.图2是本技术的一示例性实施例示出的图像特征点检测方法的流程图;
20.图3是本技术的一示例性实施例示出的对待处理图像进行随机变换处理的示意图;
21.图4是本技术的一示例性实施例示出的对变换图像进行特征点检测的示意图;
22.图5是本技术的一示例性实施例示出的单个检测网络的示意图;
23.图6是本技术的一示例性实施例示出的单个残差块的示意图;
24.图7是本技术的一示例性实施例示出的对变换图像中各个区域存在特征点的概率进行标记的示意图;
25.图8是本技术的一示例性实施例示出的根据初始特征点分布概率图得到中间特征点分布概率图的示意图;
26.图9是本技术的一示例性实施例示出的图像特征点检测方法的示意图;
27.图10是本技术的一示例性实施例示出的图像特征点检测装置的示意图;
28.图11是本技术的一示例性实施例示出的电子设备的计算机系统的结构示意图。
具体实施方式
29.这里将详细地对示例性实施例执行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相同的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本技术的一些方面相同的装置和方法的例子。
30.附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用应用程序形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
31.附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
32.需要说明的是,在本技术中提及的“多个”是指两个或者两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
33.相关技术中对图像进行特征点检测时,可能存在获取图像时的光照不足、图像数据中的不必要的或多余的干扰信息、图像纹理特征较少等问题,如在需要对服务器机房进行三维空间重建,需要获取服务器机房的场景图像进行特征点检测时,获取到的场景图像则会存在上述问题,从而导致特征点检测的效果较差。
34.因此,本技术提供一种图像特征点检测方法,通过对待处理图像进行随机变换处理,得到至少两张变换图像;分别对至少两张变换图像进行特征点检测,得到每张变换图像的特征点检查结果;基于每张变换图像的特征点检查结果,生成每张变换图像对应的初始特征点分布概率图;对每张变换图像对应的初始特征点分布概率图进行融合处理,得到目
标特征点分布概率图,提高了特征点检测的效果。
35.可选地,在本实施例中,上述图像特征点检测方法可以应用于如图1所示的由服务端110和终端120所构成的硬件环境中。图1是本技术实施例的一种图像特征点检测方法的硬件环境的示意图,如图1所示,服务端110通过网络与终端120进行连接,上述网络包括但不限于:广域网、城域网或局域网。
36.其中,服务端110指的是图像特征点检测方法所对应的服务器;其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network,简称cdn)以及大数据和人工智能平台等基础云计算服务的云服务器,本技术对此不进行限定。
37.其中,终端120可以是智能手机、平板、笔记本电脑、计算机、车载终端等电子设备,本技术对此不进行限定。
38.本技术实施例的图像特征点检测方法可以由服务端110来执行,也可以由终端120来执行,还可以是由服务端110和终端120共同执行。其中,终端120执行本技术实施例的图像特征点检测方法也可以是由安装在其上的客户端来执行。
39.请参阅图2,图2是本技术的一个实施例示出的图像特征点检测方法的流程图。如图2所示,图像特征点检测方法至少包括步骤s210至步骤s240,详细介绍如下:
40.步骤s210、对待处理图像进行随机变换处理,得到至少两张变换图像。
41.本技术实施例通过获取待处理图像,然后对待处理图像进行至少两次随机变换处理,每次随机变换处理所使用的处理参数不同,以使每次随机变换处理得到的变换图像之间不同。
42.其中,获取待处理图像的方式可以根据具体场景而有所不同。例如,可以预先将待处理图像保存至计算机设备中的存储器中,如此,获取待处理图像,即为获取计算机设备的存储器中保存的待处理图像;还可以是用户直接输入待处理图像,当计算机设备需要获取待处理图像时,接收用户的图像输入操作,以得到待处理图像;还可以是计算机设备连接有图像获取装置,通过该图像获取装置实时采集当前视场范围内的待处理图像,或者获取预先存储的视频帧序列对应的视频帧,将预先存储的视频帧作为待处理图像。计算机设备还可以通过其他的方式获取待处理图像,本技术不对待处理图像的获取方式进行限定。
43.可选地,该图像特征点检测方法还包括将所获取的待处理图像进行预处理的步骤。示例性地,将所获取的待处理图像进行预处理,可以包括对待处理图像进行噪点去除、明度增强等。其中,对待处理图像进行噪点去除可以采用降噪算法过滤掉待处理图像中的杂色和噪点;对待处理图像进行明度增强是可以采用调整rgb色彩分布、更换明度提取算法、锐化处理、增强对比度、边缘增强等。将所获取的待处理图像进行预处理,以避免待处理图像本身存在的缺陷导致的后续处理出现误差的情况。
44.本实施例中,对待处理图像进行随机变换处理所采用的变换方法可以是图像空域变换,图像空域变换又称为图像几何变换,它将一幅图像中的坐标位置映射到另一幅图像中的新坐标位置,图像几何变换不改变图像的像素值,只是在图像平面上进行像素的重新安排。其中,图像几何变换包括但不限于单应性变换、相似变换、仿射变换等。
45.本实施例中,对待处理图像进行随机变换处理所采用的变换方法还可以是图像值
域变换,图像值域变换是指按照一定的变换关系逐点改变原图像中每个像素值的方法。其中,图像值域变换包括但不限于灰度变换、直方图变换、对数变换等。
46.以下以单应性变换为例,对本技术的图像特征点检测方法的具体步骤进行示例性说明,但可以理解的是,本技术中随机变换处理所采用的具体变换方法并不限于单应性变换方法,其具体变换方法可以根据实际应用场景进行选择,本技术对此不做限制。
47.在一些实施方式中,对待处理图像进行随机变换处理,得到至少两张变换图像,包括:随机生成至少两个单应性变换矩阵;根据每个单应性变换矩阵计算待处理图像中每一像素点的单应性,得到每一像素点的随机单应性变换结果;根据随机单应性变换结果,得到至少两张变换图像。
48.单应性变换是指对待处理图像进行从一个视角到另一个视角的变换,既将一个平面内的点映射到另一个平面内的二维投影变换,用来描述两个平面的坐标系之间的位置映射关系,对应的变换矩阵称为单应性变换矩阵。单应性变换是齐次坐标下非奇异的线性变换,有一项不变性,那就是在原图中保持共线的3个点,变换后仍旧共线。
49.示例性地,对待处理图像进行单应性变换的计算方法可以如公式1所示:
50.公式1:
51.其中,x为待处理图像中像素点的坐标;x

为待处理图像中像素点在进行单应性变换后的坐标;h为单应性变换矩阵;单应性变换矩阵中a代表仿射变换参数,为2*2的非奇异矩阵,可以表示为r(θ)以及为旋转矩阵,d为对角矩阵;单应性变换矩阵中t代表平移变换参数;v
t
代表变换后边缘交点关系;v代表一个与v
t
相关的缩放因子,一般情况下都会通过归一化使得v=1。
52.请参阅图3,图3为对待处理图像进行随机变换处理的示意图。如图3所示,随机生成至少两个单应性变换矩阵,如单应性变换矩阵1、单应性变换矩阵2...单应性变换矩阵n,每个单应性变换矩阵之间不同,然后,通过每个单应性变换矩阵对待处理图像均进行一次随机变换处理,以将待处理图像中每一像素点映射至另一图像空间中,进而得到每个单应性变换矩阵对应的变换图像。如根据单应性变换矩阵1对待处理图像进行随机变换处理,得到变换图像1;根据单应性变换矩阵2对待处理图像进行随机变换处理,得到变换图像2;以此类推,根据单应性变换矩阵n对待处理图像进行随机变换处理,得到变换图像n。
53.通过对待处理图像进行随机变换处理,得到至少两张变换图像,以将该至少两张变换图像均作为特征点检测的对象。
54.步骤s220、分别对至少两张变换图像进行特征点检测,得到每张变换图像的特征点检查结果。
55.其中,特征点是指图像中具有表征能力的关键点,通过对每张变换图像进行特征点检测,以得到每张变换图像的特征点检测结果,特征点检测结果包括该变换图像中存在的特征点的情况。
56.在一些实施方式中,分别对至少两张变换图像进行特征点检测,得到每张变换图像的特征点检查结果,包括:将至少两张变换图像分别输入至检测网络中,得到每张变换图像中每一区域对应的特征点概率;根据每张变换图像中每一区域对应的特征点概率,得到每张变换图像的特征点检查结果。
57.其中,检测网络是用来对变换图像进行特征点识别的模型。
58.请参阅图4,图4为本技术实施例中对变换图像进行特征点检测的示意图。如图4所示,特征点检测模型包括n个检测网络,每个检测网络之间参数共享,即每个检测网络之间的网络模型参数相同。将n张变换图像分别输入至已训练好的n个检测网络中,首先检测网络对变换图像进行图像特征提取,再通过检测网络中的特征点定位层对提取出的图像特征进行计算,分别输出变换图像对应的特征点分布信息,得到特征点检查结果。例如,将变换图像1输入检测网络1中,得到特征点检查结果1;将变换图像2输入检测网络2中,得到特征点检查结果2;以此类推,将变换图像n输入检测网络n中,得到特征点检查结果n。
59.示例性地,特征点检查结果包括变换图像中各个区域存在特征点的概率信息,可以是表示变换图像中各个像素点对应的坐标信息下存在特征点的概率值,具体可根据特征点检查结果得知变换图像中各个位置的特征点分布概率。
60.可选地,将变换图像输入至已训练好的检测网络后,检测网络的特征提取层提取变换图像对应的图像特征,将提取出的图像特征输入至检测网络中的特征点定位层中,特征点定位层根据输入的图像特征输出该变换图像各个位置对应的特征点概率信息。其中,特征点概率信息包括变换图像中各个位置的特征点的概率信息,这里的位置包括但不限于变换图像中各个像素点对应的坐标信息等。
61.可以理解的是,特征点检测模型中可以仅包括一个检测网络,当输入为变换图像1时,该检测网络为检测网络1,以得到检测网络1输出的特征点检查结果1;当输入为变换图像2时,该检测网络为检测网络2,以得到检测网络2输出的特征点检查结果2;以此类推,当输入为变换图像n时,该检测网络为检测网络n,以得到检测网络n输出的特征点检查结果n。
62.在一些实施方式中,将至少两张变换图像分别输入至检测网络中,得到每张变换图像中每一区域对应的特征点概率,包括:根据检测网络中含有的多个级联的残差网络对每张变换图像进行特征提取,得到每张变换图像对应的特征提取结果;分别对每张变换图像对应的特征提取结果进行解码处理,得到每张变换图像中每一区域对应的特征点概率。
63.请参阅图5,图5为单个检测网络的示意图。如图5所示,检测网络包括编码层以及解码层,编码层包括多个级联的残差网络,解码层包括两层卷积神经网络(convolutional neural networks,简称cnn)。
64.其中,编码层包括两个级联的残差块,一张变换图像输入到残差网络当中,经过两个残差块结构,生成输出结果。残差块的级联方式如图5所示,图5中第一残差块包含有第二残差块,第一残差块与第二残差块共同组成了嵌套形式的残差块结构,第一残差块的输入与变换图像尺寸一致,第二残差块的输入为变换图像尺寸的一半。其中,单个残差块的结构如图6所示,其中,weight layer表示权重层,权重层的实现采用了卷积层的操作,残差块的输入表示为x,残差块的输出表示为f(x)+x,f(x)表示要学习的残差映射,relu表示自适应参数化relu激活函数,identity表示恒等映射,恒等映射路径中经过卷积神经网络conv进行升维或采样。在本技术实施例中,第一个残差块的x表示变换图像,第一个残差块的输出f(x)+x表示输出的该变换图像对应的特征提取结果。
65.可以理解的是,编码层中级联的残差网络的数量可以根据实际应用情况进行选择,本技术对此不做限定。
66.然后,将编码层输出的特征提取结果输入解码层中,解码层中的多层感知器
(multi-layer perceptron,简称mlp)、激活函数softmax以及两层卷积神经网络,通过解码层进行特征点识别,生成h/8*w/8*64的特征层,该特征层中的每个元素表示变换图像中对应8*8局部区域包含特征点的概率,然后采用reshape函数,将该特征层的尺寸调整为变换图像对应的尺寸,得到该变换图像中每一区域对应的特征点概率,进而将该变换图像中每一区域对应的特征点概率作为该变换图像的特征点检查结果。
67.步骤s230、基于每张变换图像的特征点检查结果,生成每张变换图像对应的初始特征点分布概率图。
68.其中,初始特征点分布概率图用于表征变换图像中各个区域存在特征点的概率情况。
69.示例性地,可以在变换图像中各个区域存在特征点的概率进行标记,得到初始特征点分布概率图,以展示特征点的分布情况。例如,通过热力图的形式,根据特征点的概率对变换图像中各个区域进行高光标记;如图7所示,图7为对变换图像中各个区域存在特征点的概率进行标记后得到的初始特征点分布概率图,其中,在各个区域中,通过不同标记对不同概率值进行表示,如第一区域存在特征点的概率大于90%,则通过第一颜色的点对该区域进行标记,第二区域存在特征点的概率小于90%大于70%,则通过第二颜色的点对该区域进行标记,第三区域存在特征点的概率小于70%,则通过第三颜色的点对该区域进行标记,以得到标记后的初始特征点分布概率图。
70.步骤s240、对每张变换图像对应的初始特征点分布概率图进行融合处理,得到目标特征点分布概率图。
71.其中,融合处理是指综合每张变换图像对应的初始特征点分布概率图,以得到目标特征点分布概率图。
72.通过对初始特征点分布概率图进行融合处理,使得到的目标特征点分布概率图中包含的特征点信息更加全面及准确。
73.在一些实施方式中,将每张变换图像对应的初始特征点分布概率图进行融合处理,得到目标特征点分布概率图,包括:获取每张变换图像对应的初始特征点分布概率图中每一区域对应的特征点概率;对每个初始特征点分布概率图中每一区域对应的特征点概率进行叠加处理,得到待处理图像对应的目标特征点分布概率图。
74.示例性地,对初始特征点分布概率图进行融合处理可以是对每张初始特征点分布概率图的特征点信息进行叠加处理,例如初始特征点分布概率图a中的第一区域中包括第一特征点,初始特征点分布概率图b中的第一区域中包括第二特征点以及第三特征点,则对初始特征点分布概率图a以及初始特征点分布概率图b进行融合处理后,得到的目标特征点分布概率图中的第一区域中包括第一特征点、第二特征点以及第三特征点。
75.在一些实施方式中,对每个初始特征点分布概率图中每一区域对应的特征点概率进行叠加处理,得到待处理图像对应的目标特征点分布概率图,包括:对每张初始特征点分布概率图进行随机变换处理的逆运算处理,得到每张初始特征点分布概率图对应的中间特征点分布概率图;根据每张中间特征点分布概率图中属于同一区域的特征点概率,得到该区域的特征点目标概率;根据像素点的特征点目标概率,得到待处理图像对应的目标特征点分布概率图。
76.为了方便对每张初始特征点分布概率图进行叠加处理,可以先对每张初始特征点
分布概率图进行随机变换处理的逆运算处理,其中,对初始特征点分布概率图进行随机变换处理的逆运算处理可以包括:获取每张初始特征点分布概率图对应的变换图像在随机变换处理过程中的变换矩阵;根据变换矩阵得到变换逆矩阵;根据变换逆矩阵计算每张初始特征点分布概率图中每一像素点的位置信息,得到每张初始特征点分布概率图对应的中间特征点分布概率图。
77.请参阅图8,图8为根据初始特征点分布概率图得到中间特征点分布概率图的示意图。如图8所示,获取初始特征点分布概率图a对应的变换图像a在随机变换处理过程中的变换矩阵a,根据该变换矩阵a得到变换逆矩阵a

,然后根据变换逆矩阵a

对初始特征点分布概率图进行随机变换处理的逆运算处理,以得到中间特征点分布概率图a,其中,中间特征点分布概率图a的像素排列格式与待处理图像的像素排列格式一致。
78.然后,根据每张中间特征点分布概率图中属于同一区域的特征点概率,得到该区域的特征点目标概率。
79.例如,初始特征点分布概率图a中的第一区域中包括第一特征点的概率为90%,初始特征点分布概率图b中的第一区域中包括第一特征点的概率为80%,则对初始特征点分布概率图a以及初始特征点分布概率图b进行融合处理后,得到第一区域的第一特征点目标概率可以是各个初始特征点分布概率图b中的第一特征点概率平均值,则得到的目标特征点分布概率图中的第一区域中包括第一特征点的目标概率为85%;得到第一区域的第一特征点目标概率还可以是各个初始特征点分布概率图b中的第一特征点概率最大值,则得到的目标特征点分布概率图中的第一区域中包括第一特征点的目标概率为90%。本技术不对特征点目标概率的具体计算方法进行限定。
80.可以理解的是,本技术实施例中对初始特征点分布概率图进行融合处理的具体方法可以根据实际应用情况进行选择,本技术对此不做限定。
81.以下对本技术实施例的一个具体应用场景进行详细说明:
82.请参阅图9,图像特征点检测方法包括图像预处理步骤、特征点检测步骤以及检测结果获取步骤。图像预处理步骤包括:获取待处理图像,对待处理图像进行随机变换处理,得到n张不同的变换图像。特征点检测步骤包括:将图像预处理步骤得到的n张不同的变换图像分别输入至n个检测网络中,以通过检测网络对变换图像进行特征点识别,得到n张初始特征点分布概率图,其中,每个检测网络之间参数共享。检测结果获取步骤包括:对特征点检测步骤得到的n张初始特征点分布概率图进行融合处理,以综合每个变换图像对应的特征点信息,得到目标特征点分布概率图。
83.本技术提供的图像特征点检测方法,通过对待处理图像进行随机变换处理,得到至少两张变换图像;分别对至少两张变换图像进行特征点检测,得到每张变换图像的特征点检查结果;基于每张变换图像的特征点检查结果,生成每张变换图像对应的初始特征点分布概率图;对每张变换图像对应的初始特征点分布概率图进行融合处理,得到目标特征点分布概率图。由于每张变换图像都是由待处理图像变换而来,使每张变换图像在包含有待处理图像的信息内容的前提下,每张变换图像之间还存在差异,即通过对每张变换图像均进行特征点检测处理,达到对待处理图像进行多次不同的特征点检测处理的效果,进而得到多个特征点检测结果,即得到多个初始特征点分布概率图。然后,通过对多个初始特征点分布概率图进行融合,以综合每次特征点检测处理得到的特征点检测结果,得到目标特
征点分布概率图,使目标特征点分布概率图更加精准,降低了特征点检测的漏检率,且该特征点检测方法具有更好的鲁棒性。
84.图10是本技术的一个实施例示出的图像特征点检测装置的框图,如图10所示,该装置包括:
85.图像变换模块1010,配置为对待处理图像进行随机变换处理,得到至少两张变换图像;
86.特征点检测模块1020,配置为分别对至少两张变换图像进行特征点检测,得到每张变换图像的特征点检查结果;
87.分布概率图获取模块1030,配置为基于每张变换图像的特征点检查结果,生成每张变换图像对应的初始特征点分布概率图;
88.结果获取模块1040,配置为对每张变换图像对应的初始特征点分布概率图进行融合处理,得到目标特征点分布概率图。
89.在本技术的一个实施例中,图像变换模块1010可以包括:
90.矩阵生成单元,配置为随机生成至少两个单应性变换矩阵;
91.变换计算单元,配置为根据每个单应性变换矩阵计算待处理图像中每一像素点的单应性,得到每一像素点的随机单应性变换结果;
92.变换图像获取单元,配置为根据随机单应性变换结果,得到至少两张变换图像。
93.在本技术的一个实施例中,特征点检测模块1020可以包括:
94.特征点概率检测单元,配置为将至少两张变换图像分别输入至检测网络中,得到每张变换图像中每一区域对应的特征点概率;
95.结果获取单元,配置为根据每张变换图像中每一区域对应的特征点概率,得到每张变换图像的特征点检查结果。
96.在本技术的一个实施例中,特征点概率检测单元可以包括:
97.特征提取单元,配置为根据检测网络中含有的多个级联的残差网络对每张变换图像进行特征提取,得到每张变换图像对应的特征提取结果;
98.解码单元,配置为分别对每张变换图像对应的特征提取结果进行解码处理,得到每张变换图像中每一区域对应的特征点概率。
99.在本技术的一个实施例中,结果获取模块1040可以包括:
100.第一处理单元,配置为获取每张变换图像对应的初始特征点分布概率图中每一区域对应的特征点概率;
101.第二处理单元,配置为对每个初始特征点分布概率图中每一区域对应的特征点概率进行叠加处理,得到待处理图像对应的目标特征点分布概率图。
102.在本技术的一个实施例中,第二处理单元可以包括:
103.逆运算单元,配置为对每张初始特征点分布概率图进行随机变换处理的逆运算处理,得到每张初始特征点分布概率图对应的中间特征点分布概率图;
104.目标概率获取单元,配置为根据每张中间特征点分布概率图中属于同一区域的特征点概率,得到区域的特征点目标概率;
105.概率分布图获取单元,配置为根据像素点的特征点目标概率,得到待处理图像对应的目标特征点分布概率图。
106.在本技术的一个实施例中,逆运算单元可以包括:
107.第一矩阵获取单元,配置为获取每张初始特征点分布概率图对应的变换图像在随机变换处理过程中的变换矩阵;
108.第二矩阵获取单元,配置为根据变换矩阵得到变换逆矩阵;
109.逆变换单元,配置为根据变换逆矩阵计算每张初始特征点分布概率图中每一像素点的位置信息,得到每张初始特征点分布概率图对应的中间特征点分布概率图。
110.图11示出了适于用来实现本技术实施例的电子设备的计算机系统的结构示意图。
111.需要说明的是,图11示出的电子设备的计算机系统1100仅是一个示例,不应对本技术实施例的功能和使用范围带来任何限制。
112.如图11所示,电子设备1100以通用计算设备的形式表现。电子设备1100的组件可以包括但不限于:上述至少一个处理单元1110、上述至少一个存储单元1120、连接不同系统组件(包括存储单元1120和处理单元1110)的总线1130、显示单元1140。
113.其中,存储单元存储有程序代码,程序代码可以被处理单元1110执行,使得处理单元1110执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。
114.存储单元1120可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(ram)1121和/或高速缓存存储单元1122,还可以进一步包括只读存储单元(rom)1123。
115.存储单元1120还可以包括具有一组(至少一个)程序模块1125的程序/实用工具1124,这样的程序模块1125包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
116.总线1130可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
117.电子设备1100也可以与一个或多个外部设备1170(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备1100交互的设备通信,和/或与使得该电子设备1100能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口1150进行。并且,电子设备1100还可以通过网络适配器1160与一个或者多个网络(例如局域网(lan),广域网(wan)和/或公共网络,例如因特网)通信。如图所示,网络适配器1160通过总线1130与电子设备1100的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备1100使用其它硬件和/或应用程序模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
118.特别地,根据本技术的实施例,上文参考流程图描述的过程可以被实现为计算机应用程序。例如,本技术的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的计算机程序。在该计算机程序被处理单元1110执行时,执行本技术的系统中限定的各种功能。
119.需要说明的是,本技术实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读
存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(erasable programmable read only memory,eprom)、闪存、光纤、便携式紧凑磁盘只读存储器(compact disc read-only memory,cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
120.描述于本技术实施例中所涉及到的单元可以通过应用程序的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
121.本技术的另一方面还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如前的图像特征点检测方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的,也可以是单独存在,而未装配入该电子设备中。
122.本技术的另一方面还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各个实施例中提供的图像特征点检测方法。
123.上述内容,仅为本技术的较佳示例性实施例,并非用于限制本技术的实施方案,本领域普通技术人员根据本技术的主要构思和精神,可以十分方便地进行相应的变通或修改,故本技术的保护范围应以权利要求书所要求的保护范围为准。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1