[0001]
本发明涉及信息技术领域,尤其涉及一种滑块校验的自动化处理方法、装置、设备及介质。
背景技术:[0002]
自动化登陆验证是常见的前端自动化操作。在对滑块验证进行自动化操作时,现有技术主要通过对比图像像素点的差异来识别滑块图片的当前位置以及目标滑动位置。这种方式在滑块和背景图像的色差较大时效果非常好,但是由于仅关注于展示出来的组合图片本身,在滑块和背景图像的差异较小时,无法准确找到目标滑动位置,自动化登录的效果并不理想。
技术实现要素:[0003]
本发明实施例提供了一种滑块校验的自动化处理方法、装置、设备及介质,以解决现有技术在进行滑块校验的自动化操作时无法准确找到目标滑动位置的问题。
[0004]
一种滑块校验的自动化处理方法,包括:
[0005]
获取校验页面上的滑块图像及其对应的背景图像;
[0006]
根据所述滑块图像在所述背景图像中的位置信息执行图像裁剪,得到所述位置信息对应的水平区域图像,其中,所述水平区域图像包括所述滑块图像以及所述背景图像中预设的目标滑动位置;
[0007]
对所述滑块图像进行特征提取,得到所述滑块图像的特征边,所述滑块图像的特征边为所述滑块图像中包含特征点最多的边,以及获取各特征点的位置信息;
[0008]
从所述水平区域图像截取除所述滑块图像外的区域作为轨道图像,对所述轨道图像进行特征提取,得到所述轨道图像的特征边,所述轨道图像的特征边为所述轨道图像中包含特征点最多的边,以及获取各特征点的位置信息;
[0009]
对所述滑块图像的特征边上的特征点和所述轨道图像的特征边上的特征点进行位置信息匹配以及特征点数量匹配;
[0010]
当匹配满足预设条件时,根据所述轨道图像的特征边、滑块图像的形状、尺寸信息还原出目标滑动位置;
[0011]
根据所述轨道图像的特征边上的特征点的位置信息匹配结果,计算所述滑块图像的滑动距离;
[0012]
根据所述滑动距离和还原出来的所述目标滑动位置,移动所述滑块图像,以完成滑块校验操作。
[0013]
可选地,所述根据所述滑块图像在所述背景图像中的位置信息执行图像裁剪,得到所述位置信息对应的水平区域图像包括:
[0014]
对所述滑块图像和背景图像进行相似度匹配,得到所述滑块图像的形状、尺寸信息以及在所述背景图像中的位置信息;
[0015]
根据所述位置信息对所述背景图像进行图像裁剪,得到所述位置信息对应的水平区域图像。
[0016]
可选地,所述对所述滑块图像进行特征提取,得到所述滑块图像的特征边,所述滑块图像的特征边为所述滑块图像中包含特征点最多的边,以及获取各特征点的位置信息包括:
[0017]
对所述滑块图像进行二值化处理,得到所述滑块图像对应的灰度图像;
[0018]
对所述灰度图像进行特征点提取,并按照特征点的坐标信息对所述特征点进行分类;
[0019]
选取特征点最多的分类,以所述特征点最多的分类作为所述滑块图像的特征边;
[0020]
获取所述滑块图像的特征边中每一个特征点相对于预设原点的坐标信息。
[0021]
可选地,所述对所述轨道图像进行特征提取,得到所述轨道图像的特征边,所述轨道图像的特征边为所述轨道图像中包含特征点最多的边,以及获取各特征点的位置信息包括:
[0022]
对所述轨道图像进行二值化处理,得到所述轨道图像对应的灰度图像;
[0023]
对所述灰度图像进行特征点提取,并按照特征点的坐标信息对所述特征点进行分类;
[0024]
选取特征点最多的分类,以所述特征点最多的分类作为所述轨道图像的特征边;
[0025]
获取所述轨道图像的特征边中每一个特征点相对于预设原点的坐标信息。
[0026]
可选地,所述对所述滑块图像的特征边上的特征点和所述轨道图像的特征边上的特征点进行位置信息匹配包括:
[0027]
按照预设方式对所述滑块图像的特征边上的特征点和所述轨道图像的特征边上的特征点进行配对,得到若干特征点对;
[0028]
计算每一特征点对中所述滑块图像的特征点和所述轨道图像的特征点之间的横坐标差值,得到横坐标差值集合;
[0029]
计算每一特征点对中所述滑块图像的特征点和所述轨道图像的特征点之间的纵坐标差值,得到纵坐标差值集合;
[0030]
判断所述纵坐标差值集合中的每一个纵坐标差值是否均小于或等于第一像素阈值且所述横坐标差值集合中的任意两个横坐标差值的差值是否均小于或等于第二像素阈值。
[0031]
可选地,所述当匹配满足预设条件时,根据所述轨道图像的特征边、滑块图像的形状、尺寸信息还原出目标滑动位置包括:
[0032]
当所述滑块图像的特征边对应的特征点数量和轨道图像的特征边对应的特征点数量相同或者落在预设数量范围内,且所述纵坐标差值集合中的每一个纵坐标差值均小于或等于第一像素阈值,且所述横坐标差值集合中的任意两个横坐标差值的差值均小于或等于第二像素阈值时,根据所述轨道图像的特征边、滑块图像的形状、尺寸信息还原出目标滑动位置。
[0033]
可选地,所述按照预设方式对所述滑块图像的特征边上的特征点和所述轨道图像的特征边上的特征点进行配对,得到若干特征点对包括:
[0034]
将落在同一水平线上的所述滑块图像的特征边上的特征点和所述轨道图像的特
征边上的特征点进行配对,得到若干特征点对;和/或
[0035]
按照预设的水平距离将所述滑块图像的特征边上的特征点和所述轨道图像的特征边上的特征点进行配对,得到若干特征点对;
[0036]
其中,每一所述特征点对包括一个滑块图像的特征点和一个轨道图像的特征点。
[0037]
一种滑块校验的自动化处理装置,包括:
[0038]
获取模块,用于获取校验页面上的滑块图像及其对应的背景图像;
[0039]
裁剪模块,用于根据所述滑块图像在所述背景图像中的位置信息执行图像裁剪,得到所述位置信息对应的水平区域图像,其中,所述水平区域图像包括所述滑块图像以及所述背景图像中预设的目标滑动位置;
[0040]
第一特征提取模块,用于对所述滑块图像进行特征提取,得到所述滑块图像的特征边,所述滑块图像的特征边为所述滑块图像中包含特征点最多的边,以及获取各特征点的位置信息;
[0041]
第二特征提取模块,用于从所述水平区域图像截取除所述滑块图像外的区域作为轨道图像,对所述轨道图像进行特征提取,得到所述轨道图像的特征边,所述轨道图像的特征边为所述轨道图像中包含特征点最多的边,以及获取各特征点的位置信息;
[0042]
匹配模块,用于对所述滑块图像的特征边上的特征点和所述轨道图像的特征边上的特征点进行位置信息匹配以及特征点数量匹配;
[0043]
还原模块,用于当匹配满足预设条件时,根据所述轨道图像的特征边、滑块图像的形状、尺寸信息还原出目标滑动位置;
[0044]
距离计算模块,用于根据所述轨道图像的特征边上的特征点的位置信息匹配结果,计算所述滑块图像的滑动距离;
[0045]
滑动模块,用于根据所述滑动距离和还原出来的所述目标滑动位置,移动所述滑块图像,以完成滑块校验操作。
[0046]
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述滑块校验的自动化处理方法。
[0047]
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述滑块校验的自动化处理方法。
[0048]
本发明通过将滑块图像与背景图像进行模块匹配获取水平区域图像,消除了背景图像中的绝大部分干扰区域,减少了提供给后续算法的数据处理量,提升了算法性能;同时通过对滑块图像和背景图像进行二值化处理后再提取特征点,减少了图像背景色的干扰,也使得特征边界细节更加明显,减少特征匹配的误差;最后通过对滑块图像和背景图像的特征边上的特征点进行匹配,完成对滑块图像的拖动定位,根据滑动距离和还原出来的目标滑动位置,对滑块图像执行拖动,完成滑块校验操作;有效地解决了现有技术在进行滑块校验的自动化操作时无法准确找到目标滑动位置的问题,提高滑块校验的自动化处理的准确率。
附图说明
[0049]
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所
需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
[0050]
图1是本发明一实施例中滑块校验的自动化处理方法的流程图;
[0051]
图2是本发明一实施例中滑块校验的自动化处理方法中步骤s102的流程图;
[0052]
图3是本发明一实施例中滑块图像及其对应的背景图像的示意图;
[0053]
图4是本发明一实施例中滑块校验的自动化处理方法中步骤s103的流程图;
[0054]
图5是本发明一实施例中滑块校验的自动化处理方法中步骤s104的流程图;
[0055]
图6是本发明一实施例中滑块校验的自动化处理方法中位置信息匹配的流程图;
[0056]
图7是本发明一实施例中滑块校验的自动化处理装置的一原理框图;
[0057]
图8是本发明一实施例中计算机设备的一示意图。
具体实施方式
[0058]
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0059]
以下将对本实施例提供的滑块校验的自动化处理方法进行详细的描述,如图1所示,所述滑块校验的自动化处理方法包括:
[0060]
在步骤s101中,获取校验页面上的滑块图像及其对应的背景图像。
[0061]
在现有的滑块校验中,校验页面上通常包括待用户拖动的滑块图像和滑块图像对应的背景图像。本实施例在启动滑块自动校验后,获取校验页面上的滑块图像及其对应的背景图像。作为本发明的一个优选示例,所述滑块校验优选为拼图滑动校验,所述滑块图像为拼图校验码,所述背景图像为包含与所述拼图校验码匹配的目标滑动位置的图像。在其他实施例中,也可以为其他图案的滑动校验。
[0062]
在步骤s102中,根据所述滑块图像在所述背景图像中的位置信息执行图像裁剪,得到所述位置信息对应的水平区域图像。
[0063]
其中,所述水平区域图像包括所述滑块图像以及所述背景图像中预设的目标滑动位置。由于校验页面上提供的背景图像通常较大,糅合了较多与滑动轨道无用的像素信息。鉴于此,本实施例通过先定位出滑块图像在背景图像中的位置信息,然后基于所述位置信息来进行图像裁剪,以去掉背景图像中除滑动轨道外的无用信息,降低图像处理的工作量,进而提高图像识别的效率。可选地,如图2所示,所述步骤s102包括:
[0064]
在步骤s201中,对所述滑块图像和背景图像进行相似度匹配,得到所述滑块图像的形状、尺寸信息以及在所述背景图像中的位置信息。
[0065]
在这里,所述相似度匹配是指比较所述滑块图像与背景图像的相似度。作为本发明的一个实施例,可采用opencv中的相似度函数对所述滑块图像和背景图像进行相似度匹配。
[0066]
由于所述背景图像中包括所述滑块图像,因此通过相似度匹配,可以从所述背景图像中勾勒出所述滑块图像,得到所述滑块图像的形状、尺寸信息以及所述滑块图像在所
述背景图像中的位置信息。
[0067]
在步骤s202中,根据所述位置信息对所述背景图像进行图像裁剪,得到所述位置信息对应的水平区域图像。
[0068]
由于滑块校验通常是将滑块图像从左边拖动到右边。因此,本实施例从所述滑块图像的位置信息开始向右进行水平延伸,对所述背景图像进行图像截取,得到一个平行区域,作为所述位置信息对应的水平区域图像。
[0069]
为了便于理解,图3为本发明实施例提供的一个滑块图像及其对应的背景图像,其中区域a表示滑块图像,区域b表示背景图像,区域c表示水平区域图像。
[0070]
所述水平区域图像仅保留了所述滑块图像以及所述背景图像中预设的目标滑动位置,从而消除了背景图像中的绝大部分干扰区域,将后续的滑块自动化校验操作聚焦在一个狭窄的水平区域内,极大地减少了后续算法的处理数据,提升了算法的性能。
[0071]
在步骤s103中,对所述滑块图像进行特征提取,得到所述滑块图像的特征边,所述滑块图像的特征边为所述滑块图像中包含特征点最多的边,以及获取各特征点的位置信息。
[0072]
与现有技术不同的是,本发明实施例基于滑块图像的形状来从背景图像中寻找目标滑动位置,以避免滑块图像和背景图像中的像素差的影响。可选地,如图4所示,所述步骤s103包括:
[0073]
在步骤s401中,对所述滑块图像进行二值化处理,得到所述滑块图像对应的灰度图像。
[0074]
滑块图像中的特征信息通常聚集在滑块图像的边界上。鉴于此,本实施例采用二值化处理,将滑块图像转化为灰度图像,使得滑块图像的边界细节更加明显,同时也大大地减少了滑块图像上的背景色彩的干扰,有利于从所述滑块图像上提取特征点。
[0075]
在步骤s402中,对所述灰度图像进行特征点提取,并按照特征点的坐标信息对所述特征点进行分类。
[0076]
在得到灰度图像后,对其进行特征点提取,得到所述滑块图像的特征点以及每一个特征点的坐标信息。如前所述,滑块图像中的特征信息通常聚集在滑块图像的边界上,特征提取后得到的特征点主要体现的是滑块图像的边界信息。本实施例还获取所述特征点的坐标信息,其中,本实施例通过预设原点,所述坐标信息是指所述特征点相对于预设原点的横坐标和纵坐标。可选地,所述预设原点可以为滑块图像的任意顶角,也可以为所述背景图像的任意顶角,此处不做限制。
[0077]
然后按照特征点的坐标信息进行分类,将坐标信息中的横坐标和/或纵坐标相同或相似的特征点划分到同一个类别。其中,横坐标或纵坐标相似,是指横坐标或纵坐标的值落在预设的第一数值范围内,所述预设的第一数值范围根据滑块图像的位置信息与预设原点的距离决定。由于所述滑块图像通常为规则图形,比如正方形、拼图、长方形,因此,通过上述分类,可以将特征点归类到对应的边界上。
[0078]
在步骤s403中,选取特征点最多的分类,以所述特征点最多的分类作为所述滑块图像的特征边。
[0079]
在完成特征点的分类之后,统计每一种分类的特征点个数,并比较不同分类的特征点个数,从中选择特征点个数最多的分类。特征点越多,该分类所能提供的细节信息越
多。因此本实施例以特征点最多的分类作为所述滑块图像的特征边。
[0080]
在步骤s404中,获取所述滑块图像的特征边中每一个特征点相对于预设原点的坐标信息。
[0081]
在得到所述滑块图像的特征边后,进一步获取并记录所述特征边上的每一个特征点的坐标信息。
[0082]
可选地,作为本发明的另一个优选示例,若一条特征边不足以定位,也可以引入多条特征边,选择特征点个数最多的前若干个分类,作为所述滑块图像的第一特征边、第二特征边
……
;当然,也可以选用所述滑块图像的所有特征边。
[0083]
在步骤s104中,从所述水平区域图像截取除所述滑块图像外的区域作为轨道图像,对所述轨道图像进行特征提取,得到所述轨道图像的特征边,所述轨道图像的特征边为所述轨道图像中包含特征点最多的边,以及获取各特征点的位置信息。
[0084]
在这里,由于所述水平区域图像中还包括所述滑块图像,为了进一步减少图像处理的工作量,本实施例进一步对所述水平区域图像进行裁剪,从所述水平区域图像中去掉所述滑块图像,得到轨道图像,如图3中所述的区域d。然后以所述轨道图像进行特征提取。对所述轨道图像进行特征提取与上述步骤s103对所述滑块图像进行特征提取的步骤过程相似。可选地,如图5所示,步骤s104中所述的对所述轨道图像进行特征提取,得到所述轨道图像的特征边,所述轨道图像的特征边为所述轨道图像中包含特征点最多的边,以及获取各特征点的位置信息包括:
[0085]
在步骤s501中,对所述轨道图像进行二值化处理,得到所述轨道图像对应的灰度图像。
[0086]
轨道图像中的特征信息通常聚集在轨道图像中预设的目标滑动位置的边界上。鉴于此在这里,本实施例采用二值化处理,将轨道图像转化为灰度图像,使得灰度图像在目标滑动位置的边界细节更加明显,同时也大大地减少了轨道图像上的背景色彩的干扰,有利于从所述轨道图像上提取特征点。
[0087]
在步骤s502中,对所述灰度图像进行特征点提取,并按照特征点的坐标信息对所述特征点进行分类。
[0088]
在得到灰度图像后,对其进行特征点提取,得到所述轨道图像的特征点以及每一个特征点的坐标信息。如前所述,轨道图像中的特征信息通常聚集在预设的目标滑块位置的边界上,特征提取后得到的特征点主要体现的是所述预设的目标滑块位置的边界信息。本实施例还获取所述特征点的坐标信息,其中,本实施例通过预设原点,所述坐标信息是指所述特征点相对于预设原点的横坐标和纵坐标。应当理解,为了保证坐标信息的一惯性,所述预设原点与上述步骤s103中提到的预设原点相同,可以为轨道图像的任意顶角,也可以为所述背景图像的任意顶角,此处不做限制。
[0089]
然后按照特征点的坐标信息进行分类,将坐标信息中的横坐标和/或纵坐标相同或相似的特征点划分到同一个类别。其中,横坐标或纵坐标相似,是指横坐标或纵坐标的值落在预设的第二数值范围内,所述预设的第一数值范围根据背景图像中预设的目标滑块位置与预设原点的距离决定。由于所述滑块图像通常为规则图形,比如正方形、拼图、长方形,因此,对应的所述轨道图像中预设的目标滑动位置也为规则图形,通过上述分类,可以将特征点归类到对应的边界上。
[0090]
在步骤s503中,选取特征点最多的分类,以所述特征点最多的分类作为所述轨道图像的特征边。
[0091]
在完成特征点的分类之后,统计每一个分类的特征点个数,并比较不同分类的特征点个数,从中选择特征点个数最多的分类。特征点越多,该分类所能提供的细节信息越多。因此本实施例以特征点最多的分类作为所述轨道图像的特征边。
[0092]
在步骤s504中,获取所述轨道图像的特征边中每一个特征点相对于预设原点的坐标信息。
[0093]
在得到所述轨道图像的特征边后,进一步获取并记录所述特征边上的每一个特征点的坐标信息。
[0094]
可选地,作为本发明的另一个优选示例,若一条特征边不足以定位,也可以引入多条特征边,选择特征点个数最多的前若干个分类,作为所述轨道图像的第一特征边、第二特征边
……
;当然,也可以选用所述轨道图像预设的目标滑动位置的所有特征边。
[0095]
在步骤s105中,对所述滑块图像的特征边上的特征点和所述轨道图像的特征边上的特征点进行位置信息匹配以及特征点数量匹配。
[0096]
在这里,本实施例通过对所述滑块图像的特征边和所述轨道图像的特征边进行匹配,以判断所述轨道图像的特征边是否为所述滑块图像的特征边的目标移动位置。其中,匹配包括但不限于对特征点数量进行匹配和对特征点的位置信息进行匹配。
[0097]
所述对所述滑块图像的特征边和所述轨道图像的特征边对应的特征点数量进行匹配包括比较所述滑块图像的特征边对应的特征点数量和所述轨道图像的特征边对应的特征点数量,以判断所述两者的特征点数量是否相同或者相似。本实施例根据容许误差预先设置所述相似数量范围,只要所述滑块图像的特征边的特征点数量和所述轨道图像的特征边对应的特征点数量均落在所述相似数量范围内,则认为所述滑块图像的特征边的特征点数量与所述轨道图像的特征边的特征点数量是一致的。
[0098]
可选地,如图6所示,所述步骤s105中对所述滑块图像的特征边上的特征点和所述轨道图像的特征边上的特征点进行位置信息匹配包括:
[0099]
在步骤s601中,按照预设方式对所述滑块图像的特征边上的特征点和所述轨道图像的特征边上的特征点进行配对,得到若干特征点对。
[0100]
其中,每一所述特征点对包括一个滑块图像的特征点和一个轨道图像的特征点。可选地,所述预设方式包括第一配对方式,将落在同一水平线上的所述滑块图像的特征边上的特征点和所述轨道图像的特征边上的特征点进行配对;还包括第二配对方式,按照预设的水平距离将所述滑块图像的特征边上的特征点和所述轨道图像的特征边上的特征点进行配对,得到特征点对。
[0101]
本实施例根据所述滑块图像的特征边上的特征点和所述轨道图像的特征边上的特征点的坐标信息进行配对,得到多个特征点对。第一配对方式是将落在同一水平线上的所述滑块图像的特征边上的特征点和所述轨道图像的特征边上的特征点进行配对。比如:若滑块图像的特征边上的特征点x和轨道图像的特征边上的特征点x’的纵坐标相同或相似,且横坐标的差值落在一个预设差值范围内,则将所述特征点x和特征点x’作为一个特征点对,此时所述滑块图像的特征边和所述轨道图像的特征边呈现竖状结构。比如图3中所示的边a1a2。
[0102]
第二配对方式是按照预设的水平距离将所述滑块图像的特征边上的特征点和所述轨道图像的特征边上的特征点进行配对。比如:若滑块图像的特征边上的特征点和轨道图像的特征边上的特征点的纵坐标基本相同或相似,则按照预设的水平距离将滑块图像的特征边上的特征点和轨道图像上的特征点进行配对,即若滑块图像的特征边上的特征点x和轨道图像上的特征点x’之间的横坐标的差值等于或约等于所述水平距离时,则将所述特征点x和特征点x’作为一个特征点对,此时所述滑块图像的特征边和所述轨道图像的特征边呈现横状结构。比如图3中所示的边a2a3。
[0103]
在步骤s602中,计算每一特征点对中所述滑块图像的特征点和所述轨道图像的特征点之间的横坐标差值,得到横坐标差值集合。
[0104]
在这里,本实施例以特征点对为单位,计算所述特征点对中的滑块图像的特征点和所述轨道图像的特征点的横坐标之差,得到两者之间的横坐标差值。遍历所有的特征点对,得到多个横坐标差值,组成所述横坐标差值集合。
[0105]
在步骤s603中,计算每一特征点对中所述滑块图像的特征点和所述轨道图像的特征点之间的纵坐标差值,得到纵坐标差值集合。
[0106]
与步骤s602相似,在这里,本实施例以特征点对为单位,计算所述特征点对中的滑块图像的特征点和所述轨道图像的特征点的纵坐标之差,得到两者之间的纵坐标差值。遍历所有的特征点对,得到多个纵坐标差值,组成所述纵坐标差值集合。
[0107]
在步骤s604中,判断所述纵坐标差值集合中的每一个纵坐标差值是否均小于或等于第一像素阈值且所述横坐标差值集合中的任意两个横坐标差值的差值是否均小于或等于第二像素阈值。
[0108]
如前所述,滑动校验通常是将滑块图像向右水平拉动到预设的目标滑动位置。如果所述轨道图像的特征边为所述滑块图像的特征边的目标移动位置,所述滑块图像的特征边上的特征点与在轨道图像的特征边上的对应的特征点的纵坐标之间的差值应当非常小。因此,本实施例根据可允许的误差设置第一像素阈值,将所述纵坐标差值集合中的每一个纵坐标差值与所述第一像素阈值进行比较。
[0109]
同理,如果所述轨道图像的特征边为所述滑块图像的特征边的目标移动位置,所述滑块图像的特征边上的特征点与在轨道图像的特征边上的对应的特征点的横坐标之间的差值应当相对稳定或者说在一个较小的范围内波动。因此,本实施例根据可允许的误差设置第二像素阈值,将所述横坐标差值集合中的两两横坐标差值的差值,与所述第二像素阈值进行比较。
[0110]
在步骤s106中,当匹配满足预设条件时,根据所述轨道图像的特征边、滑块图像的形状、尺寸信息还原出目标滑动位置。
[0111]
在本实施例中,步骤s106所述的匹配满足预设条件是指:当所述滑块图像的特征边对应的特征点数量和轨道图像的特征边对应的特征点数量相同或者落在相似数量范围内,且所述纵坐标差值集合中的每一个纵坐标差值均小于或等于第一像素阈值,且所述横坐标差值集合中的任意两个横坐标差值的差值均小于或等于第二像素阈值。
[0112]
在这里,当所述滑块图像的特征边对应的特征点数量和轨道图像的特征边对应的特征点数量相同或者落在相似数量范围内,且所述纵坐标差值集合中的每一个纵坐标差值均小于或等于第一像素阈值,且所述横坐标差值集合中的任意两个横坐标差值的差值均小
于或等于第二像素阈值,表明所述滑块图像的特征边和轨道图像的特征边对应的特征点数量以及各特征点的位置信息满足预设条件,所述轨道图像的特征边与所述背景图像中预设的目标滑动位置上的一条边匹配,以所述轨道图像的特征边作为所述滑块图像在背景图像的匹配边界,从而完成对所述背景图像中的目标滑动位置的初步定位。可以理解的是,所述轨道图像的特征边与所述滑块图像的特征边对应,在移动所述滑块图像时,应当使所述滑块图像的特征边与所述轨道图像的特征边重叠或者覆盖所述轨道图像的特征边。
[0113]
本实施例进一步根据所述滑块图像的形状、尺寸信息,以所述轨道图像的特征边作为目标滑动位置的一条边界,还原出所述目标滑动位置,作为所述滑块图像拖动过程中的停止位置。比如图3中所示的区域e。
[0114]
否则,若所述滑块图像的特征边对应的特征点数量和轨道图像的特征边对应的特征点数量相同或者落在相似数量范围内、所述纵坐标差值集合中的每一个纵坐标差值均小于或等于第一像素阈值、所述横坐标差值集合中的任意两个横坐标差值的差值均小于或等于第二像素阈值中的任意一项不满足时,匹配失败,所述轨道图像的特征边未能与所述背景图像中预设的目标滑动位置上的一条边匹配。
[0115]
在步骤s107中,根据所述轨道图像的特征边上的特征点的位置信息匹配结果,计算所述滑块图像的滑动距离。
[0116]
如前所述,滑动校验通常是将滑块图像向右水平拉动到预设的目标滑动位置。上述步骤s602得到的特征点对的横坐标差值,表示单个特征点的滑动距离,在这里,本实施例根据特征点对的横坐标差值集合,求取集合中所有的横坐标差值的平均值,作为所述滑块图像的滑动距离d。
[0117]
在步骤s108中,根据所述滑动距离和还原出来的所述目标滑动位置,移动所述滑块图像,以完成滑块校验操作。
[0118]
通过上述步骤已经得到滑块图像在所述背景图像中的目标滑动位置以及滑动距离,在这里本实施例使用随机算法模拟鼠标的拖拽动作,按照所述滑动距离,将所述滑块图像拖动到还原出来的目标滑动位置,完成滑动校验的自动化处理。
[0119]
本实施例提出的滑块校验的自动化处理方法,通过将滑块图像与背景图像进行模块匹配获取水平区域图像,消除了背景图像中的绝大部分干扰区域,减少了提供给后续算法的数据处理量,提升了算法性能;同时通过对滑块图像和背景图像进行二值化处理后再提取特征点,减少了图像背景色的干扰,也使得特征边界细节更加明显,减少特征匹配的误差;最后通过对滑块图像和背景图像的特征边上的特征点进行匹配,完成对滑块图像的拖动定位,根据滑动距离和还原出来的目标滑动位置,对滑块图像执行拖动,完成滑块校验操作;有效地解决了现有技术在进行滑块校验的自动化操作时无法准确找到目标滑动位置的问题,提高滑块校验的自动化处理的准确率。
[0120]
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
[0121]
在一实施例中,提供一种滑块校验的自动化处理装置,该滑块校验的自动化处理装置与上述实施例中滑块校验的自动化处理方法一一对应。如图7所示,该滑块校验的自动化处理装置包括获取模块71、裁剪模块72、第一特征提取模块73、第二特征提取模块74、匹
配模块75、还原模块76、距离计算模块77、滑动模块78。各功能模块详细说明如下:
[0122]
获取模块71,用于获取校验页面上的滑块图像及其对应的背景图像;
[0123]
裁剪模块72,用于根据所述滑块图像在所述背景图像中的位置信息执行图像裁剪,得到所述位置信息对应的水平区域图像,其中,所述水平区域图像包括所述滑块图像以及所述背景图像中预设的目标滑动位置;
[0124]
第一特征提取模块73,用于对所述滑块图像进行特征提取,得到所述滑块图像的特征边,所述滑块图像的特征边为所述滑块图像中包含特征点最多的边,以及获取各特征点的位置信息;
[0125]
第二特征提取模块74,用于从所述水平区域图像截取除所述滑块图像外的区域作为轨道图像,对所述轨道图像进行特征提取,得到所述轨道图像的特征边,所述轨道图像的特征边为所述轨道图像中包含特征点最多的边,以及获取各特征点的位置信息;
[0126]
匹配模块75,用于对所述滑块图像的特征边上的特征点和所述轨道图像的特征边上的特征点进行位置信息匹配以及特征点数量匹配;
[0127]
还原模块76,用于当匹配满足预设条件时,根据所述轨道图像的特征边、滑块图像的形状、尺寸信息还原出目标滑动位置;
[0128]
距离计算模块77,用于根据所述轨道图像的特征边上的特征点的位置信息匹配结果,计算所述滑块图像的滑动距离;
[0129]
滑动模块78,用于根据所述滑动距离和还原出来的所述目标滑动位置,移动所述滑块图像,以完成滑块校验操作。
[0130]
可选地,所述裁剪模块72包括:
[0131]
相似度匹配单元,用于对所述滑块图像和背景图像进行相似度匹配,得到所述滑块图像的形状、尺寸信息以及在所述背景图像中的位置信息;
[0132]
裁剪单元,用于根据所述位置信息对所述背景图像进行图像裁剪,得到所述位置信息对应的水平区域图像。
[0133]
可选地,所述第一特征提取模块73包括:
[0134]
第一二值化单元,用于对所述滑块图像进行二值化处理,得到所述滑块图像对应的灰度图像;
[0135]
第一特征提取单元,用于对所述灰度图像进行特征点提取,并按照特征点的坐标信息对所述特征点进行分类;
[0136]
第一分类单元,用于选取特征点最多的分类,以所述特征点最多的分类作为所述滑块图像的特征边;
[0137]
第一获取单元,用于获取所述滑块图像的特征边中每一个特征点相对于预设原点的坐标信息。
[0138]
可选地,所述第二特征提取模块74包括:
[0139]
第二二值化单元,用于对所述轨道图像进行二值化处理,得到所述轨道图像对应的灰度图像;
[0140]
第二特征提取单元,用于对所述灰度图像进行特征点提取,并按照特征点的坐标信息对所述特征点进行分类;
[0141]
第二分类单元,用于选取特征点最多的分类,以所述特征点最多的分类作为所述
轨道图像的特征边;
[0142]
第二获取单元,用于获取所述轨道图像的特征边中每一个特征点相对于预设原点的坐标信息。
[0143]
可选地,所述匹配模块75包括:
[0144]
配对单元,用于按照预设方式对所述滑块图像的特征边上的特征点和所述轨道图像的特征边上的特征点进行配对,得到若干特征点对;
[0145]
第一计算单元,用于计算每一特征点对中所述滑块图像的特征点和所述轨道图像的特征点之间的横坐标差值,得到横坐标差值集合;
[0146]
第二计算单元,用于计算每一特征点对中所述滑块图像的特征点和所述轨道图像的特征点之间的纵坐标差值,得到纵坐标差值集合;
[0147]
判断单元,用于判断所述纵坐标差值集合中的每一个纵坐标差值是否均小于或等于第一像素阈值且所述横坐标差值集合中的任意两个横坐标差值的差值是否均小于或等于第二像素阈值。
[0148]
可选地,所述还原模块76包括:
[0149]
当所述滑块图像的特征边对应的特征点数量和轨道图像的特征边对应的特征点数量相同或者落在相似数量范围内,且所述纵坐标差值集合中的每一个纵坐标差值均小于或等于第一像素阈值,且所述横坐标差值集合中的任意两个横坐标差值的差值均小于或等于第二像素阈值,根据所述轨道图像的特征边、滑块图像的形状、尺寸信息还原出目标滑动位置。
[0150]
可选地,所述配对单元包括:
[0151]
第一配对子单元,用于将落在同一水平线上的所述滑块图像的特征边上的特征点和所述轨道图像的特征边上的特征点进行配对,得到若干特征点对;和/或
[0152]
第二配对子单元,用于按照预设的水平距离将所述滑块图像的特征边上的特征点和所述轨道图像的特征边上的特征点进行配对,得到若干特征点对;
[0153]
其中,每一所述特征点对包括一个滑块图像的特征点和一个轨道图像的特征点。
[0154]
关于滑块校验的自动化处理装置的具体限定可以参见上文中对于应用程序的访问限制方法的限定,在此不再赘述。上述滑块校验的自动化处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
[0155]
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种滑块校验的自动化处理方法。
[0156]
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
[0157]
获取校验页面上的滑块图像及其对应的背景图像;
[0158]
根据所述滑块图像在所述背景图像中的位置信息执行图像裁剪,得到所述位置信息对应的水平区域图像,其中,所述水平区域图像包括所述滑块图像以及所述背景图像中预设的目标滑动位置;
[0159]
对所述滑块图像进行特征提取,得到所述滑块图像的特征边,所述滑块图像的特征边为所述滑块图像中包含特征点最多的边,以及获取各特征点的位置信息;
[0160]
从所述水平区域图像截取除所述滑块图像外的区域作为轨道图像,对所述轨道图像进行特征提取,得到所述轨道图像的特征边,所述轨道图像的特征边为所述轨道图像中包含特征点最多的边,以及获取各特征点的位置信息;
[0161]
对所述滑块图像的特征边上的特征点和所述轨道图像的特征边上的特征点进行位置信息匹配以及特征点数量匹配;
[0162]
当匹配满足预设条件时,根据所述轨道图像的特征边、滑块图像的形状、尺寸信息还原出目标滑动位置;
[0163]
根据所述轨道图像的特征边上的特征点的位置信息匹配结果,计算所述滑块图像的滑动距离;
[0164]
根据所述滑动距离和还原出来的所述目标滑动位置,移动所述滑块图像,以完成滑块校验操作。
[0165]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0166]
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
[0167]
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。