信息处理方法、装置、可读存储介质和电子装置与流程

1.本发明涉及计算机领域，具体而言，涉及一种信息处理方法、装置、可读存储介质和电子装置。


背景技术：

2.目前，在对游戏中的对象进行匹配时，通常使用图像匹配算法实现。但是，由于图像匹配算法自身的局限性以及自动化场景的局限性，导致图像匹配算法的准确率难以达到用户可接受的标准线，从而存在对象匹配的准确率低的技术问题。
3.针对上述对象匹配的准确率低的技术问题，目前尚未提出有效的解决方案。


技术实现要素：

4.本发明至少部分实施例提供了一种信息处理方法、装置、可读存储介质和电子装置，以至少解决对象匹配的准确率低的技术问题。
5.根据本发明其中一实施例，提供了一种信息处理方法，该方法包括：确定图形用户界面上待匹配的目标对象；确定目标对象在图形用户界面上所处的目标区域；对目标区域进行回归处理，得到回归结果，其中，回归结果用于定位目标对象在图形用户界面上的显示区域；基于回归结果对目标对象进行匹配，得到匹配结果。
6.可选地，确定目标对象在图形用户界面上所处的目标区域，包括：获取目标对象的原始边界框；利用原始边界框确定目标对象在图形用户界面上所处的目标区域。
7.可选地，对目标区域进行回归处理，得到回归结果，包括：基于回归模型对原始边界框进行回归处理，得到目标对象的目标边界框，其中，回归模型为基于损失函数确定，且用于对输入的边界框进行回归处理的模型。
8.可选地，基于回归模型对原始边界框进行回归处理，得到目标对象的目标边界框，包括：从目标对象的原始图像中提取目标对象的特征；基于回归模型对原始边界框和特征进行回归处理，得到目标边界框。
9.可选地，响应来自客户端的第一请求，查询回归模型。
10.可选地，响应来自客户端的第一请求，查询回归模型，包括：识别第一请求携带的查询参数，且查询与查询参数相匹配的回归模型。
11.可选地，响应来自客户端的第二请求，对回归模型进行更新。
12.可选地，响应来自客户端的第二请求，对回归模型进行更新，包括：识别第二请求携带的更新数据，且基于更新数据对回归模型进行更新。
13.可选地，损失函数为基于目标参数得到，目标参数用于使回归模型收敛。
14.可选地，将原始模型转换为目标模型，且基于损失函数对目标模型进行调整，得到回归模型。
15.可选地，确定图形用户界面上待匹配的目标对象，包括：确定图形用户界面上待匹配的原始对象；对原始对象进行预处理，得到目标对象。
16.可选地，对原始对象进行预处理，得到目标对象，包括：对原始对象进行数据增强，得到目标对象。
17.可选地，对匹配结果进行后处理，得到后处理结果；将后处理结果返回至客户端。
18.可选地，基于回归结果对目标对象进行匹配，得到匹配结果，包括：基于回归结果在目标图像中查找与目标对象的相似度大于目标阈值的匹配对象；将匹配对象确定为匹配结果。
19.根据本发明其中一实施例，还提供了一种信息处理装置，该装置可以包括：第一确定单元，用于确定图形用户界面上待匹配的目标对象；第二确定单元，用于确定目标对象在图形用户界面上所处的目标区域；回归单元，用于对目标区域进行回归处理，得到回归结果，其中，回归结果用于定位目标对象在图形用户界面上的显示区域；匹配单元，用于基于回归结果对目标对象进行匹配，得到匹配结果。
20.为了实现上述目的，根据本发明的另一方面，还提供了一种计算机可读存储介质。该计算机可读存储介质中存储有计算机程序，其中，在计算机程序被处理器运行时控制计算机可读存储介质所在设备执行本发明实施例的信息处理方法。
21.为了实现上述目的，根据本发明的另一方面，还提供了一种电子装置。该电子装置可以包括存储器和处理器，其特征在于，存储器中存储有计算机程序，处理器被设置为被处理器运行计算机程序以执行本发明实施例的信息处理方法。
22.在本发明至少部分实施例中，确定图形用户界面上待匹配的目标对象；确定目标对象在图形用户界面上所处的目标区域；对目标区域进行回归处理，得到回归结果，其中，回归结果用于定位目标对象在图形用户界面上的显示区域；基于回归结果对目标对象进行匹配，得到匹配结果。也就是说，本发明通过利用回归算法对目标对象在图形用户界面上进行定位，然后输出精确的目标区域，并将其作为图像匹配算法的输入，该算法可衔接任意图像匹配算法，以达到降低图像匹配算法局限性的目的，从而实现了提高对象匹配的准确率的技术效果，进而解决了对象匹配的准确率低的技术问题。
附图说明
23.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
24.图1是根据本发明其中一实施例的一种信息处理方法的移动终端的硬件结构框图；
25.图2是根据本发明其中一实施例的一种信息处理方法的流程图；
26.图3是根据本发明实施例中的一种自动化测试场景下自适应用户界面视野域算法的示意图；
27.图4是根据本发明实施例中的一种高性能线上模型部署方案的示意图；
28.图5是根据本发明实施例中的一种信息处理效果的示意图；
29.图6是根据本发明实施例的一种信息处理装置的结构框图。
具体实施方式
30.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的
device，简称为hid)。例如：键盘和鼠标、游戏手柄、其他专用游戏控制器(如：方向盘、鱼竿、跳舞毯、遥控器等)。部分人体学接口设备除了提供输入功能之外，还可以提供输出功能，例如：游戏手柄的力反馈与震动、控制器的音频输出等。
37.显示设备110可以例如平视显示器(hud)、触摸屏式的液晶显示器(lcd)和触摸显示器(也被称为“触摸屏”或“触摸显示屏”)。该液晶显示器可使得用户能够与移动终端的用户界面进行交互。在一些实施例中，上述移动终端具有图形用户界面(gui)，用户可以通过触摸触敏表面上的手指接触和/或手势来与gui进行人机交互，此处的人机交互功能可选的包括如下交互：创建网页、绘图、文字处理、制作电子文档、游戏、视频会议、即时通信、收发电子邮件、通话界面、播放数字视频、播放数字音乐和/或网络浏览等、用于执行上述人机交互功能的可执行指令被配置/存储在一个或多个处理器可执行的计算机程序产品或可读存储介质中。
38.在本实施例中提供了一种运行于上述移动终端的一种信息处理方法，图2是根据本发明其中一实施例的一种信息处理方法的流程图。如图2所示，该方法包括如下步骤：
39.步骤s202，确定图形用户界面上待匹配的目标对象。
40.在本发明上述步骤s202提供的技术方案中，确定需要进行匹配的目标对象在图形用户界面上，其中，图形用户界面可以为用户客户端所显示的操作界面，目标对象可以为图形用户界面上的功能控件，比如，为操作按钮。
41.可选地，图形用户界面上待匹配的目标对象，可以通过在服务器的中间件中对原始对象进行预处理得到，也可以通过对原始对象进行数据增强得到，其中，原始对象可以为用户客户端图形用户界面上的图像。
42.步骤s204，确定目标对象在图形用户界面上所处的目标区域。
43.在本发明上述步骤s204提供的技术方案中，在图形用户界面上对目标对象进行定位，得到目标对象在图形用户界面上所处的目标区域，其中，目标区域可以为目标对象在图形用户界面上所处的位置所占的区域，即图形用户界面上的操作按钮所处的位置所占的区域。
44.可选地，在回归模型中可以使用(x，y，w，h)元组定位目标对象，并将其作为网络学习/回归目标。
45.步骤s206，对目标区域进行回归处理，得到回归结果，其中，回归结果用于定位目标对象在图形用户界面上的显示区域。
46.在本发明上述步骤s206提供的技术方案中，通过训练回归模型，对目标区域进行回归处理，基于所得到的回归结果定位目标对象在图形用户界面上的显示区域，其中回归结果可以为目标区域归一化后的数值，显示区域可以为图形用户界面的视野域。
47.可选地，该实施例可以利用目标检测中边界框(bounding box)回归的思想，剔除目标检测中的分类分支，从而可直接回归出图形用户界面视野域，其中，边界框回归是指要检测出目标的位置(以bounding box表示)，就需要对边界框做一个回归。
48.举例而言，在回归模型中，以图像宽(w)、高(h)及对数(log)作为约束条件加速收敛，得到边界框的坐标，进而输出归一化后的坐标数值(tx`、ty`、tw`、th`)，基于归一化后的坐标数值可对图形用户界面视野域进行定位，其中，tx`为回归后的边界框中心点的横坐标，ty`为回归后的边界框中心点的纵坐标，tw`为回归后的边界框的宽、th`为回归后的边
界框的高。
49.步骤s208，基于回归结果对目标对象进行匹配，得到匹配结果。
50.在本发明上述步骤s208提供的技术方案中，对目标区域进行回归处理之后，得到回归结果，将回归结果作为匹配算法的输入，对目标对象进行匹配，从而得到匹配结果。
51.可选地，本发明提出的算法所得到的回归结果可衔接任意无监督图像匹配算法(如，深度学习算法，或传统尺度不变特征变换算法)，能够极大地提升对象匹配准确率。
52.可选地，客户端在进行图像预处理操作时，会对自动化测试工具造成卡顿，为了避免出现卡顿情况，该实施例搭建了一套以服务器(flask)+框架(nginx)+协议(uwsgi)作为中间件、机器学习模型线上部署服务框架(tensorflow serving，简称tfs)提供模型推理服务的高稳定线、高并发及可扩展性的线上模型部署解决方案，以解决对象匹配的准确率低的技术问题。
53.通过本技术上述步骤s202至步骤s208，确定图形用户界面上待匹配的目标对象；确定目标对象在图形用户界面上所处的目标区域；对目标区域进行回归处理，得到回归结果，其中，回归结果用于定位目标对象在图形用户界面上的显示区域；基于回归结果对目标对象进行匹配，得到匹配结果。也就是说，本发明通过利用回归算法对目标对象在图形用户界面上进行定位，然后输出精确的目标区域，并将其作为图像匹配算法的输入，该算法可衔接任意图像匹配算法，以达到降低图像匹配算法局限性的目的，从而实现了提高对象匹配的准确率的技术效果，进而解决了对象匹配的准确率低的技术问题。
54.下面对该实施例上述方法进行进一步介绍。
55.作为一种可选的实施方式，步骤s204，确定目标对象在图形用户界面上所处的目标区域，包括：获取目标对象的原始边界框；利用原始边界框确定目标对象在图形用户界面上所处的目标区域。
56.在该实施例中，获取目标对象的原始边界框，利用原始边界框确定目标对象在图形用户界面上所处的目标区域，即利用目标对象的原始边界框确定目标对象在图形用户界面上所处的位置，其中，原始边界框可以为进行回归之前的边界框。
57.举例而言，参考经典的目标检测算法(faster-rcnn)中数值归一化方案，以图像宽(w)、高(h)及对数(log)作为约束条件加速收敛，可通过如下公式得到边界框的坐标bbox(t
x
，ty，tw，th)，其中，tx为边界框中心点的横坐标，ty为边界框中心点的纵坐标，tw为边界框的宽、th为边界框的高，
58.t
x
＝(g
x-p
x
)/pw59.ty＝(g
y-py)/ph60.tw＝log(gw/pw)
61.th＝log(gh/ph)
62.其中，g
x
，gy，gw，gh和p
x
，py，pw，ph为与t
x
，ty，tw，th对应的映射坐标。
63.作为一种可选的实施方式，步骤s206，对目标区域进行回归处理，得到回归结果，包括：基于回归模型对原始边界框进行回归处理，得到目标对象的目标边界框，其中，回归模型为基于损失函数确定，且用于对输入的边界框进行回归处理的模型。
64.在该实施例中，基于损失函数确定回归模型，利用回归模型对原始边界框进行回归处理，得到目标对象的目标边界框，其中，目标边界框可以为进行回归之后的边界框，利
用目标对象的目标边界框可以确定目标对象的图形用户界面视野域。
65.可选地，损失函数可以为目标检测回归损失函数(complete-iou loss)，通过添加影响因子使得网络更快收敛的同时达到更佳的性能，从而避免出现两个边界框的交并比(intersection over union，简称iou)不相交时梯度消失的情况，其中，影响因子可以为目标检测回归损失函数里面的一个因子，是用来衡量长宽比一致性的参数，可以让网络更快收敛。
66.作为一种可选的实施方式，基于回归模型对原始边界框进行回归处理，得到目标对象的目标边界框，包括：从目标对象的原始图像中提取目标对象的特征；基于回归模型对原始边界框和特征进行回归处理，得到目标边界框。
67.在该实施例中，以轻量化的卷积神经网络(inceptionv3)作为主干网络，从目标对象的原始图像中提取目标对象的特征，该特征也即图像特征，并将所提取的特征加入特征金字塔(feature pyramid networks，简称fpn)，然后基于回归模型对原始边界框和特征进行回归处理，得到目标边界框，其中，可以参考目标检测算法(faster-rcnn)中数值归一化方案，以由图像特征确定的目标对象的宽(w)、高(h)等信息作为约束条件加速收敛，输出归一化的上述目标边界框，以达到减少自动化过程中单次点击等待时长，缓解目标对象图形用户界面尺度变化的目的。
68.需要说明的是，该实施例的原始边界框没有特征，该实施例所处理的特征为目标对象的原始图像的图像特征。
69.作为一种可选的实施方式，响应来自客户端的第一请求，查询回归模型。
70.在该实施例中，服务器响应来自客户端的第一请求，根据第一请求查询相应的回归模型，即服务器配备回归模型查询服务，便于用户按需请求回归模型，其中，第一请求可以为来自用户客户端针对具体回归模型及版本号的请求。
71.作为一种可选的实施方式，响应来自客户端的第一请求，查询回归模型，包括：识别第一请求携带的查询参数，且查询与查询参数相匹配的回归模型。
72.在该实施例中，当客户端向服务器发起第一请求，服务器对第一请求所携带的查询参数进行识别，基于查询参数确定与查询参数相匹配的回归模型，其中，查询参数可以为用于区分回归模型的参数，比如，为版本号。
73.作为一种可选的实施方式，响应来自客户端的第二请求，对回归模型进行更新。
74.在该实施例中，回归模型可以在线更新，服务器对客户端所发起的第二请求进行响应，并基于第二请求中的回归模型的相关参数确定与其相匹配的更新数据，使用更新数据对回归模型进行在线更新，其中，第二请求可以为回归模型的更新请求，包括要进行更新的回归模型的相关参数。
75.可选地，第二请求还可以为机器学习模型线上部署服务框架(tensorflow serving，简称tfs)线上热更新的框架(grpc)请求脚本。
76.可选地，服务器为客户端所提供的更新数据可以为回归模型的最新版数据，也可以为回归模型的更新补丁数据，此处不作具体限定。
77.可选地，回归模型是在线更新的，更新时不需要对回归模型当前的服务进行停止。
78.作为一种可选的实施方式，响应来自客户端的第二请求，对回归模型进行更新，包括：识别第二请求携带的更新数据，且基于更新数据对回归模型进行更新。
79.在该实施例中，当客户端向服务器发起第二请求，服务器对客户端所发起的第二请求进行响应，并基于第二请求中的回归模型的相关参数确定与其相匹配的更新数据，比如，该更新数据为回归模型的最新版本号和最新版本数据包，然后服务器对第二请求所携带的更新数据进行识别，基于更新数据对回归模型进行更新。
80.作为一种可选的实施方式，损失函数为基于目标参数得到，目标参数用于使回归模型收敛。
81.在该实施例中，可以通过添加目标参数得到损失函数，使得网络更快收敛的同时达到更佳的性能，其中，目标参数可以为影响因子，影响因子为目标检测回归损失函数里面的一个因子，用来衡量长宽比一致性的参数，可以让网络更快收敛。
82.作为一种可选的实施方式，将原始模型转换为目标模型，且基于损失函数对目标模型进行调整，得到回归模型。
83.在该实施例中，对模型文件进行一键转化，将原始模型转换为目标模型，转换后再基于损失函数对目标模型进行调整，得到回归模型，其中，原始模型可以为训练得到的模型，目标模型可以为用于线上的模型。
84.举例而言，可以通过模型一键转化将三种不同的人工智能开发框架(tensorflow、keras、pytorch)模型一键转化为机器学习模型线上部署服务框架所需格式(saved model)的二进制文件。
85.作为一种可选的实施方式，步骤s202，确定图形用户界面上待匹配的目标对象，包括：确定图形用户界面上待匹配的原始对象；对原始对象进行预处理，得到目标对象。
86.在该实施例中，获取图形用户界面上待匹配的原始对象，在服务器中间件中对原始对象进行预处理，得到目标对象，以达到避免出现客户端图像预处理操作所引起的客户端卡顿的情况，其中，原始对象可以为用户客户端图形用户界面上的图像。
87.作为一种可选的实施方式，对原始对象进行预处理，得到目标对象，包括：对原始对象进行数据增强，得到目标对象。
88.在该实施例中，可通过多种数据增强策略，对原始对象进行数据增强，得到目标对象。
89.可选地，由于不同机型画面中的用户界面会存在偏移、缩放等情况，因此本发明采用多种数据增强策略，实现了旋转(rotate)、翻转(invert)、亮度变化(brightness change)和白化(zca whitening)等数据增强方案，以适应不同机型样本。
90.作为一种可选的实施方式，对匹配结果进行后处理，得到后处理结果；将后处理结果返回至客户端。
91.在该实施例中，对目标区域进行回归处理之后，得到回归结果，将回归结果作为匹配算法的输入，对目标对象进行匹配，从而得到匹配结果，在服务器中间件中对匹配结果进行后处理，并将后处理结果返回至客户端，从而简化客户端的职能，实现避免客户端频繁出现卡顿的目的。
92.作为一种可选的实施方式，步骤s208，基于回归结果对目标对象进行匹配，得到匹配结果，包括：基于回归结果在目标图像中查找与目标对象的相似度大于目标阈值的匹配对象；将匹配对象确定为匹配结果。
93.在该实施例中，基于回归结果在目标图像中查找与目标对象相匹配的匹配对象，
当目标图像中的匹配对象与目标对象的相似度大于目标阈值时，可将匹配对象确定为匹配结果，其中目标阈值可以为匹配对象与目标对象的相似度界限，可以根据实际需求自行设定。
94.下面结合优选的实施方式对本发明实施例的技术方案进行进一步地举例介绍。
95.目前，工业界所采用的模板匹配算法一般分为如下几类：以尺度不变特征变换(scale-invariant feature transform，简称sift)/加速稳健特征(speeded up robust features，简称surf)等传统算子为代表，进行局部不变特征点数量匹配，并以随机抽样一致算法(random sample consensus，简称ransac)、暴力算法(brute force，简称bf)等算法剔除误匹配点；深度学习方案，利用预训练模型提取特征后，送入归一化互相关匹配(normalized cross-correlation，简称ncc)逻辑得到积分图并取最大特征区域，从而映射回原图得到目标区域。但是，这些算法均无法在自动化测试场景下达到较高的匹配准确率。
96.在相关技术中，通常利用图像识别(图像匹配)技术，在自动化测试场景下完成设备自动执行操作从而替代人工重复性操作。但是，由于图像匹配算法的局限性，即用户界面(user interface，简称ui)按钮有效特征区域过小，以及自动化场景的局限性，即录制用例时点击不准确等问题，导致所有图像匹配算法的准确率难以达到用户可接受的标准线。
97.利用录制器进行用例录制产生自动化脚本前需要手动调节预设图尺寸(预设图边长为原图长边的十分之一)以作为后续图像匹配算法输入，否则会存在大量匹配失败的情况，是因为：用户录制用例时点击不准确(非中心点但用户界面按钮生效)的情况，在其他分辨率设备上由于图像形变使得中心点严重偏离，从而导致模拟点击感兴趣区域(region of interest，简称roi)中心点时实际并未点击到按钮；用户界面按钮有效面积过少(特征区域小)，大量无关特征引入导致图像匹配失败。
98.在另一种相关技术中，通过手工调节预设图尺寸可极大地提高图像匹配准确度。但是，在测试过程中会发现手动调节模板所花费的时间成本过大，以30分钟时长的用例为例，手动调节模板所花费的时间就占到70％以上。此外，手工调节预设图尺寸还需要一定的截图技巧才能保证充足的有效特征。
99.然而，本发明提出一种自适应用户界面视野域算法，通过训练回归模型对目标用户界面进行定位，输出精确的用户界面位置，并将其作为图像匹配算法的输入，该算法可衔接任意图像匹配算法(深度学习算法或传统尺度不变特征变换算法)，以降低传统图像匹配算法的局限性，提升了图像匹配的准确率。
100.下一步对本发明实施例提供的一种自动化测试场景下自适应用户界面视野域算法做进一步介绍，如图3所示，图3是根据本发明实施例中的一种自动化测试场景下自适应用户界面视野域算法的示意图，可以包括：
101.第一部分，输入(input)原始对象。
102.由于不同机型画面中的用户界面会存在偏移、缩放等情况，因此本实施例采用多种数据增强策略对原始对象进行处理，并将其输入回归模型。
103.可选地，为了适应不同机型样本，本实施例实现了旋转(rotate)、翻转(invert)、亮度变化(brightness change)和白化(zca whitening)等数据增强方案。
104.第二部分，选择主干网络(backbone)。
105.选择轻量化的卷积神经网络(inceptionv3)作为主干网络，以加速推理过程，减少
自动化过程中单次点击等待时长，并加入特征金字塔(feature pyramid networks，简称fpn)用于缓解目标用户界面尺度变化问题。
106.第三部分，回归(regression)。
107.以(x，y，w，h)元组定位目标用户界面，同时作为网络学习/回归目标，参考经典的目标检测算法(faster-rcnn)中数值归一化方案，以图像宽(w)、高(h)及对数(log)作为约束条件加速收敛，得到边界框的坐标，进而输出归一化后的坐标数值(t
x
`、ty`、tw`、th`)，其中，tx`为回归后的边界框中心点的横坐标，ty`为回归后的边界框中心点的纵坐标，tw`为回归后的边界框的宽、th`为回归后的边界框的高。
108.可选地，可通过如下公式得到边界框的坐标bbox(t
x
，ty，tw，th)，其中，tx为边界框中心点的横坐标，ty为边界框中心点的纵坐标，tw为边界框的宽、th为边界框的高，
109.t
x
＝(g
x-p
x
)/pw110.ty＝(g
y-py)/ph111.tw＝log(gw/pw)
112.th＝log(gh/ph)
113.其中，g
x
，gy，gw，gh和p
x
，py，pw，ph为与t
x
，ty，tw，th对应的映射坐标。第四部分，损失函数(loss function)。
114.以目标检测回归损失函数(complete-iou loss)作为损失函数，为了避免出现两个边界框的交并比(intersection over union，简称iou)不相交时梯度消失的情况，可以通过添加影响因子使得网络更快收敛的同时达到更佳的性能，其中，影响因子可以为目标检测回归损失函数里面的一个因子，是用来衡量长宽比一致性的参数，可以让网络更快收敛。
115.可选地，目标检测回归损失函数为，
[0116][0117]
其中，l
ciou
可以为目标检测回归损失函数，iou可以为两个边界框的交并比，b可以为预测框的中心点位置，b
gt
可以为真实框的中心点位置，ρ可以为两个中心点间的欧式距离，c可以为能够同时包含预测框和真实框的最小闭包区域的对角线距离，αv为惩罚因子。
[0118]
为了避免由于i/o密集型计算(主要为客户端图像预处理操作)对自动化测试工具造成的卡顿情况，本发明还搭建了一套以服务器(flask)+框架(nginx)+协议(uwsgi)作为中间件、机器学习模型线上部署服务框架(tensorflow serving，简称tfs)提供模型推理服务的高稳定线、高并发及可扩展性的线上模型部署解决方案，如图4所示，图4是根据本发明实施例中的一种高性能线上模型部署方案的示意图，包括：客户端401和服务器中间件402。
[0119]
服务器中间件402，承担图像预处理、后处理任务，同时接收用户并发请求并向机器学习模型线上部署服务框架并发请求获取模型推理结果。
[0120]
模型文件一键转化，将三种不同的人工智能开发框架(tensorflow、keras、pytorch)模型一键转化为机器学习模型线上部署服务框架所需格式(savedmodel)的二进制文件。
[0121]
多模型多版本控制，提供相应的服务器针对具体模型及版本号的请求应用程序编程接口(application programming interface，简称api)。
[0122]
提供机器学习模型线上部署服务框架线上热更新的框架(grpc)请求脚本。
[0123]
提供独立的线上处于服务状态的模型查询服务，便于用户按需请求模型。
[0124]
该实施例通过上述方法，对数十款常见游戏进行效果验证，图像匹配准确率可达到98％以上，由于图像匹配失败导致的人工干预实测降低98％以上，即模型输出边界框(bounding box)与人工调节的标准边界框交并比均值大于98％，其中部分预测效果如图5所示，图5是根据本发明实施例中的一种信息处理效果的示意图，图中虚线代表人工调节的标准边界框，实线代表模型输出的边界框，可以看出虚线与实线基本重合，即模型所输出的边界框人工调节的标准边界框基本重合，这表明使用模型所输出的边界框对图像进行匹配的准确率较高，模型可以为回归模型。
[0125]
本发明实施例利用目标检测中边界框回归的思想，剔除目标检测中的分类分支，直接回归出用户界面视野域，并且搭建了一套服务器+框架+协议中间件服务，以达到避免为客户端图像预处理操作时对自动化测试工具所造成的卡顿情况，从而解决了图像匹配准确率不高的技术问题，达到了提升图像匹配准确率的技术效果。
[0126]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0127]
本发明实施例还提供了一种信息处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“单元”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
[0128]
图6是根据本发明实施例的一种信息处理装置的结构框图。如图6所示，该信息处理装置600可以包括：第一确定单元601、第二确定单元602、回归单元603和匹配单元604。
[0129]
第一确定单元601，用于确定图形用户界面上待匹配的目标对象；
[0130]
第二确定单元602，用于确定目标对象在图形用户界面上所处的目标区域；
[0131]
回归单元603，用于对目标区域进行回归处理，得到回归结果，其中，回归结果用于定位目标对象在图形用户界面上的显示区域；
[0132]
匹配单元604，用于基于回归结果对目标对象进行匹配，得到匹配结果。
[0133]
可选地，第二确定单元602包括：获取模块，用于获取目标对象的原始边界框；确定模块，用于利用原始边界框确定目标对象在图形用户界面上所处的目标区域。
[0134]
可选地，回归单元603包括：处理模块，用于基于回归模型对原始边界框进行回归处理，得到目标对象的目标边界框，其中，回归模型为基于损失函数确定，且用于对输入的边界框进行回归处理的模型。
[0135]
可选地，处理模块包括：提取子模块，用于从目标对象的原始图像中提取目标对象的特征；处理子模块，用于基于回归模型对原始边界框和特征进行回归处理，得到目标边界框。
[0136]
可选地，还装置还可以包括：第一处理单元，用于响应来自客户端的第一请求，查
询回归模型。
[0137]
可选地，第一处理单元包括：第一处理模块，用于识别第一请求携带的查询参数，且查询与查询参数相匹配的回归模型。
[0138]
可选地，还装置还可以包括：第二处理单元，用于响应来自客户端的第二请求，对回归模型进行更新。
[0139]
可选地，第二处理单元包括：第二处理模块，用于识别第二请求携带的更新数据，且基于更新数据对回归模型进行更新。
[0140]
可选地，损失函数为基于目标参数得到，目标参数用于使回归模型收敛。
[0141]
可选地，还装置还可以包括：第三处理单元，用于将原始模型转换为目标模型，且基于损失函数对目标模型进行调整，得到回归模型。
[0142]
可选地，第一确定单元601包括：第一确定模块，用于确定图形用户界面上待匹配的原始对象；第一预处理模块，用于对原始对象进行预处理，得到目标对象。
[0143]
可选地，第一预处理模块用于通过以下步骤对原始对象进行预处理，得到目标对象：对原始对象进行数据增强，得到目标对象。
[0144]
可选地，还装置还可以包括：第四处理单元，用于对匹配结果进行后处理，得到后处理结果；返回单元，用于将后处理结果返回至客户端。
[0145]
可选地，匹配单元604包括：查找模块，用于基于回归结果在目标图像中查找与目标对象的相似度大于目标阈值的匹配对象；第二确定模块，用于将匹配对象确定为匹配结果。
[0146]
在该实施例的信息处理装置中，通过第一确定单元确定图形用户界面上待匹配的目标对象；第二确定单元确定目标对象在图形用户界面上所处的目标区域；回归单元对目标区域进行回归处理，得到回归结果；匹配单元基于回归结果对目标对象进行匹配，得到匹配结果，从而实现了提高对象匹配的准确率的技术效果，进而解决了对象匹配的准确率低的技术问题。
[0147]
需要说明的是，上述各个单元、模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述单元、模块均位于同一处理器中；或者，上述各个单元、模块以任意组合的形式分别位于不同的处理器中。
[0148]
本发明的实施例还提供了一种非易失性存储介质，该非易失性存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
[0149]
可选地，在本实施例中，上述非易失性存储介质可以被设置为存储用于执行以下步骤的计算机程序：
[0150]
s1，确定图形用户界面上待匹配的目标对象；
[0151]
s2，确定目标对象在图形用户界面上所处的目标区域；
[0152]
s3，对目标区域进行回归处理，得到回归结果，其中，回归结果用于定位目标对象在图形用户界面上的显示区域；
[0153]
s4，基于回归结果对目标对象进行匹配，得到匹配结果。
[0154]
可选地，在本实施例中，上述非易失性存储介质可以包括但不限于：u盘、只读存储器(read-only memory，简称为rom)、随机存取存储器(random access memory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
[0155]
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
[0156]
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
[0157]
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
[0158]
s1，确定图形用户界面上待匹配的目标对象；
[0159]
s2，确定目标对象在图形用户界面上所处的目标区域；
[0160]
s3，对目标区域进行回归处理，得到回归结果，其中，回归结果用于定位目标对象在图形用户界面上的显示区域；
[0161]
s4，基于回归结果对目标对象进行匹配，得到匹配结果。
[0162]
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
[0163]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0164]
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0165]
在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0166]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0167]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0168]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0169]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。