本申请涉及数据处理领域,特别是涉及一种数据处理方法和相关装置。
背景技术:
计算机设备中可以部署各类应用程序为用户提供服务。在一些应用场景中,需要对应用程序进行自动化实施,以实现应用场景下应用程序所需的功能,例如漏洞测试、人机交互等。
为了提供自动化实施应用程序的功能,相关技术中主要采用基于强化学习训练用于游戏自动化的人工智能模型,训练完成后,借助该模型实现对应用程序的自动化实施。
然而,该方案首先需要人工定义奖励函数,并基于强化学习算法优化模型参数,逐步完成模型训练。该相关技术不仅需要收集大量的训练数据,而且训练周期很长,很难在短时间完成模型训练。
技术实现要素:
为了解决上述技术问题,本申请提供了一种数据处理方法,处理设备可以使被控对象能够自动执行应用程序完成目标功能所需的操作,在无需大量训练数据进行模型训练的前提下实现应用程序的自动化,降低了自动化实现难度,提高了自动化效率。
本申请实施例公开了如下技术方案:
第一方面,本申请实施例公开了一种数据处理方法,所述方法包括:
获取启动应用程序后的第一显示图像;
确定所述第一显示图像对应的第一图像特征和第一对象特征,所述第一对象特征用于标识所述第一显示图像中被控对象的位置;
基于所述第一图像特征和所述第一对象特征,与样本图像序列中样本图像的样本图像特征和样本对象特征进行图像匹配,所述样本图像序列包括的样本图像用于标识执行所述应用程序完成目标功能的过程;
若根据图像匹配结果确定所述第一显示图像与所述样本图像序列中的第一样本图像匹配,根据所述第一样本图像所关联的操作参数对所述被控对象进行控制。
第二方面,本申请实施例公开了一种数据处理装置,所述装置包括获取单元、第一确定单元、第一匹配单元和第一控制单元:
所述获取单元,用于获取启动应用程序后的第一显示图像;
所述第一确定单元,用于确定所述第一显示图像对应的第一图像特征和第一对象特征,所述第一对象特征用于标识所述第一显示图像中被控对象的位置;
所述第一匹配单元,用于基于所述第一图像特征和所述第一对象特征,与样本图像序列中样本图像的样本图像特征和样本对象特征进行图像匹配,所述样本图像序列包括的样本图像用于标识执行所述应用程序完成目标功能的过程;
所述第一控制单元,用于若根据图像匹配结果确定所述第一显示图像与所述样本图像序列中的第一样本图像匹配,根据所述第一样本图像所关联的操作参数对所述被控对象进行控制。
第三方面,本申请实施例公开了一种计算机设备,所述设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行第一方面中所述的数据处理方法。
第四方面,本申请实施例公开了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行第一方面中所述的数据处理方法。
由上述技术方案可以看出,在对启动的应用程序进行自动化完成目标功能的过程中,获取应用程序的第一显示图像,并确定该第一显示图像对应的第一图像特征和第一对象特征,该第一对象特征用于标识第一显示图像中被控对象的位置。基于第一图像特征和第一对象特征,与样本图像序列中样本图像的样本图像特征和样本对象特征进行图像匹配,该样本图像序列包括的样本图像可以用于标识执行该应用程序完成目标功能的过程。通过结合该第一图像特征和第一对象特征,能够从图像特征层面和显示图像中被控对象的位置这多个数据维度更加全面的体现出该第一显示图像的特征。从而在图像匹配时,可以基于多个数据维度较为准确的找到与该第一显示图像在特征上最为接近的样本图像,例如第一样本图像。为了能够自动实现应用程序的目标功能,可以根据第一样本图像所关联的操作参数对应用程序中的被控对象进行控制,从而使当前控制被控对象在应用程序中模拟第一样本图像中被控对象的行为,从而通过图像匹配的简单方式,快速实现了对应用程序中被控对象的自动化控制以完成目标功能,无需建立复杂的人工智能模型,提高了应用程序自动化效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种实际应用场景中数据处理方法的示意图;
图2为本申请实施例提供的一种数据处理方法的流程图;
图3为本申请实施例提供的一种数据处理方法的示意图;
图4为本申请实施例提供的一种数据处理方法的示意图;
图5为本申请实施例提供的一种数据处理方法的示意图;
图6为本申请实施例提供的一种实际应用场景中数据处理方法的流程图;
图7为本申请实施例提供的一种数据处理装置的结构框图;
图8为本申请实施例提供的一种计算机设备的结构图;
图9为本申请实施例提供的一种服务器的结构图。
具体实施方式
下面结合附图,对本申请的实施例进行描述。
如何实现应用程序的自动化是相关人员热门的研究方向之一。在相关技术中,为了能够较为准确的实现应用程序自动化,需要通过大量的训练数据训练得到相关模型,通过该模型来确定应用程序图像和图像中被控对象的操作之间的匹配关系,需要耗费大量的训练时间,同时需要人工设定相关的训练奖励参数,自动化效率较差。
为了解决上述技术问题,本申请提供了一种数据处理方法,处理设备可以基于多个数据维度进行图像匹配,较为精准的找到与当前显示图像较为匹配的样本图像,并基于该样本图像关联的操作参数控制该显示图像中的被控对象,从而使该被控对象能够自动执行应用程序完成目标功能所需的操作,进而在无需大量训练数据进行模型训练的前提下实现应用程序的自动化,降低了自动化实现难度,提高了自动化效率。
可以理解的是,该方法可以应用于处理设备上,该处理设备为具有数据处理功能的处理设备,例如可以是具有数据处理功能的终端设备或服务器。该方法由终端设备或服务器独立执行,也可以应用于终端设备和服务器通信的网络场景,通过终端设备和服务器配合运行。其中,终端设备可以为手机、台式计算机、个人数字助理(personaldigitalassistant,简称pda)、平板电脑等设备。服务器可以理解为是应用服务器,也可以为web服务器,在实际部署时,该服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
本申请实施例还可以应用有区块链技术,如在本申请所公开的数据处理方法中,训练得到的图像权重和对象权重可以保存在区块链中,以便相关人员或相关设备可以较为便利的获取该权重值,进行图像匹配等操作。
此外,本申请还涉及人工智能(artificialintelligence,ai)技术。人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。其中,本申请主要涉及计算机视觉技术和机器学习技术。
计算机视觉技术(computervision,cv)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(machinelearning,ml)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
例如,在本申请实施例中,通过计算机视觉技术,处理设备可以更加精准的对第一显示图像和样本图像序列中的样本图像进行图像匹配;通过机器学习技术,处理设备能够训练得到更加精确的图像权重和对象权重,从而能够使图像匹配结果更加准确。
为了便于理解本申请实施例提供的技术方案,接下来,将结合一种实际应用场景,对本申请实施例提供的一种数据处理方法进行介绍。
参见图1,图1为本申请实施例提供的一种实际应用场景中数据处理方法的示意图,在该实际应用场景中,处理设备为具有数据处理功能的终端设备101。
终端设备101可以先获取第一显示图像和样本图像序列,该样本图像序列包括的样本图像可以用于标识应用程序完成目标功能的过程。因此,如果能够基于与该第一显示图像匹配的样本图像来对第一显示图像中的被控对象进行控制,即可较为便捷的使该被控对象自动模拟完成该目标功能所需的操作,进而实现应用程序的自动化。为了能够较为精准的从该样本图像序列中找到与该第一显示图像匹配的样本图像,从而较为准确的实现应用程序的自动化,终端设备101可以从多个数据维度出发,较为综合的进行图像匹配。
在该实际应用场景中,终端设备101可以从图像特征层面和被控对象的位置特征层面这两个数据维度出发,进行图像匹配。首先,终端设备101可以确定第一显示图像对应的第一图像特征和第一对象特征,如图1所示,该应用程序为一款游戏程序,上方的游戏程序图像为第一显示图像,该第一图像特征能够体现出该游戏程序图像的整体图像特点,该第一对象特征能够体现出该游戏程序中被控对象,即该持枪人物在该第一显示图像中的位置。
为了进行图像匹配,终端设备101还可以确定样本图像序列中样本图像对应的样本图像特征和样本对象特征,基于第一图像特征和第一对象特征,与该样本图像特征和样本对象特征进行图像匹配,确定出图像匹配结果,该图像匹配结果能够体现出该第一显示图像与样本图像的匹配程度。从而,基于该图像匹配结果,终端设备101能够较为准确的确定出该样本图像序列中与该第一显示图像匹配程度较高的第一样本图像。通过该第一样本图像关联的操作参数来控制该被控对象,即可使该被控对象自动模拟该第一样本图像中被控对象的操作,进而实现自动化完成目标功能。
例如,在该实际应用场景中,目标功能可以为该游戏程序中的一个跑动射击功能,该第一样本图像中的持枪人物关联的操作参数可以标识该持枪人物的跑动操作和射击操作,从而,基于该操作参数,终端设备101可以使第一显示图像中的持枪人物进行跑动和射击,如下方的游戏程序图像所示,从而能够自动化实现持枪人物的跑动射击功能。该方法无需获取大量的训练数据、消耗大量的训练时间来训练得到相关模型,提高了自动化的便捷性和效率。
接下来,将结合附图,对本申请实施例提供的一种数据处理方法进行介绍。
参见图2,图2为本申请实施例提供的一种数据处理方法的流程图,该方法包括:
s201:获取启动应用程序后的第一显示图像。
其中,应用程序的类型可以包括多种,例如可以包括游戏类程序、办公类程序等,大部分具有显示界面,并且能够通过应用程序中的被控对象实现某种或某些功能的应用程序都可以适用于本申请技术方案。
针对于该应用程序的目标功能,若该目标功能是通过该被控对象在该应用程序中执行相关操作来完成的功能,则通过自动模拟该被控对象在完成该目标功能过程中执行的相关操作,可以在一定程度上实现自动化完成目标功能。例如,若该目标功能为需要通过鼠标点击来完成的功能,则通过自动化模拟该过程中鼠标的操作即可实现对该目标功能的自动化完成。
基于此,为了能够较为简便且准确的实现应用程序的自动化,处理设备可以先确定出一种能够高效模拟被控对象操作的方法。在本申请实施例中,处理设备可以先确定出样本图像序列,该样本图像序列中包括的样本图像用于标识执行该应用程序完成目标功能的过程,该目标功能可以为任意一个该应用程序中通过被控对象实现的功能,该被控对象为该应用程序中对应该目标功能的被控对象,被控对象是指能够被操控的对象。其中,基于该应用程度的不同类型,该被控对象可以为不同类型的被控对象,此处不作限制。例如,在办公类程序中,该被控对象可以为程序中的鼠标;在游戏类程序中,该被控对象可以为游戏中玩家操控的角色等。
由于该样本图像能够标识执行应用程序完成目标功能的过程,因此,如果能够使该应用程序的被控对象能够模拟该样本图像中被控对象的操作,则可以在一定程度上实现该应用程序完成该目标功能的自动化。基于此,在启动应用程序后,处理设备可以获取第一显示图像,该第一显示图像为获取时刻该应用程序显示界面的图像。处理设备可以通过将该第一显示图像与该样本图像序列中的样本图像进行匹配,找出与该第一显示图像相匹配的样本图像,该样本图像中所对应的被控对象操作即为该第一显示图像中的被控对象需要模拟的操作。从而,通过图像匹配,处理设备可以使该应用程序中的被控对象完成对样本图像序列中被控对象操作的自动化模拟,进而实现完成目标功能的自动化。
s202:确定第一显示图像对应的第一图像特征和第一对象特征。
由上述内容可知,通过图像匹配的方式可以实现应用程序的自动化,其中图像匹配的准确度是影响应用程序自动化准确度的重要因素。在本申请实施例中,为了能够较为准确的进行图像匹配,处理设备可以从多个数据维度对待匹配的图像进行分析。
处理设备可以先确定该第一显示图像对应的第一图像特征和第一对象特征,该第一对象特征用于标识该第一显示图像中被控对象的位置,该第一图像特征用于体现该第一显示图像的图像特点。从而,结合该第一图像特征和第一对象特征,能够从图像特点和被控对象的位置特点这两个数据维度更加全面的体现出该第一显示图像的图像特征。
s203:基于第一图像特征和第一对象特征,与样本图像序列中样本图像的样本图像特征和样本对象特征进行图像匹配。
除了通过多维度数据对第一显示图像进行分析,处理设备还可以采用相同的方式对样本图像序列中的样本图像进行分析,确定出各个样本图像对应的样本图像特征和样本对象特征,该样本图像特征用于体现样本图像的图像特点,该样本对象特征用于标识样本图像中被控对象的位置。
在将第一显示图像和样本图像进行图像匹配时,处理设备可以将第一图像特征与样本图像特征进行匹配,将第一对象特征和样本对象特征进行匹配,从而能够从多个数据维度来进行图像匹配,进一步提高图像匹配的精确度。处理设备可以综合这两个数据维度特征的匹配结果,来确定出该第一显示图像与各个样本图像之间的图像匹配结果,该图像匹配结果能够体现出第一显示图像与样本图像在图像特点和被控对象位置特点上的相似度。
s204:若根据图像匹配结果确定第一显示图像与样本图像序列中的第一样本图像匹配,根据第一样本图像所关联的操作参数对被控对象进行控制。
上已述及,该图像匹配结果能够体现出第一显示图像与样本图像在多个数据维度上的相似度,因此,根据该图像匹配结果,处理设备可以确定出在多个数据维度上与该第一显示图像相似度最高的第一样本图像,该第一样本图像即为与该第一显示图像相匹配的样本图像。处理设备可以确定出该第一样本图像所关联的操作参数,该操作参数用于标识该第一样本图像中被控对象的操作。
由于该样本图像可以用于标识执行应用程序完成目标功能的过程,因此该第一样本图像中被控对象的操作即为完成该目标功能所需的操作。处理设备可以根据该操作参数,对第一显示图像中的被控对象进行控制,从而能够使第一显示图像中的被控对象能够模拟第一样本图像中被控对象的操作,进而实现自动化完成该应用程序的目标功能。例如,在图1所示的游戏程序中,基于第一样本图像所关联的操作参数,终端设备101可以控制第一显示图像中的持枪人物进行跑动和射击的操作。
由上述技术方案可以看出,在对启动的应用程序进行自动化完成目标功能的过程中,通过结合该第一图像特征和第一对象特征,能够从图像特征层面和显示图像中被控对象的位置这多个数据维度更加全面的体现出该第一显示图像的特征。从而在图像匹配时,可以基于多个数据维度较为准确的找到与该第一显示图像在特征上最为接近的样本图像,例如第一样本图像。为了能够自动实现应用程序的目标功能,可以根据第一样本图像所关联的操作参数对应用程序中的被控对象进行控制,从而使当前控制被控对象在应用程序中模拟第一样本图像中被控对象的行为,从而通过图像匹配的简单方式,快速实现了对应用程序中被控对象的自动化控制以完成目标功能,无需建立复杂的人工智能模型,提高了应用程序自动化效率。
同时,由于本申请是通过图像匹配的方式实现应用程序的自动化,因此只需要获取一次应用程序完成该目标功能过程对应的样本图像序列即可,无需获取多次过程对应的数据来进行复杂的模型训练,进一步降低了方法实现的难度,提高了自动化实现的便利性。
可以理解的是,部分第一显示图像可能具有较为复杂的图像参数,例如具有较为复杂的颜色、纹理参数等。为了使该第一图像特征能够更好的体现出该第一显示图像整体的图像特点,避免过于复杂的图像构成导致图像特征碎片化,处理设备在确定该第一图像特征时,可以对该第一显示图像对应的图像参数进行聚类处理。
在一种可能的实现方式中,该第一图像特征可以根据下述方式进行确定:处理设备可以先对第一显示图像的图像参数在n个子区间内进行图像参数聚类,n≥2。其中,该图像参数是指能够体现出图像属性的参数,例如可以包括颜色参数或纹理参数中的至少一种;该n个子区间是在第一显示图像的显示区间内划分得到的,该显示区间是指能够显示给用户的图像区间。
随后,处理设备可以根据聚类结果,确定n个子区间分别对应的特征标识,该特征标识用于体现出所对应子区间的图像特点。从而,处理设备可以将较为复杂的图像参数进行整合,通过数据量较少的特征标识即可体现出该第一显示图像中各个部分的图像特点。为了最终得到的第一图像特征能够较为准确的体现出该第一显示图像的图像特点,处理设备可以基于该n个子区间在该显示区间中的位置关系,根据该特征标识生成该第一图像特征,从而能够使确定出的多个特征标识之间具有所对应子区间的位置关系,进而使由该特征标识生成的第一图像特征能够准确的体现出该第一显示图像各个部分的图像特点。
除了通过提高第一图像特征中所包括数据种类来提高第一图像特征的数据维度外,在一种可能的实现方式中,处理设备还可以基于对n个子区间中图像参数的聚类结果,进一步提高该第一图像特征的精确度。例如,在聚类确定出n个子区间分别对应的特征标识后,处理设备还可以确定n个子区间中同一个特征标识出现的次数,该次数能够体现出特征标识在该第一显示图像中的数量分布,从而体现出该第一显示图像中的图像参数的组成特点。例如,当该图像参数为颜色参数时,通过该特征标识出现的次数,能够体现出该第一显示图像中的颜色组成特点。处理设备可以将该同一特征标识的次数添加到第一图像特征中,进一步提高该第一图像特征的数据维度,使其能够更加准确、全面的体现该第一显示图像的图像特点。
上已述及,该图像参数可以包括颜色参数或纹理参数中的至少一种,为了进一步丰富用于图像匹配的数据维度,在一种可能的实现方式中,该图像参数可以包括该颜色参数和纹理参数两种。处理设备可以对第一显示图像的颜色参数在n个子区间内进行颜色参数聚类,以及对第一显示图像的纹理参数在n个子区间内进行纹理参数聚类。
随后,处理设备可以基于颜色参数聚类的聚类结果,确定n个子区间分别对应的颜色特征标识,该颜色特征标识用于体现所对应子区间的颜色特点;以及,基于纹理参数聚类的聚类结果,确定n个子区间分别对应的纹理特征标识,该纹理特征标识用于体现所对应子区间的纹理特点。为了准确的体现出该第一显示图像整体所对应的颜色特点和纹理特点,处理设备可以基于n个子区间在显示区间中的位置关系,根据颜色特征标识生成第一图像特征的颜色子特征,并根据该纹理特征标识生成第一图像特征的纹理子特征,该颜色子特征用于体现该第一显示图像整体的颜色特点,该纹理子特征用于体现该第一显示图像整体的纹理特点。通过综合纹理特点和颜色特点,可以从不同的数据角度对图像特征进行体现,从而能够使不同维度的数据之间进行互补,更加全面的标识出该第一显示图像的图像特点。
如图3所示,图3为本申请实施例提供的一种数据处理方法的示意图。在对颜色参数进行聚类时,处理设备首先可以收集图像中每个像素点的红、绿、蓝三颜色组成rgb通道的值,将其连接成特征向量,该特征向量的表达形式如下:
其中,f代表3维的特征向量。
处理设备可以确定该第一显示图像中所有像素点的特征向量,将其确定为该第一显示图像的颜色参数。随后,可以通过k均值聚类算法(kmeans)对特征向量进行聚类,kmeans方法随机选择初始的聚类中心,然后计算样本和每个聚类中心的距离,根据距离对每一个样本分配聚类索引号,即将该样本分配至特定聚类集合,该聚类索引号为该聚类集合的标识,例如可以设定20个聚类集合,初始化时随机选择20个样本特征作为初始的聚类中心,每个样本都需要与这20个聚类中心计算距离,如果样本与第10个聚类中心最为接近,则为该样本分配聚类索引号10,该聚类索引号可以作为样本对应的特征标识。
为所有样本分配完聚类索引号后,处理设备可以将每个聚类集合的中心作为新的聚类中心,不断迭代更新,如果迭代次数达到预设数值,或聚类中心不再变化,则停止迭代。实验过程中,可以根据实验结果将聚类个数设置为128,处理设备可以通过聚类特征将特征相似的样本聚到一起,并为每个样本分配对应的聚类索引号。如图3所示,该图中相同颜色的圆圈属于同一个聚类集合,图3中展示了二维特征的聚类结果,距离接近的样本被聚到相同的类别。
处理设备可以统计每张图像中各个聚类索引号出现的次数,基于该次数生成图像对应的直方图,该直方图能够体现出相同的聚类中心在图像中所出现的次数。如图5所示,图5为本申请实施例提供的一种数据处理方法的示意图,处理设备可以将图像分为大小相同的4个子区间,对每个子区间中的颜色参数进行聚类,确定出每个子区间对应的颜色特征标识,然后生成每个子区间所对应的直方图颜色特征,该直方图颜色特征能够体现出对应子区间中同一颜色特征标识出现的次数。
如图5所示,处理设备可以利用圆形、正方形和五角星代表三种颜色特征标识,每一个子区间中可以包括四个像素,对每个像素提取对应的颜色特征向量,基于该颜色特征向量计算与聚类中心的距离,找到最近的聚类索引号,从而确定出该像素经过聚类后确定出的颜色特征标识。处理设备可以先针对每一个子区间确定出颜色分布直方图,例如,在子区间1中,有五角星2个,正方形2个,则确定出的颜色分布直方图中能够体现出五角星和正方形的数量都为2。为了体现出该图像中的颜色组成特点,处理设备可以基于4个子区间在该图像中的位置关系,将4个颜色分布直方图串联起来,生成该图像整体对应的总颜色分布直方图,该总颜色分布直方图可以作为该图像对应的颜色子特征,该总颜色分布直方图中还包括对整体图像中同一颜色特征标识出现数量的统计结果。
在确定纹理子特征时,处理设备可以提取图像的方向梯度直方图(histogramoforientedgradient,简称hog)特征,该特征是一种在计算机视觉和图像处理中用于进行物体检测的特征,处理设备可以通过计算和统计图像局部区域的梯度方向直方图来构成该特征。
首先,处理设备可以与确定颜色子特征时相同,将图像的显示区间分为n个子区间,每个子区间的大小例如可以为5x5像素,然后提取每个子区间的hog特征,若一副图像的大小为200x200像素,则可以提取出1600个hog特征。处理设备可以采用kmeans聚类算法计算聚类中心,然后确定每一个hog特征与聚类中心之间的距离,用接近的聚类索引号表示该特征,从而确定出各个子区间对应的纹理特征标识。随后,可以基于各个子区间对应的纹理特征标识生成该图像对应的总纹理分布直方图作为该图像对应的纹理子特征,该总纹理分布直方图能够体现出该图像中各个位置的纹理特点,以及同一纹理特征标识在该图像中所出现的次数。基于通过上述方式确定出的图像特征进行图像匹配,可以充分利用人工定义的先验知识,无需获取大量的训练数据,提高了自动化的实现效率和泛化性。
通过上述内容,我们介绍了确定第一图像特征的具体方式,接下来,将详细介绍如何确定该第一显示图像所对应的第一对象特征。
上已述及,该第一对象特征可以用于标识第一显示图像中被控对象的位置,而在该第一显示图像中除了被控对象的位置外,其他非被控对象的位置特点同样能够作为进行图像匹配的参考因素之一。其中,非被控对象是指无法由用户控制的应用程序对象,例如,当应用程序为游戏类程序时,被控对象可以为用户所操控的人物,非被控对象可以为游戏中的敌方对象,或者显示在游戏界面中的道具等。
在一种可能的实现方式中,第一对象特征还包括第一显示图像中的非被控对象。处理设备可以确定该非被控对象在m个子区间中所处的目标区间,该m个子区间是在第一显示图像的显示区间内划分得到的,m≥2。在确定第一对象特征时,处理设备可以根据被控对象在第一图像中对应的位置信息,确定该第一对象特征中的被控对象子特征,该被控对象子特征用于标识该被控对象在该第一显示图像中的位置。其中,该位置信息的类型可以包括多种,例如可以在该第一显示图像中建立二维坐标系,该二维坐标系可以包括x轴和y轴,处理设备可以基于该被控对象对应的x轴坐标和y轴坐标生成二维特征,该二维特征可以作为该被控对象的被控对象子特征;或者,处理设备可以根据该被控对象所处的子区间在该m个子区间中的位置关系,确定该被控对象子特征。
处理设备还可以根据该目标区间在m个子区间中的位置关系,确定该第一对象特征中的非被控对象子特征,该非被控对象子特征用于标识该非被控对象在该第一显示图像中的位置特点。其中,基于m个子区间划分方式的不同,该证非被控子对象特征所标识的位置特点也可以有所不同。例如,在一种可能的实现方式中,为了能够重点体现出被控对象周围的非被控对象分布特点,处理设备可以根据该被控对象的位置信息来对第一显示图像的显示区间进行划分,得到m个子区间,由此,通过非被控对象所处的目标区间在m个子区间中的位置关系,不仅能够体现出该非被控对象在该第一显示图像中的位置特点,还能够进一步体现出该非被控对象与该被控对象之间的位置关系,从而使该第一对象特征能够更加全面、具体的体现出该第一显示图像所包括的对应位置特点。同时,通过融入非被控对象的位置特点,在进行图像匹配时,若样本图像序列中的被控对象出现卡顿等异常情况导致被控对象之间难以匹配时,处理设备也可以通过非被控对象的位置特点来进行较为准确的图像匹配,提高了图像匹配的成功率。
例如,如图6所示,处理设备可以以被控对象的位置为划分中心,对该第一显示图像进行划分得到16个正方形子区间,该正方形子区间的大小可以为100x100像素。在确定非被控对象对应的非被控对象子特征时,处理设备可以只考虑该16个子区间中的非被控对象,从而能够将一些与被控对象距离过远、对对象之间相对关系体现不够明显的非被控对象去除,减少图像匹配时的计算量,提高图像匹配的速度。
处理设备可以确定各个子区间中是否具有非被控对象,若有则将该子区间的输出确定为1,若没有则输出确定为0。处理设备可以按照从左至右、从上至下的顺序输出该16个子区间对应的输出结果,即为“1000100000000000”,该输出结果可以作为该第一显示图像对应的非被控对象子特征。通过该方法,处理设备可以将非被控对象的位置进行量化处理,减少了计算量,提高了计算速度,同时能够有效的表示该被控对象周围的非被控对象的分布情况。
为了能够较为合理的结合该第一图像特征和第一对象特征,准确的进行图像匹配,在一种可能的实现方式中,在进行图像匹配时,处理设备可以确定该第一图像特征与样本图像的样本图像特征间的图像特征相似度,以及确定第一对象特征与样本图像的样本对象特征间的对象特征相似度,根据该图像特征相似度和对象特征相似度来确定第一显示图像与样本图像的匹配结果。
其中,由于图像特征和对象特征的数据类型不同,因此在图像匹配过程中所起到的作用程度可能也会有所区别。例如,在图像变化较为复杂的应用程序中,被控对象的位置可能变化较少,此时,如果能够提高图像匹配过程中图像特征的影响程度,降低对象特征的影响程度,可能更加有利于确定出更加准确的图像匹配结果。
基于此,为了能够更加合理的对对象特征和图像特征进行分析,在一种可能的实现方式中,处理设备可以根据图像权重和图像特征相似度,以及对象权重和对象特征相似度确定第一显示图像与样本图像的匹配结果。其中,该图像权重用于标识图像特征相似度在确定图像匹配结果时的重要程度,该对象权重用于标识对象特征相似度在确定图像匹配结果时的重要程度。
如下列公式所示,该公式为一种用于进行图像匹配的公式,
其中,s为图像匹配距离,该图像匹配距离用于体现图像之间的相似度;
通过该公式,处理设备可以将特征进行归一化处理,并计算特征间欧式距离的均值。归一化的方法是统计同一维度特征的最大值和最小值,将特征与最小值相减、再除以最大值与最小值的差,计算公式如下:
通过该计算方式,能够降低特征维度不同带来的影响,同时将不同特征的变化范围统一为0~1,便于进行图像匹配结果的计算。
由上述内容可见,特征权重在图像匹配过程中起着至关重要的作用,权重是否合理直接影响到最终确定出的图像匹配结果是否准确。在一种可能的实现方式中,处理设备可以通过迭代训练的方式来确定出一套较为准确的特征权重。
首先,处理设备可以从图像权重和对象权重中确定出目标权重和参考权重,该目标权重为在此次迭代过程中需要进行调整的权重,该参考权重为此次迭代过程中暂不调整,作为参考值的权重。例如,在此次迭代过程中,可以将图像权重确定为需要调整的目标权重,将对象权重确定为暂不调整的参考权重。
处理设备可以基于多个调整参数分别对初始权重值进行调整,得到多个待定权重值,该待定权重值为在调整目标权重时的可选值。随后,处理设备可以从多个待定权重值中选择一个作为目标权重的权重值,将参考权重的权重值设置为初始权重值,根据启动应用程序后依次获取的显示图像与该样本图像序列进行图像匹配,并根据确定出的操作参数控制被控对象在应用程序中完成目标功能。
处理设备可以根据基于不同待定权重值完成目标功能的自动化总耗时,与样本图像序列对应的样本总耗时之间做差,所得到差值能够体现出利用该待定权重值所确定出的图像匹配结果的准确度。可以理解的是,通过更加合理的待定权重值所确定出的图像匹配结果的准确度更高,处理设备自动控制被控对象执行的操作也就更加准确,因此所确定出的耗时差距也就越小。
基于此,处理设备可以根据基于不同待定权重值完成目标功能的自动化总耗时,将与样本图像序列对应的样本总耗时间差距最小的待定权重值确定为目标权重的训练权重值,该待定权重值即为多个待定权重值中最为合理的权重值。为了进一步提高权重的合理性,处理设备可以将参考权重作为下一次权重训练的目标权重,将目标权重作为下一次权重训练的参考权重,进行j次训练迭代,j是根据权重训练目标确定的,权重训练目标用于标识权重训练所需的权重准确度,例如可以为自动化总耗时与样本总耗时间差距的阈值。在j次训练迭代的第i次训练迭代中,包括如下步骤:
处理设备可以将第i-1次训练迭代中的目标权重作为第i次训练迭代的参考权重,将第i-1次训练迭代中的参考权重作为第i次训练迭代的目标权重,基于多个调整参数分别对第i-1次训练迭代中参考权重的权重值进行调整,得到用于第i次训练迭代的多个待定权重值,然后从用于第i次训练迭代的多个待定权重值中选择一个作为第i次训练迭代中目标权重的权重值,将第i次训练迭代中参考权重的权重值设置为第i-1次训练迭代中目标权重的权重值,根据启动应用程序后依次获取的显示图像与样本图像序列进行图像匹配,并根据确定出的操作参数控制被控对象在应用程序中完成目标功能。
根据基于不同待定权重值完成目标功能的自动化总耗时,将与样本图像序列对应的样本总耗时间耗时差距最小的待定权重值确定为第i次训练迭代中目标权重的训练权重值。从而,通过j次迭代训练,处理设备可以不断的将更加合理的权重值确定为下一次迭代训练的参考权重,来对目标权重进行更加准确的确定,进而能够最终得到一组较为合理的特征权重。
例如,处理设备可以将多个调整参数设定为【0.5,1,1.5】,在第一次迭代过程中,初始权重值可以设定为1。根据该权重值,处理设备可以通过上述公式计算图像匹配距离,基于该图像匹配距离确定出相似度最高的样本图像,根据该样本图像关联的操作参数控制被控对象完成目标功能。处理设备可以记录自动化总耗时与样本总耗时之间的时间差异,保留时间差最小的权重值进行迭代训练,直至时间差异的变化小于预设阈值,说明迭代训练已经达到了较为优化的效果。通过该迭代训练的方式,可以基于由粗到细的策略探索最佳的特征权重,减少参数的探索范围,快速找到较为合理的权重值。
上已述及,该应用程序的类型可以包括多种,当应用程序的类型不同时,该样本图像所关联的图像参数可能也有所区别。例如,在一种可能的实现方式中,该应用程序为游戏类程序,该操作参数可以用于标识被控对象的运动方式或释放的技能中的至少一个。在图1所示的游戏程序界面中,该操作参数可以标识被控对象射击和跑动两个动作。
此外,在进行图像匹配时,可能出现多个样本图像与该第一显示图像具有一致的匹配度的情况。例如,在生成样本图像序列的过程中,若应用程序出现卡顿,或被控对象的操作者暂停操作导致被控对象静止一段时间的情况,该样本图像序列中可能会包括多张相似的样本图像,第一显示图像可能与这些样本图像具有一致的匹配度。
基于此,为了进一步提高自动化效率,避免由于样本图像序列中存在多张一致的样本图像导致图像匹配结果混乱的问题,在一种可能的实现方式中,若根据图像匹配结果得到多个样本图像与第一显示图像具有一致的匹配度,处理设备可以从多个样本图像中选择时序上靠近完成目标功能的样本图像作为第一样本图像,该时序是指样本图像在样本图像序列中所处的位置。从而,通过该方式,处理设备可以控制第一显示图像中的被控图像直接执行能够较快完成目标功能的操作,一定程度上避免了自动化过程中出现卡顿、暂停操作的问题。
可以理解的是,在进行图像匹配之后,所确定出的第一样本图像中的被控对象位置可能与第一显示图像中的被控对象位置有一定差别。为了使被控对象能够更加精准的对样本图像进行模拟,从而更加准确的自动化完成目标功能,降低自动化过程中的错误率,在一种可能的实现方式中,在根据第一样本图像所关联的操作参数对被控对象进行控制之前,若确定第一显示图像中被控对象对应的第一对象位置与第一样本图像中被控对象对应的第二对象位置不同,处理设备可以控制该第一显示图像中的被控对象移动至该第二对象位置,从而使该被控对象能够在较为合理的位置进行相应的操作。同时,提高被控对象操作位置的精准度,还可以在一定程度上避免由于被控对象处于与操作不匹配的位置,导致出现操作卡顿、应用程序无法正常运行等情况。
为了便于理解本申请提供的技术方案,接下来,将结合一种实际应用场景,对本申请实施例提供的一种数据处理方法进行介绍。
参见图6,图6为本申请实施例提供的一种实际应用场景中数据处理方法的流程图,在该实际应用场景中,处理设备可以为终端设备,应用程序可以为一款动作类游戏,该方法包括:
s601:录制游戏对局,确定样本图像序列。
终端设备可以进行一次游戏对局的录制,然后根据得到的游戏录像中每一帧的游戏图像生成样本图像序列。
s602:确定样本图像特征和样本对象特征。
终端设备可以提取每一张样本图像所对应的多维度特征,包括但不限于颜色特征、纹理特征、被控对象特征和非被控对象特征等。
s603:权重自动化训练。
通过自动迭代训练,确定出对应每一维度特征的权重值。
s604:获取自动化过程中的游戏图像。
在启动该游戏程序后,处理设备可以实时获取游戏界面中的每一帧游戏图像。
s605:确定游戏图像的图像特征和对象特征。
s606:进行图像匹配,确定匹配的样本图像。
终端设备可以计算游戏对象和样本图像在上述四种特征中的特征距离,挑选特征距离最近的样本图像作为匹配的样本图像。
s607:根据样本图像关联的操作参数控制游戏角色。
终端设备可以根据样本图像中对应的游戏角色位置移动游戏程序中的游戏角色,并控制该游戏角色执行该样本图像所对应的操作,从而实现游戏程序的自动化运行。其中,上述s604~s607所执行的自动化控制游戏角色的过程可以称为游戏回放。
基于上述实施例提供的一种数据处理方法,本申请实施例还提供了一种数据处理装置,参见图7,图7为本申请实施例提供的一种数据处理装置700的结构框图,该装置700包括获取单元701、第一确定单元702、第一匹配单元703和第一控制单元704:
获取单元701,用于获取启动应用程序后的第一显示图像;
第一确定单元702,用于确定所述第一显示图像对应的第一图像特征和第一对象特征,所述第一对象特征用于标识所述第一显示图像中被控对象的位置;
第一匹配单元703,用于基于所述第一图像特征和所述第一对象特征,与样本图像序列中样本图像的样本图像特征和样本对象特征进行图像匹配,所述样本图像序列包括的样本图像用于标识执行所述应用程序完成目标功能的过程;
第一控制单元704,用于若根据图像匹配结果确定所述第一显示图像与所述样本图像序列中的第一样本图像匹配,根据所述第一样本图像所关联的操作参数对所述被控对象进行控制。
在一种可能的实现方式中,装置700还包括聚类单元、第二确定单元和生成单元:
聚类单元,用于对所述第一显示图像的图像参数在n个子区间内进行图像参数聚类,所述n个子区间是在所述第一显示图像的显示区间内划分得到的,n≥2;
第二确定单元,用于根据聚类结果确定所述n个子区间分别对应的特征标识;
生成单元,用于基于所述n个子区间在所述显示区间中的位置关系,根据所述特征标识生成所述第一图像特征。
在一种可能的实现方式中,所述第一图像特征中还包括在所述n个子区间中同一个特征标识出现的次数。
在一种可能的实现方式中,所述图像参数包括颜色参数或纹理参数中的至少一种。
在一种可能的实现方式中,聚类单元具体用于:
对所述第一显示图像的颜色参数在n个子区间内进行颜色参数聚类,以及对所述第一显示图像的纹理参数在n个子区间内进行纹理参数聚类;
所述根据聚类结果确定所述n个子区间分别对应的特征标识,包括:
基于所述颜色参数聚类的聚类结果,确定所述n个子区间分别对应的颜色特征标识,以及基于所述纹理参数聚类的聚类结果,确定所述n个子区间分别对应的纹理特征标识;
所述基于所述n个子区间在所述显示区间中的位置关系,根据所述特征标识生成所述第一图像特征,包括:
基于所述n个子区间在所述显示区间中的位置关系,根据所述颜色特征标识生成所述第一图像特征的颜色子特征,并根据所述纹理特征标识生成所述第一图像特征的纹理子特征。
在一种可能的实现方式中,所述第一对象特征还包括所述第一显示图像中的非被控对象,装置700还包括第三确定单元:
第三确定单元,用于确定所述非被控对象在m个子区间中所处的目标区间,所述m个子区间是在所述第一显示图像的显示区间内划分得到的,m≥2;
所述第一对象特征根据如下方式确定:
根据所述被控对象在所述第一显示图像中对应的位置信息,确定所述第一对象特征中的被控对象子特征,并根据所述目标区间在所述m个子区间中的位置关系,确定所述第一对象特征中的非被控对象子特征。
在一种可能的实现方式中,第一匹配单元703具体用于:
确定所述第一图像特征与所述样本图像的样本图像特征间的图像特征相似度,确定所述第一对象特征与所述样本图像的样本对象特征间的对象特征相似度;
根据所述图像特征相似度和所述对象特征相似度确定所述第一显示图像与所述样本图像的匹配结果。
在一种可能的实现方式中,第一匹配单元703具体用于:
根据图像权重和所述图像特征相似度,以及对象权重和所述对象特征相似度确定所述第一显示图像与所述样本图像的匹配结果。
在一种可能的实现方式中,装置700还包括第四确定单元、调整单元、第二匹配单元、第五确定单元和训练单元:
第四确定单元,用于从所述图像权重和所述对象权重中确定出目标权重和参考权重;
调整单元,用于基于多个调整参数分别对初始权重值进行调整,得到多个待定权重值;
第二匹配单元,用于从所述多个待定权重值中选择一个作为所述目标权重的权重值,将所述参考权重的权重值设置为所述初始权重值,根据启动应用程序后依次获取的显示图像与所述样本图像序列进行图像匹配,并根据确定出的操作参数控制所述被控对象在所述应用程序中完成所述目标功能;
第五确定单元,用于根据基于不同待定权重值完成所述目标功能的自动化总耗时,将与所述样本图像序列对应的样本总耗时间耗时差距最小的待定权重值确定为所述目标权重的训练权重值;
训练单元,用于将参考权重作为下一次权重训练的目标权重,将目标权重作为所述下一次权重训练的参考权重,进行j次训练迭代,j是根据权重训练目标确定的,在j次训练迭代的第i次训练迭代中,包括:
将第i-1次训练迭代中的目标权重作为第i次训练迭代的参考权重,将第i-1次训练迭代中的参考权重作为第i次训练迭代的目标权重;
基于所述多个调整参数分别对第i-1次训练迭代中参考权重的权重值进行调整,得到用于第i次训练迭代的多个待定权重值;
从用于第i次训练迭代的多个待定权重值中选择一个作为第i次训练迭代中目标权重的权重值,将第i次训练迭代中参考权重的权重值设置为第i-1次训练迭代中目标权重的权重值,根据启动应用程序后依次获取的显示图像与所述样本图像序列进行图像匹配,并根据确定出的操作参数控制所述被控对象在所述应用程序中完成所述目标功能;
根据基于不同待定权重值完成所述目标功能的自动化总耗时,将与所述样本图像序列对应的样本总耗时间耗时差距最小的待定权重值确定为第i次训练迭代中目标权重的训练权重值。
在一种可能的实现方式中,所述应用程序为游戏类程序,所述操作参数用于标识被控对象的运动方式或释放的技能中的至少一个。
在一种可能的实现方式中,装置700还包括选择单元:
选择单元,用于若根据所述图像匹配结果得到多个样本图像与所述第一显示图像具有一致的匹配度,从所述多个样本图像中选择时序上靠近完成所述目标功能的样本图像作为所述第一样本图像。
在一种可能的实现方式中,装置700还包括第二控制单元:
第二控制单元,用于若确定所述第一显示图像中被控对象对应的第一对象位置与所述第一样本图像中被控对象对应的第二对象位置不同,控制所述第一显示图像中的被控对象移动至所述第二对象位置。
本申请实施例还提供了一种计算机设备,下面结合附图对该设备进行介绍。请参见图8所示,本申请实施例提供了一种设备,该设备还可以是终端设备,该终端设备可以为包括手机、平板电脑、个人数字助理(personaldigitalassistant,简称pda)、销售终端(pointofsales,简称pos)、车载电脑等任意智能终端,以终端设备为手机为例:
图8示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图8,手机包括:射频(radiofrequency,简称rf)电路810、存储器820、输入单元830、显示单元840、传感器850、音频电路860、无线保真(wirelessfidelity,简称wifi)模块870、处理器880、以及电源890等部件。本领域技术人员可以理解,图8中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图8对手机的各个构成部件进行具体的介绍:
rf电路810可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器880处理;另外,将设计上行的数据发送给基站。通常,rf电路810包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(lownoiseamplifier,简称lna)、双工器等。此外,rf电路810还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(globalsystemofmobilecommunication,简称gsm)、通用分组无线服务(generalpacketradioservice,简称gprs)、码分多址(codedivisionmultipleaccess,简称cdma)、宽带码分多址(widebandcodedivisionmultipleaccess,简称wcdma)、长期演进(longtermevolution,简称lte)、电子邮件、短消息服务(shortmessagingservice,简称sms)等。
存储器820可用于存储软件程序以及模块,处理器880通过运行存储在存储器820的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器820可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器820可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元830可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元830可包括触控面板831以及其他输入设备832。触控面板831,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板831上或在触控面板831附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板831可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器880,并能接收处理器880发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板831。除了触控面板831,输入单元830还可以包括其他输入设备832。具体地,其他输入设备832可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元840可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元840可包括显示面板841,可选的,可以采用液晶显示器(liquidcrystaldisplay,简称lcd)、有机发光二极管(organiclight-emittingdiode,简称oled)等形式来配置显示面板841。进一步的,触控面板831可覆盖显示面板841,当触控面板831检测到在其上或附近的触摸操作后,传送给处理器880以确定触摸事件的类型,随后处理器880根据触摸事件的类型在显示面板841上提供相应的视觉输出。虽然在图8中,触控面板831与显示面板841是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板831与显示面板841集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器850,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板841的亮度,接近传感器可在手机移动到耳边时,关闭显示面板841和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路860、扬声器861,传声器862可提供用户与手机之间的音频接口。音频电路860可将接收到的音频数据转换后的电信号,传输到扬声器861,由扬声器861转换为声音信号输出;另一方面,传声器862将收集的声音信号转换为电信号,由音频电路860接收后转换为音频数据,再将音频数据输出处理器880处理后,经rf电路810以发送给比如另一手机,或者将音频数据输出至存储器820以便进一步处理。
wifi属于短距离无线传输技术,手机通过wifi模块870可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图8示出了wifi模块870,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器880是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器820内的软件程序和/或模块,以及调用存储在存储器820内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器880可包括一个或多个处理单元;优选的,处理器880可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器880中。
手机还包括给各个部件供电的电源890(比如电池),优选的,电源可以通过电源管理系统与处理器880逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本实施例中,该终端设备所包括的处理器880还具有以下功能:
获取启动应用程序后的第一显示图像;
确定所述第一显示图像对应的第一图像特征和第一对象特征,所述第一对象特征用于标识所述第一显示图像中被控对象的位置;
基于所述第一图像特征和所述第一对象特征,与样本图像序列中样本图像的样本图像特征和样本对象特征进行图像匹配,所述样本图像序列包括的样本图像用于标识执行所述应用程序完成目标功能的过程;
若根据图像匹配结果确定所述第一显示图像与所述样本图像序列中的第一样本图像匹配,根据所述第一样本图像所关联的操作参数对所述被控对象进行控制。
本申请实施例还提供一种服务器,请参见图9所示,图9为本申请实施例提供的服务器900的结构图,服务器900可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(centralprocessingunits,简称cpu)922(例如,一个或一个以上处理器)和存储器932,一个或一个以上存储应用程序942或数据944的存储介质930(例如一个或一个以上海量存储设备)。其中,存储器932和存储介质930可以是短暂存储或持久存储。存储在存储介质930的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器922可以设置为与存储介质930通信,在服务器900上执行存储介质930中的一系列指令操作。
服务器900还可以包括一个或一个以上电源926,一个或一个以上有线或无线网络接口950,一个或一个以上输入输出接口958,和/或,一个或一个以上操作系统941,例如windowsservertm,macosxtm,unixtm,linuxtm,freebsdtm等等。
上述实施例中由服务器所执行的步骤可以基于图9所示的服务器结构。
本申请实施例还提供一种计算机可读存储介质,用于存储计算机程序,该计算机程序用于执行前述各个实施例所述的用于知识图谱的模板确定方法中的任意一种实施方式。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质可以是下述介质中的至少一种:只读存储器(英文:read-onlymemory,缩写:rom)、ram、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备及系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述,仅为本申请的一种具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。