题目选取方法、装置、终端设备及可读存储介质与流程

文档序号:20017723发布日期:2020-02-25 10:54阅读:144来源:国知局
题目选取方法、装置、终端设备及可读存储介质与流程

本申请属于网络教育技术领域,尤其涉及题目选取方法、装置、终端设备及可读存储介质。



背景技术:

随着互联网技术的不断发展,日常生活中可以通过网络实现远程教育,例如,可以通过互联网对拍摄的图像中的题目进行搜索,从而获取题目的解析答案。

相关技术中,终端设备可以对需要搜索的题目进行拍摄,得到包括题目的图像,再向服务器发送该图像,而服务器则可以接收该图像,并通过版面分析和光学字符识别(opticalcharacterrecognition,ocr)技术对图像中的题目进行提取框选,从而基于框选的题目进行搜索,得到题目的解析答案。

但是,对题目进行拍摄得到的图像所占用的存储空间较大,在向服务器发送该图像时花费的时间较多,导致通过服务器对题目进行搜索的效率较低的问题。



技术实现要素:

本申请实施例提供了一种题目选取方法、装置、终端设备及可读存储介质,可以解决通过服务器对题目进行搜索的效率较低的问题。

第一方面,本申请实施例提供了一种题目选取方法,包括:

获取题目图像,所述题目图像包括至少一个题目;

对至少一个所述题目中目标题目所在的区域进行识别,生成区域选框;

根据检测到的调整操作,对所述区域选框进行调整,生成完全覆盖所述目标题目的框选区域;

根据所述框选区域对所述题目图像进行裁剪,得到裁剪后的题目图像,所述裁剪后的题目图像与所述框选区域相匹配。

在第一方面的第一种可能的实现方式中,所述对至少一个所述题目中目标题目所在的区域进行识别,生成区域选框,包括:

根据检测到的选择操作,确定所述题目图像中所述选择操作的选择触发位置;

从识别得到的至少一个所述题目所在的区域中,将与所述选择触发位置相匹配的区域作为所述目标题目所在的区域;

对所述目标题目所在的区域进行框选,生成所述区域选框。

在第一方面的第二种可能的实现方式中,所述对至少一个所述题目中目标题目所在的区域进行识别,生成区域选框,包括:

根据检测到的选择操作,确定所述题目图像中所述选择操作的选择触发位置;

在所述题目图像中对所述选择触发位置周围的文字进行识别,确定所述目标题目所在的区域;

对所述目标题目所在的区域进行框选,生成所述区域选框。

在第一方面的第三种可能的实现方式中,所述根据检测到的调整操作,对所述区域选框进行调整,生成完全覆盖所述目标题目的框选区域,包括:

若检测到所述调整操作,确定所述调整操作在所述题目图像中对应的调整触发位置;

根据所述调整触发位置和所述区域选框之间的位置关系,对所述区域选框的大小和/或位置进行调整,得到所述框选区域。

基于第一方面的第三种可能的实现方式,所述根据所述调整触发位置和所述区域选框之间的位置关系,对所述区域选框的大小和/或位置进行调整,得到所述框选区域,包括:

若所述调整触发位置位于所述区域选框的边界,对所述区域选框的大小进行调整;

和/或,若所述调整触发位置位于所述区域选框内,对所述区域选框的位置进行调整。

在第一方面的第四种可能的实现方式中,在所述对至少一个所述题目中目标题目所在的区域进行识别,生成区域选框之前,所述方法还包括:

通过预先设置的校正方式,对所述题目图像进行倾斜校正,得到校正后的题目图像。

在第一方面的第五种可能的实现方式中,在所述根据所述框选区域对所述题目图像进行裁剪,得到裁剪后的题目图像之后,所述方法还包括:

向服务器发送所述裁剪后的题目图像,以使所述服务器根据所述裁剪后的题目图像对所述目标题目进行搜索。

第二方面,本申请实施例提供了一种题目选取装置,包括:

获取模块,用于获取题目图像,所述题目图像包括至少一个题目;

识别模块,用于对至少一个所述题目中目标题目所在的区域进行识别,生成区域选框;

调整模块,用于根据检测到的调整操作,对所述区域选框进行调整,生成完全覆盖所述目标题目的框选区域;

裁剪模块,用于根据所述框选区域对所述题目图像进行裁剪,得到裁剪后的题目图像,所述裁剪后的题目图像与所述框选区域相匹配。

在第二方面的第一种可能的实现方式中,所述识别模块还用于根据检测到的选择操作,确定所述题目图像中所述选择操作的选择触发位置;从识别得到的至少一个所述题目所在的区域中,将与所述选择触发位置相匹配的区域作为所述目标题目所在的区域;对所述目标题目所在的区域进行框选,生成所述区域选框。

在第一方面的第二种可能的实现方式中,所述识别模块还用于根据检测到的选择操作,确定所述题目图像中所述选择操作的选择触发位置;在所述题目图像中对所述选择触发位置周围的文字进行识别,确定所述目标题目所在的区域;对所述目标题目所在的区域进行框选,生成所述区域选框。

在第二方面的第三种可能的实现方式中,所述调整模块还用于若检测到所述调整操作,确定所述调整操作在所述题目图像中对应的调整触发位置;根据所述调整触发位置和所述区域选框之间的位置关系,对所述区域选框的大小和/或位置进行调整,得到所述框选区域。

基于第二方面的第三种可能的实现方式,所述调整模块还用于若所述调整触发位置位于所述区域选框的边界,对所述区域选框的大小进行调整;和/或,若所述调整触发位置位于所述区域选框内,对所述区域选框的位置进行调整。

在第二方面的第四种可能的实现方式中,所述装置还包括:

校正模块,用于通过预先设置的校正方式,对所述题目图像进行倾斜校正,得到校正后的题目图像。

在第一方面的第五种可能的实现方式中,所述装置还包括:

发送模块,用于向服务器发送所述裁剪后的题目图像,以使所述服务器根据所述裁剪后的题目图像对所述目标题目进行搜索。

第三方面,本申请实施例提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的题目选取方法。

第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的题目选取方法。

第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述第一方面中任一项所述的题目选取方法。

可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。

本申请实施例与现有技术相比存在的有益效果是:

本申请实施例通过获取包括至少一个题目的题目图像,并对至少一个题目中目标题目所在的区域进行识别,生成区域选框,再根据检测到的调整操作,对区域选框进行调整,生成完全覆盖目标题目的框选区域,最后根据框选区域对题目图像进行裁剪,得到裁剪后的题目图像。通过识别目标题目所在的区域,生成区域选框,并根据调整操作对区域选框进行调整,生成完全覆盖目标题目的框选区域,最后裁剪得到与框选区域相匹配的裁剪后的题目图像,裁剪后的题目图像所占的存储空间小于未裁剪的题目图像,减少了向服务器发送裁剪后的题目图像所花费的时间,提高了检索目标题目的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1是本申请提供的一种题目选取方法所涉及的题目选取系统的示意图;

图2是本申请一实施例提供的题目选取方法所适用于的手机的结构示意图;

图3是本申请提供的一种题目选取方法的示意性流程图;

图4是本申请提供的另一种题目选取方法的示意性流程图;

图5是本申请提供的一种调整区域选框的示意图;

图6是本申请一实施例提供的题目选取装置的结构框图;

图7是本申请另一实施例提供的题目选取装置的结构框图;

图8是本申请又一实施例提供的题目选取装置的结构框图。

具体实施方式

以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。

应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。

本申请实施例提供的题目选取方法可以应用于手机、平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobilepersonalcomputer,umpc)、上网本、个人数字助理(personaldigitalassistant,pda)等终端设备上,本申请实施例对终端设备的具体类型不作任何限制。

例如,所述终端设备可以是wlan中的站点(staion,st),可以是蜂窝电话、无绳电话、会话启动协议(sessioninitiationprotocol,sip)电话、个人数字处理(personaldigitalassistant,pda)设备、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、电脑、膝上型计算机、手持式通信设备、手持式计算设备、卫星无线设备、无线调制解调器卡、用户驻地设备(customerpremiseequipment,cpe)和/或用于在无线系统上进行通信的其它设备以及下一代通信系统,例如,5g网络中的移动终端或者未来演进的公共陆地移动网络(publiclandmobilenetwork,plmn)网络中的移动终端等。

图1是本申请提供的一种题目选取方法所涉及的题目选取系统的示意图,该题目选取系统可以包括:服务器101和至少一个终端设备102,每个终端设备102均可以与服务器101链路连接。

为了提高对图像中所包括的题目进行检索的速度,终端设备102可以先对题目进行框选和裁剪,再向服务器101发送经过裁剪后的图像。而服务器101可以接收裁剪后的图像,并根据框选的题目,也即是裁剪后的图像中的文字进行搜索,得到相应的解析答案。

具体地,终端设备102可以先结合用户触发的调整操作,对题目图像中的目标题目进行框选,得到框选区域,并根据框选区域对题目图像进行裁剪,得到裁剪后的题目图像,再向服务器101发送裁剪后的题目图像。

相应的,服务器101可以接收裁剪后的题目图像,并根据该裁剪后的题目图像中的题目,也即是裁剪后的题目图像中的文字进行搜索,从而得到相应的解析答案,进而向终端设备102反馈检索到的解析答案。

需要说明的是,在实际应用中,每个终端设备102均可以向服务器101发送裁剪后的题目图像,而服务器101也可以向不同的终端设备102反馈与目标题目相匹配的解析答案,因此,本申请实施例仅是以一个终端设备102为例进行说明,对终端设备102的数目不做限定。

以终端设备102为手机为例。图2是本申请一实施例提供的题目选取方法所适用于的手机的结构示意图。参考图2,手机包括:射频(radiofrequency,rf)电路210、存储器220、输入单元230、显示单元240、传感器250、音频电路260、无线保真(wirelessfidelity,wifi)模块270、处理器280、以及电源290等部件。本领域技术人员可以理解,图2中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

下面结合图2对手机的各个构成部件进行具体的介绍:

rf电路210可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器280处理;另外,将设计上行的数据发送给基站。通常,rf电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(lownoiseamplifier,lna)、双工器等。此外,rf电路210还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(globalsystemofmobilecommunication,gsm)、通用分组无线服务(generalpacketradioservice,gprs)、码分多址(codedivisionmultipleaccess,cdma)、宽带码分多址(widebandcodedivisionmultipleaccess,wcdma)、长期演进(longtermevolution,lte))、电子邮件、短消息服务(shortmessagingservice,sms)等。

存储器220可用于存储软件程序以及模块,处理器280通过运行存储在存储器220的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器220可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器220可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元230可用于接收输入的数字或字符信息,以及产生与手机200的用户设置以及功能控制有关的键信号输入。具体地,输入单元230可包括触控面板231以及其他输入设备232。触控面板231,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板231上或在触控面板231附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板231可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器280,并能接收处理器280发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板231。除了触控面板231,输入单元230还可以包括其他输入设备232。具体地,其他输入设备232可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元240可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元240可包括显示面板241,可选的,可以采用液晶显示器(liquidcrystaldisplay,lcd)、有机发光二极管(organiclight-emittingdiode,oled)等形式来配置显示面板241。进一步的,触控面板231可覆盖显示面板241,当触控面板231检测到在其上或附近的触摸操作后,传送给处理器280以确定触摸事件的类型,随后处理器280根据触摸事件的类型在显示面板241上提供相应的视觉输出。虽然在图1中,触控面板231与显示面板241是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板231与显示面板241集成而实现手机的输入和输出功能。

wifi属于短距离无线传输技术,手机通过wifi模块270可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图1示出了wifi模块270,但是可以理解的是,其并不属于手机200的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。

处理器280是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器220内的软件程序和/或模块,以及调用存储在存储器220内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器280可包括一个或多个处理单元;优选的,处理器280可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器280中。

手机200还包括给各个部件供电的电源290(比如电池),优选的,电源可以通过电源管理系统与处理器280逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出,手机200还可以包括摄像头。可选地,摄像头在手机200的上的位置可以为前置的,也可以为后置的,本申请实施例对此不作限定。

可选地,手机200可以包括单摄像头、双摄像头或三摄像头等,本申请实施例对此不作限定。

例如,手机200可以包括三摄像头,其中,一个为主摄像头、一个为广角摄像头、一个为长焦摄像头。

可选地,当手机200包括多个摄像头时,这多个摄像头可以全部前置,或者全部后置,或者一部分前置、另一部分后置,本申请实施例对此不作限定。

另外,尽管未示出,手机200还可以包括蓝牙模块等,在此不再赘述。

图3是本申请提供的一种题目选取方法的示意性流程图,作为示例而非限定,该方法可以应用于如图1所示的任意一个终端设备中,该题目选取方法可以包括:

s301、获取题目图像。

其中,题目图像可以包括至少一个题目。

为了提高服务器对题目进行搜索的效率,减少终端设备向服务器发送题目图像的时间,终端设备可以预先对题目进行框选,从而向服务器发送仅包括框选的题目的图像,避免向服务器发送占用存储空间较大的图像导致花费时间过长。

在一种可能的实现方式中,终端设备可以根据预先设置的拍摄功能对至少一个题目进行拍摄,得到题目图像。例如,在检测到用户触发的开启拍摄功能的操作后,可以显示拍摄界面,并在该拍摄界面中显示拍摄的至少一个题目,若检测到用户触发的拍摄操作,则可以对拍摄界面显示的图像进行存储,得到题目图像。

当然,还可以通过其他方式获取包括题目图像,例如,可以根据用户触发的操作,从终端设备的存储空间中,选取题目图像,本申请实施例对获取题目图像的方式不做限定。

s302、对至少一个题目中目标题目所在的区域进行识别,生成区域选框。

在获取题目图像后,可以对题目图像中的目标题目进行识别,并根据识别得到的目标题目所在的区域,生成区域选框,使得可以通过该区域选框实现对目标题目的框选。

在一种可能的实现方式中,可以根据题目图像中的题目轮廓和空白区域,并结合用户触发的选择操作在题目图像中的选择触发位置,选取与选择触发位置相匹配的区域,从而将该区域内的题目作为目标题目,并根据目标题目所在的区域,生成区域选框。

需要说明的是,该选择操作可以为单击操作、双击操作或滑动操作等,本申请实施例对选择操作不做限定。

s303、根据检测到的调整操作,对区域选框进行调整,生成完全覆盖目标题目的框选区域。

为了进一步提高对目标题目进行框选的准确度,可以检测用户触发的调整操作,并根据检测到的调整操作对区域选框的大小和/或位置进行调整,以使调整后得到的框选区域能够完全覆盖目标题目,避免目标题目包括多个问题时遗漏部分问题的情况。

在一种可能的实现方式中,可以检测用户触发的调整操作,若检测到调整操作,则可以获取调整操作在题目图像中触发的调整触发位置,并根据调整触发位置和区域选框的位置关系,对区域选框的大小或位置进行调整,从而得到调整后的框选区域。

需要说明的是,与选择操作类似的,调整操作也可以为单击操作、双击操作或滑动操作等,本申请实施例对调整操作也不做限定。

s304、根据框选区域对题目图像进行裁剪,得到裁剪后的题目图像。

其中,裁剪后的题目图像与框选区域相匹配。

在对目标题目完成完整框选后,则可以根据框选区域对题目图像进行裁剪,以便向服务器发送裁剪后的题目图像,避免向服务器发送占用存储空间较大的题目图像,导致花费时间较长的问题。

在一种可能的实现方式中,可以获取框选区域的边界,并确定该边界在题目图像中对应的位置,再根据该边界对应的位置对题目图像进行裁剪,得到仅包括目标题目的图像,也即是裁剪后的题目图像,使得裁剪后的题目图像所占用的存储空间小于未裁剪的题目图像。

综上所述,本申请实施例提供的题目选取方法,通过获取包括至少一个题目的题目图像,并对至少一个题目中目标题目所在的区域进行识别,生成区域选框,再根据检测到的调整操作,对区域选框进行调整,生成完全覆盖目标题目的框选区域,最后根据框选区域对题目图像进行裁剪,得到裁剪后的题目图像。通过识别目标题目所在的区域,生成区域选框,并根据调整操作对区域选框进行调整,生成完全覆盖目标题目的框选区域,最后裁剪得到与框选区域相匹配的裁剪后的题目图像,裁剪后的题目图像所占的存储空间小于未裁剪的题目图像,减少了向服务器发送裁剪后的题目图像所花费的时间,提高了检索目标题目的效率。

进一步地,通过对目标题目所在的区域进行识别并生成区域选框,避免了用户手动框选的情况,减少了框选目标题目所花费的时间,提高了框选题目的效率。

进一步地,再根据调整操作对区域选框的范围进行调整,使得用户可以在区域选框的基础上,对区域选框的范围进行调整,从而可以精确地对目标题目进行框选,提高了框选目标题目的准确度。

图4是本申请提供的另一种题目选取方法的示意性流程图,作为示例而非限定,该方法可以应用于如图1所示的任意一个终端设备中,该题目选取方法可以包括:

s401、获取题目图像。

其中,题目图像可以包括至少一个题目。

s402、通过预先设置的校正方式,对题目图像进行倾斜校正,得到校正后的题目图像。

若题目图像是通过拍摄的方式获取的,则受到拍摄的角度的影响,题目图像中的文字会出现偏斜的情况,导致框选题目的区域范围出现偏差。因此,在得到题目图像后,可以先对题目图像进行倾斜校正,得到校正后的题目图像,以便在后续步骤中,可以基于校正后的题目图像对题目进行框选。

在一种可能的实现方式中,可以获取题目图像中空白区域和文字所在的区域的文字轮廓,再按照预先设置的坐标系,对空白区域和文字轮廓的角度进行调整,使得空白区域的边界和文字轮廓的边界均与坐标系中的横轴或纵轴平行,从而得到校正后的题目图像。

s403、对至少一个题目中目标题目所在的区域进行识别,生成区域选框。

在对题目图像进行校正后,则可以对校正后的题目图像中的目标题目进行识别,并结合用户触发的选择操作,确定目标题目在校正后的题目图像中所对应的区域,从而生成表示目标题目所在区域的区域选框。

而在确定目标题目的过程中,可以通过不同的方式生成目标题目所在区域的区域选框,则s403可以包括s403a和s403b中的任意一种:

s403a、根据检测到的选择操作,确定题目图像中选择操作的选择触发位置,并从识别得到的至少一个题目所在的区域中,将与选择触发位置相匹配的区域作为目标题目所在的区域在,再对目标题目所在的区域进行框选,生成区域选框。

在对至少一个题目进行识别的过程中,可以先对题目图像中的至少一个标识信息进行识别,并根据至少一个标识信息和题目图像中的空白区域,确定各个题目在题目图像中的区域,之后再响应选择操作,对目标题目所在的区域进行框选,形成区域选框。

其中,该标识信息用于指示题目。例如,该标识信息可以为题目的序号。

具体地,可以先对校正后的题目图像中的各行文字进行遍历,确定各行文字的首位是否存在标识信息,若任意一行存在标识信息,则可以将该行文字作为题目的首行,并结合该行文字下方相邻的空白区域,得到该行文字所属题目对应的区域。

因此,在根据各个标识信息进行识别之后,可以得到每个题目在校正后的题目图像中对应的区域。

进一步地,在得到各个题目对应的区域后,可以检测用户触发的选择操作,并根据该选择操作,从至少一个题目中选取并框选目标题目。若检测到选择操作,可以先确定校正后的题目图像中触发该选择操作的选择触发位置,再将该选择触发位置与各个题目所在的区域进行匹配,确定哪个题目所在的区域包括该选择触发位置,从而将包括该选择触发位置的区域对应的题目作为目标题目,并对目标题目所在的区域进行框选,形成区域选框。

s403b、根据检测到的选择操作,确定题目图像中选择操作的选择触发位置,并在题目图像中对选择触发位置周围的文字进行识别,确定目标题目所在的区域,再对目标题目所在的区域进行框选,生成区域选框。

在得到校正后的题目图像后,可以先检测用户触发的选择操作,并根据触发该选择操作的位置,将该位置附近的题目作为目标题目,从而生成该目标题目对应的区域选框。

具体地,可以先对用户触发的选择操作进行检测,若检测到该选择操作,则可以获取题目图像中触发该选择操作的选择触发位置,并识别该选择触发位置周围的标识信息、文字信息和空白区域,从而得到目标题目所在的区域,并根据该区域的轮廓,生成目标题目对应的区域选框。

s404、根据检测到的调整操作,对区域选框进行调整,生成完全覆盖目标题目的框选区域。

为了提高对目标题目框选的准确度,可以根据用户触发的调整操作再次对区域选框进行调整,以使调整后得到的框选区域可以完全覆盖目标题目,从而提高搜索目标题目的准确度。

在调整区域选框的过程中,不但可以对区域选框的大小进行调整,还可以对区域选框所覆盖的区域进行调整,也即是对区域选框的位置进行调整,从而得到完全覆盖目标题目的框选区域。

可选的,若检测到调整操作,可以先确定调整操作在题目图像中对应的调整触发位置,再根据调整触发位置和区域选框之间的位置关系,对区域选框的大小和/或位置进行调整,得到框选区域。

具体地,在生成区域选框后,可以检测用户是否触发了调整操作,若检测到用户触发的调整操作,则可以确定触发调整操作的调整触发位置,再将该调整触发位置在题目图像中所指示的位置,与区域选框的边界进行比较,确定调整触发位置与区域选框之间的位置关系,从而可以根据该位置关系对区域选框的大小和/或位置进行调整,得到框选区域。

进一步地,在根据该位置关系对区域选框的大小和/或位置进行调整的过程中,若调整触发位置位于区域选框的边界,则可以对区域选框的大小进行调整,和/或,若调整触发位置位于区域选框内,对区域选框的位置进行调整。

具体地,若区域选框的边界包括该调整位置,则可以根据该调整操作滑动的方向,对区域选框的大小进行调整,若检测到调整操作的滑动结束后,则可以停止对区域选框的大小进行调整,得到框选区域。

进一步地,若区域选框的边界包括该调整位置,还可以根据调整位置在边界中的位置,采用不同的方式对区域选框的大小进行调整。例如,参见图5,若调整位置位于边界中的任意一条边,则可以按照与这条边垂直的方向对区域选框(图中虚线框所示)的大小进行调整,得到框选区域(图中实线框所示);若调整位置位于两条边的夹角,则可以沿该夹角的对角线方向或角平分线的方向,对区域选框的大小进行调整。

但是,若调整触发位置位于区域选框内,则可以根据该调整操作的滑动方向,对区域选框的位置进行调整,从而得到框选区域。

另外,若调整触发位置位于区域选框外,则可以确定该调整触发位置是否位于其他题目对应的区域,若调整触发位置位于其他题目对应的区域,则可以按照各个题目对应的区域,对调整触发位置所在区域的题目进行选取,若调整触发位置也并未位于其他题目对应的区域,则不对框选区域进行调整。

s405、根据框选区域对题目图像进行裁剪,得到裁剪后的题目图像。

其中,裁剪后的题目图像与框选区域相匹配。

s406、向服务器发送裁剪后的题目图像,以使服务器根据裁剪后的题目图像对目标题目进行搜索。

在得到裁剪后的题目图像后,可以向服务器发送该裁剪后的题目图像,以使服务器对目标题目进行搜索,从而得到并向终端设备反馈相对应的解析答案。由于向终端设备反馈信息需要查找发送裁剪后的题目图像的终端设备,因此,在向服务器发送裁剪后的题目图像的过程中,可以携带指示终端设备的标识信息。

在一种可能的实现方式中,在得到裁剪后的题目图像之后,可以获取终端设备的终端标识信息,和/或,用户账号的身份标识信息,并将裁剪后的题目图像与终端标识信息,和/或身份标识信息一同发送给服务器,使得服务器根据裁剪后的题目图像中的目标题目进行搜索。

其中,终端标识信息可以为终端的ip(互联网协议,internetprotocol)地址或mac(媒体接入控制,mediumaccesscontrol)地址,而身份标识信息可以为用户在终端上登录的账号信息,例如,账号信息可以为用户的手机号或社交网络的账号信息等,本申请实施例对身份标识信息不做限定。

综上所述,本申请实施例提供的题目选取方法,通过获取包括至少一个题目的题目图像,并对至少一个题目中目标题目所在的区域进行识别,生成区域选框,再根据检测到的调整操作,对区域选框进行调整,生成完全覆盖目标题目的框选区域,最后根据框选区域对题目图像进行裁剪,得到裁剪后的题目图像。通过识别目标题目所在的区域,生成区域选框,并根据调整操作对区域选框进行调整,生成完全覆盖目标题目的框选区域,最后裁剪得到与框选区域相匹配的裁剪后的题目图像,裁剪后的题目图像所占的存储空间小于未裁剪的题目图像,减少了向服务器发送裁剪后的题目图像所花费的时间,提高了检索目标题目的效率。

进一步地,通过对题目图像进行倾斜校正,从而通过校正后的题目图像进行框选和搜索,可以提高搜索目标题目的准确度,还可以减少搜索目标题目所花费的时间,提高搜索目标题目的效率。

应理解,上述各个实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。

对应于上文实施例所述的题目选取方法,图5是本申请一实施例提供的题目选取装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。

参照图6,该装置包括:

获取模块601,用于获取题目图像,该题目图像包括至少一个题目;

识别模块602,用于对至少一个该题目中目标题目所在的区域进行识别,生成区域选框;

调整模块603,用于根据检测到的调整操作,对该区域选框进行调整,生成完全覆盖该目标题目的框选区域;

裁剪模块604,用于根据该框选区域对该题目图像进行裁剪,得到裁剪后的题目图像,该裁剪后的题目图像与该框选区域相匹配。

可选的,该识别模块602还用于根据检测到的选择操作,确定该题目图像中该选择操作的选择触发位置;从识别得到的至少一个该题目所在的区域中,将与该选择触发位置相匹配的区域作为该目标题目所在的区域;对该目标题目所在的区域进行框选,生成该区域选框。

可选的,该识别模块602还用于根据检测到的选择操作,确定该题目图像中该选择操作的选择触发位置;在该题目图像中对该选择触发位置周围的文字进行识别,确定该目标题目所在的区域;对该目标题目所在的区域进行框选,生成该区域选框。

可选的,该调整模块603还用于若检测到该调整操作,确定该调整操作在该题目图像中对应的调整触发位置;根据该调整触发位置和该区域选框之间的位置关系,对该区域选框的大小和/或位置进行调整,得到该框选区域。

可选的,该调整模块603还用于若该调整触发位置位于该区域选框的边界,对该区域选框的大小进行调整;和/或,若该调整触发位置位于该区域选框内,对该区域选框的位置进行调整。

可选的,参见图7,该装置还包括:

校正模块605,用于通过预先设置的校正方式,对该题目图像进行倾斜校正,得到校正后的题目图像。

可选的,参见图8,该装置还包括:

发送模块606,用于向服务器发送该裁剪后的题目图像,以使该服务器根据该裁剪后的题目图像对该目标题目进行搜索。

综上所述,本申请实施例提供的题目选取装置,通过获取包括至少一个题目的题目图像,并对至少一个题目中目标题目所在的区域进行识别,生成区域选框,再根据检测到的调整操作,对区域选框进行调整,生成完全覆盖目标题目的框选区域,最后根据框选区域对题目图像进行裁剪,得到裁剪后的题目图像。通过识别目标题目所在的区域,生成区域选框,并根据调整操作对区域选框进行调整,生成完全覆盖目标题目的框选区域,最后裁剪得到与框选区域相匹配的裁剪后的题目图像,裁剪后的题目图像所占的存储空间小于未裁剪的题目图像,减少了向服务器发送裁剪后的题目图像所花费的时间,提高了检索目标题目的效率。

需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。

所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

本申请实施例还提供了一种终端设备,该网络设备包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。

本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品,当计算机程序产品在移动终端上运行时,使得移动终端执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中,应该理解到,所揭露的装置/网络设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/网络设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1