用于输出信息的方法和装置与流程

文档序号:23800198发布日期:2021-02-02 12:35阅读:79来源:国知局
用于输出信息的方法和装置与流程

[0001]
本公开的实施例涉及计算机技术领域,尤其涉及用于输出信息的方法和装置。


背景技术:

[0002]
书本、电子文档等包括文字的物体通常包括封面和正文。相对而言,封面上的文字通常是大字号的文字,正文中的文字通常是小字号的文字。
[0003]
现有技术中,用于实现文字点读的模型通常是针对正文中的小字号文字训练得到的模型。


技术实现要素:

[0004]
本公开的实施例提出了用于输出信息的方法和装置。
[0005]
第一方面,本公开的实施例提供了一种用于输出信息的方法,该方法包括:响应于接收到用户发起的点读请求,获取对目标文字进行拍摄所获得的图像作为待识别图像,其中,目标文字是用户指向的文字;对待识别图像中的目标文字进行检测,获得包围目标文字的多边形框;确定多边形框所对应的多边形区域的面积;基于所确定的面积,确定目标文字的字号作为目标字号;基于目标字号,生成及输出针对目标文字的点读结果。
[0006]
在一些实施例中,基于目标字号,生成及输出针对目标文字的点读结果包括:响应于目标字号小于或等于预设字号,将多边形区域输入预先训练的第一文字识别模型,获得第一识别文字;获取第一识别文字所对应的音频;将第一识别文字所对应的音频作为点读结果输出。
[0007]
在一些实施例中,基于目标字号,生成及输出针对目标文字的点读结果包括:响应于目标字号大于预设字号,对多边形区域进行缩放,获得缩放后多边形区域;将缩放后多边形区域输入第一文字识别模型,获得第二识别文字;获取第二识别文字所对应的音频;将第二识别文字所对应的音频作为点读结果输出。
[0008]
在一些实施例中,基于目标字号,生成及输出针对目标文字的点读结果包括:响应于目标字号大于预设字号,将多边形区域输入预先训练的第二文字识别模型,获得第三识别文字;获取第三识别文字所对应的音频;将第三识别文字所对应的音频作为点读结果输出。
[0009]
在一些实施例中,基于目标字号,生成及输出针对目标文字的点读结果包括:响应于目标字号大于预设字号,将预先设置的提示信息作为点读结果输出,其中,提示信息用于提示用户指向新文字,新文字所对应的字号小于目标字号。
[0010]
第二方面,本公开的实施例提供了一种用于输出信息的装置,该装置包括:获取单元,被配置成响应于接收到用户发起的点读请求,获取对目标文字进行拍摄所获得的图像作为待识别图像,其中,目标文字是用户指向的文字;检测单元,对待识别图像中的目标文字进行检测,获得包围目标文字的多边形框;第一确定单元,被配置成确定多边形框所对应的多边形区域的面积;第二确定单元,被配置成基于所确定的面积,确定目标文字的字号作
为目标字号;输出单元,被配置成基于目标字号,生成及输出针对目标文字的点读结果。
[0011]
在一些实施例中,输出单元包括:第一输入模块,被配置成响应于目标字号小于或等于预设字号,将多边形区域输入预先训练的第一文字识别模型,获得第一识别文字;第一获取模块,被配置成获取第一识别文字所对应的音频;第一输出模块,被配置成将第一识别文字所对应的音频作为点读结果输出。
[0012]
在一些实施例中,输出单元包括:缩放模块,被配置成响应于目标字号大于预设字号,对多边形区域进行缩放,获得缩放后多边形区域;第二输入模块,被配置成将缩放后多边形区域输入预先训练的第一文字识别模型,获得第二识别文字;第二获取模块,被配置成获取第二识别文字所对应的音频;第二输出模块,被配置成将第二识别文字所对应的音频作为点读结果输出。
[0013]
在一些实施例中,输出单元包括:第三输入模块,被配置成响应于目标字号大于预设字号,将多边形区域输入预先训练的第二文字识别模型,获得第三识别文字;第三获取模块,被配置成获取第三识别文字所对应的音频;第三输出模块,被配置成将第三识别文字所对应的音频作为点读结果输出。
[0014]
在一些实施例中,输出单元包括:第四输出模块,被配置成响应于目标字号大于预设字号,将预先设置的提示信息作为点读结果输出,其中,提示信息用于提示用户指向新文字,新文字所对应的字号小于目标字号。
[0015]
第三方面,本公开的实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述用于输出信息的方法中任一实施例的方法。
[0016]
第四方面,本公开的实施例提供了一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现上述用于输出信息的方法中任一实施例的方法。
[0017]
本公开的实施例提供的用于输出信息的方法和装置,通过响应于接收到用户发起的点读请求,获取对目标文字进行拍摄所获得的图像作为待识别图像,其中,目标文字是用户指向的文字,而后对待识别图像中的目标文字进行检测,获得包围目标文字的多边形框,接着确定多边形框所对应的多边形区域的面积,然后基于所确定的面积,确定目标文字的字号作为目标字号,最后基于目标字号,生成及输出针对目标文字的点读结果,由于在点读过程中,针对不同字号的文字可以具有不同的点读效果,因此,本公开在生成点读结果的过程中考虑到了文字的字号,引入更多的与点读结果相关的数据,进而可以输出更为准确、有效的点读结果,有助于提高用户体验。
附图说明
[0018]
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本公开的其它特征、目的和优点将会变得更明显:
[0019]
图1是本公开的一个实施例可以应用于其中的示例性系统架构图;
[0020]
图2是根据本公开的用于输出信息的方法的一个实施例的流程图;
[0021]
图3是根据本公开的实施例的用于输出信息的方法的一个应用场景的示意图;
[0022]
图4是根据本公开的用于输出信息的方法的又一个实施例的流程图;
[0023]
图5是根据本公开的用于输出信息的装置的一个实施例的结构示意图;
[0024]
图6是适于用来实现本公开的实施例的电子设备的计算机系统的结构示意图。
具体实施方式
[0025]
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
[0026]
需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
[0027]
图1示出了可以应用本公开的用于输出信息的方法或用于输出信息的装置的实施例的示例性系统架构100。
[0028]
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
[0029]
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种客户端应用,例如点读类软件、教育学习类软件、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
[0030]
终端设备101、102、103可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是具有拍摄功能的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、mp3播放器(moving picture experts group audio layer iii,动态影像专家压缩标准音频层面3)、mp4(moving picture experts group audio layer iv,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块),也可以实现成单个软件或软件模块。在此不做具体限定。
[0031]
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103上安装的软件提供支持的后台服务器。后台服务器可以对接收到的点读请求等数据进行分析等处理,并将处理结果(例如目标文字的点读结果)反馈给终端设备。
[0032]
需要说明的是,本公开的实施例所提供的用于输出信息的方法可以由终端设备101、102、103执行,也可以由服务器105执行,相应地,用于输出信息的装置可以设置于终端设备101、102、103中,也可以设置于服务器105中。
[0033]
需要说明的是,服务器可以是硬件,也可以是软件。当服务器为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块),也可以实现成单个软件或软件模块。在此不做具体限定。
[0034]
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。在输出目标文字的点读结果的过程中所使用的数据不需要从远程获取的情况下,上述系统架构可以不包括网络,而只包括终端设备或服务器。
[0035]
继续参考图2,示出了根据本公开的用于输出信息的方法的一个实施例的流程
200。该用于输出信息的方法,包括以下步骤:
[0036]
步骤201,响应于接收到用户发起的点读请求,获取对目标文字进行拍摄所获得的图像作为待识别图像。
[0037]
在本实施例中,用于输出信息的方法的执行主体(例如图1所示的终端设备)可以响应于通过有线连接方式或者无线连接方式接收到用户发起的点读请求,获取对目标文字进行拍摄所获得的图像作为待识别图像。其中,目标文字可以是用户指向的文字。点读请求可以用于请求获取用户指向的文字的音频。
[0038]
具体的,用户可以采用各种方式发起点读请求,例如可以发送预设语音(例如“我要点读”),或者也可以点击预设按钮等。用户发起点读请求后,可以指向文字,以便上述执行主体对用户指向的文字进行拍摄,获得待识别图像。
[0039]
实践中,用户可以采用各种方法指向文字,例如可以利用手指指向文字、利用笔指向文字等等。用户所指向的文字可以是各种物体上包括的文字,例如可以是书本上包括的文字、电子文档中包括的文字等。
[0040]
需要说明的是,所拍摄的文字可以是一个文字,也可以是多个文字。例如,上述执行主体可以对与用户手指最接近的一个文字进行拍摄,获得一个目标文字;或者,上述执行主体可以对与用户手指最接近的四个文字进行拍摄,获得四个目标文字。
[0041]
可以理解,拍摄过程中,摄像头与用户指向的文字的距离可能对待识别图像中的文字的大小有影响,因此,在本实施例中,为了避免这种影响,用于对用户指向的文字进行拍摄获得待识别图像的摄像头与用户指向的文字的距离可以是固定不变的。
[0042]
步骤202,对待识别图像中的目标文字进行检测,获得包围目标文字的多边形框。
[0043]
在本实施例中,基于步骤201中得到的待识别图像,上述执行主体可以对该待识别图像中的目标文字进行检测,获得包围目标文字的多边形框。
[0044]
具体的,上述执行主体可以将现有技术中应用于图像识别或者图像检测等领域中的模型(例如卷积神经网络)应用到本步骤中,以对待识别图像中的目标文字进行检测,获得包围目标文字的多边形框。这里,多边形框包括的边的数量可以通过用于训练上述模型的训练样本来确定。具体的,作为示例,若上述模型在训练过程中所使用的训练样本为标注了四边形框的样本图像,则上述多边形框可以为四边形框;若上述模型在训练过程中所使用的训练样本为标注了五边形框的样本图像,则上述多边形框可以为五边形框。
[0045]
可选的,上述执行主体可以对待识别图像中的目标文字进行检测,获得包围目标文字的最小四边形框。其中,最小四边形框为包围目标文字的、面积最小的四边形框。这里采用最小四边形框,可以更为准确地表示出目标文字所占据的图像区域的面积,有助于在后续步骤中更为准确地确定目标文字的字号;并且,四边形框具有较少的尺寸参数,采用四边形框,有助于简化后续的面积确定步骤。
[0046]
需要说明的是,若上述目标文字是多个,则在本步骤中,上述执行主体可以生成多个多边形框,其中,目标文字与多边形框一一对应。以此,可以在后续步骤中,针对性地确定每个目标文字的字号,进一步细化文字点读过程,提高文字点读的准确性。
[0047]
步骤203,确定多边形框所对应的多边形区域的面积。
[0048]
在本实施例中,基于步骤202中得到的多边形框,上述执行主体可以确定该多边形框所对应的多边形区域的面积。其中,多边形框所对应的多边形区域既为多边形框所围成
的多边形区域。例如,多边形框为四边形框,则上述多边形区域为四边形框所围成的四边形区域。
[0049]
具体的,上述执行主体可以采用现有的计算多边形面积的方法,确定上述多边形区域的面积。
[0050]
步骤204,基于所确定的面积,确定目标文字的字号作为目标字号。
[0051]
在本实施例中,基于步骤203中得到的面积,上述执行主体可以确定目标文字的字号作为目标字号。
[0052]
具体的,技术人员可以预先建立面积与字号的对应关系。进而,上述执行主体可以从上述对应关系中,确定与步骤203中得到的面积相对应的字号作为目标文字的目标字号。
[0053]
作为示例,技术人员预先建立面积与字号的对应关系为:“0.01平方厘米≤面积<0.25平方厘米”对应字号“8”;“0.25平方厘米≤面积<0.49平方厘米”对应字号“10”;“0.49平方厘米≤面积<0.81平方厘米”对应字号“12”;“0.81平方厘米≤面积<1平方厘米”对应字号“14”;“1平方厘米≤面积<4平方厘米”对应字号“18”。以及,上述执行主体基于步骤203获得的面积为2平方厘米,由于1平方厘米<2平方厘米<4平方厘米,所以上述执行主体可以确定目标字号为18。
[0054]
步骤205,基于目标字号,生成及输出针对目标文字的点读结果。
[0055]
在本实施例中,基于步骤204中得到的目标字号,上述执行主体可以生成针对目标字号所对应的目标文字的点读结果,以及输出所生成的点读结果。
[0056]
具体的,若上述执行主体为终端设备,则上述执行主体可以直接将所生成的点读结果输出给上述用户;若上述执行主体为与终端设备通信连接的其他电子设备(例如服务器),则上述执行主体可以将点读结果输出给终端设备,以便终端设备将点读结果输出给上述用户。
[0057]
在本实施例中,上述执行主体可以基于目标字号,采用各种方法生成及输出针对目标文字的点读结果。
[0058]
在本实施例的一些可选的实现方式中,上述执行主体可以通过以下步骤生成及输出针对目标文字的点读结果:首先,上述执行主体可以响应于目标字号小于或等于预设字号,将多边形区域输入预先训练的第一文字识别模型,获得第一识别文字。然后,上述执行主体可以获取第一识别文字所对应的音频。最后,上述执行主体可以将第一识别文字所对应的音频作为点读结果输出。
[0059]
在本实现方式中,预设字号可以为技术人员预先确定的字号。第一文字识别模型可以用于识别图像区域中包括的文字。具体的,第一文字识别模型可以为技术人员预先训练的、用于对字号小于或等于预设字号的文字进行识别的模型。
[0060]
实践中,技术人员可以收集包括第一样本文字的第一样本图像区域,其中,第一样本文字的字号小于或等于预设字号,进而,利用第一样本图像区域,可以训练获得上述第一文字识别模型。
[0061]
在本实施例的一些可选的实现方式中,上述执行主体还可以通过以下步骤生成及输出针对目标文字的点读结果:首先,上述执行主体可以响应于目标字号大于预设字号,将多边形区域输入预先训练的第二文字识别模型,获得第三识别文字。然后,获取第三识别文字所对应的音频。最后,将第三识别文字所对应的音频作为点读结果输出。
[0062]
在本实现方式中,第二文字识别模型也可以用于识别图像区域中包括的文字。具体的,第二文字识别模型可以为技术人员预先训练的、用于对字号大于预设字号的文字进行识别的模型。
[0063]
实践中,技术人员可以收集包括第二样本文字的第二样本图像区域,其中,第二样本文字的字号大于预设字号,进而,利用第二样本图像区域,可以训练获得上述第二文字识别模型。
[0064]
在本实施例的一些可选的实现方式中,上述执行主体还可以响应于目标字号大于预设字号,将预先设置的提示信息作为点读结果输出。其中,提示信息可以用于提示用户指向新文字,新文字所对应的字号小于目标字号。作为示例,提示信息可以为“若您指向正文中的相对较小的文字,点读效果会更好哦”。
[0065]
特别的,上述执行主体可以将目标文字所对应的音频(例如上述第一识别文字所对应的音频或第三识别文字所对应的音频)和上述提示信息同时作为点读结果输出给上述用户。以此,可以在输出目标文字对应的音频的同时,提示用户如何能够获得更好的点读效果,有助于提高用户体验。
[0066]
继续参见图3,图3是根据本实施例的用于输出信息的方法的应用场景的一个示意图。在图3的应用场景中,终端设备301可以响应于接收到用户302发起的点读请求303,获取对目标文字(例如“飘”进行拍摄所获得的图像作为待识别图像304,其中,目标文字是用户302指向的文字。然后,终端设备301可以对待识别图像304中的目标文字进行检测,获得包围目标文字的多边形框305(例如四边形框)。接着,终端设备301可以确定多边形框305所对应的多边形区域的面积306。然后,终端设备301可以基于所确定的面积306,确定目标文字的字号作为目标字号307。最后,终端设备301可以基于目标字号307,生成针对目标文字的点读结果308,以及将点读结果308输出给用户302。
[0067]
本公开的上述实施例提供的方法在生成点读结果的过程中考虑到了文字的字号,引入更多的与点读结果相关的数据,进而可以输出更为准确、有效的点读结果,有助于提高用户体验。
[0068]
进一步参考图4,其示出了用于输出信息的方法的又一个实施例的流程400。该用于输出信息的方法的流程400,包括以下步骤:
[0069]
步骤401,响应于接收到用户发起的点读请求,获取对目标文字进行拍摄所获得的图像作为待识别图像。
[0070]
在本实施例中,用于输出信息的方法的执行主体(例如图1所示的终端设备)可以响应于通过有线连接方式或者无线连接方式接收到用户发起的点读请求,获取对目标文字进行拍摄所获得的图像作为待识别图像。其中,目标文字可以是用户指向的文字。点读请求可以用于请求获取用户指向的文字的音频。
[0071]
步骤402,对待识别图像中的目标文字进行检测,获得包围目标文字的多边形框。
[0072]
在本实施例中,基于步骤401中得到的待识别图像,上述执行主体可以对该待识别图像中的目标文字进行检测,获得包围目标文字的多边形框。
[0073]
步骤403,确定多边形框所对应的多边形区域的面积。
[0074]
在本实施例中,基于步骤402中得到的多边形框,上述执行主体可以确定该多边形框所对应的多边形区域的面积。其中,多边形框所对应的多边形区域既为多边形框所围成
的多边形区域。
[0075]
步骤404,基于所确定的面积,确定目标文字的字号作为目标字号。
[0076]
在本实施例中,基于步骤403中得到的面积,上述执行主体可以确定目标文字的字号作为目标字号。
[0077]
上述步骤401、步骤402、步骤403、步骤404可以分别采用与前述实施例中的步骤201、步骤202、步骤203和步骤204类似的方式执行,上文针对步骤201、步骤202、步骤203和步骤204的描述也适用于步骤401、步骤402、步骤403和步骤404,此处不再赘述。
[0078]
步骤405,响应于目标字号大于预设字号,对多边形区域进行缩放,获得缩放后多边形区域。
[0079]
在本实施例中,基于步骤404中得到的目标字号,上述执行主体可以响应于该目标字号大于预设字号,对多边形区域进行缩放,获得缩放后多边形区域。
[0080]
具体的,上述执行主体可以采用各种方式对多边形区域进行缩放,只需保证缩放后多边形区域的面积小于或等于预设字号对应的最大面积即可。其中,预设字号对应的最大面积可以基于技术人员预先建立的面积与字号的对应关系确定。例如,预设字号为“12”。技术人员预先建立了字号“12”与“0.49平方厘米≤面积<0.81平方厘米”的对应关系,则预设字号对应的最大面积可以为0.81。
[0081]
作为示例,多边形区域为矩形区域,矩形区域的长为2厘米,宽为1厘米,进而矩形区域的面积为2厘米。预设字号为“12”,对应的最大面积为0.81平方厘米。则上述执行主体可以通过将矩形区域的长缩小为原来的二分之一,将矩形区域的宽缩小为原来的二分之一来实现对矩形区域的缩放,获得缩放后矩形区域。缩放后矩形区域的长为1厘米,宽为0.5厘米,面积为0.5平方厘米(小于预设字号对应的最大面积“0.81平方厘米”)。或者,上述执行主体也可以将矩形区域的长和宽分别缩小为原来的四分之一,获得缩放后矩形区域。缩放后矩形区域的长为0.5厘米,宽为0.25厘米,面积为0.125平方厘米(小于预设字号对应的最大面积“0.81平方厘米”)。
[0082]
可以理解,多边形区域中包括目标文字,所以,对多边形区域进行缩放即相当于对多边形区域中的目标文字进行缩放,获得缩放后文字。缩放后多边形区域的面积小于或等于预设字号对应的面积,进而,缩放后文字的字号则会小于或等于预设字号。
[0083]
步骤406,将缩放后多边形区域输入第一文字识别模型,获得第二识别文字。
[0084]
在本实施例中,基于步骤405中得到的缩放后多边形区域,上述执行主体可以将该缩放后多边形区域输入第一文字识别模型,获得第二识别文字。其中,第一文字识别模型可以为技术人员预先训练的、用于对字号小于或等于预设字号的文字进行识别的模型。
[0085]
步骤407,获取第二识别文字所对应的音频。
[0086]
在本实施例中,基于步骤406中得到的第二识别文字,上述执行主体可以获取第二识别文字所对应的音频。
[0087]
步骤408,将第二识别文字所对应的音频作为点读结果输出。
[0088]
在本实施例中,基于步骤407中得到的音频,上述执行主体可以将该音频作为点读结果输出。
[0089]
具体的,若上述执行主体为终端设备,则上述执行主体可以直接将上述音频作为点读结果输出给上述用户;若上述执行主体为与终端设备通信连接的其他电子设备(例如
服务器),则上述执行主体可以将上述音频作为点读结果输出给终端设备,以便终端设备将该点读结果输出给上述用户。
[0090]
从图4中可以看出,与图2对应的实施例相比,本实施例中的用于输出信息的方法的流程400突出了在目标字号大于预设字号的情况下,对多边形区域进行缩放,获得缩放后多边形区域,进而利用第一文字识别模型对缩放后多边形区域进行识别,获得第二识别文字,以及获取及输出第二识别文字所对应的音频的步骤。由此,本实施例描述的方案可以通过缩放的方式,将目标文字对应的字号缩小为第一文字识别模型能够识别的字号,进而可以在不增加用于识别大字号文字的模型的基础上,提高目标文字识别的准确性。
[0091]
进一步参考图5,作为对上述各图所示方法的实现,本公开提供了一种用于输出信息的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
[0092]
如图5所示,本实施例的用于输出信息的装置500包括:获取单元501、检测单元502、第一确定单元503、第二确定单元504和输出单元505。其中,获取单元501被配置成响应于接收到用户发起的点读请求,获取对目标文字进行拍摄所获得的图像作为待识别图像,其中,目标文字是用户指向的文字;检测单元502对待识别图像中的目标文字进行检测,获得包围目标文字的多边形框;第一确定单元503被配置成确定多边形框所对应的多边形区域的面积;第二确定单元504被配置成基于所确定的面积,确定目标文字的字号作为目标字号;输出单元505被配置成基于目标字号,生成及输出针对目标文字的点读结果。
[0093]
在本实施例中,用于输出信息的装置500的获取单元501可以响应于通过有线连接方式或者无线连接方式接收到用户发起的点读请求,获取对目标文字进行拍摄所获得的图像作为待识别图像。其中,目标文字可以是用户指向的文字。点读请求可以用于请求获取用户指向的文字的音频。
[0094]
在本实施例中,基于获取单元501得到的待识别图像,检测单元502可以对该待识别图像中的目标文字进行检测,获得包围目标文字的多边形框。
[0095]
在本实施例中,基于检测单元502得到的多边形框,第一确定单元503可以确定该多边形框所对应的多边形区域的面积。其中,多边形框所对应的多边形区域既为多边形框所围成的多边形区域。
[0096]
在本实施例中,基于第一确定单元503得到的面积,第二确定单元504可以确定目标文字的字号作为目标字号。
[0097]
在本实施例中,基于第二确定单元504得到的目标字号,输出单元505可以生成针对目标字号所对应的目标文字的点读结果,以及输出所生成的点读结果。
[0098]
在本实施例的一些可选的实现方式中,输出单元505包括:第一输入模块(图中未示出),被配置成响应于目标字号小于或等于预设字号,将多边形区域输入预先训练的第一文字识别模型,获得第一识别文字;第一获取模块(图中未示出),被配置成获取第一识别文字所对应的音频;第一输出模块(图中未示出),被配置成将第一识别文字所对应的音频作为点读结果输出。
[0099]
在本实施例的一些可选的实现方式中,输出单元505包括:缩放模块(图中未示出),被配置成响应于目标字号大于预设字号,对多边形区域进行缩放,获得缩放后多边形区域;第二输入模块(图中未示出),被配置成将缩放后多边形区域输入预先训练的第一文
字识别模型,获得第二识别文字;第二获取模块(图中未示出),被配置成获取第二识别文字所对应的音频;第二输出模块(图中未示出),被配置成将第二识别文字所对应的音频作为点读结果输出。
[0100]
在本实施例的一些可选的实现方式中,输出单元505包括:第三输入模块(图中未示出),被配置成响应于目标字号大于预设字号,将多边形区域输入预先训练的第二文字识别模型,获得第三识别文字;第三获取模块(图中未示出),被配置成获取第三识别文字所对应的音频;第三输出模块(图中未示出),被配置成将第三识别文字所对应的音频作为点读结果输出。
[0101]
在本实施例的一些可选的实现方式中,输出单元505包括:第四输出模块(图中未示出),被配置成响应于目标字号大于预设字号,将预先设置的提示信息作为点读结果输出,其中,提示信息用于提示用户指向新文字,新文字所对应的字号小于目标字号。
[0102]
可以理解的是,该装置500中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置500及其中包含的单元,在此不再赘述。
[0103]
本公开的上述实施例提供的装置500本公开的上述实施例提供的方法在生成点读结果的过程中考虑到了文字的字号,引入更多的与点读结果相关的数据,进而可以输出更为准确、有效的点读结果,有助于提高用户体验。
[0104]
下面参考图6,其示出了适于用来实现本公开实施例的电子设备(例如图1中的终端设备)600的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
[0105]
如图6所示,电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601,其可以根据存储在只读存储器(rom)602中的程序或者从存储装置608加载到随机访问存储器(ram)603中的程序而执行各种适当的动作和处理。在ram 603中,还存储有电子设备600操作所需的各种程序和数据。处理装置601、rom 602以及ram 603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
[0106]
通常,以下装置可以连接至i/o接口605:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606;包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置607;包括例如磁带、硬盘等的存储装置608;以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
[0107]
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置609从网络上被下载和安装,或者从存储装置608被安装,或者从rom 602被安装。在该计算机程序被处理装置601执行时,执行本公开实施例
的方法中限定的上述功能。
[0108]
需要说明的是,本公开所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、rf(射频)等等,或者上述的任意合适的组合。
[0109]
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:响应于接收到用户发起的点读请求,获取对目标文字进行拍摄所获得的图像作为待识别图像,其中,目标文字是用户指向的文字;对待识别图像中的目标文字进行检测,获得包围目标文字的多边形框;确定多边形框所对应的多边形区域的面积;基于所确定的面积,确定目标文字的字号作为目标字号;基于目标字号,生成及输出针对目标文字的点读结果。
[0110]
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0111]
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令
的组合来实现。
[0112]
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“获取待识别图像的单元”。
[0113]
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1