用于终端的文本识别设备和方法
【专利摘要】本发明提供一种用于终端的文本识别设备和方法。所述文本识别设备和方法在屏幕上将由笔选择的文本图像识别为文本。本发明的文本识别方法包括：显示图像；响应于用笔做出的手势，在图像上配置识别区域；在识别区域中识别文本；显示识别的文本和与文本相应的动作项；当动作项中的一个被选择时，执行与选择的动作项相应的动作。
【专利说明】用于终端的文本识别设备和方法
【技术领域】
[0001]本公开涉及一种便携式终端，具体地讲，涉及一种使用触摸笔识别显示在屏幕图像上的文本的文本识别设备和方法。
【背景技术】
[0002]便携式终端通常配备有用户能通过简单或者多点触摸手势控制的触摸面板和用于捕捉图像的照相机。最近很多便携式终端被设置为包括文本识别和语音识别功能以增加用户的体验。
[0003]触摸面板感测使用手指或者触摸笔的输入。前一类型的触摸面板可被实现为电容触摸面板，后一类型的触摸面板可被实现为电磁共振(EMR)触摸面板。触摸笔可被实现为电容型触摸笔和EMR型触摸笔。在使用电容型触摸笔的情况下，电容触摸面板能感测由人体(如手指)和电容型触摸笔两者做出的触摸输入。
[0004]最近，存在识别照相机实时拍摄的图像中的文本的需求。即，需要识别包括在照相机捕捉的预览图像中的文本并根据识别结果采取行动的方法。
【发明内容】
[0005]本发明提供了一种在配备有照相机和触摸面板的便携式终端中使用的文本识别设备和方法，该文本识别设备和方法能够在图像上(预览图像、静态图像等)定位由触摸笔指定的至少一个文本，并且在文本识别模式期间，识别通过接触选择的位置处的字符图像。
[0006]本发明的另一方面提供一种在便携式终端中使用的文本识别设备和方法，该文本识别设备和方法在文本识别模式期间，由触摸笔做出接触或由悬停手势在上面指出至少一个文本以开始字符识别。
[0007]本发明的另一方面提供:响应于笔触摸或者没有接触的笔悬停手势捕捉预览图像作为静态图像，从而使用笔动作识别的文本连同待选择的与识别文本相应的可执行项的列表一起被显不。
[0008]根据本发明的一方面，一种终端的文本识别方法包括:显示图像；响应于使用物体的输入手势来配置或者限定图像上的识别区域；识别在识别区域中的至少一个文本；显示识别的文本和待选择的与文本相应的可选择的动作项的列表。
[0009]根据本发明的另一方面，一种终端的文本识别设备包括:照相机，提供图像；触摸面板，检测使用物体做出的输入手势；显示单元，显示捕捉的图像；控制单元，控制显示单元用于响应于输入手势配置或限定图像上的识别区域，识别在识别区域中的至少一个文本，并且显示识别的文本和相应于文本的可选择的动作项的列表。
【专利附图】
【附图说明】
[0010]图1是示出根据本发明实施例的终端的配置的框图；
[0011]图2是示出根据本发明实施例的在显示在终端屏幕上的图像中识别和处理文本的处理的流程图；
[0012]图3是示出根据本发明实施例的由工作在文本识别模式下的终端显示的示例性屏幕图像的示图；
[0013]图4A和图4B是示出用于解释根据本发明实施例的在文本识别方法中响应于笔手势输入配置识别区域的示例性屏幕图像的示图；
[0014]图5是示出根据本发明实施例的工作在预览模式下的终端的基于笔触摸的文本识别方法的流程图；
[0015]图6A和图6B是示出用于解释图5中的文本识别过程的示例性屏幕图像的示图；
[0016]图7是示出根据本发明实施例的文本识别方法的流程图；
[0017]图8A和图SB是示出用于解释图7中的文本识别过程的示例性屏幕图像的示图。
【具体实施方式】
[0018]参照附图详细地描述本发明的示例性实施例。贯穿附图，相同的附图标号用于指示同一或者相同的部件。
[0019]以下描述中使用的术语和词语不限于字面含义，而是仅由
【发明者】使用以使人能够清楚一致地理解本发明。因此，对于本领域的技术人员很明显的是，以下对本发明示例性实施例的描述仅被提供用于说明目的，而不是用于限制由权利要求及其等同物限定的本发明的目的。
[0020]应理解，单数形式包括复数形式，除非上下文明确地相反指示。因此，例如，提到“元件表面”包括提到的一个或者多个这样的表面。
[0021]术语“大体上地”表示列举的特性、参数或者数值不需要精确地实现，而是可出现在数量上不排除该特征意欲提供的效果的偏差或变化，偏差或变化包括例如公差、测量误差、测量精确度限制和本领域技术人员所知的其他因素。
[0022]在本发明的实施例中，配备有照相机和笔触摸敏感触摸面板的终端能够在图像(预览图像、静态图像等)上选择由触摸笔接触的位置，而且识别选择的位置处的文本图像。为了完成这些，终端包括对笔触摸敏感的触摸面板，该触摸面板能够感测到在接触面板上经过接触做出的触摸手势或者在触摸面板上方未经过接触做出的悬停手势。
[0023]在本发明的实施例中，工作在预览模式下的终端操作能够响应于笔触摸手势捕捉预览图像作为静态图像。如果在触摸面板上方检测到笔触摸手势或者悬停手势，则终端分析在检测到笔触摸或者悬停手势的位置处的图像，并且根据分析结果识别字符，然后显示与识别的字符相应的可执行项的列表。根据本发明的实施例，如果在显示由照相机捕捉的预览图像的状态下检测到笔触摸手势，则终端识别在笔触摸的位置处的文本图像，显示识别的字符数据，并显示与识别的字符数据相应的至少一个动作项，如果用户选择了动作项，则执行与选择的动作项相应的功能。
[0024]根据本发明的实施例，如果在显示静态图像的状态下检测到笔触摸手势，则终端识别在检测到笔触摸的位置附近的文本图像，显示识别的字符数据，并显示与字符数据相应的至少一个动作项，如果用户选择动作项，则执行与选择的动作项相应的功能。
[0025]图1是示出根据本发明实施例的终端的配置的框图。这里，终端可以是各种数字装置(诸如移动终端)中的任意一个，包括智能手机、MP3播放器、平板电脑和台式机/膝上型PC。
[0026]参照图1，通信单元120负责无线电与基站或者其他终端通信。这里，通信单元120可包括:发射器，用于将要发射的信号上变换和放大；接收器，用于低噪声地放大和下变换接收到的信号。通信单元120可包括调制器和解调器。调制器调制传输到发射器的传输信号，解调器解调由接收器接收的信号。调制器/解调器可是LTE、WCDMA、GSM、W1-F1、WiBro、NFC、蓝牙调制器/解调器中的任何一个。在本发明的实施例中，在假设通信单元120包括LTE, W1-Fi和蓝牙通信模块的前提下进行描述。
[0027]照相机160负责响应于照相机驱动命令拍摄图像。
[0028]控制单元100控制终端的所有操作，在文本识别模式下，控制单元100在由照相机160提供的预览图像的焦点位置处识别字符，并识别包括在响应于捕捉请求捕捉的屏幕图像中的字符。在文本识别模式下，控制单元100检查在文本识别模式下配置的功能，显示与功能关联的、相应于识别的字符的动作项，并控制与用户选择的项相应的动作的执行。
[0029]存储器110包括:程序存储器，用于储存终端的操作系统(OS)和与根据本发明实施例的方法相关联的应用程序；数据存储器，用于存储与终端的操作相关联的表和程序的数据。
[0030]显示单元130显示关于在控制单元100的控制下当前运行的应用的信息。显示单元130可用液晶显示器(IXD)和有机发光二极管(OLED)中的一个实现。第一触摸面板140可被实现为电容型或者电阻型以产生触摸(在下文中，假设为手指触摸)的位置信息给控制单元100。第二触摸面板150被设置为具有EMR传感器板，用于检测笔触摸并产生相应的输入信号给控制单元100。这里，控制单元130、触摸面板140和ERM面板150可被整合到信号装置中。
[0031]在以上配置的终端中，如果在终端屏幕上显示的图像的特定位置处检测到触摸输入，则控制单元100将笔触摸位置附近的区域配置或限定为识别区域，识别在识别区域中限定的字符数据或者文本，然后将识别的字符数据连同用于执行与字符相应的功能的菜单(在下文中，指的是可执行项或者动作项)一起显示。
[0032]图2是示出根据本发明实施例的在显示在终端屏幕上的图像中识别和处理文本的处理的流程图。图3是示出根据本发明实施例的由工作在文本识别模式下的终端显示的屏幕图像的示图。
[0033]参照图2和图3，在步骤211，控制单元100控制显示单元130以显示图像。注意在终端中显示的图像可从外部源(诸如另一个终端、互联网、云、服务器等)接收。此时，由显示单元130显示的图像可以是包括图像和字符的图像，或者是仅包括字符的图像(例如文档图像)。如果用户在图像上通过笔做出触摸输入或者手势，则控制单元100在步骤213通过第二触摸面板150检测到笔接触，而且在步骤215，检查由第二触摸面板150检测到的笔接触的位置以执行文本识别。即，如图3中的示例性屏幕图像350和370所示，如果用户通过笔311在图像上绘出由附图标号315所表示的线，则控制单元100通过第二触摸面板150检测到笔手势，并且将笔绘图周围的区域(笔绘图区域)配置为识别区域。或者，根据本发明的实施例，在下划线315的上面或者下面放置的单词被识别。然后，控制单元100识别在识别区域中的字符并且在步骤219根据分析结果以弹出窗口的形式显示识别的字符321和动作项323，如示例性屏幕图像360和380所示。[0034]在图3中，屏幕图像350表示的示例性情况是在图像中的电话号码上进行笔绘图，而屏幕图像370表示的示例性情况是在图像的文本上进行笔绘图。在本发明的实施例上，假设文本分类为带有某些链接信息的链接文本和没有链接信息的普通文本之一。在这种情况下，带有链接信息的链接文本可以是统一资源定位符(URL)、电子邮件、电话号码、地址和社交网络服务(SNS)身份信息中的任何一个。如果识别这样的链接文本，则控制单元100能够显示可利用链接信息执行的动作项(菜单项)。这里，链接文本的动作项可被总结如表I所示。
[0035]表1
【权利要求】
1.一种终端的文本识别方法，所述方法包括: 显示图像； 响应于使用物体的输入手势，在图像上配置识别区域； 识别在识别区域中的至少一个文本； 显示识别的文本和与文本相应的可选择的动作项的列表。
2.如权利要求1所述的文本识别方法，还包括:当选择动作项中的一个时，执行与选择的动作项相应的动作。
3.如权利要求1所述的文本识别方法，其中显示图像的步骤还包括:响应于输入手势，捕捉图像作为静态图像。
4.如权利要求1所述的文本识别方法，其中，图像是预览图像。
5.如权利要求1所述的文本识别方法，其中，输入手势是在屏幕上做出的触摸手势和在屏幕之上的悬停手势中的一个。
6.如权利要求1所述的文本识别方法，其中，通过在所述至少一个文本上、附近或下面绘线来限定识别区域。
7.如权利要求6所述的文本识别方法，其中，配置识别区域的步骤包括:当线绘在上方文本串和下方文本串之间时，将在线上面的上方文本串配置为识别区域的一部分。
8.如权利要求6所述的文本识别方法，其中，配置识别区域的步骤包括:当线绘在单词的至少一个字母的底部时，将该单词配置为识别区域的一部分。
9.一种终端的文本识别设备，包括: 照相机，提供图像； 触摸面板，检测使用物体做出的输入手势； 显示单元，显示捕捉的图像； 控制单元，控制显示单元响应于输入手势在图像上配置识别区域，识别在识别区域中的至少一个文本，并且显示识别的文本和相应于文本的可选择的动作项的列表。
10.如权利要求9所述的文本识别设备，其中，照相机响应于输入手势将图像显示为静态图像。
11.如权利要求9所述的文本识别设备，其中，图像是预览图像。
12.如权利要求11所述的文本识别设备，其中，输入手势是在屏幕上做出的触摸手势和在屏幕之上的悬停手势的一个。
13.如权利要求12所述的文本识别设备，其中，通过在所述至少一个文本上、附近或下面绘线来限定识别区域。
14.如权利要求13所述的文本识别设备，其中，当线绘在上方文本串和下方文本串之间时，控制单元将线上面的上方文本串配置为识别区域的一部分。
15.如权利要求13所述的文本识别设备，其中，当线绘在单词的至少一个字母的底部时，控制单元将该单词配置为识别区域的一部分。
【文档编号】G06F3/0488GK103677618SQ201310380550
【公开日】2014年3月26日 申请日期:2013年8月28日 优先权日:2012年8月28日
【发明者】张时学, 金善花, 金熙琎, 朴美贞 申请人:三星电子株式会社