文字检测方法及装置与流程

本公开涉及计算机领域，尤其涉及一种文字检测方法及装置。

背景技术：

文字检测，是指找到图像中文字的位置。

相关技术中，文字检测一般采用物体检测的方法来实现。在检测过程中，用若干平行的矩形框对进入矩形框内的物体是否是文字进行检测。然而，这种检测方法对不规则的文字如斜着排版的文字等检测效果较差。

技术实现要素：

为克服相关技术中存在的问题，本公开提供一种文字检测方法及装置。

根据本公开实施例的第一方面，提供一种文字检测方法，包括：对图像进行文字候选区域提取，得到多个文字候选区域；计算所述多个文字候选区域的文字概率，以及，计算文字概率满足概率阈值要求的文字候选区域其文字区域的掩码图；计算所述掩码图的最小外接边界，得到文字检测结果。

根据本公开实施例的第一方面的一种可能的实施方式，所述计算所述多个文字候选区域的文字概率，以及，计算文字概率满足概率阈值要求的文字候选区域其文字区域的掩码图包括：利用卷积神经网络计算所述多个文字候选区域的文字概率及文字概率满足概率阈值要求的文字候选区域其文字区域的掩码图。

根据本公开实施例的第一方面的一种可能的实施方式，所述计算文字概率满足概率阈值要求的文字候选区域其文字区域的掩码图包括：从所述多个文字候选区域中筛选出文字概率满足概率阈值要求的文字候选区域；对筛选出的文字候选区域进行其文字区域的掩码图的计算。

根据本公开实施例的第一方面的一种可能的实施方式，所述计算文字概率满足概率阈值要求的文字候选区域其文字区域的掩码图包括：计算所述多个文字候选区域其文字区域的掩码图；从所述多个文字候选区域其文字区域的掩码图中，筛选出概率满足概率阈值要求的文字候选区域的掩码图。

根据本公开实施例的第一方面的一种可能的实施方式，所述计算所述多个文字候选区域其文字区域的掩码图包括：利用第一卷积神经网络对所述图像进行特征提取，得到特征图，其中所述第一卷积神经网络为已完成图像特征提取训练的卷积神经网络；将所述多个文字候选区域分别映射到所述特征图中，得到所述多个文字候选区域分别对应的特征区域；将所述多个文字候选区域分别对应的特征区域映射为固定大小的特征向量；将所述多个文字候选区域分别对应的固定大小的特征向量输入到第二卷积神经网络，计算得到所述多个文字候选区域分别对应的文字概率及其文字区域的掩码图，其中，所述第二卷积神经网络为已完成文字概率及掩码图训练的卷积神经网络。

根据本公开实施例的第二方面，提供一种文字检测装置，包括：区域提取模块，被配置为对图像进行文字候选区域提取，得到多个文字候选区域。第一计算模块，被配置为计算所述区域提取模块得到的多个文字候选区域的文字概率，以及，计算文字概率满足概率阈值要求的文字候选区域其文字区域的掩码图。第二计算模块，被配置为计算所述第一计算模块计算出的掩码图的最小外接边界，得到文字检测结果。

根据本公开实施例的第二方面的一种可能的实施方式，所述第一计算模块被配置为利用卷积神经网络计算所述多个文字候选区域的文字概率及文字概率满足概率阈值要求的文字候选区域其文字区域的掩码图。

根据本公开实施例的第二方面的一种可能的实施方式，所述第一计算模块包括：概率计算子模块，被配置为计算所述多个文字候选区域的文字概率。概率筛选子模块，被配置为从所述多个文字候选区域中筛选出文字概率满足概率阈值要求的文字候选区域。掩码图计算子模块，被配置为对筛选出的文字候选区域进行其文字区域的掩码图的计算。

根据本公开实施例的第二方面的一种可能的实施方式，所述第一计算模块包括：概率及掩码图计算子模块，被配置为计算所述多个文字候选区域的文字概率及其文字区域的掩码图。概率及掩码图筛选子模块，被配置为从所述多个文字候选区域其文字区域的掩码图中，筛选出概率满足概率阈值要求的文字候选区域的掩码图。

根据本公开实施例的第二方面的一种可能的实施方式，所述概率及掩码图计算子模块包括：第一卷积计算子模块，被配置为利用第一卷积神经网络对所述图像进行特征提取，得到特征图，其中所述第一卷积神经网络为已完成图像特征提取训练的卷积神经网络。特征区域映射子模块，被配置为将所述多个文字候选区域分别映射到所述特征图中，得到所述多个文字候选区域分别对应的特征区域。向量映射子模块，被配置为将所述多个文字候选区域分别对应的特征区域映射为固定大小的特征向量。第二卷积计算子模块，被配置为将所述多个文字候选区域分别对应的固定大小的特征向量输入到第二卷积神经网络，计算得到所述多个文字候选区域分别对应的文字概率及其文字区域的掩码图，其中，所述第二卷积神经网络为已完成文字概率及掩码图训练的卷积神经网络。

根据本公开实施例的第三方面，提供一种文字检测装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：对图像进行文字候选区域提取，得到多个文字候选区域；计算所述多个文字候选区域的文字概率，以及，计算文字概率满足概率阈值要求的文字候选区域其文字区域的掩码图；计算所述掩码图的最小外接边界，得到文字检测结果。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开实施例的第一方面的任一可能实施方式所述方法的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：本公开通过文字候选区域提取的方式对多个文字区域进行提取，计算文字概率满足概率阈值要求的文字候选区域其文字区域的掩码图，而掩码图屏蔽的正是文字区域原位，因此，无论文字是否倾斜，根据掩码图的最小外接边界得到文字检测结果可以准确对应文字所在位置，因此，本公开实施例提供的文字检测方法能应对各种排版的文字，有效的提高了文字的检出率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种文字检测方法的流程图。

图2是根据一示例性实施例示出的图像示意图。

图3是根据另一示例性实施例示出的一种文字检测方法的流程图。

图4是根据一示例性实施例示出的一种文字检测装置的框图。

图5是根据另一示例性实施例示出的一种文字检测装置的框图。

图6是根据又一示例性实施例示出的一种文字检测装置的框图。

图7是根据一示例性实施例示出的一种文字检测装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种文字检测方法的流程图，如图1所示，该文字检测方法可以包括以下步骤：

在步骤110中，对图像进行文字候选区域提取，得到多个文字候选区域。

例如，文字候选区域的数量n可以为几百到几千个。常用的候选区域提取方法有selectivesearch，rpn等。每个候选区域都由其横纵坐标高度宽度等参数表示。

在步骤120中，计算所述多个文字候选区域的文字概率，以及，计算文字概率满足概率阈值要求的文字候选区域其文字区域的掩码图。

例如，一种可能的实施方式中，可以利用卷积神经网络计算所述多个文字候选区域的文字概率及文字概率满足概率阈值要求的文字候选区域其文字区域的掩码图。在该实施方式中，可以利用卷积神经网络的优势实现速度快精度高的文字检测。

需要说明的是，本公开对文字概率及掩码图的计算顺序并不进行限制。

例如，一种可能的实施方式中，可以先计算所述多个文字候选区域的文字概率，从所述多个文字候选区域中筛选出文字概率满足概率阈值要求的文字候选区域，对筛选出的文字候选区域进行其文字区域的掩码图的计算。通过该实施方式可以减少掩码图的计算量。

再例如，另一种可能的实施方式中，多个文字候选区域的文字概率与掩码图的计算顺序不限，在计算出多个文字候选区域其文字区域的掩码图后，从所述多个文字候选区域其文字区域的掩码图中，筛选出概率满足概率阈值要求的文字候选区域的掩码图。通过该实施方式可以同时计算文字概率及掩码图，检测速度较快。

在步骤130中，计算所述掩码图的最小外接边界，得到文字检测结果。

例如，可以计算掩码图的最小外接矩形。如图2所示的图像示意图中，“stop”文字区域所对应的掩码图的最小外接矩形框210即为文字检测结果，其准确框住了文字所在位置。

可见，本公开通过文字候选区域提取的方式对多个文字区域进行提取，计算文字概率满足概率阈值要求的文字候选区域其文字区域的掩码图，而掩码图屏蔽的正是文字区域原位，因此，无论文字是否倾斜，根据掩码图的最小外接边界得到文字检测结果可以准确对应文字所在位置，因此，本公开实施例提供的文字检测方法能应对各种排版的文字，有效的提高了文字的检出率。

图3是根据另一示例性实施例示出的一种文字检测方法的流程图，如图3所示，该文字检测方法可以包括以下步骤：

在步骤310中，对图像进行文字候选区域提取，得到多个文字候选区域。

在步骤320中，利用第一卷积神经网络对所述图像进行特征提取，得到特征图，其中所述第一卷积神经网络为已完成图像特征提取训练的卷积神经网络。

在步骤330中，将所述多个文字候选区域分别映射到所述特征图中，得到所述多个文字候选区域分别对应的特征区域。

特征图，也即特征矩阵，用于描述图像的高层语义信息，例如图像里边是什么、在什么位置等。

例如，对于文字候选区域r＝(x,y,w,h)，将其映射到特征图fc，可以得到该r在fc中对应的特征区域rc＝(xc,yc,wc,hc)＝(sc*x,sc*y,sc*w,sc*h)，sc为输入图像尺寸到其特征图尺寸的缩放系数。

在步骤340中，将所述多个文字候选区域分别对应的特征区域映射为固定大小的特征向量。

例如，可以对特征区域rc进行最大值池化操作，将其映射为固定长度的特征向量fc。

在步骤350中，将所述多个文字候选区域分别对应的固定大小的特征向量输入到第二卷积神经网络，计算得到所述多个文字候选区域分别对应的文字概率及其文字区域的掩码图，其中，所述第二卷积神经网络为已完成文字概率及掩码图训练的卷积神经网络。

在步骤360中，从所述多个文字候选区域其文字区域的掩码图中，筛选出概率满足概率阈值要求的文字候选区域的掩码图。

例如，利用预设的概率阈值对多个文字候选区域的文字概率进行阈值过滤和非最大值抑制，保留下来的文字候选区域的掩码图即为筛选出的文字候选区域的掩码图。

在步骤370中，计算所述掩码图的最小外接矩形，得到文字检测结果。

可见，由于本实施例利用卷积神经网络同时计算文字概率及文字区域的掩码图，根据掩码图的最小外接矩形得到文字检测结果，因此，可以快速且准确用矩形检出文字所在位置。

图4是根据一示例性实施例示出的一种文字检测装置400的框图，如图4所示，该文字检测装置400可以包括：区域提取模块410，第一计算模块420和第二计算模块430。

该区域提取模块410，可以被配置为对图像进行文字候选区域提取，得到多个文字候选区域。

该第一计算模块420，可以被配置为计算所述区域提取模块410得到的多个文字候选区域的文字概率，以及，计算文字概率满足概率阈值要求的文字候选区域其文字区域的掩码图。

该第二计算模块430，可以被配置为计算所述第一计算模块420计算出的掩码图的最小外接边界，得到文字检测结果。

可见，本公开通过区域提取模块410以文字候选区域提取的方式对多个文字区域进行提取，第一计算模块420计算文字概率满足概率阈值要求的文字候选区域其文字区域的掩码图，而掩码图屏蔽的正是文字区域原位，因此，无论文字是否倾斜，第二计算模块430根据掩码图的最小外接边界得到文字检测结果可以准确对应文字所在位置，因此，本公开实施例提供的文字检测方法能应对各种排版的文字，有效的提高了文字的检出率。

一种可能的实施方式中，所述第一计算模块420可以被配置为利用卷积神经网络计算所述多个文字候选区域的文字概率及文字概率满足概率阈值要求的文字候选区域其文字区域的掩码图。在该实施方式中，可以利用卷积神经网络的优势实现速度快精度高的文字检测。

需要说明的是，本公开对文字概率及掩码图的计算顺序并不进行限制。

例如，如图5所示根据另一示例性实施例示出的一种文字检测装置500的框图，所述第一计算模块420可以包括：概率计算子模块421、该概率筛选子模块422及掩码图计算子模块423。

该概率计算子模块421，可以被配置为计算所述多个文字候选区域的文字概率。

该概率筛选子模块422，可以被配置为从所述多个文字候选区域中筛选出文字概率满足概率阈值要求的文字候选区域；

该掩码图计算子模块423，可以被配置为对筛选出的文字候选区域进行其文字区域的掩码图的计算。

由于该实施方式对筛选出的文字候选区域进行其文字区域的掩码图的计算，因此可以减少掩码图的计算量。

再例如，如图6所示根据又一示例性实施例示出的一种文字检测装置600的框图，所述第一计算模块420可以包括：概率及掩码图计算子模块424及概率及掩码图筛选子模块425。

该概率及掩码图计算子模块424，可以被配置为计算所述多个文字候选区域的文字概率及其文字区域的掩码图。

该概率及掩码图筛选子模块425，可以被配置为从所述多个文字候选区域其文字区域的掩码图中，筛选出概率满足概率阈值要求的文字候选区域的掩码图。

通过该实施方式可以同时计算文字概率及掩码图，检测速度较快。

在结合卷积神经网络的实施方式中，所述概率及掩码图计算子模块424可以包括：第一卷积计算子模块、特征区域映射子模块、向量映射子模块及第二卷积计算子模块。

该第一卷积计算子模块，可以被配置为利用第一卷积神经网络对所述图像进行特征提取，得到特征图，其中所述第一卷积神经网络为已完成图像特征提取训练的卷积神经网络。

该特征区域映射子模块，可以被配置为将所述多个文字候选区域分别映射到所述特征图中，得到所述多个文字候选区域分别对应的特征区域。

该向量映射子模块，可以被配置为将所述多个文字候选区域分别对应的特征区域映射为固定大小的特征向量。

该第二卷积计算子模块，可以被配置为将所述多个文字候选区域分别对应的固定大小的特征向量输入到第二卷积神经网络，计算得到所述多个文字候选区域分别对应的文字概率及其文字区域的掩码图，其中，所述第二卷积神经网络为已完成文字概率及掩码图训练的卷积神经网络。

可见，由于本实施例利用卷积神经网络同时计算文字概率及文字区域的掩码图，因此，可以快速且准确检出文字所在位置。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的文字检测方法的步骤。

图7是根据一示例性实施例示出的一种文字检测装置700的框图。例如，装置700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图7，装置700可以包括以下一个或多个组件：处理组件702，存储器704，电力组件706，多媒体组件708，音频组件710，输入/输出(i/o)的接口712，传感器组件714，以及通信组件716。

处理组件702通常控制装置700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令，以完成上述的文字检测方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理组件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。

存储器704被配置为存储各种类型的数据以支持在装置700的操作。这些数据的示例包括用于在装置700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。

电力组件706为装置700的各种组件提供电力。电力组件706可以包括电源管理系统，一个或多个电源，及其他与为装置700生成、管理和分配电力相关联的组件。

多媒体组件708包括在所述装置700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当装置700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(mic)，当装置700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。

i/o接口712为处理组件702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件714包括一个或多个传感器，用于为装置700提供各个方面的状态评估。例如，传感器组件714可以检测到装置700的打开/关闭状态，组件的相对定位，例如所述组件为装置700的显示器和小键盘，传感器组件714还可以检测装置700或装置700一个组件的位置改变，用户与装置700接触的存在或不存在，装置700方位或加速/减速和装置700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件716被配置为便于装置700和其他设备之间有线或无线方式的通信。装置700可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件716还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。

在示例性实施例中，装置700可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述文字检测方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由装置700的处理器720执行以完成上述文字检测方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。