图片校正方法、装置和页面检测模型的搭建方法与流程

1.本发明属于图像处理技术领域，特别适用于图像校正技术领域，更具体的是涉及一种图片校正方法、装置和页面检测模型的搭建方法。


背景技术：

2.目前，越来越多的应用场景(例如，线上审核、搜索查询等场景下)需要上传照片、图片等，并需要进行图像识别。例如，在拍照搜题的应用场景下，用户拍摄的照片一般会出现倾斜、缺角、近大远小、带有无关背景、和非主体区域等情况，上述情况会对图像识别产生不利影响，甚至会出现图像识别失败或者识别不准确的问题，因此，需要对图像进行校正。
3.在相关技术中，公开了一种图片模糊的校正方法，所述校正方法包括：在拍照提问功能下，获取相机拍摄的图片；获取所述图片中字符笔画的模糊距离，缩小所述模糊距离以增强所述图片中字符笔画的清晰度。上述方法通过在拍照环节中增加了对拍摄得到的图片进行模糊校正，缩小模糊距离，以增强所述图片中字符笔画的清晰度，从而解决了图片模糊的问题，增加了图片中的字符的可见度，进而降低了拍照提问功能中题目识别及截取的难度。此外，现有技术中，对于拍照搜题的应用场景中，通常通过图像分割方法进行题目主体区域分割，以得到题目主体区域，但是该方法存在速度慢、分割边缘不稳定等问题。因此，在因图像倾斜、带有无关背景、非主体区域等影响因素引起的图像识别、图像分类以及图像分割等多方面仍存在很大改进空间。
4.因此，有必要提供一种图片校正方法，以解决上述问题。


技术实现要素：

5.(一)要解决的技术问题
6.本发明旨在至少解决现有图片主体区域识别精度低、不能准确定位图片中的主体区域、去除图片无关信息不够精确等的技术问题。
7.(二)技术方案
8.为解决上述技术问题，本发明的一方面提出一种图片校正方法，用于识别图片中的主体区域并对图片中的主体区域进行校正，其特征在于，所述方法包括如下步骤：将所述图片的四个顶点作为参考点，采用回归计算确定若干定位关键点，该些定位关键点用于确定所述图片的主体区域；根据所述定位关键点，对所述主体区域进行识别并校正，以去除无关的信息并规范化所述主体区域。
9.根据本发明的可选实施方式，所述图片的主体区域包括页面区域，所述若干定位关键点包括页面的四个顶点。
10.根据本发明的可选实施方式，所述采用回归计算确定若干定位关键点，包括：建立图像定位回归模型，使用训练好的图像定位回归模型获取所述图片的定位关键点的位置信息。
11.根据本发明的可选实施方式，所述建立图像定位回归模型包括标注样本数据并使
用样本数据对该图像定位回归模型进行训练，其中，所述标注样本数据指对样本图片进行了标注，以标注出样本图片中主体区域的定位关键点以及是否包含主体区域。
12.根据本发明的可选实施方式，所述图像定位回归模型输入待处理图片，输出所述图片中主体区域的定位关键点的位置坐标和置信度，该置信度表示输出的所述定位关键点坐标的可靠概率；可选地，当置信度小于预定阈值时，停止对所述主体区域进行校正并输出无主体区域的警示信息。
13.根据本发明的可选实施方式，所述图片的主体区域为页面区域时，所述对样本图片进行标注包括：当所述样本图片的页面区域均位于所述样本图片内时，直接将该页面的四个顶点标注为所述定位关键点；当所述样本图片的页面区域部分位于所述样本图片之外时，根据位于所述样本图片内的页面顶点，和，所述页面的边线与所述图片的边线的交点，来推算出位于所述样本图片之外的页面顶点的位置，并将图片内的页面顶点和推算出的位于所述样本图片外的页面顶点标注为所述定位关键点。
14.可选地，所述推算出位于所述样本图片之外的页面顶点的位置，包括：标注出样品图片的位于图片内的顶点，和，页面的边线与所述图片的边线的交点；遍历样本图片的所有标注点，依次判断相邻两个标注点是否同时位于同一图片边线，所述标注点包括所述位于图片内的顶点和所述交点；在判断为该相邻两个标注点是同时位于同一图片边线时，继续判断该两个标注点所在的两条页面区域边线延长相交所形成的夹角是否满足大于等于第一阈值角度；在所述夹角满足大于等于第一阈值角度时，将该相邻两个标注点标记为非顶点，并将该两个非顶点对应的两条页面区域的边线延长相交后形成的交汇点标注为所述页面区域的位于图片外的预测顶点，同时删除该两个标记为非顶点的标注点，最后得到标注有四个定位关键点的样本图片；可选地，所述第一角度阈值为60度。
15.根据本发明的可选实施方式，所述对所述主体区域进行校正包括：根据所述定位关键点，对所述主体区域进行放射变换和/或方向校正，以得到校正后图片。
16.本发明的第二方面还提供了一种页面检测模型的搭建方法，所述页面检测模型用于检测图片的页面区域的四个顶点，所述方法包括如下步骤：搭建关键点检测模型；使用标注有页面区域的四个顶点的图片，对所述关键点检测模型进行训练，使得经过训练的所述关键点检测模型能够输出所述页面区域的四个顶点及置信度；其中，所述标注有页面区域的四个顶点的图片通过前述的对样本图片进行标注的步骤完成。
17.本发明的第三方面还提供了一种图片校正方法，所述方法包括如下步骤：将待处理图片输入根据本发明第二方面所述的页面检测模型的搭建方法生成的页面检测模型，获得所述待处理图片的页面区域的四个顶点及置信度；判断所述置信度是否大于等于第一阈值，当所述置信度大于第一阈值时，根据所述待处理图片的页面区域的四个顶点，对所述待处理图片进行页面区域识别及校正。
18.本发明的第四方面还提供了图片校正装置，用于识别图片中的主体区域并对该主体区域进行校正，所述装置包括：计算模块，用于将所述图片的四个顶点作为参考点，采用回归计算确定若干定位关键点，该些定位关键点用于确定所述图片的主体区域；校正模块，用于根据所述定位关键点，对所述主体区域进行识别并校正，以去除无关的信息并规范化所述主体区域。
19.本发明的第五方面还提供了一种计算机设备，包括处理器和存储器，所述存储器
用于存储计算机可执行程序，当所述计算机程序被所述处理器执行时，所述处理器执行如本发明第一方面、第二方面中任一项所述的图片校正方法。
20.本发明的第六方面还提供了一种计算机程序产品，存储有计算机可执行程序，所述计算机可执行程序被执行时，实现如本发明第一方面、第二方面中任一项所述的图片校正方法。
21.(三)有益效果
22.与现有技术相比，本发明通过将所述图片的四个顶点作为参考点进行回归计算得到待处理图片的主体区域的定位关键点，并根据该些定位关键点从待处理图片中直接截取主体区域进行校正。本方案能够较精确地识别出待处理图片中的主体区域，无需进行图像分割处理，提高了图片处理的速度，有效避免了图片分割边缘不稳定的问题。本方案还可以去除主体区域之外的无关背景。
23.进一步地，通过计算定位关键点的位置坐标的置信度，本方案能够识别出待处理图片中有无主体区域，以便确定是否继续进行后续的校正处理。
24.进一步地，对于有些应用场景例如拍搜场景下，图片的主体区域为页面区域时，通过对图片进行标注处理，能够更准确地标注出多情况下的页面区域的四个顶点，以便后续使用标注有页面区域的四个顶点的图片建立训练数据集，并使用该训练数据集对图像定位回归模型进行训练。更进一步地，可以例如通过计算机，根据位于样本图片内的页面顶点，和，页面边线与图片边线的交点，来推算出位于样本图片之外的页面顶点的位置。
25.使用训练好的图像定位回归模型计算出待处理图片的定位关键点和置信度，根据所计算的定位关键点从待处理图片中直接截取页面区域，能够更精确地识别出多种情况(例如倾斜)下的待处理图片内的页面区域，无需图像分割处理，提高了图片处理的速度，有效避免了图片分割边缘不稳定的问题，同时能够更准确识别出待处理图片中有无页面区域，还提高了图像分类精度，由此解决了因页面区域相对于图片倾斜、带有无关背景、非主体区域等影响因素引起的图像识别精度低的问题，同时能够更准确识别出有无页面区域的图片。
附图说明
26.图1是本发明的实施例1的校正前图片和校正后图片的示意图；
27.图2是本发明的实施例1的图片校正方法的一示例的流程图；
28.图3是本发明的实施例1的图片校正方法中图片顶点经回归计算得到页面区域的顶点的示意图；
29.图4是应用本发明的实施例1的图片校正方法的另一示例的流程图；
30.图5是示出了应用图4的图片校正方法的待处理图片的一示例的示意图；
31.图6是本发明的实施例1的图片校正方法中使用回归算法建立图像定位回归模型的原理的示意图；
32.图7是本发明的实施例1的图片校正方法的又一示例的流程图；
33.图8是示出了应用本发明的实施例1的图片校正方法的待处理图片中页面区域的标注处理的一示例的示意图；
34.图9是示出了应用本发明的实施例1的图片校正方法的待处理图片中页面区域的
标注处理的另一示例的示意图；
35.图10是示出了应用本发明的实施例1的图片校正方法的待处理图片中页面区域的标注处理的又一示例的示意图；
36.图11是示出了应用本发明的实施例1的图片校正方法的待处理图片中页面区域的标注处理的又一示例的示意图；
37.图12是示出了图5的待处理图片校正后的示意图；
38.图13是本发明的实施例1的图片校正方法的又一示例的流程图；
39.图14是本发明的实施例2的页面检测模型的搭建方法的一示例的流程图；
40.图15是本发明的实施例3的页面检测模型的图片校正方法的一示例的流程图；
41.图16是本发明的实施例4的图片校正装置的一示例的示意图；
42.图17是本发明的实施例4的图片校正装置的一示例的示意图；
43.图18是本发明的实施例4的图片校正装置的另一示例的示意图；
44.图19是本发明的一个实施例的计算机设备的结构示意图；
45.图20是本发明的一个实施例的计算机程序产品的示意图
具体实施方式
46.在对于具体实施例的介绍过程中，对结构、性能、效果或者其他特征的细节描述是为了使本领域的技术人员对实施例能够充分理解。但是，并不排除本领域技术人员可以在特定情况下，以不含有上述结构、性能、效果或者其他特征的技术方案来实施本发明。
47.附图中的流程图仅是一种示例性的流程演示，不代表本发明的方案中必须包括流程图中的所有的内容、操作和步骤，也不代表必须按照图中所显示的顺序执行。例如，流程图中有的操作/步骤可以分解，有的操作/步骤可以合并或部分合并，等等，在不脱离本发明的发明主旨的情况下，流程图中显示的执行顺序可以根据实际情况改变。
48.附图中的框图一般表示的是功能实体，并不一定必然与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理单元装置和/或微控制器装置中实现这些功能实体。
49.各附图中相同的附图标记表示相同或类似的元件、组件或部分，因而下文中可能省略了对相同或类似的元件、组件或部分的重复描述。还应理解，虽然本文中可能使用第一、第二、第三等表示编号的定语来描述各种器件、元件、组件或部分，但是这些器件、元件、组件或部分不应受这些定语的限制。也就是说，这些定语仅是用来将一者与另一者区分。例如，第一器件亦可称为第二器件，但不偏离本发明实质的技术方案。此外，术语“和/或”、“及/或”是指包括所列出项目中的任一个或多个的所有组合。
50.在一些拍搜场景例如拍照搜题，用户拍摄的图片一般会带有大量无关的信息，比如背景区域、拍摄的残题等等，另一方面，用户拍摄的角度通常不是摄像头垂直于页面，会造成近大远小的情况，这些对后续的检测识别带来很多干扰。
51.为了解决这些问题，本方案希望能识别拍摄图片的主体区域并矫正。本方案的校正效果如图1所示。
52.本发明提出一种图片校正方法，该方法通过将所述图片的四个顶点作为参考点进
行回归计算，确定主体区域的定位关键点，将该些定位关键点的连线围成的区域作为所述主体区域。根据所述定位关键点，对主体区域进行校正，以去除无关的信息并规范化所述主体区域。所述主体区域例如可以是拍照搜题场景中的页面区域。页面区域在照片中存在扭曲变形、边角缺失等需要校正的情景。识别出页面区域的定位关键点，例如四个顶点，可以用来对所述页面区域进行校正，例如包括将其转换为较为标准的矩形区域，得到校正后的图片。
53.因此，该方法通过将所述图片的四个顶点作为参考点进行回归计算得到待校正的主体区域的定位关键点，并根据该定位关键点从待处理图片中直接截取主体区域，能够精确地识别出待处理图片中的主体区域，无需图像分割处理，提高了图片处理的速度，有效避免了图片分割边缘不稳定的问题，同时能够准确识别出待处理图片中有无主体区域。
54.为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
55.图2是本发明的实施例1的图片校正方法的一示例的流程图。
56.如图2所示，该图片校正方法包括如下步骤。
57.步骤s101，将所述图片的四个顶点作为参考点，采用回归计算确定若干定位关键点，该些定位关键点用于确定所述图片的主体区域；
58.本步骤将所述图片的四个顶点作为参考点进行回归计算，获得用于确定所述主体区域的若干定位关键点，该些定位关键点的连线围成的区域即为所述主体区域。
59.在一些具体实施例中，例如，拍照搜题场景下，所述图片的主体区域包括页面区域，所述若干定位关键点包括页面区域(即主体区域)的四个顶点。
60.可选地，确定图片的四个顶点，使用边框回归算法，将所述图片的四个顶点作为参考点，进行回归计算，得到所述图片中四个定位关键点。将该四个定位关键点的连线围成的区域作为所述页面区域，具体可参见图3。图3中位于外侧的4个颜色较深的点为图片的4个顶点，内侧的相对较浅的4个点为经回归计算得到的主体区域(即页面)的4个定位关键点。
61.需要说明的是，对于边框回归算法，实质上是使用图片的四个顶点作为参考点进行回归计算以得到图片(即待处理图片)中主体区域的定位关键点，具体参见图3。其中，主体区域也可以是图1中所示的四边框区域，此时定位关键点为四边框的四个顶点。
62.本实施例的定位关键点用来确定图片的主体区域，依据主体区域的形状，定位关键点的选择以及数量存在差异，但只要满足相邻定位关键点相互连线围成的区域能确定所述主体区域即可，本实施例对此不做具体的限制。示例性地，拍照搜题场景下，图片的主体区域为书本、试卷等的页面区域，此时对应的若干定位关键点可以选择页面区域的四个顶点。其他实施例中还可以增加页面边线的中点作为定位关键点。步骤s102，根据所述定位关键点，对所述主体区域进行识别并校正，以去除无关的信息并规范化所述主体区域。
63.本步骤中，如果已获取到用于确定图片的主体区域的定位关键点，可以据此去除应用场景中的无关的信息，并可用于校正图片的扭曲变形。
64.例如，对于拍照搜题场景，如图1、图3和图5所示，方框内的内容即图片的主体区域是用户想要的，但其边缘均存在大量无关信息，比如背景区域、拍摄的残题等等。步骤s101得到图片中主体区域的4个顶点(如图1中方框的4个顶点，又如图3中位于内侧的颜色较浅的4个点)作为定位关键点。步骤s102中可以根据步骤s101计算得到的四个定位关键点，对
所述页面区域进行校正，将由该四个顶点确定的页面区域(或主体区域)之外的部分去除，并将所述页面区域转换为规范化形状，例如页面常见的矩形，题目区域常见的长矩形框等。
65.对于拍照搜题等涉及页面、试卷的识别场景，由该四个顶点确定的页面区域/框型区域之外的区域均属无关的信息。在其他实施例，例如车牌识别场景下，除定位关键点确定的车牌区域之外的部分均属无关信息。
66.对于去除无关信息，更具体地，在一些实施例，如果用户需要的主体区域例如页面区域一般是文本信息，即可将与文本信息无关的背景信息(有的情况下还包括图形)等其他信息作为无关信息去除。
67.此外，可以根据不同使用场景下的主体区域的形状，对图片中的由定位关键点确定的主体区域进行形状纠正、规范化其形状。对于具体如何规范化主体区域，可以由本领域技术人员根据具体应用场景进行设定。例如对书籍类的页面区域的形状进行调整时，可以参照书籍页面的一般尺寸进行相应地处理，包括对该页面区域的倾斜角度进行调整以及图片方向的旋转校正方向等等。
68.需要说明的是，本发明的方法尤其适用于识别图片中的页面区域并对该页面区域进行校正。该方法还特别适用于对教育服务产品app的服务端所获取的图片进行校正，该图片为用户用于查询的题目图片。以下，将以对所述题目图片进行校正作为示例，对本发明的方法进行具体说明，但本领域技术人员应理解，本发明的应用并不限于此。
69.图4是应用本发明的实施例1的图片校正方法的另一示例的流程图。
70.在图4所示的示例中，所述图片校正方法还可包括获取待处理图片的步骤s201。
71.在步骤s201中，获取待处理图片，以对该待处理图片进行校正。
72.具体地，该待处理图片可包含待校正的页面区域、与该页面区域无关的背景区域、拍摄的残题和/或其他无关背景物品。其中，该页面区域可能会相对于整个显示边框倾斜特定角度，该页面区域包含有待识别的题目。
73.接下来，在步骤s202中，以待处理图片的四个顶点作为参考点进行回归计算，获得用于确定所述主体区域的若干定位关键点，该些定位关键点的连线围成的区域为页面区域(即主体区域)。
74.进一步地，对所述页面区域进行识别并校正，以去除例如背景区域、拍摄的残题等无关的信息，并规范化所述页面区域。
75.需要说明的是，由于图4中的步骤s202、步骤s203与图2中的步骤s101、步骤s102大致相同，因此省略对步骤s202、步骤s203的具体描述。
76.图5示出了待处理图片的一示例的示意图，将应用图4的图片校正方法来进行校正处理。
77.如图5所示，该待处理图片是用户为了查询题目答案进行核对或批改所拍摄的题目图像，在该待处理图片中，灰色四边形框所框选的部分为用户真正想要的主体区域，即待校正的页面区域。该页面区域相对于整个显示边框倾斜角度小于30度，该待处理图片内还包含背景物品键盘以及无题目区域(图中的订正栏区域)。因此，本发明实施例要解决的是需要自动识别出该待处理图片中的页面区域，以对该页面区域进行校正。
78.进一步地，为了识别出待处理图片中的页面区域(即识别出图5中灰色四边形框所围区域)，将待处理图片的四个顶点作为参考点进行回归计算，确定所述页面区域的四个定
位关键点。
79.在本示例中，通过回归计算确定定位关键点的步骤可以使用图像定位回归模型实现，图像定位回归模型可以识别图片中待校正的页面区域。当然，使用图像定位回归模型进行计算前需要预先搭建模型并训练好。
80.可选地，可建立上述的图像定位回归模型，使用训练好的图像定位回归模型获取上述定位关键点的位置信息，例如定位关键点的坐标。示例性地，可基于边框回归算法，建立上述的图像定位回归模型。
81.需要说明的是，对于边框回归算法，实质上是使用图片的四个顶点作为参考点进行回归计算以得到待校正的主体区域的定位关键点，例如可以是页面区域的四个顶点(或四个角点)，具体参见图3和图6。
82.示例性地，在原图空间下，一个框的信息可以用四个值，即四个顶点(x1，y1，x2，y2，x3，y3，x4，y4)表示(或描述)，在模型训练过程中，假设gt框(ground truth box)我们定义anchor(预定义框)(在本发明中，选用图片的四个顶点作为anchor，即预定义框a)，模型预测的gt框为g相对于预定义框a的偏移量的第一个顶点计算如下：
[0083][0084][0085]
其中，是一个顶点的横坐标值，是该一个顶点地纵坐标值；w和h分别为图片的长和宽；λ为定义好的超参数。其他三个顶点的公式与公式(1)，(2)相同，仅需将顶点相对应的编号适应性修改，应的编号适应性修改，因此，省略了对其他三个顶点公式的描述。
[0086]
如果模型的输出对应的回归loss(损失值)如下。
[0087]
loss＝smoothl1(p
‑
g
′
)
ꢀꢀꢀꢀꢀ
(3)
[0088]
进一步地，根据p和a可以换算成真正的待预测框
[0089][0090]
其中，是主体区域的一个定位关键点的横坐标值，是该一个顶点地纵坐标值；w和h分别为图片的长和宽；λ为定义好的超参数。
[0091]
需要说明的是，其他三个顶点的公式与公式(4)，(5)相同，仅需将顶点相对应的编号适应性修改，因此，省略了对其他三个顶点公式的描述。
[0092]
因此，通过上述公式(1)～(5)，能够将图片的四个顶点转换计算出主体区域所对应的四个顶点的坐标。
[0093]
可选地，如图7所示，本发明的图片校正方法还包括：建立图像定位回归模型，使用训练好的图像定位回归模型获取(或输出)待处理图片的定位关键点的位置信息。换言之，步骤s101可包括建立图像定位回归模型的步骤(步骤s301)和使用图像定位回归模型获取(或输出)定位关键点位置信息的步骤(步骤s302)，具体参见图7。
[0094]
具体地，所述建立图像定位回归模型包括：搭建初始的图像定位回归模型；标注样本数据建立训练数据集；并使用训练数据集中的样本数据对该图像定位回归模型进行训练。其中，所述标注样本数据包括对样本图片进行标注，以标注出样本图片中用于确定主体区域的定位关键点以及是否包含主体区域，例如在整页拍搜的应用场景下，可标注出页面区域的四个顶点以及是否包含页面区域。
[0095]
更具体地，在一些实施例中，对样本图片进行数据标注包括对是否包含页面区域进行标注，并对所包含的页面区域的四个顶点进行标注。但是，页面区域的四个顶点并不是都在拍摄范围内(即样本图片内)。在顶点不在样本图片的情况下，则需要对未在样本图片中的顶点进行位置估算，并根据所估算的位置进行标注，以得到四个定位关键点的标注点，从而得到标注有四个定位关键点的样本图片。标注的样本图片可用作训练样本数据，以建立训练数据集，并用于训练所述图像定位回归模型。
[0096]
在本示例中，对于样本图片的定位关键点的标注通常包括以下情况：图片中不存在页面区域(即主体区域)、页面区域的四个顶点都不在样本图片内、要标注的页面区域的一个顶点未在样本图片内、要标注的页面区域的两个顶点未在样本图片内、要标注的页面区域的三个顶点均未在样本图片内。
[0097]
具体地，对于不存在页面区域的样本图片，不进行定位关键点标注，直接标注不存在页面区域。当样本图片的页面区域均位于所述样本图片内时，直接将该页面(即图片中的页面区域)的四个顶点标注为所述定位关键点，具体可参见图8所示。当样本图片的页面区域超出所述样本图片，即页面区域的四个顶点均位于样本图片之外时，直接将该图片的四个顶点标注为所述定位关键点，具体可参见图9所示。
[0098]
当页面区域部分位于所述样本图片外时(即页面区域的四个顶点中至少一个顶点在样本图片外的情况)，根据位于所述样本图片内的页面顶点、该页面边线与所述图片的边线的交点(也可以认为是页面区域与图片的边界线的交点，以下简称交点)，来推算出位于样本图片外的页面顶点的位置，并将图片内的页面顶点和推算的图片外的页面顶点一起标注为页面区域的所述定位关键点。
[0099]
具体地，对于页面区域部分位于所述样本图片外的情况，标注定位关键点的步骤包括如下子步骤：
[0100]
步骤一、先标注出样品图片的位于图片内的顶点，和，页面的边线与所述图片的边线的交点。
[0101]
本步骤一般可以通过人工标注。在其他实施例中，本步骤也可以通过识别页面的边线与图片的边线来实现顶点和所述交点的自动标注。
[0102]
例如，在要标注的页面区域的一个顶点在样本图片内的情况下，需要先在样本图片中标注出四个或五个点(图片内页面区域顶点数量加交点数量)，然后再据此推算样本图片外的顶点位置，具体可参见图10所示。
[0103]
图10是作为样本图片的图片的页面区域的标注处理(标注点为五个)的又一示例的示意图。
[0104]
如图10所示，样本图片中页面区域的右下角的一个顶点不在图片中，对于图10，样本图片中需要先标注出五个点(a、b、c、d、e)，图中使用灰色圆点表示。其中，三个标注点(a、b、c)是位于样本图片内的页面区域的顶点，两个标注点(d、e)是页面边线与图片边线(即图片边界线)的交点。
[0105]
如图11所示，样本图片中页面区域的下面两个顶点不在图片中。对于图11，样本图片中需要先标注出六个点，其中两个标注点为页面区域的顶点(位于顶部的两个点，使用灰色外圈加灰色圆点表示)，其余四个标注点是页面区域与图片边线的交点，使用灰色外圈加黑色圆点表示。
[0106]
还可能存在页面区域三个顶点均不在图片中，只有一个顶点位于图片中的情况，标注顶点和交点的情况与上面类似，不再详细叙述。
[0107]
在样本图片中标注出页面区域的位于图片内的顶点和交点(以下统称标注点)之后，根据下述方法推算出位于图片外的页面区域的顶点位置。
[0108]
步骤二、遍历标注点(即按上面所述方法已标注出的顶点和交点，计算机开始处理时，并不能区分是顶点还是交点)，判断标注点是否是交点。所述交点的判断方法包括：判读相邻两个标注点是否同时位于同一图片边线上；如果相邻两个标注点是同时位于同一图片边线，则继续判断这两个标注点所在的两条页面区域边线延长相交所形成的夹角是否满足大于第一阈值角度(第一阈值角度优选60度)；在上述夹角满足大于第一阈值角度时，则判定该相邻的两个标注点均为交点，并将该相邻两个标注点标记为非顶点。
[0109]
步骤三、将该两个标注点对应的(或所在的)两条页面区域的边线(如图10中的ae边和cd边)延长相交后形成的交汇点作为页面区域的位于图片外的预测顶点，并将该预测顶点位置进行标注(例如，图10中页面区域的预测顶点标注为f)，同时删除这两个被判定为交点的标注点(如图10中的d和e)。
[0110]
按上述步骤遍历完所有标注点后，将剩余的标注点和预测的位于图片外的顶点一起作为页面区域的定位关键点(在本示例中为四个定位关键点)输出到后续校正步骤，步骤s102中根据该些定位关键点对页面区域进行切割、扭曲校正等处理。
[0111]
其中，如果相邻两个标注点不位于同一图片边线，继续遍历后面的标注点。
[0112]
其中，如果相邻两个标注点位于同一图片边线(两个点均在图片边缘处)，但这两个标注点所在的两条页面区域边线延长相交所形成的夹角小于第一角度阈值(第一角度阈值优选为60度)，说明这两个标注点就是正常的顶点，即如图8所示的顶部这两个标注点，这两个标注点所在的两条页面区域边线延长相交所形成的夹角小于60度，应被认定为正常的顶点。
[0113]
当上述夹角不小于第一角度阈值时，则说明这两个标注点不属于顶点，是需要删除的冗余交点，同时通过相邻页面区域边线延长相交预测图片外的顶点。第一角度阈值优选为60度，该数值通过实验统计得到，满足60度这个条件99％的图片的标注都没有问题，可
以用来训练模型。
[0114]
一种具体示例中，对于图10所示的情况，使用上述方法推算出位于图片外的页面区域的顶点位置。遍历图10中的a、b、c、d、e，依次判断两个相邻标注点是不是位于同一图片边线的交点，在判断两个相邻标注点(例如d、e)是位于同一图片边线的交点时，判断该两个交点所在的页面区域的两个相邻页面边线(a、e所在边ae和c、d所在边cd)延伸相交所形成的夹角β是否大于等于60度。
[0115]
进一步地，在所述夹角β大于等于60度时，则判断所述两个相邻标注点为交点(要删除的冗余点)，并将所述两个交点(即d和e)所在的页面区域的两个相邻页面边线(ae边和cd)延长相交所形成的交汇点(或交点)作为所述页面区域的预测的顶点位置(或者进行位置估算的顶点)，将该预测顶点标注为f，并同时删除所述两个标注点d和e，以得到标注有四个标注点(即a、b、c、f)的样本图片，并用作训练样本数据。
[0116]
在另一情况下，例如，在判断两个相邻标注点(例如图10中ab、ae、bc、和cd)不是位于同一图片边线的交点时，则其中至少一个标注点为页面区域的顶点。
[0117]
在又一情况下，在判断两个相邻标注点(例如图10中的d、e)是位于同一图片边线的交点时，但是该两个交点所在的页面区域的两个相邻页面边线(例如图10中的a、e所在边ae和c、d所在边cd)延伸相交所形成的夹角β小于60度，则该两个相邻标注点是图片中的正常顶点。
[0118]
需要说明的是，其中所述的60度由本领域技术人员根据实际情况确定的。例如根据准确率或模型评估参数等的要求来确定第一阈值，以能保证识别包含页面区域(或主体区域)的图片是可信的为准。
[0119]
图11是示出了应用本发明的实施例1的图片校正方法的待处理图片中页面区域的标注处理(标注点为六个)的又一示例的示意图。
[0120]
如图11所示，样本图片的标注点的数量为六个，使用黑色外圈白色圆点和黑色圆点表示标注点，其中两个标注点为页面区域的顶点，使用黑色外圈白色圆点表示该两个顶点(a、b)；四个标注点(c、f、d、e)是页面区域与图片边线的交点，使用黑色圆点表示该四个标注点；使用黑色外圈灰色圆点表示预测顶点。
[0121]
对于图11所示的这种情况，使用与图10的情况的判断方法相同的方法对所有标注点中两个相邻标注点进行是不是位于同一图片边线的交点判断，经过判断之后，标注点cd为位于同一图片边线的交点，标注点ef为位于同一图片边线的交点。
[0122]
从图11中可知，其中，两个标注点cd是位于图11的左侧的第一图片边线上，其他两个标注点ef是位于图11的右侧的与第一图片边线相对的第二图片边线，在这种情况下，判断页面边线bc与页面边线de延伸相交所形成的第一夹角β1是否大于等于60度，并且，判断页面边线af与页面边线de延伸相交所形成的第二夹角β2是否大于等于60度。
[0123]
具体地，在该第一夹角β1和第二夹角β2均大于等于60度时，分别将该第一夹角的顶点和第二夹角的顶点标注g、h，并将标注点g、h作为所述页面区域的预测顶点(或者进行位置估算的顶点)，并删去相应标注点c、d、e、f，以得到标注有四个标注点a、b、g、h的样本图片，并用作训练样本数据。
[0124]
此外，还存在页面区域的三个顶点未在图片边界内的情况，在这种情况下，标注点的数量为七个或八个，以与图10、图11相同的方法对页面区域的顶点进行位置估算，并删去
非顶点(或页面区域边线与图片边线的交点)以得到四个标注点的样本图片，并用作训练样本数据。
[0125]
可选地，可通过计算机程序按上述方法自动得到页面区域的位于样本图片外的顶点，即对于样品图片中缺失顶点的图片，可以经计算/推测得到位于样本图片外的顶点位置，以实现对所述图片的标注，并使用标注后的图片样本建立训练数据集。
[0126]
可选地，对样本图片进行数据标注还可以包括：对待处理图片进行题目图片和非题目图片的标注，以得到题目图片标签和非题目图片标签，以得到用于将题目图片和非题目图分类的样本数据。其中，题目图片标签和非题目图片标签的标签值(在本示例中为可靠值)都是0～1之间的数值，并设定预定标签阈值，当待处理图片的标签值大于预定标签阈值时，判断该待处理图片为题目图片，而当待处理图片的标签值小于预定标签阈值时，判断该待处理图片为非题目图片。
[0127]
由此，使用上述标注处理后的所有训练样本数据(已标注的图片)对上述的图像定位回归模型进行训练。采用训练好的图像定位回归模型，输入待处理图片，输出该待处理图片的定位关键点坐标和置信度。对于主体区域是页面的，图像定位回归模型定位输出页面区域的四个顶点(即定位关键点)坐标。
[0128]
具体地，可使用训练好的图像定位回归模型计算所述定位关键点的坐标，其中，将待处理图片输入所述图像定位回归模型，输出所述图片中页面区域的四个定位关键点的位置坐标和置信度，该四个定位关键点为该页面区域的四个顶点的坐标(x1，y1，x2，y2，x3，y3，x4，y4，)，该置信度表示输出的该些定位关键点的可靠概率。
[0129]
需要说明的是，当待处理图片的置信度小于预定阈值时，说明输入图片不存在主体区域(例如待处理图片中不存在页面区域)或者存在主体区域的可信程度很低，则后续没有必要进行图片校正。因此，当定位关键点的位置坐标的置信度小于预定阈值时，停止对所述主体区域进行校正并输出无主体区域的警示信息。
[0130]
综上所述，通过使用上述标注处理后的样本数据建立训练数据集，能够更准确地标注出多种情况下的页面区域的四个顶点。使用上述训练数据集训练图像定位回归模型，并利用训练好的该模型计算待处理图片中页面区域(即待校正的页面区域)的四个定位关键点和置信度，能够更精确地识别出待处理图片内的页面区域，同时能够更准确识别出待处理图片中有无页面区域，由此解决了因页面区域相对于图片倾斜、带有无关背景、非主体区域等影响因素引起的图像识别精度低的问题，同时能够准确识别出有无页面区域的图片。接下来，在步骤s102中，根据所述定位关键点，对所述主体区域进行识别并校正，以去除无关的信息并规范化所述主体区域。
[0131]
具体地，根据所计算的四个定位关键点，从待处理图片中直接截取待校正的页面区域，无需图像分割处理，由此提高了图片处理的速度。
[0132]
进一步地，对所述待校正的页面区域进行校正，将所述四个定位关键点(例如将图5中页面区域的四个定位关键点abcd)变换调整到待处理图片的四个顶点(图5中图片的四个顶点abcd)，以将所述页面区域转换为矩形区域(即转换到图5中图片的四个顶点abcd)。所述变换调整包括对图片的拉伸变形、缩放、扭曲校正等。
[0133]
具体地，所述校正可以包括对所述页面区域进行放射变换和/或方向校正。
[0134]
图12是示出了图5的待处理图片中页面区域(即主体区域)校正后的图片的示意
图。
[0135]
如图12所示，经过上述校正过程，待校正的页面区域的四个定位关键点(即图5中页面区域的四个定位关键点abcd)变换调整到待处理图片的四个顶点(即图5中图片的四个顶点abcd)，以将所述页面区域转换为矩形区域，去除了无关背景区域(例如图5中键盘等背景区域、订正栏等的无关区域)，还将该页面区域的方向变换调整成符合阅读习惯的正向。
[0136]
可选地，在进行放射变换和/或方向校正之后，可以配合图片字体扭曲矫正和/或二值化处理，消除图像噪声的干扰，以得到校正后图片。
[0137]
具体地，所述二值化处理是使用自适应二值化算法对待校正的页面区域进行二值化。
[0138]
进一步地，自适应二值化算法包括大津二值化算法(ostu二值化算法)、局部阈值算法(niblack二值化算法)等。
[0139]
因此，本发明根据四个定位关键点从待处理图片中直接截取页面区域，无需图像分割处理，提高了图片处理的速度，有效避免了图片分割边缘不稳定的问题。图13是本发明的实施例1的图片校正方法的又一示例的流程图。
[0140]
如图13所示，本发明的方法还包括在图片校正之前，还包括对待处理图片进行方向校正的步骤s401。此处的方向校正包括通过旋转等操作将图片变换成符合阅读习惯的正向。
[0141]
在上面实施例中，我们预设图片是正向的，对于非正向的图片，先将当前待处理图片的方向调整为正向，再根据所述四个定位关键点，对所述待校正的页面区域进行校正，以得到校正后图片。
[0142]
在一些实施例中，可以先将待处理图片(可能正向也可能不是)输入方向校正模型，得到正向的待处理图片，然后再输入上面的图像定位回归模型获取定位关键点，然后对所述主体区域进行识别并校正。
[0143]
需要说明的是，上述仅作为示例进行说明，不能理解成对本发明的限制。
[0144]
上述搜题方法的过程仅用于对本发明的说明，其中，步骤的顺序和数量没有特别的限制。此外，上述方法中的某个步骤还可以拆分成两个、三个，或者有些步骤也可以合并成一个步骤，根据实际示例进行调整。
[0145]
与现有技术相比，本发明通过将所述图片的四个顶点作为参考点进行回归计算得到待处理图片的主体区域的定位关键点，并根据该些定位关键点从待处理图片中直接截取主体区域进行校正。本方案能够较精确地识别出待处理图片中的主体区域，无需进行图像分割处理，提高了图片处理的速度，有效避免了图片分割边缘不稳定的问题。本方案还可以去除主体区域之外的无关背景。
[0146]
进一步地，通过计算定位关键点的位置坐标的置信度，本方案能够识别出待处理图片中有无主体区域，以便确定是否继续进行后续的校正处理。
[0147]
进一步地，对于有些应用场景例如拍搜场景下，图片的主体区域为页面区域时，通过对图片进行标注处理，能够更准确地标注出多情况下的页面区域的四个顶点，以便后续使用标注有页面区域的四个顶点的图片建立训练数据集，并使用该训练数据集对图像定位回归模型进行训练。更进一步地，可以例如通过计算机，根据位于样本图片内的页面顶点，和，页面边线与图片边线的交点，来推算出位于样本图片之外的页面顶点的位置。
[0148]
使用训练好的图像定位回归模型计算出待处理图片的定位关键点和置信度，根据所计算的定位关键点从待处理图片中直接截取页面区域，能够更精确地识别出多种情况(例如倾斜)下的待处理图片内的页面区域，无需图像分割处理，提高了图片处理的速度，有效避免了图片分割边缘不稳定的问题，同时能够更准确识别出待处理图片中有无页面区域，还提高了图像分类精度，由此解决了因页面区域相对于图片倾斜、带有无关背景、非主体区域等影响因素引起的图像识别精度低的问题，同时能够更准确识别出有无页面区域的图片。
[0149]
实施例2
[0150]
根据本发明的第二方面，本发明还提供了一种页面检测模型的搭建方法，所述页面检测模型用于检测图片的页面区域的四个顶点。
[0151]
图14是示出了本发明的实施例2的页面检测模型的搭建方法的一示例的示意图。
[0152]
如图14所示，所述方法包括如下步骤：
[0153]
s501，搭建关键点检测模型。
[0154]
s502，使用标注有页面区域的四个顶点的图片，对所述关键点检测模型进行训练，使得经过训练的所述关键点检测模型能够输出所述页面区域的四个顶点及置信度。
[0155]
具体地，所述标注有页面区域的四个顶点的图片通过实施例1中所述的对样本图片进行标注的步骤完成。
[0156]
进一步地，将待处理的图片输入关键点检测模型，输出与所述图片相对应的四个关键点的位置坐标及置信度，该四个定位关键点为该页面区域的四个顶点的坐标(x1，y1，x2，y2，x3，y3，x4，y4，)，该置信度表示输出的所述定位关键点的可靠概率。
[0157]
需要说明的是，在实施例2中，省略了与实施例1相同的部分的说明。
[0158]
与现有技术相关，本发明通过页面检测模型检测图片的页面区域的四个顶点，能够更精确地监测出所述图片的页面区域的四个顶点，即能够更精确地确定出待校正的页面区域。
[0159]
实施例3
[0160]
根据本发明的第三方面，本发明还提供了一种图片校正方法。
[0161]
如图15所示，所述方法包括如下步骤：
[0162]
步骤s601，将待处理图片输入根据实施例2所述模型搭建方法生成的页面检测模型，获得所述待处理图片的页面区域的四个顶点及置信度。
[0163]
步骤s602，判断所述置信度是否大于等于第一阈值，当所述置信度大于第一阈值时，根据所述待处理图片的页面区域的四个顶点，对所述待处理图片进行页面区域识别及校正。
[0164]
需要说明的是，所述第一阈值的具体数值可由本领域技术人员根据实际情况确定，例如根据准确率或模型评估参数等的要求来确定第一阈值，以能保证识别包含页面区域(或校正区域)的图片是可信的为准。
[0165]
例如，该第一阈值为0.75，根据步骤601所计算的置信度大于等于0.75时，并进一步根据所述待处理图片的四个顶点(或定位关键点)，确定页面区域(即待校正区域)进行主体区域截取和校正。如果小于0.75，说明用于确定主体区域的定位关键点的置信度过低，说明当前图片不存在主体区域或定位关键点坐标不可信，这种情况下，最好检查图片的拍摄
情况，不需要使用实施例1所述的方法对所述待校正区域进行校正。
[0166]
需要说明的是，在实施例3中，省略了与实施例1、实施例2相同的部分的说明。
[0167]
与现有技术相比，本发明通过页面检测模型检测图片的页面区域的四个顶点，能够更精确地监测出所述图片的页面区域的四个顶点，即能够更精确地确定出待校正的页面区域(即待校正区域)，无需图像分割处理，提高了图片处理的速度，有效避免了图片分割边缘不稳定的问题，同时能够准确识别出待处理图片中有无页面区域。
[0168]
实施例4
[0169]
下面描述本发明的装置实施例，该装置可以用于执行本发明的方法实施例。对于本发明装置实施例中描述的细节，应视为对于上述方法实施例的补充；对于在本发明装置实施例中未披露的细节，可以参照上述方法实施例来实现。
[0170]
参照图16至图18，将说明本发明的实施例2的图片校正装置100。
[0171]
根据本发明的第四方面，本发明还提供了一种图片校正装置100，用于识别图片中的页面区域并对该页面区域进行校正，所述图片校正装置100包括：获取模块110，用于获取待处理图片；计算模块120，用于将所述图片的四个顶点作为参考点，采用回归计算确定若干定位关键点，该些定位关键点用于确定所述图片的主体区域；校正模块130，用于根据所述定位关键点，对所述主体区域进行识别并校正，以去除无关的信息并规范化所述主体区域。
[0172]
需要说明的是，在其他应用示例中，本发明的图片校正装置100还可以不包括获取模块，仅包括计算模块120和校正模块130，具体参见图17。
[0173]
可选地，所述图片的主体区域包括页面区域，所述若干定位关键点包括页面的四个顶点。
[0174]
如图18所示，本发明的图片校正装置100还包括模型建立模块111，该模型建立模块111用于建立图像定位回归模型，使用训练好的图像定位回归模型计算所述定位关键点的坐标。
[0175]
具体地，标注样本数据并使用样本数据对该图像定位回归模型进行训练，其中，所述标注样本数据指对样本图片进行标注，以标注出样本图片中页面区域的四个定位关键点以及是否包含页面区域。
[0176]
进一步地，所述使用训练好的图像定位回归模型获取(或输出)所述定位关键点的坐标包括：将待处理图片输入所述图像定位回归模型，输出该待处理图片中页面区域的四个定位关键点的位置坐标和置信度该置信度表示输出的所述定位关键点的可靠概率。
[0177]
具体地，还包括标注处理模块112，该标注处理模块112用于对样本图片进行标注，当所述样本图片的页面区域均位于所述样本图片内时，直接将该页面的四个顶点标注为所述定位关键点；当所述样本图片的页面区域部分位于所述样本图片外时，根据位于所述样本图片内的页面顶点，和，所述页面的边线与所述图片的边线的交点，来推算出位于所述样本图片之外的页面顶点的位置，并将图片内的页面顶点和推算出的位于所述样本图片外的页面顶点标注为所述定位关键点；
[0178]
可选地，所述推算出位于所述样本图片之外的页面顶点的位置，包括：标注出样品图片的位于图片内的顶点，和，页面的边线与所述图片的边线的交点；遍历样本图片的所有标注点，依次判断相邻两个标注点是否同时位于同一图片边线，所述标注点包括所述位于
图片内的顶点和所述交点；在判断为该相邻两个标注点是同时位于同一图片边线时，继续判断该两个标注点所在的两条页面区域边线延长相交所形成的夹角是否满足大于等于第一阈值角度；在所述夹角满足大于等于第一阈值角度时，将该相邻两个标注点标记为非顶点，并将该两个非顶点对应的两条页面区域的边线延长相交后形成的交汇点标注为所述页面区域的位于图片外的预测顶点，同时删除该两个标记为非顶点的标注点，最后得到标注有四个定位关键点的样本图片。
[0179]
可选地，所述第一角度阈值为60度。
[0180]
进一步地，所述对所述页面区域进行校正包括：根据所述四个定位关键点，对所述页面区域进行放射变换和/或方向校正，以得到校正后图片。
[0181]
需要说明的是，在实施例4中，省略了与实施例1、实施例2和实施例3相同的部分的说明。
[0182]
与现有技术相比，本发明通过将所述图片的四个顶点作为参考点进行回归计算得到待处理图片的主体区域的定位关键点，并根据该些定位关键点从待处理图片中直接截取主体区域进行校正。本方案能够较精确地识别出待处理图片中的主体区域，无需进行图像分割处理，提高了图片处理的速度，有效避免了图片分割边缘不稳定的问题。本方案还可以去除主体区域之外的无关背景。
[0183]
进一步地，通过计算定位关键点的位置坐标的置信度，本方案能够识别出待处理图片中有无主体区域，以便确定是否继续进行后续的校正处理。
[0184]
进一步地，对于有些应用场景例如拍搜场景下，图片的主体区域为页面区域时，通过对图片进行标注处理，能够更准确地标注出多情况下的页面区域的四个顶点，以便后续使用标注有页面区域的四个顶点的图片建立训练数据集，并使用该训练数据集对图像定位回归模型进行训练。更进一步地，可以例如通过计算机，根据位于样本图片内的页面顶点，和，页面边线与图片边线的交点，来推算出位于样本图片之外的页面顶点的位置。
[0185]
使用训练好的图像定位回归模型计算出待处理图片的定位关键点和置信度，根据所计算的定位关键点从待处理图片中直接截取页面区域，能够更精确地识别出多种情况(例如倾斜)下的待处理图片内的页面区域，无需图像分割处理，提高了图片处理的速度，有效避免了图片分割边缘不稳定的问题，同时能够更准确识别出待处理图片中有无页面区域，还提高了图像分类精度，由此解决了因页面区域相对于图片倾斜、带有无关背景、非主体区域等影响因素引起的图像识别精度低的问题，同时能够更准确识别出有无页面区域的图片。
[0186]
实施例5
[0187]
下面描述本发明的计算机设备实施例，该计算机设备可以视为对于上述本发明的方法和装置实施例的具体实体实施方式。对于本发明计算机设备实施例中描述的细节，应视为对于上述方法或装置实施例的补充；对于在本发明计算机设备实施例中未披露的细节，可以参照上述方法或装置实施例来实现。
[0188]
图19是本发明的一个实施例的计算机设备的结构示意图，该计算机设备包括处理器和存储器，所述存储器用于存储计算机可执行程序，当所述计算机程序被所述处理器执行时，所述处理器执行上述实施例中的任一方法。
[0189]
如图19所示，计算机设备以通用计算设备的形式表现。其中处理器可以是一个，也
可以是多个并且协同工作。本发明也不排除进行分布式处理，即处理器可以分散在不同的实体设备中。本发明的计算机设备并不限于单一实体，也可以是多个实体设备的总和。
[0190]
所述存储器存储有计算机可执行程序，通常是机器可读的代码。所述计算机可读程序可以被所述处理器执行，以使得计算机设备能够执行本发明的方法，或者方法中的至少部分步骤。
[0191]
所述存储器包括易失性存储器，例如随机存取存储单元(ram)和/或高速缓存存储单元，还可以是非易失性存储器，如只读存储单元(rom)。
[0192]
可选的，该实施例中，计算机设备还包括有i/o接口，其用于计算机设备与外部的设备进行数据交换。i/o接口可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
[0193]
应当理解，图19显示的计算机设备仅仅是本发明的一个示例，本发明的计算机设备中还可以包括上述示例中未示出的元件或组件。例如，有些计算机设备中还包括有显示屏等显示单元，有些计算机设备还包括人机交互元件，例如按扭、键盘等。只要该计算机设备能够执行存储器中的计算机可读程序以实现本发明方法或方法的至少部分步骤，均可认为是本发明所涵盖的计算机设备。
[0194]
图20是本发明的一个实施例的计算机程序产品的示意图。如图20所示，计算机程序产品中存储有计算机可执行程序，所述计算机可执行程序被执行时，实现本发明上述方法。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
[0195]
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0196]
通过以上对实施方式的描述，本领域的技术人员易于理解，本发明可以由能够执行特定计算机程序的硬件来实现，例如本发明的系统，以及系统中包含的电子处理单元、服务器、客户端、手机、控制单元、处理器等。本发明也可以由执行本发明的方法的计算机软件来实现，例如由微处理器、电子控制单元，客户端、服务器端等执行的控制软件来实现。但需要说明的是，执行本发明的方法的计算机软件并不限于由一个或特定个的硬件实体中执行，其也可以是由不特定具体硬件的以分布式的方式来实现。对于计算机软件，软件产品可以存储在一个计算机可读的存储介质(可以是cd
‑
rom，u盘，移动硬盘等)中，也可以分布式
存储于网络上，只要其能使得计算机设备执行根据本发明的方法。
[0197]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，本发明不与任何特定计算机、虚拟装置或者计算机设备固有相关，各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。