文档图像增强方法、装置及电子设备与流程

1.本技术属于图像处理技术领域，具体涉及一种文档图像增强方法、装置及电子设备。


背景技术：

2.随着移动互联网的不断发展，图像作为媒介进行传播成为了工作及生活的日常，越来越多的工作通过电子设备进行，对文档扫描的需求也随之增加，职场办公时经常需要将一堆纸质文件进行扫描后存档或发送。
3.采用专业的扫描设备可以达到较好的扫描效果，但是扫描设备体积大、扫描灵活性差，成本高。在采用非专业扫描设备进行扫描时，侧重于文档图像的二值化，无法有效保留彩色图像和文档细节，扫描效果不佳。
4.由此可见，在采用专业扫描设备进行扫描时存在扫描灵活性差、扫描成本高的弊端，在采用非专业扫描设备进行扫描时存在无法达到良好的扫描效果的弊端。


技术实现要素：

5.本技术实施例的目的是提供一种文档图像增强方法、装置及电子设备，以解决现有技术中基于专业设备进行扫描时存在的扫描灵活性差、扫描成本高，以及基于非专业扫描设备进行扫描时存在的扫描效果不佳的问题。
6.第一方面，本技术实施例提供了一种文档图像增强方法，包括：
7.根据背景区域确定条件，获取初始文档图像的第一背景区域；
8.对所述第一背景区域进行图像邻域分析，生成局部背景光照图；
9.对所述局部背景光照图进行像素点填充，生成全局背景光照图；
10.根据所述初始文档图像和所述全局背景光照图，生成文档增强图像。
11.第二方面，本技术实施例提供了一种文档图像增强装置，包括：
12.获取模块，用于根据背景区域确定条件，获取初始文档图像的第一背景区域；
13.第一生成模块，用于对所述第一背景区域进行图像邻域分析，生成局部背景光照图；
14.第二生成模块，用于对所述局部背景光照图进行像素点填充，生成全局背景光照图；
15.第三生成模块，用于根据所述初始文档图像和所述全局背景光照图，生成文档增强图像。
16.第三方面，本技术实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
17.第四方面，本技术实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
18.第五方面，本技术实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
19.在本技术实施例中，通过根据背景区域确定条件，获取初始文档图像的第一背景区域，在第一背景区域的基础上，进行图像邻域分析，生成局部背景光照图，对局部背景光照图进行像素点填充生成全局背景光照图，基于全局背景光照图对初始文档图像进行处理，获得最终的文档增强图像，可以在无需借助扫描设备达到扫描效果的同时，保护文档内容的细节，且可以实现快速进行图像处理，获取文档增强图像。
附图说明
20.图1表示本技术实施例提供的文档图像增强方法的示意图；
21.图2a表示本技术实施例提供的图像中标识前景区域和背景区域的示意图；
22.图2b表示本技术实施例提供的前景区域对应的三通道直方图；
23.图2c表示本技术实施例提供的背景区域对应的三通道直方图；
24.图3表示本技术实施例提供的初始文档图像不同区域的比对示意图；
25.图4表示本技术实施例提供的处理后的文档增强图像的示意图；
26.图5表示本技术实施例提供的文档图像增强装置的示意图；
27.图6是本技术实施例提供的电子设备的示意框图之一；
28.图7是本技术实施例提供的电子设备的示意框图之二。
具体实施方式
29.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本技术保护的范围。
30.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
31.下面结合附图，通过具体的实施例及其应用场景对本技术实施例提供的文档图像增强方法进行详细地说明。
32.本技术实施例提供一种文档图像增强方法，参见图1所示，该方法包括如下步骤：
33.步骤101、根据背景区域确定条件，获取初始文档图像的第一背景区域。
34.本技术实施例提供的文档图像增强方法应用于电子设备，电子设备首先基于接收到的拍摄指令，利用摄像头对演示文稿或者其他文本内容进行拍摄以获取初始文档图像。在获取初始文档图像之后，针对初始文档图像确定其对应的第一背景区域。在确定初始文档图像的第一背景区域时，可以利用预设的背景区域确定条件。基于背景区域确定条件，在初始文档图像中进行搜索，以查找第一背景区域。
35.步骤102、对第一背景区域进行图像邻域分析，生成局部背景光照图。
36.由于基于背景区域确定条件所确定的第一背景区域并不一定是真正的背景区域，因此在确定第一背景区域之后，在第一背景区域的基础上，进一步进行图像邻域分析，以基于漫水填充算法的思想，对第一背景区域中的图像块进行判断，从而在第一背景区域的基础上筛选出局部背景区域，基于确定的局部背景区域生成局部背景光照图。
37.步骤103、对局部背景光照图进行像素点填充，生成全局背景光照图。
38.在生成局部背景光照图之后，可以通过图像填充算法，对局部背景光照图进行像素点填充，以生成全局背景光照图。其中，对局部背景光照图进行像素点填充的过程可以理解为对局部背景光照图中的非背景区域进行像素点填充。通过对局部背景光照图进行像素点填充以生成全局背景光照图，以便于可基于全局背景图光照图的背景光照进行文档内容的增强显示。局部背景光照图、全局背景光照图基于初始文档图像生成，局部背景光照图、全局背景光照图分别与初始文档图像对应。
39.步骤104、根据初始文档图像和全局背景光照图，生成文档增强图像。
40.在生成全局背景光照图之后，基于所生成的全局背景光照图以及初始文档图像进行图像处理，生成文档增强图像。其中，进行文档图像的增强主要是为了提升背景区域的亮度，增强文档内容的对比度，由于文档图像的文字及图案所对应的文档区域的像素值通常小于背景区域的像素值，因此可以基于全局背景光照图对初始文档图像进行处理，达到文档区域和背景区域对比增强的效果，即，采用全局背景光照图处理初始文档图像，便可以获得最终的文档增强图像。
41.本技术上述实施过程，通过根据背景区域确定条件，获取初始文档图像的第一背景区域，在第一背景区域的基础上，进行图像邻域分析，生成局部背景光照图，对局部背景光照图进行像素点填充生成全局背景光照图，基于全局背景光照图对初始文档图像进行处理，获得最终的文档增强图像，可以在无需借助扫描设备达到扫描效果的同时，保护文档内容的细节，且可以实现快速进行图像处理，获取文档增强图像。
42.可选地，步骤101根据背景区域确定条件，获取初始文档图像的第一背景区域，包括：
43.将初始文档图像划分为预设数目个尺寸相同的图像块；
44.根据图像块对应的rgb三通道直方图，在预设数目个图像块中筛选出多个第一图像块，第一图像块的至少一个单通道直方图对应的背景概率大于预设概率值，背景概率用于指示属于第一背景区域的概率；
45.根据第一图像块确定第一背景区域。
46.在获取初始文档图像的第一背景区域时，可以针对初始文档图像进行图像块的划分，将初始文档图像划分为预设数目个尺寸相同的图像块，如划分为6(指代像素点个数)*6的图像块，或者，划分为8*8的图像块，或者6*8的图像块，本技术实施例中以图像块的尺寸为n*n为例进行阐述。
47.针对划分的预设数目个图像块中的每一个图像块，根据当前图像块对应的rgb三通道直方图确定当前图像块是否属于第一图像块，进而在预设数目个图像块中筛选出第一图像块，基于筛选出的第一图像块确定出第一背景区域。
48.针对任意一图像块而言，若其至少一个单通道直方图对应的背景概率大于预设概
率值，则确定当前图像块为第一图像块。其中，背景概率用于指示属于第一背景区域的概率，单通道直方图对应的背景概率可以理解为：基于图像块对应的单通道直方图确定图像块属于第一背景区域的概率。
49.下面对根据图像块对应的rgb三通道直方图筛选出第一图像块的原理进行阐述。针对一个图像块，如果所有像素点都汇集在一个小像素值范围内，那么该图像块就属于第一背景区域。如，该图像块对应的rgb三通道直方图分布拟合高斯分布，参见图2a所示，图像中存在圆形区域(区域1，即前景区域)以及方形区域(区域2，即背景区域)，区域1对应的rgb三通道直方图参见图2b所示，区域2对应的rgb三通道直方图参见图2c所示，图2b以及图2c中，横坐标为像素值，纵坐标为像素个数百分比。由此可见看出，背景区域对应的rgb三通道直方图更加符合高斯分布，并且峰值附近汇集了绝大部分像素点。
50.因此，第一背景区域的详细定义为：针对图像块而言，rgb三通道直方图中的至少一个单通道直方图，其峰值(对应的像素点个数最多的像素值)附近左右k个数值范围内的像素值所对应的像素点个数总数与图像块的区域像素点总数的比值需要大于一设定数值，其中，k的取值代表像素值的取值，与图像块的尺寸n*n中的n无关联关系，k可以大于、小于或者等于n。单通道直方图的背景概率(单通道直方图峰值附近左右k个数值范围内的像素值所对应的像素点个数总数与区域像素点总数的比值)的计算公式如下：
[0051][0052]
其中，pbp是背景概率，loc为直方图峰值所在的横坐标位置(横坐标表示像素值)，hist是单通道对应的直方图，hist(i)表示直方图位于i坐标的纵坐标值(纵坐标值为像素点个数)，i是直方图的横坐标，表示像素值。如果任何一个单通道直方图的背景概率pbp大于一设定数值，如0.8，那么该图像块就被视为第一图像块，即该图像块属于第一背景区域。这里的设定数值即为背景概率。
[0053]
下面通过一具体实例对确定第一背景区域的过程进行阐述，以6*6图像块遍历初始文档图像，针对每个图像块，分别计算rgb三通道直方图对应的背景概率，在计算单通道直方图的背景概率时，首先找到单通道直方图的峰值位置(横坐标)，并对左右相邻k个数值范围内的像素值所对应的像素点个数进行累加求和，记为s，k的取值优选为6，如果任意单通道的s/36>0.8，那么该图像块属于第一背景区域。
[0054]
本技术上述实施过程，通过将初始文档图像划分为预设数目个尺寸相同的图像块，根据图像块对应的rgb三通道直方图确定第一图像块，根据第一图像块确定第一背景区域，可以实现基于图像块的单通道直方图的背景概率进行图像块筛选，以基于筛选出的图像块确定第一背景区域。
[0055]
在确定第一图像块之后，定义表征第一图像块的结构体pb：pb＝{x，y，peak_r，peak_g，peak_b}，其中x、y指的是该图像块的位置，peak_r、peak_g、peak_b指的是三通道直方图峰值的横坐标，即表示该图像块的像素值都集中在peak_r、peak_g、peak_b附近；创建一个存放第一图像块的目标容器(pbv)，以存放第一图像块的结构体。通过创建目标容器存放第一图像块的相关信息，便于后续基于目标容器中的第一图像块生成局部背景光照图。
[0056]
可选地，步骤102对第一背景区域进行图像邻域分析，生成局部背景光照图，包括：
[0057]
对第一背景区域内的第一图像块进行图像邻域分析，在多个第一图像块中筛选出
第二图像块；
[0058]
根据第二图像块，生成局部背景光照图。
[0059]
基于背景区域确定条件所确定的第一背景区域并不一定是真正的背景区域，因此在确定第一背景区域之后，在第一背景区域的基础上，进一步进行图像邻域分析以生成局部背景光照图。例如，见图3所示，方框12以及方框11均满足第一背景区域的条件，但是方框11以及方框12并不一定都属于真正的背景区域，因此需要在确定第一背景区域的基础上，进一步进行图像邻域分析以确定背景区域。
[0060]
由于第一背景区域基于图像块确定，在对第一背景区域进行图像邻域分析生成局部背景光照图时，可以在第一背景区域对应的多个第一图像块中进行图像块筛选，根据筛选出的第二图像块生成局部背景光照图，实现以第一背景区域为基础，缩小背景区域的范围，获取局部背景区域，生成局部背景光照图。
[0061]
下面对在多个第一图像块中筛选出第二图像块的过程进行阐述，对第一背景区域内的第一图像块进行图像邻域分析，在多个第一图像块中筛选出第二图像块，包括：
[0062]
按照预设规则，对多个第一图像块进行遍历，以分析第一图像块的邻域图像块；
[0063]
根据遍历结果确定至少一个缓存队列，每个缓存队列包括基于遍历筛选出的第二图像块，且同一个缓存队列中的第二图像块对应于同一类型背景区域；
[0064]
其中，属于同一类型背景区域的两个具有直接关联关系的第二图像块，对应的rgb三通道直方图的峰值像素值差异在预设阈值范围内。
[0065]
在第一背景区域对应的多个第一图像块中筛选出第二图像块时，可以针对目标容器(存放第一图像块的容器)中的多个第一图像块，按照预设规则，对多个第一图像块进行图像块遍历，以分析第一图像块的候选邻域图像块。在遍历过程中，针对访问到的第一图像块，检测其对应的候选邻域图像块是否属于第一背景区域中的第一图像块，若属于，则进一步分析，否则忽略候选邻域图像块。针对属于第一背景区域中的第一图像块的候选邻域图像块，访问候选邻域图像块，以检测候选邻域图像块与当前访问的第一图像块是否属于同一类型背景区域，若属于，则确定候选邻域图像块为当前第一图像块相关的第一邻域图像块。
[0066]
与当前第一图像块属于同一类型背景区域的第一邻域图像块，可以理解为当前第一图像块对应的rgb三通道直方图的峰值像素值与第一邻域图像块对应的rgb三通道直方图的峰值像素值的差异在预设阈值范围内。其中，当前第一图像块对应的rgb三通道直方图的峰值像素值为三个，分别为r通道直方图的峰值像素值、g通道直方图的峰值像素值以及b通道直方图的峰值像素值；相应的，候选邻域图像块对应的rgb三通道直方图的峰值像素值为三个，分别为r通道直方图的峰值像素值、g通道直方图的峰值像素值以及b通道直方图的峰值像素值，在计算差异时，需要针对相同的通道，计算峰值像素值的差异，在三个差异中取最大的差异作为最终差异，并与预设阈值范围进行比较，若最终差异在预设阈值范围内，则确定候选邻域图像块为当前第一图像块对应的第一邻域图像块。
[0067]
针对当前第一图像块对应的候选邻域图像块中存在第一邻域图像块的情况，将第一邻域图像块存入当前第一图像块对应的缓存队列中，并针对缓存队列中的每个第一邻域图像块，访问对应的候选邻域图像块，以检测对应的候选邻域图像块中是否存在属于第一背景区域、且与当前第一邻域图像块属于同一类型背景区域的第二邻域图像块。
[0068]
若存在第二邻域图像块，则将第二邻域图像块存入当前第一图像块对应的缓存队列中，并针对每个第二邻域图像块，访问对应的候选邻域图像块中是否存在属于第一背景区域、且与当前第二邻域图像块属于同一类型背景区域的第三邻域图像块。
[0069]
依次执行上述过程，直至完成对当前第一图像块对应的缓存队列中的全部邻域图像块(可以包括第一邻域图像块、第二邻域图像块、第三邻域图像块以及继续访问所得到的其他邻域图像块)的访问，至此完成了与当前第一图像块关联的全部邻域图像块的查找。
[0070]
其中，在访问当前第一图像块之前，可以将其放入第一队列中，在访问时从第一队列中取出，针对当前第一图像块对应的候选邻域图像块中存在第一邻域图像块的情况，可以将第一邻域图像块存入第一队列中，同时将第一邻域图像块以及当前第一图像块存入队列容器中，在第一队列中取出一个第一邻域图像块，访问对应的候选邻域图像块，以检测对应的候选邻域图像块中是否存在属于第一背景区域、且与当前第一邻域图像块属于同一类型背景区域的第二邻域图像块。
[0071]
若存在第二邻域图像块，则将第二邻域图像块存入第一队列中以及队列容器中，然后继续在第一队列里取出一图像块(可以为第一邻域图像块或者第二邻域图像块)，访问对应的候选邻域图像块，以检测当前图像块对应的候选邻域图像块中是否存在属于第一背景区域、且与当前图像块属于同一类型背景区域的邻域图像块(可以是第二邻域图像块或者第三邻域图像块)，若存在则将访问到的邻域图像块存入第一队列中，同时存入队列容器中，不断从第一队列中取出图像块直至第一队列为空时停止。在此过程中，队列容器中不断存入邻域图像块，此时，对列容器中的邻域图像块与当前第一图像块形成当前第一图像块对应的缓存队列。
[0072]
至此，可以针对当前第一图像块查找到对应的邻域图像块，然后可以针对未访问的其他第一图像块，继续查找对应的邻域图像块，可以形成另外的缓存队列，第一图像块以及对应的邻域图像块均存储于队列容器中。
[0073]
其中，队列容器中的图像块均来源于目标容器，针对当前第一图像块而言，其对应的邻域图像块包括目标容器中的除当前第一图像块之外的其他图像块。在遍历过程中，继续按照预设规则对目标容器中的其他第一图像块进行访问时，可以仅对未经过访问的第一图像块进行访问。
[0074]
针对当前第一图像块对应的候选邻域图像块中不存在第一邻域图像块的情况，可以继续按照预设规则对目标容器中未访问的第一图像块进行访问，此时需要重新确定一缓存队列，即，每重新选择目标容器中的第一图像块进行访问时，需要重建一缓存队列，目标容器可以对应于多个缓存队列，多个缓存队列存放于队列容器中。
[0075]
在完成遍历之后，每个缓存队列包括基于遍历筛选出的第二图像块，第二图像块均为在第一背景区域对应的第一图像块中筛选出的图像块。针对同一个缓存队列而言，其所包括的第二图像块对应于同一类型背景区域，即两个有直接关联关系的第二图像块的rgb三通道直方图的峰值像素值差异在预设阈值范围内，这里的直接关联关系即为图像块直接邻域关系。
[0076]
在确定至少一个缓存队列之后，可以得到至少一个背景区域，然后依据至少一个背景区域确定局部背景区域。
[0077]
上述实施过程，以第一背景区域为基础进行图像邻域分析，缩小背景区域的范围，
获取局部背景区域，进而可以生成局部背景光照图。
[0078]
下面通过一具体实例对查找第一图像块对应的邻域图像块的过程进行阐述。针对当前第一图像块而言，访问其周围8邻域的候选邻域图像块，以检测周围8邻域的候选邻域图像块中是否存在属于第一背景区域、且与当前第一图像块属于同一类型背景区域的邻域图像块。针对检测与当前第一图像块属于同一类型背景区域的邻域图像块而言，需要计算当前第一图像块与属于第一背景区域的各候选邻域图像块之间的rgb三通道直方图的峰值像素值差异，即计算不同图像块的peak_r，peak_g，peak_b的差异值，如果峰值像素值差异在预设阈值范围内，则当前第一图像块与候选邻域图像块属于同一类型背景区域，此时的候选邻域图像块为真正的邻域图像块。
[0079]
具体过程如下，首先定义像素值差异阈值t，并创建队列queue以遍历第一图像块的8邻域的候选邻域图像块、创建队列容器queue_vector用于存放缓存队列；顺序遍历目标容器pbv中的第一图像块，在遍历过程中，首先将当前访问的第一图像块加入到队列queue中，在队列queue中取出当前第一图像块，并根据当前第一图像块的行列坐标判断其8邻域内是否存在候选邻域图像块，若存在，则访问其周围8邻域的候选邻域图像块，以检测周围8邻域的候选邻域图像块中是否存在属于第一背景区域、且与当前第一图像块属于同一类型背景区域的邻域图像块，即计算当前第一图像块与各候选邻域图像块(属于第一背景区域)的rgb三通道直方图的峰值像素值的最大差异值，并与像素值差异阈值t进行比较。其计算公式如下：
[0080]
diff＝max(abs(peak_r
i
‑
peak_r
j
)，abs(peak_g
i
‑
peak_g
j
)，abs(peak_b
i
‑
peak_b
j
))
[0081]
其中，i表示当前第一图像块，j表示候选邻域图像块，diff表示最大差异值。如果diff小于像素值差异阈值t，确定当前第一图像块与候选邻域像素块属于同一类型背景区域，那么就把该候选邻域图像块加入到队列queue中，同时将当前第一图像块以及候选邻域图像块加入到队列容器queue_vector中。不断取出队列queue中的图像块进行邻域判断并将确定的邻域像素块存入队列queue中，当队列queue为空的时候，针对当前第一图像块的邻域图像块的查找结束，此时，可以确定一缓存队列。继续遍历目标容器pbv中的未经过访问的其他第一图像块，最终的结果是队列容器queue_vector里包含多个缓存队列。
[0082]
以上介绍了筛选第二图像块的情况，下面对生成局部背景光照图的情况进行介绍。可选地，每个缓存队列对应于初始文档图像中的一连通区域，根据第二图像块，生成局部背景光照图，包括：
[0083]
根据至少一个缓存队列确定至少一个连通区域；
[0084]
根据至少一个连通区域中面积最大的连通区域，生成局部背景光照图。
[0085]
由于目标容器可以对应于至少一个缓存队列，每个缓存队列对应于初始文档图像中的一连通区域，因此初始文档图像中对应于至少一个连通区域。例如，初始文档图像中分别有黄色、白色、绿色和蓝色的连通区域。由于文档图片一般多以文字为主，背景区域面积大，基于文档图像的这个特征，做出以下假定：面积最大的连通区域为局部背景区域，如此，可以分别计算这些连通区域的面积，并选择面积最大的作为局部背景区域。例如，将面积最大的蓝色连通区域确定为局部背景区域。
[0086]
即，针对初始文档图像中存在多个连通区域的情况，可以分别计算连通区域的区
域面积，根据区域面积在多个连通区域中确定面积最大的连通区域，将面积最大的连通区域确定为局部背景区域，进而基于所确定的局部背景区域生成局部背景光照图。
[0087]
在确定局部背景区域时，通过利用文档图像的特性，基于连通区域的面积，在多个连通区域中选择面积最大的连通区域，可以实现基于面积参数快速确定局部背景区域，在确定局部背景区域之后，可以根据局部背景区域生成局部背景光照图。
[0088]
本技术上述实施过程，在确定第一背景区域之后，针对第一背景区域中的第一图像块进行遍历，查找邻域图像块，以确定至少一个连通区域，基于文档图像的特性，在确定的至少一个连通区域中查找面积最大的连通区域，以在第一背景区域的基础上确定局部背景区域，可以快速、准确的确定局部背景区域，进而生成局部背景光照图。
[0089]
可选地，步骤103对局部背景光照图进行像素点填充，生成全局背景光照图，包括：针对局部背景光照图，确定待填充区域的填充边缘线；根据填充边缘线，确定待填充像素点，并对待填充像素点进行填充；对填充边缘线进行多次更新，并在每次更新后重新确定待填充像素点进行填充，直至完成全部待填充像素点的填充。
[0090]
在确定布局背景光照图之后，可以对局部背景光照图进行像素点填充，以生成全局背景光照图。在生成全局背景光照图时，可以针对局部背景光照图确定待填充区域的填充边缘线，基于填充边缘线确定待填充像素点，进而对确定的待填充像素点进行填充。且在完成一次填充之后，需要更新填充边缘线，然后重新确定待填充像素点进行填充，在更新填充边缘线时，填充边缘线不断向里推进，即，理解为填充边缘线对应的区域范围不断缩小。
[0091]
在确定填充边缘线之后，针对填充边缘线上的每个边缘像素点，找到距离该边缘像素点最近的像素点进行填充，其中，距离该边缘像素点最近的像素点为填充边缘线对应的区域范围内的像素点。
[0092]
下面对具体过程进行阐述，针对局部背景光照图，获取其对应的掩模mask图1，对mask图1进行膨胀得到mask图2，利用mask图2减去mask图1，可以得到填充边缘线。针对局部背景光照图而言，基于填充边缘线上的各边缘像素点，找到距离该边缘像素点最近的待填充像素点以进行填充，填充公式如下所示：
[0093][0094]
其中，p表示待填充像素点，i(p)表示待填充像素点的像素值，b
∈
为像素点p的邻域区域，q为像素点p的邻域区域中的某个像素点，i(q)为像素点q的像素值，为像素点q的梯度向量，(p
‑
q)为像素点p和像素点q的坐标差(为向量形式)，w(p，q)用来计算邻域各像素点对待填充像素点的贡献权值，w(p，q)的计算方法如下：
[0095][0096]
其中，||p
‑
q||指的是pq两个像素点之间的距离，n(p)指的是p点的法向量，t(p)是p点距离边缘像素点(填充边缘线上的像素点)的距离，t(q)是q点距离边缘像素点的距离。
[0097]
基于上述填充公式实现对待填充像素点的填充。在完成一次填充之后，重新确定mask图1，然后进行膨胀确定mask图2，由于进行了像素点填充，此次确定的mask图1与上一次确定的mask图1不同，进而使得基于新确定的mask图2与mask图1，得到的填充边缘线与之
前的填充边缘线相区别。此时可以继续确定待填充像素点以进行像素点的填充，并在完成后，重复执行确定mask图1和mask图2、确定填充边缘线、进行像素点填充的流程，直至完成全部待填充像素点的填充，以生成全局背景光照图。
[0098]
本技术上述实施过程，在生成局部背景光照图之后，在局部背景光照图的基础上进行像素点的填充，以实现对非背景光照区域进行像素点填充，进而可以生成全局背景光照图，以便于基于全局背景光照图的背景光照进行文档内容的增强显示。
[0099]
可选地，步骤104根据初始文档图像和全局背景光照图，生成文档增强图像，包括：获取全局背景光照图的各第一像素点分别对应的第一像素值；
[0100]
获取初始文档图像的背景区域的各第二像素点分别对应的第二像素值、初始文档图像的文档区域的各第三像素点分别对应的第三像素值；
[0101]
计算各第二像素点分别对应的第二像素值与对应的各第一像素点分别对应的第一像素值的第一比值，根据各第一比值与目标像素值的乘积确定初始文档图像的背景区域更新后的像素值；
[0102]
计算各第三像素点分别对应的第三像素值与对应的各第一像素点分别对应的第一像素值的第二比值，根据各第二比值与目标像素值的乘积确定初始文档图像的文档区域更新后的像素值；
[0103]
根据背景区域更新后的像素值和文档区域更新后的像素值，生成文档增强图像。
[0104]
初始文档图像和全局背景光照图对应，初始文档图像和全局背景光照图的尺寸、分辨率相同。在根据初始文档图像和全局背景光照图，生成文档增强图像时，可以针对全局背景光照图，获取各第一像素点分别对应的第一像素值，其中第一像素值为第一范围内的某个像素值，如第一范围为：[β
‑
y，β+y]。针对初始文档图像的背景区域，获取各第二像素点分别对应的第二像素值，其中第二像素值为第二范围内的某个像素值，如第二范围为[β
‑
x，β+x]。针对初始文档图像的文档区域，获取各第三像素点分别对应的第三像素值，其中第三像素值为第三范围内的某个像素值，如第三范围为[α
‑
t，α+t]。其中，α和β为任意常数值，且因为通常文档图像中文字像素值远小于背景像素值，因此255>β＞＞α；又因为图像中各个点像素值不是完全相同，因此用t、x、y表示像素波动值，其都远小于α和β且x≈y。
[0105]
在生成文档增强图像时，需要确定文档增强图像中背景区域的像素值和文档区域的像素值。在确定文档增强图像中背景区域的像素值时，需要针对初始文档图像的背景区域的各第二像素点，在全局背景光照图中确定对应的各第一像素点，计算各第二像素点分别对应的第二像素值(各第二像素值可以相同或者相区别)与对应的各第一像素点分别对应的第一像素值的第一比值，得到多个第一比值(第一比值的数量为初始文档图像的背景区域中第二像素点的数量)。针对每个第一比值与目标像素值的乘积，获取初始文档图像的背景区域更新后的像素值，即文档增强图像中背景区域的像素值。目标像素值的取值范围可以为240至255，本技术实施例中优选255，以实现良好的增强效果。
[0106]
在确定文档增强图像中文档区域的像素值时，需要针对初始文档图像的文档区域的各第三像素点，在全局背景光照图中确定对应的各第一像素点，计算各第三像素点分别对应的第三像素值(各第三像素值可以相同或者相区别)与对应的各第一像素点分别对应的第一像素值的第二比值，得到多个第二比值(第二比值的数量为初始文档图像的文档区域中第三像素点的数量)。针对每个第二比值与目标像素值的乘积，获取初始文档图像的文
档区域更新后的像素值，即文档增强图像中文档区域的像素值。
[0107]
在确定背景区域更新后的像素值和文档区域更新后的像素值之后，可以根据背景区域更新后的像素值和文档区域更新后的像素值生成文档增强图像，即，根据确定的背景区域更新后的像素值对原始文档图像的背景区域进行像素值的更新，根据确定的文档区域更新后的像素值对原始文档图像的文档区域进行像素值的更新，以生成文档增强图像。即，根据初始文档图像和全局背景光照图，生成文档增强图像的过程可以理解为：利用初始文档图像的像素值除以全局背景光照图的像素值，并与目标像素值相乘，以获取文档增强图像的像素值。
[0108]
下面通过一具体实例对上述过程进行介绍，假设初始文档图像的背景区域任意像素点的像素值为β
ij
，其范围为[β
‑
x，β+x]，非背景区域的任意像素点的像素值为α
ij
，其范围为[α
‑
t，α+t]，全局背景光照图的任意像素点的像素值为l
ij
，其像素值范围为[β
‑
y，β+y]，其中i,j代表行列号。假定文档增强图像中与初始文档图像的背景区域相对应的任意像素点的像素值为r
ij
，与初始文档图像的文档区域相对应的任意像素点的像素值为t
ij
，则，r
ij
以及t
ij
的计算方式如下所示：
[0109][0110][0111]
由于x和y无限接近，因此r
ij
无限接近255，意味着背景区域无限接近于白色；由于β＞＞α，t、x、y表示像素波动值，因此t
ij
远小于255，实现文档区域与背景区域形成鲜明对比。
[0112]
需要说明的是，考虑到像素波动x以及y的存在，可能导致较多的像素点的像素值r
ij
<255，文档增强图像表现出较多的噪点。基于以上情况，可以对全部背景光照图添加一个增益系数δ且δ<1，那么文档增强图像的背景区域的像素值可以表示为：
[0113][0114]
通过调整增益系数δ，可以使得r
ij
更接近255，减少噪点的存在。
[0115]
进一步的，为了凸显文字的对比度，可以对文档增强图像i进行伽马变换，其中伽马因子γ的取值可以为1.5，其变换形式可以为：
[0116][0117]
其中i/255为文档增强图像中的像素点的像素值与255之比，通过上述变化可以使得文档区域与背景区域的对比更加鲜明，如参见图4所示，为对文档增强图像i进行变换后的示意图，可以看出，背景区域更接近于白色，而文档区域的颜色更深，实现鲜明的对比。
[0118]
本技术上述实施过程，可以根据全局背景光照图的像素点的像素值和初始文档图像的背景区域、文档区域的像素点的像素值，确定文档增强图像中背景区域和文档区域分别对应的像素值，进而实现基于全局背景光照图以及初始文档图像生成文档增强图像；且通过调整增益系数可以减少图像中噪点的存在，通过对图像进行变换可以使得图像中背景与文档内容的对比更加鲜明。
[0119]
本技术实施例提供的文档图像增强方法，可以无需借助专业的扫描设备实现扫描
增强的效果，且能很好的保护彩色图案和细节，不仅可以扫描包含文字的文档，也可以扫描手绘等文档，同时扫描速度快(如，经测试可知，在处理4000x3000分辨率的图像时，仅耗费80ms的时长)，运行内存占用少，提升了用户的扫描体验。
[0120]
以上为本技术实施例提供的文档图像增强方法的整体实施过程，通过根据背景区域确定条件，获取初始文档图像的第一背景区域，在第一背景区域的基础上，进行图像邻域分析，生成局部背景光照图，对局部背景光照图进行像素点填充生成全局背景光照图，基于全局背景光照图对初始文档图像进行处理，获得最终的文档增强图像，可以在无需借助扫描设备达到扫描效果的同时，保护文档内容的细节，且可以实现快速进行图像处理，获取文档增强图像。
[0121]
进一步地，通过基于图像块的单通道直方图的背景概率进行图像块筛选，可以基于筛选出的图像块确定第一背景区域；在获取第一背景区域之后，以第一背景区域为基础，缩小背景区域的范围，可以生成局部背景光照图；在生成局部背景光照图之后，在局部背景光照图的基础上进行像素点的填充，以实现对非背景光照区域进行填充，进而可以生成全局背景光照图；在生成全局背景光照图之后，基于全局背景光照图和初始文档图像的像素值信息确定文档增强图像中背景区域和文档区域分别对应的像素值，进而实现基于全局背景光照图以及初始文档图像生成文档增强图像，以实现基于全局背景光照图的背景光照进行文档内容的增强显示。
[0122]
本技术实施例还提供一种文档图像增强装置，如图5所示，包括：
[0123]
获取模块501，用于根据背景区域确定条件，获取初始文档图像的第一背景区域；
[0124]
第一生成模块502，用于对所述第一背景区域进行图像邻域分析，生成局部背景光照图；
[0125]
第二生成模块503，用于对所述局部背景光照图进行像素点填充，生成全局背景光照图；
[0126]
第三生成模块504，用于根据所述初始文档图像和所述全局背景光照图，生成文档增强图像。
[0127]
可选地，所述获取模块包括：
[0128]
划分子模块，用于将所述初始文档图像划分为预设数目个尺寸相同的图像块；
[0129]
第一筛选子模块，用于根据所述图像块对应的rgb三通道直方图，在预设数目个所述图像块中筛选出多个第一图像块，所述第一图像块的至少一个单通道直方图对应的背景概率大于预设概率值，所述背景概率用于指示属于所述第一背景区域的概率；
[0130]
第一确定子模块，用于根据所述第一图像块确定所述第一背景区域。
[0131]
可选地，所述第一生成模块包括：
[0132]
第二筛选子模块，用于对所述第一背景区域内的所述第一图像块进行图像邻域分析，在多个所述第一图像块中筛选出第二图像块；
[0133]
第一生成子模块，用于根据所述第二图像块，生成所述局部背景光照图。
[0134]
可选地，所述第二筛选子模块包括：
[0135]
遍历单元，用于按照预设规则，对多个所述第一图像块进行遍历，以分析所述第一图像块的邻域图像块；
[0136]
第一确定单元，用于根据遍历结果确定至少一个缓存队列，每个所述缓存队列包
括基于遍历筛选出的所述第二图像块，且同一个所述缓存队列中的所述第二图像块对应于同一类型背景区域；
[0137]
其中，属于同一类型背景区域的两个具有直接关联关系的所述第二图像块，对应的rgb三通道直方图的峰值像素值差异在预设阈值范围内。
[0138]
可选地，每个所述缓存队列对应于所述初始文档图像中的一连通区域，所述第一生成子模块包括：
[0139]
第二确定单元，用于根据所述至少一个缓存队列确定至少一个连通区域；
[0140]
生成单元，用于根据所述至少一个连通区域中面积最大的连通区域，生成所述局部背景光照图。
[0141]
可选地，所述第二生成模块包括：
[0142]
第二确定子模块，用于针对所述局部背景光照图，确定待填充区域的填充边缘线；
[0143]
确定填充子模块，用于根据所述填充边缘线，确定待填充像素点，并对所述待填充像素点进行填充；
[0144]
处理子模块，用于对所述填充边缘线进行多次更新，并在每次更新后重新确定所述待填充像素点进行填充，直至完成全部所述待填充像素点的填充。
[0145]
可选地，所述第三生成模块包括：
[0146]
第一获取子模块，用于获取所述全局背景光照图的各第一像素点分别对应的第一像素值；
[0147]
第二获取子模块，用于获取所述初始文档图像的背景区域的各第二像素点分别对应的第二像素值、所述初始文档图像的文档区域的各第三像素点分别对应的第三像素值；
[0148]
第一计算确定子模块，用于计算各所述第二像素点分别对应的第二像素值与对应的各所述第一像素点分别对应的第一像素值的第一比值，根据各所述第一比值与目标像素值的乘积确定所述初始文档图像的背景区域更新后的像素值；
[0149]
第二计算确定子模块，用于计算各所述第三像素点分别对应的第三像素值与对应的各所述第一像素点分别对应的第一像素值的第二比值，根据各所述第二比值与所述目标像素值的乘积确定所述初始文档图像的文档区域更新后的像素值；
[0150]
第二生成子模块，用于根据所述背景区域更新后的像素值和所述文档区域更新后的像素值，生成所述文档增强图像。
[0151]
以上为本技术实施例提供的文档图像增强装置，通过根据背景区域确定条件，获取初始文档图像的第一背景区域，在第一背景区域的基础上，进行图像邻域分析，生成局部背景光照图，对局部背景光照图进行像素点填充生成全局背景光照图，基于全局背景光照图对初始文档图像进行处理，获得最终的文档增强图像，可以在无需借助扫描设备达到扫描效果的同时，保护文档内容的细节，且可以实现快速进行图像处理，获取文档增强图像。
[0152]
进一步地，通过基于图像块的单通道直方图的背景概率进行图像块筛选，可以基于筛选出的图像块确定第一背景区域；在获取第一背景区域之后，以第一背景区域为基础，缩小背景区域的范围，可以生成局部背景光照图；在生成局部背景光照图之后，在局部背景光照图的基础上进行像素点的填充，以实现对非背景光照区域进行填充，进而可以生成全局背景光照图；在生成全局背景光照图之后，基于全局背景光照图和初始文档图像的像素值信息确定文档增强图像中背景区域和文档区域分别对应的像素值，进而实现基于全局背
景光照图以及初始文档图像生成文档增强图像，以实现基于全局背景光照图的背景光照进行文档内容的增强显示。
[0153]
本技术实施例中的文档图像增强装置可以是装置，也可以是终端中的部件、集成电路或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra
‑
mobile personal computer，umpc)、上网本或者个人数字助理(personal digital assistant，pda)等，非移动电子设备可以为服务器、网络附属存储器(network attached storage，nas)、个人计算机(personal computer，pc)、电视机(television，tv)、柜员机或者自助机等，本技术实施例不作具体限定。
[0154]
本技术实施例中的文档图像增强装置可以为具有操作系统的装置。该操作系统可以为安卓(android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本技术实施例不作具体限定。
[0155]
本技术实施例提供的文档图像增强装置能够实现图1所示的文档图像增强方法实施例实现的各个过程，为避免重复，这里不再赘述。
[0156]
可选地，如图6所示，本技术实施例还提供一种电子设备600，包括处理器601，存储器602，存储在存储器602上并可在所述处理器601上运行的程序或指令，该程序或指令被处理器601执行时实现上述文档图像增强方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0157]
需要说明的是，本技术实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
[0158]
图7为实现本技术实施例的一种电子设备的硬件结构示意图。
[0159]
该电子设备700包括但不限于：射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709以及处理器710等部件。
[0160]
本领域技术人员可以理解，电子设备700还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器710逻辑相连，从而通过电源管理系统实现管理充电、放电以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
[0161]
其中，处理器710用于：根据背景区域确定条件，获取初始文档图像的第一背景区域；对所述第一背景区域进行图像邻域分析，生成局部背景光照图；对所述局部背景光照图进行像素点填充，生成全局背景光照图；根据所述初始文档图像和所述全局背景光照图，生成文档增强图像。
[0162]
可选地，在根据背景区域确定条件，获取初始文档图像的第一背景区域时，处理器710还用于执行以下步骤：将所述初始文档图像划分为预设数目个尺寸相同的图像块；根据所述图像块对应的rgb三通道直方图，在预设数目个所述图像块中筛选出多个第一图像块，所述第一图像块的至少一个单通道直方图对应的背景概率大于预设概率值，所述背景概率用于指示属于所述第一背景区域的概率；根据所述第一图像块确定所述第一背景区域。
[0163]
可选地，对所述第一背景区域进行图像邻域分析，生成局部背景光照图时，处理器
710还用于执行以下步骤：对所述第一背景区域内的所述第一图像块进行图像邻域分析，在多个所述第一图像块中筛选出第二图像块；根据所述第二图像块，生成所述局部背景光照图。
[0164]
可选地，所述对所述第一背景区域内的所述第一图像块进行图像邻域分析，在多个所述第一图像块中筛选出第二图像块时，处理器710还用于执行以下步骤：按照预设规则，对多个所述第一图像块进行遍历，以分析所述第一图像块的邻域图像块；根据遍历结果确定至少一个缓存队列，每个所述缓存队列包括基于遍历筛选出的所述第二图像块，且同一个所述缓存队列中的所述第二图像块对应于同一类型背景区域；其中，属于同一类型背景区域的两个具有直接关联关系的所述第二图像块，对应的rgb三通道直方图的峰值像素值差异在预设阈值范围内。
[0165]
可选地，每个所述缓存队列对应于所述初始文档图像中的一连通区域，在根据所述第二图像块，生成所述局部背景光照图时，处理器710还用于执行以下步骤：根据所述至少一个缓存队列确定至少一个连通区域；根据所述至少一个连通区域中面积最大的连通区域，生成所述局部背景光照图。
[0166]
可选地，在对所述局部背景光照图进行像素点填充，生成全局背景光照图时，处理器710还用于执行以下步骤：针对所述局部背景光照图，确定待填充区域的填充边缘线；根据所述填充边缘线，确定待填充像素点，并对所述待填充像素点进行填充；对所述填充边缘线进行多次更新，并在每次更新后重新确定所述待填充像素点进行填充，直至完成全部所述待填充像素点的填充。
[0167]
可选地，在根据所述初始文档图像和所述全局背景光照图，生成文档增强图像时，处理器710还用于执行以下步骤：获取所述全局背景光照图的各第一像素点分别对应的第一像素值；获取所述初始文档图像的背景区域的各第二像素点分别对应的第二像素值、所述初始文档图像的文档区域的各第三像素点分别对应的第三像素值；计算各所述第二像素点分别对应的第二像素值与对应的各所述第一像素点分别对应的第一像素值的第一比值，根据各所述第一比值与目标像素值的乘积确定所述初始文档图像的背景区域更新后的像素值；计算各所述第三像素点分别对应的第三像素值与对应的各所述第一像素点分别对应的第一像素值的第二比值，根据各所述第二比值与所述目标像素值的乘积确定所述初始文档图像的文档区域更新后的像素值；根据所述背景区域更新后的像素值和所述文档区域更新后的像素值，生成所述文档增强图像。
[0168]
这样，通过根据背景区域确定条件，获取初始文档图像的第一背景区域，在第一背景区域的基础上，进行图像邻域分析，生成局部背景光照图，对局部背景光照图进行像素点填充生成全局背景光照图，基于全局背景光照图对初始文档图像进行处理，获得最终的文档增强图像，可以在无需借助扫描设备达到扫描效果的同时，保护文档内容的细节，且可以实现快速进行图像处理，获取文档增强图像。
[0169]
进一步地，通过基于图像块的单通道直方图的背景概率进行图像块筛选，可以基于筛选出的图像块确定第一背景区域；在获取第一背景区域之后，以第一背景区域为基础，缩小背景区域的范围，可以生成局部背景光照图；在生成局部背景光照图之后，在局部背景光照图的基础上进行像素点的填充，以实现对非背景光照区域进行填充，进而可以生成全局背景光照图；在生成全局背景光照图之后，基于全局背景光照图和初始文档图像的像素
值信息确定文档增强图像中背景区域和文档区域分别对应的像素值，进而实现基于全局背景光照图以及初始文档图像生成文档增强图像，以实现基于全局背景光照图的背景光照进行文档内容的增强显示。
[0170]
应理解的是，在本技术实施例中，输入单元704可以包括图形处理器(graphics processing unit，gpu)7041和麦克风7042，图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元706可包括显示面板7061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板7061。用户输入单元707包括触控面板7071以及其他输入设备7072。触控面板7071，也称为触摸屏。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器709可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器710可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户页面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器710中。
[0171]
本技术实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述文档图像增强方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0172]
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等。
[0173]
本技术实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述文档图像增强方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0174]
应理解，本技术实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
[0175]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本技术实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
[0176]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服
务器，或者网络设备等)执行本技术各个实施例所述的方法。
[0177]
上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。