文档识别方法、装置、电子设备及存储介质与流程

本技术涉及图像处理，尤其涉及一种文档识别方法、装置、电子设备及存储介质。

背景技术：

1、现有相机功能中，文档识别功能的重要程度较高，使用次数也较多，尤其是对于学生来说，文档识别功能更为的重要。但现有的文档识别功能在相机预览时无法进行文档识别，或是需要电子设备相当多的性能才能够实时完成对预览画面的文档识别。

技术实现思路

1、本技术实施例公开了一种文档识别方法、装置、电子设备及存储介质，能够降低文档识别所占用的性能。

2、本技术实施例公开了一种文档识别方法，所述方法包括：

3、当摄像头工作时，获取预览画面；

4、根据第一文档识别算法，检测所述预览画面中是否存在第一文档矩形；

5、在所述预览画面中存在第一文档矩形且在接收到拍摄指令时，根据第二文档识别算法，检测拍摄图像中的第二文档矩形；

6、在所述拍摄图像中叠加显示所述第二文档矩形；

7、其中，所述第一文档识别算法的运算量小于所述第二文档识别算法的运算量，所述第一文档识别算法的准确度低于所述第二文档识别算法的准确度。

8、在一个实施例中，所述预览画面包括多帧预览图像，所述根据第一文档识别算法，检测所述预览画面中是否存在第一文档矩形，包括：

9、确定目标预览图像中灰度值满足预设条件的文档像素点；其中，所述目标预览图像为所述多帧预览图像中的任一帧预览图像；

10、根据所述文档像素点在所述目标预览图像中的密集程度，在所述目标预览图像中确定是否存在第一文档矩形；

11、在所述目标预览图像中确定存在第一文档矩形的情况下，所述方法还包括：

12、在所述目标预览图像中叠加显示所述第一文档矩形。

13、在一个实施例中，所述确定目标预览图像中灰度值满足预设条件的文档像素点，包括：

14、计算所述目标预览图像中所有像素点的平均灰度值；

15、将各个所述像素点的灰度值减去所述平均灰度值，得到各个所述像素点对应的计算结果；

16、将对应的计算结果大于预设阈值的像素点，作为灰度值满足预设条件的文档像素点。

17、在一个实施例中，在所述目标预览图像中存在所述第一文档矩形的情况下，所述根据所述文档像素点在所述目标预览图像中的密集程度，在所述目标预览图像中确定是否存在第一文档矩形，包括：

18、根据所述文档像素点在所述目标预览图像中的密集程度，确定目标预览图像中的至少一个文档矩形；

19、确定各个所述文档矩形的对应的文档像素点密度、色差对比度以及置信度；

20、根据各个所述文档矩形的对应的文档像素点密度、色差对比度以及置信度，加权计算各个所述文档矩形的目标结果；

21、将所述多个文档矩形中目标结果最大的文档矩形，作为第一文档矩形。

22、在一个实施例中，所述确定各个所述文档矩形的对应的文档像素点密度、色差对比度以及置信度，包括：

23、根据各个所述文档矩形中的文档像素点数量，计算各个所述文档矩形对应的文档像素点密度；

24、根据各个所述文档矩形内像素点的颜色值和各个所述文档矩形外像素点的颜色值，计算各个所述文档矩形对应的色差对比度；

25、根据各个所述文档矩形的文字信息以及灰度信息，得到各个所述文档矩形对应的置信度。

26、在一个实施例中，所述根据所述文档像素点在所述目标预览图像中的密集程度，确定目标预览图像中的至少一个文档矩形，包括：

27、通过密度识别模型对所述文档像素点在所述目标预览图像中的密集程度进行分析，识别到文档像素点密度大于密度阈值的至少一个模型识别区域；

28、在所述目标预览图像中确定与所述至少一个模型识别区域一一对应的至少一个文档矩形。

29、在一个实施例中，所述在所述目标预览图像中确定与所述至少一个模型识别区域一一对应的至少一个文档矩形，包括：

30、根据所述目标模型识别区域中最左侧的像素点，确定所述目标模型识别区域对应的文档矩形的左边界；其中，所述目标模型识别区域为所述至少一个模型识别区域中任一模型识别区域；

31、根据所述目标模型识别区域中最右侧的像素点，确定所述目标模型识别区域对应的文档矩形的右边界；

32、根据所述目标模型识别区域中最上侧的像素点，确定所述目标模型识别区域对应的文档矩形的上边界；

33、根据所述目标模型识别区域中最下侧的像素点，确定所述目标模型识别区域对应的文档矩形的下边界；

34、根据所述左边界、所述右边界、所述上边界以及所述下边界，确定所述目标模型识别区域对应的文档矩形。

35、本技术实施例公开了一种文档识别装置，所述装置包括：

36、获取模块，用于当摄像头工作时，获取预览画面；

37、第一检测模块，用于根据第一文档识别算法，检测所述预览画面中是否存在第一文档矩形；

38、第二检测模块，用于在所述预览画面中存在第一文档矩形且在接收到拍摄指令时，根据第二文档识别算法，检测拍摄图像中的第二文档矩形；

39、显示模块，用于在所述拍摄图像中叠加显示所述第二文档矩形；

40、其中，所述第一文档识别算法的运算量小于所述第二文档识别算法的运算量，所述第一文档识别算法的准确度低于所述第二文档识别算法的准确度。

41、在一个实施例中，所述预览画面包括多帧预览图像，第一检测模块，还用于确定目标预览图像中灰度值满足预设条件的文档像素点；其中，所述目标预览图像为所述多帧预览图像中的任一帧预览图像；根据所述文档像素点在所述目标预览图像中的密集程度，在所述目标预览图像中确定是否存在第一文档矩形。

42、显示模块，还用于在所述目标预览图像中叠加显示所述第一文档矩形。

43、在一个实施例中，第一检测模块，还用于计算所述目标预览图像中所有像素点的平均灰度值；将各个所述像素点的灰度值减去所述平均灰度值，得到各个所述像素点对应的计算结果；将对应的计算结果大于预设阈值的像素点，作为灰度值满足预设条件的文档像素点。

44、在一个实施例中，在所述目标预览图像中存在所述第一文档矩形的情况下，第一检测模块，还用于根据所述文档像素点在所述目标预览图像中的密集程度，确定目标预览图像中的至少一个文档矩形；确定各个所述文档矩形的对应的文档像素点密度、色差对比度以及置信度；根据各个所述文档矩形的对应的文档像素点密度、色差对比度以及置信度，加权计算各个所述文档矩形的目标结果；将所述多个文档矩形中目标结果最大的文档矩形，作为第一文档矩形。

45、在一个实施例中，第一检测模块，还用于根据各个所述文档矩形中的文档像素点数量，计算各个所述文档矩形对应的文档像素点密度；根据各个所述文档矩形内像素点的颜色值和各个所述文档矩形外像素点的颜色值，计算各个所述文档矩形对应的色差对比度；根据各个所述文档矩形的文字信息以及灰度信息，得到各个所述文档矩形对应的置信度。

46、在一个实施例中，第一检测模块，还用于通过密度识别模型对所述文档像素点在所述目标预览图像中的密集程度进行分析，识别到文档像素点密度大于密度阈值的至少一个模型识别区域；在所述目标预览图像中确定与所述至少一个模型识别区域一一对应的至少一个文档矩形。

47、在一个实施例中，第一检测模块，还用于根据所述目标模型识别区域中最左侧的像素点，确定所述目标模型识别区域对应的文档矩形的左边界；其中，所述目标模型识别区域为所述至少一个模型识别区域中任一模型识别区域；根据所述目标模型识别区域中最右侧的像素点，确定所述目标模型识别区域对应的文档矩形的右边界；根据所述目标模型识别区域中最上侧的像素点，确定所述目标模型识别区域对应的文档矩形的上边界；根据所述目标模型识别区域中最下侧的像素点，确定所述目标模型识别区域对应的文档矩形的下边界；根据所述左边界、所述右边界、所述上边界以及所述下边界，确定所述目标模型识别区域对应的文档矩形。

48、本技术实施例公开了一种终端设备，包括：

49、存储有可执行程序代码的存储器；

50、与所述存储器耦合的处理器；

51、所述处理器调用所述存储器中存储的所述可执行程序代码，执行上述任一实施例所述的方法。

52、本技术实施例公开了一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序在被处理器执行时，使得所述处理器执行上述任一实施例所述的方法。

53、通过本技术实施例公开的文档识别方法、装置、电子设备及存储介质，电子设备可以当摄像头工作时，获取预览画面，根据第一文档识别算法，检测所述预览画面中是否存在第一文档矩形，在所述预览画面中存在第一文档矩形且在接收到拍摄指令时，根据第二文档识别算法，检测拍摄图像中的第二文档矩形，在所述拍摄图像中叠加显示所述第二文档矩形，电子设备在预览画面中使用的所述第一文档识别算法的运算量小于在拍摄图像中所述第二文档识别算法的运算量，使得电子设备能以较低的性能实时完成对预览画面的文档识别，电子设备在预览画面中使用的第一文档识别算法的准确度低于在拍摄图像中使用的第二文档识别算法的准确度，电子设备仅对用户拍摄的拍摄图像以一个更精准的算法进行识别，不仅提高了用户的使用体验，也降低了文档识别所占用的性能。