图像处理方法、模型训练方法、装置、电子设备、介质与流程

本公开涉及图像处理，尤其涉及人工智能、深度学习、图像抗扭曲等。具体而言，本公开涉及一种图像处理方法、模型训练方法、装置、电子设备、介质。

背景技术：

1、文档数字化是将用户所拍摄的图像进行处理、信息理解、分类、提取以及归纳的过程，然后实际应用中由于拍摄的局限性导致拍摄的图片出现弯曲、折叠的现象，严重影响了文档图像的处理以及ocr(opticalcharacter recognition，光学字符识别)识别的准确率。

2、通过文档抗扭曲算法可以将弯曲折叠的图像变为平整的图像，提升ocr识别的准确率以及去阴影等文档图像处理任务的任务效果，在文档数字化中起着至关重要的作用。

技术实现思路

1、本公开提供了一种图像处理方法、模型训练方法、装置、电子设备、介质。

2、根据本公开的第一方面，提供了一种图像处理的方法，该方法包括：

3、获取待处理图像，对所述待处理图像进行缩放处理，获取所述待处理图像对应的缩放处理图像；

4、将所述缩放处理图像输入预先训练的光流预测模型，获取所述缩放处理图像对应的预测光流图像；所述预测光流图像的像素表征所述缩放处理图像的像素与所述缩放处理图像对应的预测矫正图像的像素的对应关系；

5、对所述预测光流图像进行上采样处理，获取映射光流图像；

6、根据所述映射光流图像，对所述待处理图像进行图像映射处理，获取所述待处理图像对应的矫正图像。

7、根据本公开的第二方面，提供了一种图像处理的装置，该装置包括：

8、缩放模块，用于获取待处理图像，对所述待处理图像进行缩放处理，获取所述待处理图像对应的缩放处理图像；

9、预测模块，用于将所述缩放处理图像输入预先训练的光流预测模型，获取所述缩放处理图像对应的预测光流图像；所述预测光流图像的像素表征所述缩放处理图像的像素与所述缩放处理图像对应的预测矫正图像的像素的对应关系；

10、上采样模块，用于对所述预测光流图像进行上采样处理，获取映射光流图像；

11、图像映射模块，用于根据所述映射光流图像，对所述待处理图像进行图像映射处理，获取所述待处理图像对应的矫正图像。

12、根据本公开的第三方面，提供了一种模型训练的方法，该方法包括：

13、获取待训练图像以及所述待训练图像对应的标签光流图像；

14、根据所述待训练图像以及标签光流图像对光流预测模型进行训练，获取预先训练的光流预测模型；

15、其中，所述标签光流图的像素表征所述待训练图像的像素与所述待训练图像对应的矫正图像的像素的对应关系。

16、根据本公开的第四方面，提供了一种模型训练的装置，该装置包括：

17、图像模块，用于获取待训练图像以及所述待训练图像对应的标签光流图像；

18、训练模块，用于根据所述待训练图像以及标签光流图像对光流预测模型进行训练，获取预先训练的光流预测模型；

19、其中，所述标签光流图的像素表征所述待训练图像的像素与所述待训练图像对应的矫正图像的像素的对应关系。

20、根据本公开的第五方面，提供了一种电子设备，该电子设备包括：

21、至少一个处理器；以及

22、与上述至少一个处理器通信连接的存储器；其中，

23、存储器存储有可被上述至少一个处理器执行的指令，指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行上述图像处理的方法和/或模型训练的方法。

24、根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使计算机执行上述图像处理的方法和/或模型训练的方法。

25、根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述图像处理的方法和/或模型训练的方法。

26、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种图像处理的方法，包括：

2.根据权利要求1所述的方法，其中，所述光流预测模型包括：骨干网络、颈部网络、检测头；

3.根据权利要求2所述的方法，其中，所述层级图像特征包括至少一个浅层图像特征和至少一个高层图像特征；

4.根据权利要求2所述的方法，其中，所述对所述层级图像特征进行特征融合，获取所述缩放处理图像的融合图像特征，包括：

5.根据权利要求4所述的方法，其中，所述将多个感受野图像特征进行特征融合，获取感受野融合特征，包括：

6.根据权利要求4所述的方法，其中，所述根据所述层级图像特征，获取多个感受野图像特征，包括：

7.根据权利要求2所述的方法，其中，所述骨干网络为移动端神经网络。

8.根据权利要求1所述的方法，其中，所述对所述预测光流图像进行上采样处理，获取映射光流图像，包括：

9.根据权利要求1所述的方法，其中，所述所述待处理图像为通过拍摄设备拍摄文档生成的文档图像。

10.一种模型训练的方法，包括：

11.根据权利要求10所述的方法，其中，所述光流预测模型包括：骨干网络、颈部网络、检测头；

12.根据权利要求11所述的方法，其中，所述层级图像特征包括至少一个浅层图像特征和至少一个高层图像特征；

13.根据权利要求11所述的方法，其中，所述对所述层级图像特征进行特征融合，获取所述待训练图像的融合图像特征，包括：

14.根据权利要求13所述的方法，其中，所述将多个感受野图像特征进行特征融合，获取感受野融合特征，包括：

15.根据权利要求13所述的方法，其中，所述根据所述层级图像特征，获取多个感受野图像特征，包括：

16.一种图像处理的装置，包括：

17.一种模型训练的装置，包括：

18.一种电子设备，包括：

19.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-9中任一项所述的方法和/或权利要求10-15中任一项所述的方法。

20.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法和/或权利要求10-15中任一项所述的方法。

技术总结
本公开提供了图像处理方法、模型训练方法、装置、电子设备、介质，涉及图像处理技术领域，尤其涉及人工智能、深度学习、图像抗扭曲等技术领域。具体实现方案为：获取待处理图像，对所述待处理图像进行缩放处理，获取所述待处理图像对应的缩放处理图像；将所述缩放处理图像输入预先训练的光流预测模型，获取所述缩放处理图像对应的预测光流图像；所述预测光流图像的像素表征所述缩放处理图像的像素与所述缩放处理图像对应的预测矫正图像的像素的对应关系；对所述预测光流图像进行上采样处理，获取映射光流图像；根据所述映射光流图像，对所述待处理图像进行图像映射处理，获取所述待处理图像对应的矫正图像。

技术研发人员：任昶
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：
技术公布日：2024/1/15