一种图像处理方法、装置、电子设备及存储介质与流程

1.本发明涉及计算机技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。


背景技术：

2.vin(vehicle identification number，车辆识别号码)是一组由十七位字母或数字组成，用于识别车辆的一组独一无二的号码。vin会被固定在汽车的前挡风玻璃下侧的位置，也会被设置在车辆的行驶证上，在车辆识别的场景中经常需要识别车辆的vin等。
3.目前，可以使用相机拍摄包含车辆的前挡风玻璃下侧的包括vin的图像，并将获取的图像上传给云端以使云端使用市面上的多领域通用的ocr(optical character recognition，文字识别)技术识别图像中的vin标牌中的vin，以期得到云端返回的车辆的vin。
4.然而，发明人发现，上述方式对网络具有强依赖性，在无网络的情况下无法得到车辆的vin。
5.其次，向云端传输图像以及接收云端返回的车辆的vin会耗费较多的网络资源。
6.以及，识别图像中的vin标牌中的vin的准确率低。


技术实现要素：

7.本技术示出了一种图像处理方法、装置、电子设备及存储介质。
8.第一方面，本技术示出了一种图像处理方法，应用于电子设备，所述方法包括：
9.获取待识别图像，所述待识别图像中至少包括车辆的目标vin图样，所述目标vin图样中包括多个文本图样；
10.基于已集成在所述电子设备中的位置检测模型，在所述待识别图像中确定至少一个位置区域，每一个位置区域中包括连续的多个文本图样；所述至少一个位置区域中的其中一个位置区域中的多个文本图样包括所述目标vin图样中的各个文本图样；
11.在至少一个位置区域中，筛选包括的文本图样的宽高比符合预设vin宽高比要求且包括的文本图样的字体符合预设vin字体要求的位置区域；筛选出的位置区域中的其中一个位置区域中的多个文本图样包括所述目标vin图样中的各个文本图样；
12.基于已集成在所述电子设备中的文本识别模型，识别筛选出的位置区域中的连续的多个文本图样分别对应的文本字符；
13.基于预设vin字符配置要求，在识别出的文本字符中确定所述目标vin图样中的各个文本图样分别对应的文本字符。
14.在一个可选的实现方式中，所述文本识别模型的训练方式包括：
15.获取多个样本数据集，样本数据集中包括样本图像，所述样本图像中至少包括车辆的样本vin图样，样本vin图样中包括多个样本文本图样，所述样本数据集还包括：所述多个样本文本图样分别对应的标注文本字符；
16.使用多个样本数据集对模型训练，直至模型中的参数收敛，从而得到所述文本识别模型。
17.在一个可选的实现方式中，所述获取多个样本数据集，包括：
18.获取第一图像，所述第一图像中包括车辆的第一vin图样；所述第一vin图样中包括多个第一文本图样，获取所述第一vin图样在所述第一图像中的标注区域，以及，获取所述多个第一文本图样分别对应的标注文本字符；
19.根据所述多个第一文本图样分别对应的标注文本字符，在所述第一图像的所述标注区域中识别所述第一vin图样中的多个第一文本图样；
20.根据所述多个第一文本图样生成与所述第一vin图样不同的第二vin图样；
21.根据所述第二vin图样与预设背景图像生成第二图像；
22.根据所述第一图像以及所述多个第一文本图样分别对应的标注文本字符生成样本数据集；以及，获取所述第二vin图样中的多个第二文本图样分别对应的文本字符；根据所述第二图像以及所述多个第二文本图样分别对应的文本字符生成样本数据集。
23.在一个可选的实现方式中，所述根据所述第二vin图样与预设背景图像生成第二图像，包括：
24.根据所述第二vin图样与预设背景图像生成中间图像；
25.根据随机噪声生成算法在所述中间图像中添加噪声数据，得到所述第二图像。
26.在一个可选的实现方式中，所述根据所述第二vin图样与预设背景图像生成第二图像，包括：
27.根据所述第二vin图样与预设背景图像生成中间图像；
28.对所述中间图像虚化处理，得到虚化图像；
29.根据所述虚化图像获取所述第二图像。
30.第二方面，本技术示出了一种图像处理装置，应用于电子设备，所述装置包括：
31.第一获取模块，用于获取待识别图像，所述待识别图像中至少包括车辆的目标vin图样，所述目标vin图样中包括多个文本图样；
32.第一确定模块，用于基于已集成在所述电子设备中的位置检测模型，在所述待识别图像中确定至少一个位置区域，每一个位置区域中包括连续的多个文本图样；所述至少一个位置区域中的其中一个位置区域中的多个文本图样包括所述目标vin图样中的各个文本图样；
33.筛选模块，用于在至少一个位置区域中，筛选包括的文本图样的宽高比符合预设vin宽高比要求且包括的文本图样的字体符合预设vin字体要求的位置区域；筛选出的位置区域中的其中一个位置区域中的多个文本图样包括所述目标vin图样中的各个文本图样；
34.识别模块，用于基于已集成在所述电子设备中的文本识别模型，识别筛选出的位置区域中的连续的多个文本图样分别对应的文本字符；
35.第二确定模块，用于基于预设vin字符配置要求，在识别出的文本字符中确定所述目标vin图样中的各个文本图样分别对应的文本字符。
36.在一个可选的实现方式中，所述装置还包括：
37.第二获取模块，用于获取多个样本数据集，样本数据集中包括样本图像，所述样本图像中至少包括车辆的样本vin图样，样本vin图样中包括多个样本文本图样，所述样本数
据集还包括：所述多个样本文本图样分别对应的标注文本字符；
38.训练模块，用于使用多个样本数据集对模型训练，直至模型中的参数收敛，从而得到所述文本识别模型。
39.在一个可选的实现方式中，所述第二获取模块包括：
40.第一获取单元，用于获取第一图像，所述第一图像中包括车辆的第一vin图样；所述第一vin图样中包括多个第一文本图样，获取所述第一vin图样在所述第一图像中的标注区域，以及，获取所述多个第一文本图样分别对应的标注文本字符；
41.识别单元，用于根据所述多个第一文本图样分别对应的标注文本字符，在所述第一图像的所述标注区域中识别所述第一vin图样中的多个第一文本图样；
42.第一生成单元，用于根据所述多个第一文本图样生成与所述第一vin图样不同的第二vin图样；
43.第二生成单元，用于根据所述第二vin图样与预设背景图像生成第二图像；
44.第三生成单元，用于根据所述第一图像以及所述多个第一文本图样分别对应的标注文本字符生成样本数据集；
45.第二获取单元，用于获取所述第二vin图样中的多个第二文本图样分别对应的文本字符；
46.第四生成单元，用于根据所述第二图像以及所述多个第二文本图样分别对应的文本字符生成样本数据集。
47.在一个可选的实现方式中，所述第二生成单元包括：
48.第一生成子单元，用于根据所述第二vin图样与预设背景图像生成中间图像；
49.添加子单元，用于根据随机噪声生成算法在所述中间图像中添加噪声数据，得到所述第二图像。
50.在一个可选的实现方式中，所述第二生成单元包括：
51.第二生成子单元，用于根据所述第二vin图样与预设背景图像生成中间图像；
52.虚化子单元，用于对所述中间图像虚化处理，得到虚化图像；
53.获取子单元，用于根据所述虚化图像获取所述第二图像。
54.第三方面，本技术示出了一种电子设备，所述电子设备包括：
55.处理器；
56.用于存储处理器可执行指令的存储器；
57.其中，所述处理器被配置为执行如第一方面所述的图像处理方法。
58.第四方面，本技术示出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面所述的图像处理方法。
59.第五方面，本技术示出了一种计算机程序产品，当所述计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面所述的图像处理方法。
60.本技术提供的技术方案可以包括以下有益效果：
61.在本技术中，获取待识别图像，待识别图像中至少包括车辆的目标vin图样，目标vin图样中包括多个文本图样。基于已集成在电子设备中的位置检测模型，在待识别图像中确定至少一个位置区域。在至少一个位置区域中，筛选包括的文本图样的宽高比符合预设
vin宽高比要求且包括的文本图样的字体符合预设vin字体要求的位置区域。基于已集成在电子设备中的文本识别模型，识别筛选出的位置区域中的连续的多个文本图样分别对应的文本字符。基于预设vin字符配置要求，在识别出的文本字符中确定目标vin图样中的各个文本图样分别对应的文本字符。
62.在本技术中，由于位置检测模型事先已经集成在电子设备中，因此，可以直接基于已集成在电子设备中的位置检测模型，在待识别图像中确定至少一个位置区域，从而可以不借助其他设备，不需要与其他设备进行数据交互，从而实现在待识别图像中确定至少一个位置区域的场景中可以不依赖网络以及节省网络资源的目的。
63.以及，基于预设vin宽高比要求以及预设vin字体要求，可以在至少一个位置区域中过滤掉非vin图样中的文本图样所在的位置区域，可以缩小基于文本识别模型识别文本字符的范围，间接地可以提高最终确定出的目标vin图样中的各个文本图样分别对应的文本字符的准确率。
64.其次，由于文本识别模型事先已经集成在电子设备中，因此，可以直接基于已集成在电子设备中的文本识别模型，识别筛选出的位置区域中的连续的多个文本图样分别对应的文本字符，从而可以不借助其他设备，不需要与其他设备进行数据交互，从而实现在识别筛选出的位置区域中的连续的多个文本图样分别对应的文本字符的场景中可以不依赖网络以及节省网络资源的目的。
65.另外，基于预设vin字符配置要求，可以在识别出的文本字符中过滤掉非vin图样中的文本图样对应的文本字符，从而可以提高最终确定出的目标vin图样中的各个文本图样分别对应的文本字符的准确率。
附图说明
66.图1是本技术的一种图像处理方法的步骤流程图。
67.图2是本技术的一种图像处理方法的步骤流程图。
68.图3是本技术的一种图像处理方法的步骤流程图。
69.图4是本技术的一种图像处理装置的结构框图。
70.图5是本技术的一种电子设备的框图。
71.图6是本技术的一种电子设备的框图。
具体实施方式
72.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
73.参照图1，示出了本技术的一种图像处理方法的步骤流程图，该方法应用于电子设备，该方法具体可以包括如下步骤：
74.在步骤s101中，获取待识别图像，待识别图像中至少包括车辆的目标vin图样，目标vin图样中包括多个文本图样。
75.在本技术中，待识别图像可以是电子设备拍摄得到的，也可以是其他设备拍摄得
到而传输给电子设备的。
76.本技术的其中一个目的是识别车辆的vin图样中的各个文本图样分别对应的文本字符，车辆的vin图样可以位于至少以下几个地方：车辆的行驶证、车辆的前挡风玻璃下侧以及车辆的发动机表面等。
77.因此，待识别图像可以是拍摄的包括车辆的行驶证的图像、包括车辆的前挡风玻璃下侧的图像或者包括车辆的发动机表面的图像等。
78.拍摄的待识别图像中是具有车辆的目标vin图样的，本技术的目的是从待识别图像中识别出目标vin图样中的多个文本图样分别对应的文本字符，具体可以参见步骤s102～步骤s105的流程，在此不做详述。
79.其中，在得到待识别图像之后，可以对先对待识别图像预处理，例如，将待识别图像的宽度和高度调整为预设的宽度和高度(例如后续的位置检测模型以及文本识别模型要求的宽度和高度等)，将待识别图像的色值顺序重新调整为预设的色值顺序(例如后续的位置检测模型以及文本识别模型要求的色值顺序等)，例如，将待识别图像的rbg数据转换为rgb数据等，以及，可以将待识别图像的色值数据从位图转换为张量(后续的位置检测模型以及文本识别模型要求的)等。然后对预处理后的待识别图像执行步骤s102等。
80.在步骤s102中，基于已集成在电子设备中的位置检测模型，在待识别图像中确定至少一个位置区域，每一个位置区域中包括连续的多个文本图样。
81.至少一个位置区域中的其中一个位置区域中的多个文本图样包括目标vin图样中的各个文本图样。
82.位置检测模型可以是基于craft模型训练得到的。
83.在本技术中，电子设备可以包括前端设备或后端设备等。
84.前端设备可以包括广大用户可以直接操控的设备等，例如，手机、平板电脑、笔记本电脑或台式电脑等。
85.后端设备可以包括服务提供商架设的后台服务器等。
86.电子设备事先可以在电子设备中训练位置检测模型，并在电子设备中集成位置检测模型。
87.或者，电子设备事先也可以从其他设备下载位置检测模型，并在电子设备中集成位置检测模型。之后，待其他设备更新了位置检测模型之后，电子设备也可以从其他设备下载新的位置检测模型，并使用新的位置检测模型替换已集成在电子设备中的位置检测模型，以实现对位置检测模型的更新。
88.如此，在需要在待识别图像中确定至少一个位置区域时，可以直接基于已集成在电子设备中的位置检测模型，在待识别图像中确定至少一个位置区域，从而可以不从其他设备实时下载位置检测模型，或者，也可以不将待识别图像上传至其他设备而交由其他设备在待识别图像中确定至少一个位置区域并返回确定出的至少一个区域，从而电子设备可以不接收其他设备返回的、其他设备在待识别图像中确定的至少一个位置区域。
89.如此，可以实现在待识别图像中确定至少一个位置区域的场景中可以不依赖网络以及节省网络资源的目的。
90.具体地，电子设备可以将待识别图像输入位置检测模型中，以使位置检测模型检测待识别图像中的每一个包括连续的多个文本图样的位置区域，并输出各个位置区域的坐
标信息等，然后电子设备可以获取位置检测模型输出的各个位置区域的坐标信息等。
91.在一个实施例中，对于任意一个位置区域而言，该位置区域可以是矩形的，该位置区域的坐标信息可以包括：矩形的一个顶点在待识别图像中的坐标、矩形的宽度以及矩形的高度等。
92.其中，在电子设备中集成的位置检测模型可以是向量化后的.lite格式的位置检测模型等。
93.在步骤s103中，在至少一个位置区域中，筛选包括的文本图样的宽高比符合预设vin宽高比要求且包括的文本图样的字体符合预设vin字体要求的位置区域。
94.筛选出的位置区域中的其中一个位置区域中的多个文本图样包括目标vin图样中的各个文本图样。
95.在本技术中，官方对vin图样中的文本图样的样式具有统一的规定。
96.例如，vin图样中的各个文本图样的宽高比需要满足特定的要求，例如，满足预设vin宽高比要求，预设vin宽高比要求可以为一个宽高比区间，vin图样中的各个文本图样的宽高比需要位于该宽高比区间内。
97.也即，如果一个文本图样的宽高比不位于该宽高比区间内，则该文本图样往往不是vin的文本图样，如果一个文本图样的宽高比位于该宽高比区间内，则该文本图样可能是vin的文本图样。
98.其次，再例如，vin图样中的各个文本图样的字体需要满足特定的要求，例如，满足预设vin字体要求，预设vin字体要求可以为至少一个特定的字体，vin图样中的各个文本图样的字体需要属于至少一个特定的字体。
99.也即，如果一个文本图样的字体不属于至少一个特定的字体，则该文本图样往往不是vin的文本图样，如果一个文本图样的字体属于至少一个特定的字体，则该文本图样可能是vin的文本图样。
100.其中，在一种可能的情况下，在步骤s102中得到多个位置区域中，仅有一个位置区域中具有vin图样，其他区域中不具有vin图样。
101.因此，可以借助预设vin宽高比要求以及预设vin字体要求，在至少一个位置区域中，去除不具有vin图样的位置区域。
102.在剩余的位置区域为一个的情况下，其往往为具有vin的图样的位置区域。
103.在剩余的位置区域为至少两个的情况下，至少两个位置区域中的其中一个位置区域为具有vin的图样的位置区域，至少两个位置区域中的每一个位置区域均有为“具有vin的图样的位置区域”的可能性。
104.具体地，可以在至少一个位置区域中，筛选包括的文本图样的宽高比符合预设vin宽高比要求且包括的文本图样的字体符合预设vin字体要求的位置区域。
105.例如，对于任意一个位置区域，可以确定在该位置区域中识别出的各个文本图样在该位置区域中的位置。
106.然后对于任意一个文本图样，可以根据该文本图样的位置生成该文本图样的外接矩形框(本技术可以使用市面上已经存在的生成方式生成文本图样的外接矩形框，且对生成外接矩形框的具体方式不做限定)，然后获取该外接矩形框的宽度以及高度，再计算该外接矩形框的宽度与高度之间的比值，得到该文本图样的宽高比，对于其他每一个文本图样，
同样如此。
107.如果该位置区域中存在至少一个文本图样的宽高比不符合预设vin宽高比要求，则不筛选该位置区域，如果该位置区域中的各个文本图样的宽高比均符合预设vin宽高比要求，则可以识别该位置区域中的各个样本图样的字体，然后检测该位置区域中的各个样本图样的字体是否符合预设vin字体要求。
108.如果该位置区域中存在至少一个文本图样的字体不符合预设vin字体要求，则不筛选该位置区域，如果该位置区域中的各个文本图样的字体均符合预设vin字体要求，则可以筛选该位置区域。
109.对于其他每一个位置区域，同样如此。
110.在步骤s104中，基于已集成在电子设备中的文本识别模型，识别筛选出的位置区域中的连续的多个文本图样分别对应的文本字符。
111.电子设备事先可以在电子设备中训练文本识别模型，并在电子设备中集成文本识别模型。
112.或者，电子设备事先也可以从其他设备下载文本识别模型，并在电子设备中集成文本识别模型。之后，待其他设备更新了文本识别模型之后，电子设备也可以从其他设备下载新的文本识别模型，并使用新的文本识别模型替换已集成在电子设备中的文本识别模型，以实现对文本识别模型的更新。
113.如此，在需要识别筛选出的位置区域中的连续的多个文本图样分别对应的文本字符时，可以直接基于已集成在电子设备中的文本识别模型，识别筛选出的位置区域中的连续的多个文本图样分别对应的文本字符，从而可以不从其他设备实时下载文本识别模型，或者，也可以不将待识别图像中的位于筛选出的位置区域的部分图像上传至其他设备而交由其他设备识别筛选出的位置区域中的连续的多个文本图样分别对应的文本字符并返回识别的文本字符，从而电子设备也可以不接收其他设备返回的、其他设备识别出的筛选出的位置区域中的连续的多个文本图样分别对应的文本字符。
114.如此，可以实现在识别筛选出的位置区域中的连续的多个文本图样分别对应的文本字符的场景中可以不依赖网络以及节省网络资源的目的。
115.具体地，电子设备可以将待识别图像中以及筛选出的位置区域的坐标信息输入文本识别模型中，以使文本识别模型根据筛选出的位置区域的坐标信息，识别待识别图像中的筛选出的位置区域中的连续的多个文本图样分别对应的文本字符，并输出待识别图像中的筛选出的位置区域中的连续的多个文本图样分别对应的文本字符等，然后电子设备可以获取文本识别模型输出的待识别图像中的筛选出的位置区域中的连续的多个文本图样分别对应的文本字符等。
116.其中，训练文本识别模型的方式具体可以参见图2所示的实施例，在此不做详述。
117.其中，在电子设备中集成的文本识别模型可以是向量化后的.lite格式的文本识别模型等。
118.在步骤s105中，基于预设vin字符配置要求，在识别出的文本字符中确定目标vin图样中的各个文本图样分别对应的文本字符。
119.其中，在通常情况下，车辆的vin中可以包括17个字符，字符包括数字和英文字母，且车辆的vin中的第3位的字符仅能为数字，第15～17位的字符仅能为数字，其他位的字符
可以为数字或者字母，且针对不同位的字符，代表不同的含义，有一些特定位的字符仅仅能够是特定的字母或者数字等。
120.因此，根据上述内容，事先可以设置预设vin字符配置要求。
121.如此，在本步骤中，可以至少基于预设vin字符配置要求，在识别出的文本字符中确定目标vin图样中的各个文本图样分别对应的文本字符。
122.例如，在一个例子中，对于筛选出的任意一个位置区域，可以确定该位置区域中的文本字符的数量是否为17。
123.在该位置区域中的文本字符的数量不为17的情况下，确定该位置区域中的文本字符不为目标vin图样中的各个文本图样分别对应的文本字符。
124.在该位置区域中的文本字符的数量为17的情况下，确定该位置区域的文本字符中的第3、15、16以及17位的字符是否为数字。
125.在该位置区域的文本字符中的第3、15、16以及17位中的至少一位的字符不为数字的情况下，确定该位置区域中的文本字符不为目标vin图样中的各个文本图样分别对应的文本字符。
126.在该位置区域的文本字符中的第3、15、16以及17位的字符均为数字的情况下，确定该位置区域中的文本字符中的特定位的字符是否为特定的字母或者数字。
127.在该位置区域中的文本字符中的特定位的字符不为特定的字母或者数字的情况下，确定该位置区域中的文本字符不为目标vin图样中的各个文本图样分别对应的文本字符。
128.在该位置区域中的文本字符中的特定位的字符为特定的字母或者数字的情况下，确定该位置区域中的文本字符为目标vin图样中的各个文本图样分别对应的文本字符。
129.可以并行地或者依次先后地对筛选出的其他每一个位置区域，同样执行上述操作，直至确定出目标vin图样中的各个文本图样分别对应的文本字符为止，可以结束流程。
130.在本技术中，获取待识别图像，待识别图像中至少包括车辆的目标vin图样，目标vin图样中包括多个文本图样。基于已集成在电子设备中的位置检测模型，在待识别图像中确定至少一个位置区域。在至少一个位置区域中，筛选包括的文本图样的宽高比符合预设vin宽高比要求且包括的文本图样的字体符合预设vin字体要求的位置区域。基于已集成在电子设备中的文本识别模型，识别筛选出的位置区域中的连续的多个文本图样分别对应的文本字符。基于预设vin字符配置要求，在识别出的文本字符中确定目标vin图样中的各个文本图样分别对应的文本字符。
131.在本技术中，由于位置检测模型事先已经集成在电子设备中，因此，可以直接基于已集成在电子设备中的位置检测模型，在待识别图像中确定至少一个位置区域，从而可以不借助其他设备，不需要与其他设备进行数据交互，从而实现在待识别图像中确定至少一个位置区域的场景中可以不依赖网络以及节省网络资源的目的。
132.以及，基于预设vin宽高比要求以及预设vin字体要求，可以在至少一个位置区域中过滤掉非vin图样中的文本图样所在的位置区域，可以缩小基于文本识别模型识别文本字符的范围，间接地可以提高最终确定出的目标vin图样中的各个文本图样分别对应的文本字符的准确率。
133.其次，由于文本识别模型事先已经集成在电子设备中，因此，可以直接基于已集成
在电子设备中的文本识别模型，识别筛选出的位置区域中的连续的多个文本图样分别对应的文本字符，从而可以不借助其他设备，不需要与其他设备进行数据交互，从而实现在识别筛选出的位置区域中的连续的多个文本图样分别对应的文本字符的场景中可以不依赖网络以及节省网络资源的目的。
134.另外，基于预设vin字符配置要求，可以在识别出的文本字符中过滤掉非vin图样中的文本图样对应的文本字符，从而可以提高最终确定出的目标vin图样中的各个文本图样分别对应的文本字符的准确率。
135.在本技术一个实施例中，参见图2，文本识别模型的训练方式包括：
136.在步骤s201中，获取多个样本数据集，样本数据集中包括样本图像，样本图像中至少包括车辆的样本vin图样，样本vin图样中包括多个样本文本图样，样本数据集还包括：多个样本文本图样分别对应的标注文本字符。
137.样本图像可以是拍摄的包括车辆的行驶证的图像、包括车辆的前挡风玻璃下侧的图像或者包括车辆的发动机表面的图像等。
138.标注文本字符不是在图像上体现的文本字符，而是以电子设备可编辑的形式存在等。
139.例如，标注文本字符可以是工作人员在电子设备上的屏幕上显示的输入框中输入的文本字符等。
140.样本图像中的样本vin图样中的样本文本图样在样本图像中可以体现出的样本vin图样的样式。
141.样本文本图样对应一个标注文本字符，二者内容相同，但是是以不同形式体现出来。
142.本步骤具体可以参见图3所示的实施例，在此不做详述。
143.在步骤s202中，使用多个样本数据集对模型训练，直至模型中的参数收敛，从而得到文本识别模型。
144.在本技术中，模型包括crnn(convolutional recurrent neural network，卷积递归神经网络)模型等，或者，模型包括：将crnn模型中的lstm(long short
‑
term memory，长短期记忆网络)替换为gru(gated recurrent unit，门递归单元)后得到的新的crnn模型。
145.在本技术实施例中，训练文本识别模型所述使用的是至少具有车辆的样本vin图样的样本图像，如此，使得训练出的文本识别模型可以对vin聚焦，对vin具有强大的识别能力，从而可以提高基于文本识别模型识别vin图样中的多个文本图样分别对应的文本字符的准确率。
146.在本技术一个实施例中，参见图3，步骤s201包括：
147.在步骤s301中，获取第一图像，第一图像中包括车辆的第一vin图样。第一vin图样中包括多个第一文本图样，获取第一vin图样在第一图像中的标注区域，以及，获取多个第一文本图样分别对应的标注文本字符。
148.第一图像可以是拍摄的包括车辆的行驶证的图像、包括车辆的前挡风玻璃下侧的图像或者包括车辆的发动机表面的图像等。
149.标注文本字符不是在图像上体现的文本字符，而是以电子设备可编辑的形式存在等。
150.其中，标注文本字符可以是工作人员在电子设备上的屏幕上显示的输入框中输入的文本字符等。
151.第一图像中的第一vin图样中的第一文本图样在第一图像中可以体现出的第一文本图样的样式。
152.第一文本图样对应一个标注文本字符，二者内容相同，但是是以不同形式体现出来。
153.第一vin图样在第一图像中的标注区域可以是工作人员在第一图像上标注的。
154.在步骤s302中，根据多个第一文本图样分别对应的标注文本字符，在第一图像的标注区域中识别第一vin图样中的多个第一文本图样。
155.在本技术中，可以使用ocr技术在第一图像的标注区域中识别文本图样，然后在识别出的文本图样中，筛选多个第一文本图样分别对应的标注文本字符对应的文本图样，并作为第一vin图样中的多个第一文本图样。
156.在步骤s303中，根据多个第一文本图样生成与第一vin图样不同的第二vin图样。
157.其中，第二vin图样中的多个第二文本图样分别对应的文本字符与第一vin图样中的多个第一文本图样分别对应的文本字符不全相同，和/或，第二vin图样中的多个第二文本图样之间的顺序与第一vin图样中的多个第一文本图样之间的顺序不全相同。
158.在本技术中，文本图样是将文本字符以图像的形式展示后的状态，且文本图样不可编辑，文本图样本质上可以看作图像。
159.或者说，对于相同的文本，在电子设备的可编辑状态下，文本看作文本字符，在以图像显示的状态下，文本可以看作文本图样。
160.如此，一个文本图样对应一个文本字符，可以根据多个第一文本图样生成符合预设vin字符配置要求的第二vin图样。例如，可以在多个第一文本图样筛选出17个文本图样，然后将17位文本图样组合为的符合预设vin字符配置要求的vin图样，并作为第二文本图样。
161.在步骤s304中，根据第二vin图样与预设背景图像生成第二图像。
162.在本技术中，事先可以准备多个不同的预设背景图像，对于任意一个预设背景图像，可以将第二vin图样分别叠加在该预设背景图像上，得到一个新的图像，可以将新的图像确定为第二图像，对于其他每一个预设背景图像，同样如此。从而可以得到多个不同的第二图像。
163.第一图像以及第二图像均可以作为样本图像。
164.在一个实施例中，在根据第二vin图样与预设背景图像生成第二图像时，可以根据第二vin图样与预设背景图像生成中间图像。例如，可以将第二vin图样叠加在预设背景图像上，得到一个新的图像，并将其作为中间图像，然后根据随机噪声生成算法在中间图像中添加噪声数据，得到第二图像。
165.本技术中的随机噪声生成算法包括高斯随机噪声生成算法、柏林perlin随机噪声生成算法和椒盐随机噪声生成算法等，本技术对随机噪声生成算法不做限定。
166.通过实施例，可以自动化地增加第二图像的数量，进而自动化地增加了用于训练文本识别模型的训练数据。且各个第二图像之间不相同，以及随机噪声生成算法添加的噪声数据有时候可能更加符合真实的场景，如此，可以提高训练数据符合真实的场景的可能
性，进而可以提高训练出的文本识别模型的泛化能力。且在已经有第一图像的前提下，基于第一图像生成第二图像的过程中可以没有人工全程参与，从而可以在增加训练数据的场景中降低人工成本。
167.在一个实施例中，在根据第二vin图样与预设背景图像生成第二图像时，可以根据第二vin图样与预设背景图像生成中间图像。例如，可以将第二vin图样叠加在预设背景图像上，得到一个新的图像，并将其作为中间图像，然后可以对中间图像虚化处理，得到虚化图像，虚化图像虚化程度可以是均匀的，也可以是不均匀的，虚化图像可以为多个，且不同的虚化图像的虚化程度不同，或者，不同虚化图像中的相同位置的虚化程度不同等，然后可以根据虚化图像获取第二图像，例如，将虚化图像作为第二图像等。
168.其中，对图像虚化处理的方式可以参见市面上已经存在的方式，在此不做详述。
169.通过实施例，可以自动化地增加第二图像的数量，进而自动化地增加了用于训练文本识别模型的训练数据。且各个第二图像之间不相同，以及生成的虚化图像有时候可能更加符合真实的场景，例如，虚化图像中的虚化状态非均匀分布，分布可以更随机和更自然等，如此，可以提高训练数据符合真实的场景的可能性，进而可以提高训练出的文本识别模型的泛化能力。例如，可以提高训练出的文本识别模型上线后在现实中的真实的虚化的场景中的泛化能力。且在已经有第一图像的前提下，基于第一图像生成虚化的第二图像的过程中可以没有人工全程参与，从而可以在增加训练数据的场景中降低人工成本。
170.在步骤s305中，根据第一图像以及多个第一文本图样分别对应的标注文本字符生成样本数据集；以及，获取第二vin图样中的多个第二文本图样分别对应的文本字符；根据第二图像以及所述多个第二文本图样分别对应的文本字符生成样本数据集。
171.其中，第一图像是工作人员在电子设备中人工搜集的，多个第一文本图样分别对应的标注文本字符是工作人员在电子设备中人工标注的，因此，电子设备设备具有第一图像以及多个第一文本图样分别对应的标注文本字符，如此，可以将第一图像以及多个第一文本图样分别对应的标注文本字符组合为样本数据集。
172.在一个实施例中，第一图像为多个，且各个第一图像不同，则对于任意一个第一图像，可以将该第一图像以及该第一图像中的第一vin图样中包括的多个第一文本图样分别对应的标注文本字符组成一个样本数据集，对于其他每一个第一图像，同样执行上述操作，从而得到包括不同的第一图像的多个样本数据集。
173.其中，第二图像是电子设备根据第一vin图样与预设背景图像生成的，第二vin图样是根据第一vin图样中的多个第一文本图样生成的，因此，第二vin图样中的各个第二文本图样分别对应的文本字符可以根据生成第二vin图样所使用的第一文本图样确定，例如，可以获取生成第二vin图样所使用的各个第一文本图样分别对应的文本字符，然后根据获取的文本字符确定第二vin图样中的各个第二文本图样分别对应的文本字符，如此，可以将第二图像以及第二vin图样中的各个第二文本图样分别对应的文本字符组合为样本数据集。
174.在一个实施例中，第二图像为多个，且各个第二图像不同，则对于任意一个第二图像，可以将该第二图像以及该第二图像中的第二vin图样中包括的多个第二文本图样分别对应的标注文本字符组成一个样本数据集，对于其他每一个第二图像，同样执行上述操作，从而得到包括不同的第二图像的多个样本数据集。
175.在本技术中，通过自动化的方式生成大量的样本图像，以及通过自动化的方式生成样本图像中的样本vin图样中的多个样本文本图样分别对应的标注文本字符，可以避免人工搜集大量样本图像以及人工标注样本图像中的样本vin图样中的多个样本文本图样分别对应的标注文本字符，从而不仅可以提高搜集样本数据集的效率，且可以降低人工成本。
176.需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作并不一定是本技术所必须的。
177.参照图4，示出了本技术的一种图像处理装置的结构框图，应用于客户端，该装置具体可以包括如下模块：
178.第一获取模块11，用于获取待识别图像，所述待识别图像中至少包括车辆的目标vin图样，所述目标vin图样中包括多个文本图样；
179.第一确定模块12，用于基于已集成在所述电子设备中的位置检测模型，在所述待识别图像中确定至少一个位置区域，每一个位置区域中包括连续的多个文本图样；所述至少一个位置区域中的其中一个位置区域中的多个文本图样包括所述目标vin图样中的各个文本图样；
180.筛选模块13，用于在至少一个位置区域中，筛选包括的文本图样的宽高比符合预设vin宽高比要求且包括的文本图样的字体符合预设vin字体要求的位置区域；筛选出的位置区域中的其中一个位置区域中的多个文本图样包括所述目标vin图样中的各个文本图样；
181.识别模块14，用于基于已集成在所述电子设备中的文本识别模型，识别筛选出的位置区域中的连续的多个文本图样分别对应的文本字符；
182.第二确定模块15，用于基于预设vin字符配置要求，在识别出的文本字符中确定所述目标vin图样中的各个文本图样分别对应的文本字符。
183.在一个可选的实现方式中，所述装置还包括：
184.第二获取模块，用于获取多个样本数据集，样本数据集中包括样本图像，所述样本图像中至少包括车辆的样本vin图样，样本vin图样中包括多个样本文本图样，所述样本数据集还包括：所述多个样本文本图样分别对应的标注文本字符；
185.训练模块，用于使用多个样本数据集对模型训练，直至模型中的参数收敛，从而得到所述文本识别模型。
186.在一个可选的实现方式中，所述第二获取模块包括：
187.第一获取单元，用于获取第一图像，所述第一图像中包括车辆的第一vin图样；所述第一vin图样中包括多个第一文本图样，获取所述第一vin图样在所述第一图像中的标注区域，以及，获取所述多个第一文本图样分别对应的标注文本字符；
188.识别单元，用于根据所述多个第一文本图样分别对应的标注文本字符，在所述第一图像的所述标注区域中识别所述第一vin图样中的多个第一文本图样；
189.第一生成单元，用于根据所述多个第一文本图样生成与所述第一vin图样不同的第二vin图样；
190.第二生成单元，用于根据所述第二vin图样与预设背景图像生成第二图像；
191.第三生成单元，用于根据所述第一图像以及所述多个第一文本图样分别对应的标注文本字符生成样本数据集；
192.第二获取单元，用于获取所述第二vin图样中的多个第二文本图样分别对应的文本字符；
193.第四生成单元，用于根据所述第二图像以及所述多个第二文本图样分别对应的文本字符生成样本数据集。
194.在一个可选的实现方式中，所述第二生成单元包括：
195.第一生成子单元，用于根据所述第二vin图样与预设背景图像生成中间图像；
196.添加子单元，用于根据随机噪声生成算法在所述中间图像中添加噪声数据，得到所述第二图像。
197.在一个可选的实现方式中，所述第二生成单元包括：
198.第二生成子单元，用于根据所述第二vin图样与预设背景图像生成中间图像；
199.虚化子单元，用于对所述中间图像虚化处理，得到虚化图像；
200.获取子单元，用于根据所述虚化图像获取所述第二图像。
201.第三方面，本技术示出了一种电子设备，所述电子设备包括：
202.处理器；
203.用于存储处理器可执行指令的存储器；
204.其中，所述处理器被配置为执行如第一方面所述的图像处理方法。
205.第四方面，本技术示出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面所述的图像处理方法。
206.第五方面，本技术示出了一种计算机程序产品，当所述计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面所述的图像处理方法。
207.本技术提供的技术方案可以包括以下有益效果：
208.在本技术中，获取待识别图像，待识别图像中至少包括车辆的目标vin图样，目标vin图样中包括多个文本图样。基于已集成在电子设备中的位置检测模型，在待识别图像中确定至少一个位置区域。在至少一个位置区域中，筛选包括的文本图样的宽高比符合预设vin宽高比要求且包括的文本图样的字体符合预设vin字体要求的位置区域。基于已集成在电子设备中的文本识别模型，识别筛选出的位置区域中的连续的多个文本图样分别对应的文本字符。基于预设vin字符配置要求，在识别出的文本字符中确定目标vin图样中的各个文本图样分别对应的文本字符。
209.在本技术中，由于位置检测模型事先已经集成在电子设备中，因此，可以直接基于已集成在电子设备中的位置检测模型，在待识别图像中确定至少一个位置区域，从而可以不借助其他设备，不需要与其他设备进行数据交互，从而实现在待识别图像中确定至少一个位置区域的场景中可以不依赖网络以及节省网络资源的目的。
210.以及，基于预设vin宽高比要求以及预设vin字体要求，可以在至少一个位置区域中过滤掉非vin图样中的文本图样所在的位置区域，可以缩小基于文本识别模型识别文本字符的范围，间接地可以提高最终确定出的目标vin图样中的各个文本图样分别对应的文本字符的准确率。
211.其次，由于文本识别模型事先已经集成在电子设备中，因此，可以直接基于已集成在电子设备中的文本识别模型，识别筛选出的位置区域中的连续的多个文本图样分别对应的文本字符，从而可以不借助其他设备，不需要与其他设备进行数据交互，从而实现在识别筛选出的位置区域中的连续的多个文本图样分别对应的文本字符的场景中可以不依赖网络以及节省网络资源的目的。
212.另外，基于预设vin字符配置要求，可以在识别出的文本字符中过滤掉非vin图样中的文本图样对应的文本字符，从而可以提高最终确定出的目标vin图样中的各个文本图样分别对应的文本字符的准确率。
213.对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
214.可选的，本发明实施例还提供了一种电子设备，包括：处理器，存储器，存储在存储器上并可在处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
215.本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(read
‑
only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等。
216.图5是本技术示出的一种电子设备800的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
217.参照图5，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出(i/o)的接口812，传感器组件814，以及通信组件816。
218.处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
219.存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图像，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
220.电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
221.多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面
板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
222.音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收到的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
223.i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
224.传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
225.通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如wifi，运营商网络(如2g、3g、4g或5g)，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播操作信息。在一个示例性实施例中，所述通信组件816还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
226.在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
227.在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd
‑
rom、磁带、软盘和光数据存储设备等。
228.图6是本技术示出的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。
229.参照图6，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令
的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
230.电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(i/o)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm或类似。
231.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
232.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
233.上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。
234.本领域普通技术人员可以意识到，结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
235.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
236.在本技术所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
237.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
238.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
239.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
240.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。