信息识别方法、装置及存储介质与流程

1.本发明实施例涉及信息识别技术领域，尤其涉及一种信息识别方法、装置及存储介质。


背景技术：

2.在智能物流园区，车辆的管理和装货卸货的管理需要高效协同才能充分保证物流操作的效率。车牌识别在车辆管理中是非常重要的环节，而车牌识别本身也有不同的场景，例如道闸的车牌识别和月台的车牌识别，通常是使用计算机视觉的方法。学术界的解决方案一般追求对单张图片上出现的车牌进行准确识别，但没有考虑在现实场景中需要持续性对监控画面进行识别，对干扰的应对能力比较差。工业界现有的解决方案多用于识别车辆的前车牌且摄像头距离车牌的位置较近，场景也比较单一简单。因此现有的方案在面对比较复杂，干扰较多时的场景，对车牌信息的识别准确率较低。


技术实现要素：

3.本发明实施例提供的一种信息识别方法、装置及存储介质，可以提高对车辆牌信息的识别准确率。
4.本发明的技术方案是这样实现的：
5.本发明实施例提供了一种信息识别方法，包括：
6.实时采集预定区域的视频流，并基于滑动窗口的方法在所述视频流中提取出当前时刻对应的n个起始图像帧；n为大于1的整数；
7.若针对所述n个起始图像帧检测得到其中的第一物体为起始状态，则对每个图像帧中待测区域图像内的字符进行去重优化处理得到字符识别结果，直至针对n个终止图像帧检测得到其中的所述第一物体为终止状态时停止，得到多个字符识别结果；其中，所述n个终止图像帧是在所述视频流中距离所述当前时刻任意时长后的终止时刻提取到的；所述每个图像帧属于所述当前时刻至所述终止时刻在所述视频流中提取的多个图像帧；
8.基于所述多个字符识别结果，确定出目标字符识别结果。
9.上述方案中，所述若针对所述n个起始图像帧检测得到其中的第一物体为起始状态，则对每个图像帧中待测区域图像内的字符进行去重优化处理得到字符识别结果，直至针对n个终止图像帧检测得到其中的所述第一物体为终止状态时停止，得到多个字符识别结果，包括：
10.对所述n个起始图像帧进行检测得到起始检测结果；
11.若所述起始检测结果表征所述第一物体为靠近或者远离目标区域的状态，则从所述n个起始图像帧中的第一图像帧为起点针对在所述视频流中提取出的所述每个图像帧进行处理，得到对应的所述待测区域图像；
12.利用预设目标检测模型对所述待测区域图像进行处理，得到多个字符及对应的字符相关信息；
13.利用所述字符相关信息对所述多个字符进行去重优化处理，得到一定次序字符组成的所述字符识别结果，直至终止检测结果表征所述第一物体为无位移变化的状态或者所述终止时刻无所述第一物体的状态时停止，得到所述多个字符识别结果；所述终止检测结果为对应所述n个终止图像帧进行检测得到的。
14.上述方案中，所述对所述n个起始图像帧进行检测得到起始检测结果，包括：
15.利用第一预设检测模型对所述n个起始图像帧进行处理，得到所述起始检测结果；
16.所述若所述起始检测结果表征所述第一物体为靠近或者远离目标区域的状态，则从所述n个起始图像帧中的第一图像帧为起点针对在所述视频流中提取出的所述每个图像帧进行处理，得到对应的所述待测区域图像，包括：
17.若所述起始检测结果表征所述n个起始图像帧中至少有m个起始图像帧中包括所述第一物体，且所述第一物体与所述目标区域的距离在变大或者变小，则将所述每个图像帧通过第二预设检测模型处理，得到所述待测区域图像；m为大于1小于n的整数。
18.上述方案中，所述利用预设目标检测模型对所述待测区域图像进行处理，得到多个字符及对应的字符相关信息，包括：
19.利用预设目标检测模型对所述待测区域图像进行处理，得到所述多个字符分别，及所述多个字符分别对应的字符类别概率信息和字符框信息。
20.上述方案中，所述利用所述字符相关信息对所述多个字符进行去重优化处理，得到一定次序字符组成的所述字符识别结果，直至终止检测结果表征所述第一物体为无位移变化的状态或者所述终止时刻无所述第一物体的状态时停止，得到所述多个字符识别结果，包括：
21.利用多个字符框信息计算得到重叠度矩阵，并结合所述重叠度矩阵对所述多个字符进行去重处理，得到多个第一字符；
22.结合所述多个第一字符分别对应的第一字符框信息剔除所述多个第一字符中的异常字符，得到多个第二字符；
23.利用所述多个第二字符分别对应的第二字符框信息，对所述多个第二字符进行分层排序处理得到所述字符识别结果，直至所述终止检测结果表征所述n个终止图像帧中至少有m个终止图像帧中的所述第一物体与所述目标区域的距离无变化，或者所述n个起始图像帧中有k个终止图像帧中包括所述第一物体时停止，得到所述多个字符识别结果；k为大于等于1小于m的整数。
24.上述方案中，所述利用多个字符框信息计算得到重叠度矩阵，并结合所述重叠度矩阵对所述多个字符进行去重处理，得到多个第一字符，包括：
25.利用所述多个字符框信息包括的多个字符框面积信息，计算任意两个字符之间的重叠度，并通过得到的多个重叠度构建出所述重叠度矩阵；
26.将所述多个重叠度依次与预设阈值进行比较，得到每个重叠度的比较结果；
27.若所述比较结果表征对应的第一重叠度大于所述预设阈值，则将重叠字符在所述重叠度矩阵中对应的行和列删除得到新的重叠度矩阵，直至所述重叠度矩阵中的所述重叠度均小于所述预设阈值时得到目标矩阵；所述重叠字符为所述第一重叠度对应的所述字符类别概率最小的字符；
28.通过所述目标矩阵包括的任意行中的所述重叠度对应的字符，确定出所述多个第
一字符。
29.上述方案中，所述多个字符包括：t个字符；所述多个字符框面积信息包括：t个字符框面积信息；t为大于1的整数；
30.所述利用所述多个字符框信息包括的多个字符框面积信息，计算任意两个字符之间的重叠度，并通过得到的多个重叠度构建出所述重叠度矩阵包括：
31.根据第1个字符的字符框面积信息至第t个字符的字符框面积信息，计算出所述第1个字符分别与所述第1个字符至第t个字符的第一组t个重叠度；
32.利用所述第一组t个重叠度构建出所述重叠度矩阵的第一行，直至计算得到第t个字符分别与所述第1个字符至所述第t个字符的第t组t个重叠度，利用所述第t组t个重叠度构建出所述重叠度矩阵的最后一行，进而得到所述重叠度矩阵。
33.上述方案中，结合所述多个第一字符分别对应的第一字符框信息剔除所述多个第一字符中的异常字符，得到多个第二字符，包括：
34.将多个第一字符框信息通过预设异常点检测模型处理，剔除所述多个第一字符中与其他的第一字符密度之间密度最低的所述异常字符，得到所述多个第二字符。
35.上述方案中，所述利用所述多个第二字符分别对应的第二字符框信息，对所述多个第二字符进行分层排序处理得到所述字符识别结果，包括：
36.通过多个第二字符框信息中的多个中心点信息进行线性拟合得到拟合线，并计算所述多个中心点信息距离所述拟合线的误差平方和；
37.根据所述误差平方和的大小确定出所述字符识别结果的字符层数；
38.若所述字符层数为二层，则从所述多个第二字符中提取出包括任意的p个第二字符多个字符组合；p为大于1小于t的整数；
39.对所述多个字符组合分别进行线性拟合，并计算得到多个误差平方和，确定出最小的误差平方和对应的字符组合中包括的p个第三字符；
40.将其余字符按照各自对应的第二字符框信息中的横坐标信息的大小顺序进行拼接，再将所述p个第三字符按照各自对应的横坐标信息的大小顺序进行拼接，得到所述字符识别结果；所述其余字符为所述多个第二字符中的除所述p个第三字符之外的字符。
41.上述方案中，所述根据所述误差平方和的大小确定出所述字符识别结果的字符层数之后，所述方法还包括：
42.若所述字符层数为一层，将所述多个第二字符按照各自对应所述横坐标信息的大小顺序进行拼接，得到所述字符识别结果。
43.上述方案中，所述基于所述多个字符识别结果，确定出目标字符识别结果，包括：
44.将所述多个字符识别结果中的每个字符对应的字符类别概率信息相加，得到多个总概率；
45.确定所述多个总概率中最大的总概率对应的字符识别结果为所述目标字符识别结果。
46.上述方案中，所述基于滑动窗口的方法在所述视频流中提取出当前时刻对应的n个起始图像帧，包括：
47.在所述视频流中提取出所述当前时刻对应的当前图像帧；
48.在所述视频流中以所述当前图像帧为起点，沿着时间轴每隔预定时长或者预定数
量的图像帧提取出一个图像帧，直至提取得到n-1个图像帧；
49.将所述当前图像帧和所述n-1个图像帧沿时间轴组合得到所述n个起始图像帧。
50.本发明实施例还提供了一种信息识别装置，包括：
51.采集提取单元，用于实时采集预定区域的视频流，并基于滑动窗口的方法在所述视频流中提取出当前时刻对应的n个起始图像帧；n为大于1的整数；
52.检测处理单元，用于若针对所述n个起始图像帧检测得到其中的第一物体为起始状态，则对每个图像帧中待测区域图像内的字符进行去重优化处理得到字符识别结果，直至针对n个终止图像帧检测得到其中的所述第一物体为终止状态时停止，得到多个字符识别结果；其中，所述n个终止图像帧是在所述视频流中距离所述当前时刻任意时长后的终止时刻提取到的；所述每个图像帧属于所述当前时刻至所述终止时刻在所述视频流中提取的多个图像帧；
53.确定单元，用于基于所述多个字符识别结果，确定出目标字符识别结果。
54.本发明实施例还提供了一种信息识别装置，包括存储器和处理器，存储器存储有可在处理器上运行的计算机程序，处理器执行程序时实现上述方法中的步骤。
55.本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的步骤。
56.本发明实施例中，实时采集预定区域的视频流，并基于滑动窗口的方法在视频流中提取出当前时刻对应的n个起始图像帧；n为大于1的整数；若针对n个起始图像帧检测得到其中的第一物体为起始状态，则对每个图像帧中待测区域图像内的字符进行去重优化处理得到字符识别结果，直至针对n个终止图像帧检测得到其中的第一物体为终止状态时停止，得到多个字符识别结果；其中，n个终止图像帧是在视频流中距离当前时刻任意时长后的终止时刻提取到的；图像帧属于当前时刻至终止时刻在视频流中提取的多个图像帧；基于多个字符识别结果，确定出目标字符识别结果。由于本方案通过抓取在第一物体到达和离开的期间对车牌信息进行识别，并且同时对识别得到的字符进行去重和优化处理，克服了车牌识别过程中的格式多样化的困难，进而可以提高对车牌信息的识别准确率。
附图说明
57.图1为本发明实施例提供的信息识别方法的一个可选的流程示意图；
58.图2为本发明实施例提供的信息识别方法的一个可选的效果示意图；
59.图3为本发明实施例提供的信息识别方法的一个可选的流程示意图；
60.图4为本发明实施例提供的信息识别方法的一个可选的效果示意图；
61.图5为本发明实施例提供的信息识别方法的一个可选的效果示意图；
62.图6为本发明实施例提供的信息识别方法的一个可选的效果示意图；
63.图7为本发明实施例提供的信息识别方法的一个可选的效果示意图；
64.图8为本发明实施例提供的信息识别方法的一个可选的流程示意图；
65.图9为本发明实施例提供的信息识别方法的一个可选的流程示意图；
66.图10为本发明实施例提供的信息识别方法的一个可选的效果示意图；
67.图11为本发明实施例提供的信息识别方法的一个可选的流程示意图；
68.图12为本发明实施例提供的信息识别方法的一个可选的流程示意图；
69.图13为本发明实施例提供的信息识别方法的一个可选的流程示意图；
70.图14为本发明实施例提供的信息识别方法的一个可选的效果示意图；
71.图15为本发明实施例提供的信息识别装置的结构示意图；
72.图16为本发明实施例提供的信息识别装置的一种硬件实体示意图。
具体实施方式
73.为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和实施例对本发明的技术方案进一步详细阐述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
74.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
75.如果发明文件中出现“第一/第二”的类似描述则增加以下的说明，在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
76.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
77.车辆管理在物流领域是至关重要的环节，对车辆进行有效的管理和调度能够保证货物安全高效地流转，保障物流服务的质量。而对车辆信息的正确识别是物流场景中资源分配的基础前提条件。例如，车辆进入物流园区装卸货需要严格按照提前制定的排班计划，对进入园区的车辆信息进行识别能够帮助确认车辆是否按时到达，能否按计划开始作业。另外，车辆和相应的货物信息需要严格匹配，仓库需要在车辆到达园区时开始做装货/卸货相应的准备，并根据资源占用的情况分配月台。在月台场景进行车牌识别能够帮助校验车辆信息，确认车辆到达正确的装卸货地点。传统的生产流程中，工作人员将通过手写的方式记录每个车辆的车牌号。在如今的智能化、信息化时代，这种传统的记录方式造成了大量的人力、财力的浪费，同时拖慢了运行效率和吞吐量。因此，车牌自动识别系统被大量使用，不仅能够快速、准确的识别出车辆的车牌号，节省人力，还能为实现自动化调度系统的实现提供支持，同时信息化的数据也更便于保存。
78.当前一般采用计算机视觉的手段实现车牌的自动识别。大多数基于视觉的车牌自动识别算法通常分为两个步骤，第一步为车牌检测，即在图片中定位到车牌所属的像素位置。第二步为字符识别，即识别出车牌中每个字符的内容，进而组成车牌。当前基于计算机视觉的自动车牌识别系统可以分为学术和工业的解决方案。学术界的解决方案一般追求对单张图片上出现的车牌进行准确识别，但没有考虑在现实场景中需要持续性对监控画面进行识别，对干扰的应对能力比较差。工业界现有的解决方案多用于识别车辆的前车牌且摄像头距离车牌的位置较近，场景也比较单一简单，比如停车场的车牌识别系统。对于像月台这样的用于车辆装货卸货的地方，为方便装卸货，车辆大多为倒车入库，所以摄像头拍摄到
的多为车辆的后车牌，相较于前车牌统一的单行格式，后车牌的格式会出现单行和双行(黄牌的后车牌为双行)两种情况，而且相较于前车牌而言物流场景中车辆的后车牌更脏，车牌的字符部分总是会被一些尘土给遮挡住。同时在真实的物流场景中，由于摄像头的位置多固定于较高的地方，拍摄到的车牌一般较小且容易出现遮挡以及受光照、角度等的影响，常规车牌的自动识别系统在此场景下的准确度很低。
79.本发明实施例提供了一种信息识别方法，请参阅图1，为本发明实施例提供的信息识别方法的一个可选的流程示意图，将结合图1示出的步骤进行说明。
80.s101、实时采集预定区域的视频流，并基于滑动窗口的方法在视频流中提取出当前时刻对应的n个起始图像帧。
81.本发明实施例中，信息识别装置实时采集预定区域的视频流，并基于滑动窗口的方法在视频流中提取出当前时刻对应的n个起始图像帧。其中，n为大于1的整数。
82.本发明实施例中，信息识别装置通过设置在预定区域的摄像头采集预定区域的视频流。信息识别装置每隔预定个数的图像帧提取出一个图像帧，并利用滑动窗口的方法确定出当前时刻对应的n个起始图像帧。
83.本发明实施例中，信息识别装置在视频流中提取出当前时刻对应的图像帧，并沿着时间轴向前间隔提取出多个图像帧，以得到n个起始图像帧。
84.本发明实施例中，信息识别装置可以为与预定区域的摄像头连接的终端或者服务器。
85.s102、若针对n个起始图像帧检测得到其中的第一物体为起始状态，则对每个图像帧中待测区域图像内的字符进行去重优化处理得到字符识别结果，直至针对n个终止图像帧检测得到其中的第一物体为终止状态时停止，得到多个字符识别结果。
86.本发明实施例中，信息识别装置若针对n个起始图像帧检测得到其中的第一物体为起始状态，则对每个图像帧中待测区域图像内的字符进行去重优化处理得到字符识别结果，直至针对n个终止图像帧检测得到其中的第一物体为终止状态时停止，得到多个字符识别结果。
87.其中，n个终止图像帧是在视频流中距离当前时刻任意时长后的终止时刻提取到的；图像帧属于当前时刻至终止时刻在视频流中提取的多个图像帧。
88.本发明实施例中，信息识别装置若针对n个起始图像帧检测得到其中的第一物体为靠近或者远离目标区域的状态，则触发信息识别的过程。信息识别装置对从当前时刻至终止时刻在视频流中提取的每个图像帧进行处理，提取出每个图像帧的待测区域图像内的字符及其对应的字符相关信息。信息识别装置可以通过字符相关信息对多个字符进行去重优化处理得到每个图像帧对应的字符识别结果。当信息识别装置在对图像帧进行检测一定时长后，针对任意的终止时刻的n个终止图像帧检测得到其中的第一物体为静止状态或者n个终止图像帧中无第一物体时停止，得到多个字符识别结果。
89.示例性的，信息识别装置若针对n个起始图像帧检测得到其中的第一物体的y轴坐标发生变化。信息识别装置则对从当前时刻起在视频流中提取的每个图像帧进行处理，提取出每个图像帧的待测区域图像内的字符及其对应的字符相关信息。信息识别装置可以通过字符相关信息对多个字符进行去重优化处理得到每个图像帧对应的字符识别结果，直至信息识别装置针对当前时刻一分钟后的终止时刻对应的n个终止图像帧检测得到其中的第
一物体为静止时停止，得到多个字符识别结果。
90.本发明实施例中，车牌信息识别的过程主要包括：1.车体检测。2.车辆状态判断。3.车牌检测。4.车牌字符识别。其中车体检测用于确认月台区域是否有车辆存在，进而通过检测到的车辆的位置变化判断是否有车辆到达和离开月台。由于车牌也是车辆的显著特征之一，本方案也可以简化成使用车牌检测来判断月台区域是否有车辆出现，进而通过车牌的位置变化判断是否有车辆到达和离开月台。但相比起车体，车牌目标较小，更难检测，并且可能存在车牌被遮挡的情况。因此，本方案首选使用车体检测来判断月台区域是否有车辆。最后，本方案也提出基于边缘部署的工程化方案。具体如下：
91.本发明实施例中，信息识别装置使用计算机视觉中的目标检测方法解决车体检测问题，通过摄像头采集的视频流判断月台区域是否有车辆。为了有效识别进入和离开月台区域的车辆并与其它角度的车辆进行区分，信息识别装置可以对车辆的后车厢及进行识别。这里采用基于深度学习的方法进行检测，在深度学习模型的训练过程中需要先用矩形框对车辆后车厢进行标注，如图2所示。在目标对象可以将车辆中的后箱进行标注，将标注数据用于训练。由于目标检测是计算机视觉领域比较成熟的技术，有多种技术可供选择(you only look once，yolo)系列算法，(region-cnn，rcnn)算法，centernet算法，本发明实施例中，选用yolov5，在其他实施例中，还可以采用其他的算法。
92.信息识别装置通过识别到的车辆位置变化的情况判断当前月台区域车辆的状态和月台被占用的状态。为了对车辆和月台的情况有准确细致的判断，本发明实施例中，信息识别装置可以将识别到的信息概括为车辆状态，月台状态和事件。车辆状态分为无车，车辆入库，车辆出库，车辆驻停。月台状态分为占用和释放。事件包括车辆到达月台，车辆离开月台，车辆位置调整和车辆临时停靠。判断方式如下：
93.信息识别装置可以通过第一预设检测模型检测到的后车厢位置变化判断。为了实现这一目标，需要使用监控摄像头周期性采集预定区域(月台区域)的画面(可以采用1秒5帧的方式)，并对每一帧图片检测车体位置。信息识别装置每次使用当前图像帧及距离当前图像帧最近的n-1个图像帧中的车体位置进行判断，如果n个起始图像帧中至少有m个帧中检测到车体，并且车体位置在靠近月台，则确定车辆在入库状态。如果车体位置在远离月台，则确定车辆为出库状态。如果至少m个图像帧中检测到车体，但车体的位置没有明显变化，则为驻停状态。如果少于m个帧中检测到车体，则为无车状态。由于车体识别可能有误识别和漏识别的情况，在对动态判断之前首先要进行异常检测，排除误识别和漏识别的干扰。
94.信息识别装置对月台状态的判断和事件的判断需要相辅相成。在系统启动的初始状态，可以根据实际情况对月台状态进行配置，如果当时月台有车，则为占用状态，如果无车，则为释放状态。而对事件的上报，需要结合车辆和月台的状态。一个事件由一个起始状态和一个终止状态共同定义。靠近月台和远离月台为起始状态，无车状态和驻停状态为终止状态。信息识别装置一旦检测到一个起始状态，则触发事件的监控开始对每个图像帧进行车牌信息识别，在已经检测到起始状态后，如果又检测到一个终止状态，则发现一个完整的事件。结合月台和车辆的状态，事件的定义及相应的月台状态更新如下：
95.1、在月台状态为释放的情况下，车辆状态从入库状态到驻停状态为车辆到达月台事件，事件结束后，月台状态需要更新为占用。
96.2、在月台状态为释放的情况下，车辆状态从入库状态到无车状态为车辆临时停靠
事件，事件结束后，月台状态仍为释放。
97.3、在月台状态为占用的情况下，车辆状态从入库状态/出库状态到驻停状态为车辆调整事件，事件结束后，月台状态仍为占用。
98.4、在月台状态为占用的情况下，车辆状态从入库状态/出库状态到无车状态为车辆离开月台事件，事件结束后，月台状态更新为释放。
99.5、其它状态的组合为无效事件，直接丢弃，无需上报。
100.本发明实施例中，信息识别装置还可以针对每个事件形成对应的标识信息。在信息识别装置识别到目标字符识别结果之后，可以将目标字符识别结果与对应的事件的标识信息进行映射存储。
101.s103、基于多个字符识别结果，确定出目标字符识别结果。
102.本发明实施例中，信息识别装置基于多个字符识别结果，确定出目标字符识别结果。
103.本发明实施例中，信息识别装置识别出每个字符识别结果时会形成对应每个字符识别结果中所有字符的字符类别概率信息。信息识别装置可以将所有字符的字符类别概率信息之和最大的字符识别结果确定为目标字符识别结果。
104.本发明实施例中，实时采集预定区域的视频流，并基于滑动窗口的方法在视频流中提取出当前时刻对应的n个起始图像帧；n为大于1的整数；若针对n个起始图像帧检测得到其中的第一物体为起始状态，则对每个图像帧中待测区域图像内的字符进行去重优化处理得到字符识别结果，直至针对n个终止图像帧检测得到其中的第一物体为终止状态时停止，得到多个字符识别结果；其中，n个终止图像帧是在视频流中距离当前时刻任意时长后的终止时刻提取到的；图像帧属于当前时刻至终止时刻在视频流中提取的多个图像帧；基于多个字符识别结果，确定出目标字符识别结果。由于本方案通过抓取在第一物体到达和离开的期间对车牌信息进行识别，并且同时对识别得到的字符进行去重和优化处理，克服了车牌识别过程中的格式多样化的困难，进而可以提高对车牌信息的识别准确率。
105.在一些实施例中，参见图3，图3为本发明实施例提供的信息识别方法的一个可选的流程示意图，图1示出的s102还可以通过s104至s107实现，将结合各步骤进行说明。
106.s104、对n个起始图像帧进行检测得到起始检测结果。
107.本发明实施例中，信息识别装置对n个起始图像帧进行检测得到起始检测结果。
108.本发明实施例中，信息识别装置可以通过yolov5模型对n个起始图像帧进行检测得到起始检测结果。在其他实施例中，还可以采用其他的检测模型，本发明实施例中不做限制。
109.s105、若起始检测结果表征第一物体为靠近或者远离目标区域的状态，则从n个起始图像帧中的第一图像帧为起点针对在视频流中提取出的每个图像帧进行处理，得到对应的待测区域图像。
110.本发明实施例中，若信息识别装置检测到起始检测结果表征第一物体为靠近或者远离目标区域的状态，则从n个起始图像帧中的第一图像帧为起点针对在视频流中提取出的每个图像帧进行处理，得到对应的待测区域图像。
111.本发明实施例中，若信息识别装置检测到起始检测结果表征第一物体的中心点的y坐标在增大或者减小，则从n个起始图像帧中的第一图像帧为起点针对在视频流中提取出
的每个图像帧通过扭曲平面物体检测网络模型(warped planar object detection network，wpod-net)进行处理，得到对应的待测区域图像。
112.本发明实施例中，信息识别装置发现触发事件监控以后，在触发事件后到事件结束前，对监控摄像头返回的每一图像帧进行车牌识别。这里需要用到车牌检测技术。信息识别装置使用wpod-net进行车牌检测，需要先标注训练数据，标注方式为，给定一张含有车牌的图片，标注车牌的4个顶点，从左上角开始，沿逆时针方向，如图4所示(图中的车牌四个顶点之间已经用直线连接)。完成标注之后，将大量标注数据输入到模型中训练完成，则可以得到训练好的模型参数，在输入一张含有车牌的图片后，能够输出图中车牌的4个顶点的坐标。
113.本发明实施例中，采用人工标注数据结合自动生成数据的方式收集训练数据，在只需要人工收集和标注少量数据的情况下增加数据多样性。具体的方式为，随机生成车牌图片，并选取一张标注过的图片作为背景，通过仿射变换把生成的车牌粘贴到该图片的车牌位置，作为生成的训练样本，使生成车牌4个顶点的位置与标注的4个顶点位置重合。而由于车牌4个顶点的位置之前已经由人工标注，可以直接把这4个标注点的位置作为生成图片的标记。同时，在生成的图片上也可以通过亮度变换等方式进行增强。如图5所示。可以采用仿射变换的方式将变换前图中的车牌信息“鲁b 12345”变换为“苏d 12346”。
114.s106、利用预设目标检测模型对待测区域图像进行处理，得到多个字符及对应的字符相关信息。
115.本发明实施例中，信息识别装置利用预设目标检测模型对待测区域图像进行处理，得到多个字符及对应的字符相关信息。
116.本发明实施例中，信息识别装置可以利用yolov5模型对待测区域图像进行处理，得到多个字符及对应的字符相关信息。在其他实施例中可以采用其他模型，本发明实施例中不做限制。
117.本发明实施例中，信息识别装置在得到待测区域图像之后，需要对车牌字符进行识别，以判断车牌号码。本方案以目标检测为基础进行车牌字符识别，即，再用目标检测方法识别待测区域图像上的字符及其位置。该部分采用yolov5在训练数据集上进行训练，通过训练好的目标检测模型，我们可以得到每个字符的类别及位置，如图6所示。目标检测模型可以识别待测区域图像包括字符“f2242”，并得到“f”的字符类别f、位置信息及类别概率0.91；“2”的字符类别2、位置信息及类别概率0.90；“2”的字符类别2、位置信息及类别概率0.90；“4”的字符类别1、位置信息及类别概率0.90；“2”的字符类别2、位置信息及类别概率0.90。这一步也可以使用其它目标检测算法来完成，但由于yolov5是目前比较成熟的算法，检测准确率和运行效率都能够得到保证，这里使用yolov5。训练yolov5模型需要用到大量打标数据，与车牌检测部分类似，数据的收集比较困难，标记也比较繁琐，尤其是，在一个地区采集的图片通常只包含当地所属省份和临近省份的车牌。因此，本方案生成车牌数据，并通过仿射变换粘贴到人工收集图片的背景上，并自动生成车牌字符的标记。同时，使用数据增强的方式让生成的车牌字符更接近实际的效果，如图7所示。可以将“沪0i0r4h”通过仿射变换的方式得到新的车牌信息“沪pprbs8x”。
118.s107、利用字符相关信息对多个字符进行去重优化处理，得到一定次序字符组成的字符识别结果，直至终止检测结果表征第一物体为无位移变化的状态或者终止时刻无第
一物体的状态时停止，得到多个字符识别结果。
119.本发明实施例中，信息识别装置利用字符相关信息对多个字符进行去重优化处理，得到一定次序字符组成的字符识别结果，直至终止检测结果表征第一物体为无位移变化的状态或者终止时刻无第一物体的状态时停止，得到多个字符识别结果。其中，终止检测结果为对应n个终止图像帧进行检测得到的。
120.本发明实施例中，信息识别装置利用字符相关信息将多个字符中的重复识别的字符进行去重，并剔除车牌区域外的无关字符，得到一定次序字符组成的字符识别结果。信息识别装置直至终止检测结果表征第一物体为无位移变化的状态或者终止时刻无第一物体的状态时停止，得到多个字符识别结果。
121.本发明实施例中，信息识别装置先通过检测车体判断车辆的状态，在车辆靠近或者远离时对提取到图像帧进行检测，由于本方案通过抓取在车辆到达和离开的期间对车牌信息进行识别，并且同时利用字符相关信息对识别得到的字符进行去重和优化处理，克服了车牌识别过程中的格式多样化的困难，进而可以提高对车牌信息的识别准确率。
122.在一些实施例中，参见图8，图8为本发明实施例提供的信息识别方法的一个可选的流程示意图，图3示出的s104至s107还可以通过s108至s113实现，将结合各步骤进行说明。
123.s108、利用第一预设检测模型对n个起始图像帧进行处理，得到起始检测结果。
124.本发明实施例中，信息识别装置利用第一预设检测模型对n个起始图像帧进行处理，得到起始检测结果。
125.其中，第一预设检测模型可以为yolov5模型。
126.s109、若起始检测结果表征n个起始图像帧中至少有m个起始图像帧中包括第一物体，且第一物体与目标区域的距离在变大或者变小，则将每个图像帧通过第二预设检测模型处理，得到待测区域图像。
127.本发明实施例中，若信息识别装置检测到起始检测结果表征n个起始图像帧中至少有m个起始图像帧中包括第一物体，且第一物体与目标区域的距离在变大或者变小，则将每个图像帧通过第二预设检测模型处理，得到待测区域图像。
128.其中，第二预设检测模型可以为wpod-net模型，本发明实施例中对第二预设检测模型不做限制。
129.示例性的，若信息识别装置检测到起始检测结果表征20个起始图像帧中至少有15个起始图像帧中包括车辆，且车辆与月台的距离在变大或者变小，则将每个图像帧通过第二预设检测模型处理，得到待测区域图像。
130.s110、利用预设目标检测模型对待测区域图像进行处理，得到多个字符，及多个字符分别对应的字符类别概率信息和字符框信息。
131.本发明实施例中，信息识别装置利用预设目标检测模型对待测区域图像进行处理，得到多个字符，及多个字符分别对应的字符类别概率信息和字符框信息。
132.其中，预设目标检测模型可以为yolov5模型。本发明实施例中，对预设目标检测模型的种类不做限制。
133.其中，字符框信息可以包括：字符框面积信息、字符框中心点坐标信息和字符框顶点坐标信息。
134.s111、利用多个字符框信息计算得到重叠度矩阵，并结合重叠度矩阵对多个字符进行去重处理，得到多个第一字符。
135.本发明实施例中，信息识别装置利用多个字符框信息计算得到重叠度矩阵，并结合重叠度矩阵对多个字符进行去重处理，得到多个第一字符。
136.本发明实施例中，信息识别装置利用任意两个字符的字符框重叠面积比上该两个字符的字符框面积之和，可以得到多个重叠度。信息识别装置可以利用多个重叠度按照次序构建出重叠度矩阵。信息识别装置结合重叠度矩阵对多个字符进行去重处理，得到多个第一字符。
137.本发明实施例中，所述多个字符包括：t个字符；所述多个字符框面积信息包括：t个字符框面积信息；t为大于1的整数。信息识别装置根据第1个字符的字符框面积信息至第t个字符的字符框面积信息，计算出所述第1个字符分别与所述第1个字符至第t个字符的第一组t个重叠度。信息识别装置利用所述第一组t个重叠度构建出所述重叠度矩阵的第一行，直至计算得到第t个字符分别与所述第1个字符至所述第t个字符的第t组t个重叠度，利用所述第t组t个重叠度构建出所述重叠度矩阵的最后一行，进而得到所述重叠度矩阵。
138.本发明实施例中，预设目标检测模型最后输出的字符存在一个字符被识别为多个不同的类，或者一个字符被识别出多个相同的类，导致识别的字符数变多。此时这些字符的框存在较大的重叠，重叠度这个指标就是用来衡量两个字符框的重叠范围，重叠度＝重叠面积/总的面积。对所有字符两两计算重叠度，形成重叠度矩阵d。
139.d＝[d11,d12,d13,d14d21,d22,d23,d24d31,d32,d33,d34d41,d42,d43,d44]
[0140]
其中，dij表示字符i和字符j的重叠度，设置一定的阈值thresh，遍历d矩阵，当dij》thresh判定这两个框重叠范围较大，其中一个为重复识别，于是剔除confidence(confidence表示该字符为当前字符类别的概率)较小的那一个字符，假设confidence(i)《confidence(j),即在d中删除第i行和第i列，然后再次遍历d矩阵，直到d矩阵所有的值都小于thresh。
[0141]
s112、结合多个第一字符分别对应的第一字符框信息剔除多个第一字符中的异常字符，得到多个第二字符。
[0142]
本发明实施例中，信息识别装置结合多个第一字符分别对应的第一字符框信息剔除多个第一字符中的异常字符，得到多个第二字符。
[0143]
本发明实施例中，信息识别装置结合多个第一字符分别对应的第一字符框中心点信息，计算每个第一字符与其他字符的密度。信息识别装置剔除密度最小的字符，得到多个第二字符。
[0144]
s113、利用多个第二字符分别对应的第二字符框信息，对多个第二字符进行分层排序处理得到字符识别结果，直至终止检测结果表征n个终止图像帧中至少有m个终止图像帧中的第一物体与目标区域的距离无变化，或者n个起始图像帧中有k个终止图像帧中包括第一物体时停止，得到多个字符识别结果
[0145]
本发明实施例中，信息识别装置利用多个第二字符分别对应的第二字符框信息，对多个第二字符进行分层排序处理得到字符识别结果，直至终止检测结果表征n个终止图像帧中至少有m个终止图像帧中包括第一物体，且第一物体与目标区域的距离无变化，或者n个起始图像帧中有k个终止图像帧中包括第一物体时停止，得到多个字符识别结果。k为大
于等于1小于m的整数。
[0146]
本发明实施例中，信息识别装置通过对多个字符进行去重处理，剔除异常点处理和分层排序处理，可以得到更加准确目标字符识别结果。
[0147]
在一些实施例中，参见图9，图9为本发明实施例提供的信息识别方法的一个可选的流程示意图，图8示出的s111至s112还可以通过s114至s118实现，将结合各步骤进行说明。
[0148]
s114、利用多个字符框信息包括的多个字符框面积信息，计算任意两个字符之间的重叠度，并通过得到的多个重叠度构建出重叠度矩阵。
[0149]
本发明实施例中，信息识别装置利用多个字符框信息包括的多个字符框面积信息，计算任意两个字符之间的重叠度，并通过得到的多个重叠度构建出重叠度矩阵。
[0150]
s115、将多个重叠度依次与预设阈值进行比较，得到每个重叠度的比较结果。
[0151]
本发明实施例中，信息识别装置将多个重叠度依次与预设阈值进行比较，得到每个重叠度的比较结果。
[0152]
本发明实施例中，对预设阈值的大小不做限制。
[0153]
s116、若比较结果表征对应的第一重叠度大于预设阈值，则将重叠字符在重叠度矩阵中对应的行和列删除得到新的重叠度矩阵，直至重叠度矩阵中的重叠度均小于预设阈值时得到目标矩阵。
[0154]
本发明实施例中，若信息识别装置检测到比较结果表征对应的第一重叠度大于预设阈值，则将重叠字符在重叠度矩阵中对应的行和列删除得到新的重叠度矩阵，直至重叠度矩阵中的重叠度均小于预设阈值时得到目标矩阵。重叠字符为所述第一重叠度对应的字符类别概率最小的字符。
[0155]
示例性的，结合矩阵d＝[d11,d12,d13,d14d21,d22,d23,d24d31,d32,d33,d34d41,d42,d43,d44]
[0156]
若比较结果表征d21大于预设阈值，d21为字符2和字符1的重叠度。假如，字符2的字符类别概率小于字符2的字符类别概率，则信息识别装置可以将d中的第2行和第2列删除。
[0157]
s117、通过目标矩阵包括的任意行中的重叠度对应的字符，确定出多个第一字符。
[0158]
本发明实施例中，信息识别装置通过目标矩阵包括的任意行中的重叠度对应的字符，确定出多个第一字符。
[0159]
示例性的，若目标矩阵＝[d22,d23,d32,d33]
[0160]
其中，目标矩阵的任意行的重叠度对应的字符包括字符2和字符3。此时，多个第一字符可以包括：字符2和字符3。
[0161]
s118、将多个第一字符框信息通过预设异常点检测模型处理，剔除多个第一字符中与其他的第一字符密度之间密度最低的异常字符，得到多个第二字符。
[0162]
本发明实施例中，信息识别装置将多个字符框信息通过预设异常点检测模型处理，剔除多个第一字符中与其他的第一字符密度之间密度最低的异常字符，得到多个第二字符。
[0163]
其中，预设异常点检测模型可以为局部离群因子(local outlier factor，lof),异常点检测模型。本发明实施例中，对预设异常点检测模型的种类不做限制。
[0164]
如图10所示，预设目标检测模型错误地识别了左下角的“1”，该字符的位置明显异于其他字符集中的区域，所以采用lof异常点检测算法进行剔除。lof算法主要是通过比较每个点p和其邻域点的密度来判断该点是否为异常点，如果点p的密度越低，越可能被认定是异常点。至于密度，是通过点之间的距离来计算的，点之间距离越远，密度越低，距离越近，密度越高。
[0165]
本发明实施例中，信息识别装置通过计算任意两个字符之间的重叠度，构建出重叠度矩阵，进而利用重叠度矩阵对多个字符进行去重处理，去重效果好，可以得到准确度更高的目标字符识别结果。
[0166]
在一些实施例中，参见图11，图11为本发明实施例提供的信息识别方法的一个可选的流程示意图，图8示出的s113还可以通过s119至s23实现，将结合各步骤进行说明。
[0167]
s119、通过多个第二字符框信息中的多个中心点信息进行线性拟合得到拟合线，并计算多个中心点信息距离拟合线的误差平方和。
[0168]
本发明实施例中，信息识别装置通过多个第二字符框信息中的多个中心点信息进行线性拟合得到拟合线，并计算多个中心点信息距离拟合线的误差平方和。
[0169]
s120、根据误差平方和的大小确定出字符识别结果的字符层数。
[0170]
本发明实施例中，信息识别装置根据误差平方和的大小确定出字符识别结果的字符层数。
[0171]
本发明实施例中，信息识别装置判断若误差平方和大于第二阈值，则字符层数为二层。若误差平方和不大于第二阈值，则字符层数为一层。第二阈值可以为任意实数。
[0172]
本发明实施例中，信息识别装置先对所有字符的中心坐标做线性拟合，计算(mean square error，mse)(所有点到该条拟合出来的直线的误差平方和)，当mse超过一个阈值thresh时判定为双层车牌(因为如果是单层误差肯定很小)，否则为单层车牌。若判断为双层车牌则从所有字符中选择出5个点，一共21种组合，对每个组合做线性拟合求出mse，保留最小mse的字符组合。因为下层车牌的5个字符本身就在一条直线上所以在所有组合中肯定误差最小如图6所示，所以该组合“f2242”字符为单层车牌。
[0173]
s121、若字符层数为二层，则从多个第二字符中提取出包括任意的p个第二字符多个字符组合。
[0174]
本发明实施例中，若字符层数为二层，则信息识别装置从多个第二字符中提取出包括任意的p个第二字符多个字符组合。p为大于1小于t的整数；
[0175]
本发明实施例中，若所述字符层数为一层，则信息识别装置将所述多个第二字符按照各自对应所述横坐标信息的大小顺序进行拼接，得到所述字符识别结果。
[0176]
s122、对多个字符组合分别进行线性拟合，并计算得到多个误差平方和，确定出最小的误差平方和对应的字符组合中包括的p个第三字符。
[0177]
本发明实施例中，信息识别装置对多个字符组合分别进行线性拟合，并计算得到多个误差平方和，确定出最小的误差平方和对应的字符组合中包括的p个第三字符。
[0178]
本发明实施例中，信息识别装置对多个字符组合内的字符的中心点坐标信息分别进行线性拟合，得到多个组拟合线。信息识别装置对应每个组内的字符计算出每个组对应的误差平方和，得到多个误差平方和。
[0179]
s123、将其余字符按照各自对应的第二字符框信息中的横坐标信息的大小顺序进
行拼接，再将p个第三字符按照各自对应的横坐标信息的大小顺序进行拼接，得到字符识别结果。
[0180]
本发明实施例中，信息识别装置将其余字符按照各自对应的第二字符框信息中的横坐标信息的大小顺序进行拼接，再将p个第三字符按照各自对应的横坐标信息的大小顺序进行拼接，得到字符识别结果。其余字符为多个第二字符中的除p个第三字符之外的字符。
[0181]
本发明实施例中，信息识别装置对多个第二字符进行线性拟合，通过每个字符与拟合线之间的误差平方和，确定出字符的层数。由于现实场景中车牌字符的层数不确定，所以通过本方案可以更加精准的确定出字符的层数，以得到识别结果准确的目标字符识别结果。
[0182]
在一些实施例中，参见图12，图12为本发明实施例提供的信息识别方法的一个可选的流程示意图，图1示出的s101还可以通过s124至s26实现，将结合各步骤进行说明。
[0183]
s124、在视频流中提取出当前时刻对应的当前图像帧。
[0184]
本发明实施例中，信息识别装置在视频流中提取出当前时刻对应的当前图像帧。
[0185]
示例性的，摄像头实时采集当前预定区域的视频流传送给信息识别装置。信息识别装置接收到实时的视频流后提取出当前时刻对应的图像帧。
[0186]
s125、在视频流中以当前图像帧为起点，沿着时间轴每隔预定时长或者预定数量的图像帧提取出一个图像帧，直至提取得到n-1个图像帧。
[0187]
本发明实施例中，信息识别装置在视频流中以当前图像帧为起点，沿着时间轴每隔预定时长或者预定数量的图像帧提取出一个图像帧，直至提取得到n-1个图像帧。
[0188]
本发明实施例中，视频流中包括了沿着时间轴分布的多个图像帧。信息识别装置可以以当前图像帧为起点，每隔1秒提取出一个图像帧，直至提取出n-1个图像帧。本发明实施例中，对预定时长不做限制。
[0189]
本发明实施例中，视频流中包括了沿着时间轴分布的多个图像帧。信息识别装置可以以当前图像帧为起点，每隔5个图像帧提取出一个图像帧，直至提取出n-1个图像帧。本发明实施例中，对预定数量不做限制。
[0190]
s126、将当前图像帧和n-1个图像帧沿时间轴组合得到n个起始图像帧。
[0191]
本发明实施例中，信息识别装置将当前图像帧和n-1个图像帧沿时间轴组合得到n个起始图像帧。
[0192]
本发明实施例中，信息识别装置将当前图像帧和n-1个图像帧，沿着各自对应的时间点从前到后的顺序进行组合得到n个图像帧。
[0193]
本发明实施例中，信息识别装置基于滑动窗口的方法提取得到当前时刻的n个图像帧，利用n个图像帧的动态特征，可以准确的判断是否有车辆到达或者离开月台。
[0194]
在一些实施例中，参见图12，图12为本发明实施例提供的信息识别方法的一个可选的流程示意图，图1示出的s103还可以通过s127至s28实现，将结合各步骤进行说明。
[0195]
s127、将多个字符识别结果中的每个字符对应的字符类别概率信息相加，得到多个总概率。
[0196]
本发明实施例中，信息识别装置将多个字符识别结果中的每个字符对应的字符类别概率信息相加，得到多个总概率。
[0197]
s128、确定多个总概率中最大的总概率对应的字符识别结果为目标字符识别结果。
[0198]
本发明实施例中，信息识别装置确定多个总概率中最大的总概率对应的字符识别结果为目标字符识别结果。
[0199]
本发明实施例中，信息识别装置确定了字符中哪些是上层，哪些是下层(单层车牌的所有字符看成下层车牌)，因为同一层车牌在x轴上的相对位置是确定的，所以先将上层车牌的字符按照x坐标从小到大的位置顺序依次拼接字符，然后将下层车牌的字符按照x坐标从小到大的位置顺序接着上层车牌的字符串拼接字符，最终得到的字符串即为最终的车牌号。由于在事件被触发时开始进行车牌识别，事件完成后结束识别，对于一辆车会有多个识别结果。由于环境等因素的影响，每次的识别结果可能会不一致。因此，需要将多次的识别结果合并。合并的方式为，对每一个位置，将每次识别结果中每个字符的概率相加，取总体概率最大的一个字符作为该位置对应的字符。
[0200]
本发明实施例中，信息识别装置通过在多个字符识别结果中确定出概率和最大的目标字符识别结果，所以得到的识别结果更加准确。
[0201]
在一些实施例中，参见图13，图13为本发明实施例提供的信息识别方法的一个可选的流程示意图，将结合各步骤进行说明。
[0202]
s201、标注后车厢数据。
[0203]
本发明实施例中，目标对象需要在大量的图片中对后车厢进行标注，以形成样本数据进行训练。
[0204]
s202、训练车体检测模型。
[0205]
s203、标注车牌及车牌字符数据。
[0206]
s204、生成车牌及车牌字符及其标记数据。
[0207]
s205、训练车牌及车牌字符检测模型。
[0208]
本方案的系统流程包括训练流程和使用流程。在训练流程中，需要收集和标注车体，车牌和车牌字符数据，同时自动生成高仿真的车牌及车牌字符数据，训练车体，车牌和车牌字符的检测模型。模型训练完成后，则部署在边缘计算盒子上供实际使用。
[0209]
s206、从视频流中实时抽取图片(0.2秒一帧)。
[0210]
信息识别装置从监控摄像头的视频流中实时抽取图片，每隔0.2秒抽取一帧。
[0211]
s207、车体检测。
[0212]
信息识别装置抽取的图片使用车体识别模块判断当前月台是否有车辆。
[0213]
s208、车辆动态/月台状态/事件识别。
[0214]
信息识别装置通过当前帧的车辆识别情况与前n个帧的识别情况共同判断当前车辆和月台的状态以及是否产生事件。
[0215]
s209、车牌检测。
[0216]
如果触发事件监控，则信息识别装置进行车牌检测，事件结束后停止检测
[0217]
s210、车牌字符检测。
[0218]
信息识别装置将检测到的车牌区域向外扩展一定范围，截取后输送到车牌识别模块。
[0219]
s211、生成车牌号。
[0220]
信息识别装置输出车牌识别结果。
[0221]
在部署的过程中，每个深度学习模型都转换成tensorrt的格式，以优化资源使用。在实际使用的过程中，监控摄像头要放置在仓库门的顶端，向斜下拍摄，以保证在不影响生产的前提下收集月台监控画面。摄像头直接连接到边缘盒子，车辆/车牌识别的所有模块在边缘盒子上部署，对摄像头收集的视频进行分析，并向线上系统上报识别结果。由于摄像头采集画面的范围较大，本方案只选取月台对应的车位进行监控，以排除其它区域的干扰。一个摄像头可配置多个监控区域，每个区域之间相互独立，分别进行车辆/车牌识别。整体流程如图14所示，摄像头100采集监控区域视频流，传输给边缘盒子101，边缘盒子101对视频流中的每个时刻的n个图像帧进行处理，触发事件监控，最终输出车牌号。
[0222]
参见图15，图15为本发明实施例提供的信息识别装置的结构示意图。
[0223]
本发明实施例还提供了一种信息识别装置800，，包括：采集提取单元803、检测处理单元804和确定单元805。
[0224]
采集提取单元，用于实时采集预定区域的视频流，并基于滑动窗口的方法在所述视频流中提取出当前时刻对应的n个起始图像帧；n为大于1的整数；
[0225]
检测处理单元，用于若针对所述n个起始图像帧检测得到其中的第一物体为起始状态，则对每个图像帧中待测区域图像内的字符进行去重优化处理得到字符识别结果，直至针对n个终止图像帧检测得到其中的所述第一物体为终止状态时停止，得到多个字符识别结果；其中，所述n个终止图像帧是在所述视频流中距离所述当前时刻任意时长后的终止时刻提取到的；所述每个图像帧属于所述当前时刻至所述终止时刻在所述视频流中提取的多个图像帧；
[0226]
确定单元，用于基于所述多个字符识别结果，确定出目标字符识别结果。
[0227]
本发明实施例中，信息识别装置800中的检测处理单元804用于对所述n个起始图像帧进行检测得到起始检测结果；若所述起始检测结果表征所述第一物体为靠近或者远离目标区域的状态，则从所述n个起始图像帧中的第一图像帧为起点针对在所述视频流中提取出的所述每个图像帧进行处理，得到对应的所述待测区域图像；利用预设目标检测模型对所述待测区域图像进行处理，得到多个字符及对应的字符相关信息；利用所述字符相关信息对所述多个字符进行去重优化处理，得到一定次序字符组成的所述字符识别结果，直至终止检测结果表征所述第一物体为无位移变化的状态或者所述终止时刻无所述第一物体的状态时停止，得到所述多个字符识别结果；所述终止检测结果为对应所述n个终止图像帧进行检测得到的。
[0228]
本发明实施例中，信息识别装置800中的检测处理单元804用于利用第一预设检测模型对所述n个起始图像帧进行处理，得到所述起始检测结果；若所述起始检测结果表征所述n个起始图像帧中至少有m个起始图像帧中包括所述第一物体，且所述第一物体与所述目标区域的距离在变大或者变小，则将所述每个图像帧通过第二预设检测模型处理，得到所述待测区域图像；m为大于1小于n的整数。
[0229]
本发明实施例中，信息识别装置800中的检测处理单元804用于利用预设目标检测模型对所述待测区域图像进行处理，得到所述多个字符，及所述多个字符分别对应的字符类别概率信息和字符框信息。
[0230]
本发明实施例中，信息识别装置800中的检测处理单元804用于利用多个字符框信
息计算得到重叠度矩阵，并结合所述重叠度矩阵对所述多个字符进行去重处理，得到多个第一字符；结合所述多个第一字符分别对应的第一字符框信息剔除所述多个第一字符中的异常字符，得到多个第二字符；利用所述多个第二字符分别对应的第二字符框信息，对所述多个第二字符进行分层排序处理得到所述字符识别结果，直至所述终止检测结果表征所述n个终止图像帧中至少有m个终止图像帧中的所述第一物体与所述目标区域的距离无变化，或者所述n个起始图像帧中有k个终止图像帧中包括所述第一物体时停止，得到所述多个字符识别结果；k为大于等于1小于m的整数。
[0231]
本发明实施例中，信息识别装置800中的检测处理单元804用于利用所述多个字符框信息包括的多个字符框面积信息，计算任意两个字符之间的重叠度，并通过得到的多个重叠度构建出所述重叠度矩阵；将所述多个重叠度依次与预设阈值进行比较，得到每个重叠度的比较结果；若所述比较结果表征对应的第一重叠度大于所述预设阈值，则将重叠字符在所述重叠度矩阵中对应的行和列删除得到新的重叠度矩阵，直至所述重叠度矩阵中的所述重叠度均小于所述预设阈值时得到目标矩阵；所述重叠字符为所述第一重叠度对应的所述字符类别概率最小的字符；通过所述目标矩阵包括的任意行中的所述重叠度对应的字符，确定出所述多个第一字符。
[0232]
本发明实施例中，所述多个字符包括：t个字符；所述多个字符框面积信息包括：t个字符框面积信息；t为大于1的整数；信息识别装置800中的检测处理单元804用于所述利用所述多个字符框信息包括的多个字符框面积信息，计算任意两个字符之间的重叠度，并通过得到的多个重叠度构建出所述重叠度矩阵包括：根据第1个字符的字符框面积信息至第t个字符的字符框面积信息，计算出所述第1个字符分别与所述第1个字符至第t个字符的第一组t个重叠度；利用所述第一组t个重叠度构建出所述重叠度矩阵的第一行，直至计算得到第t个字符分别与所述第1个字符至所述第t个字符的第t组t个重叠度，利用所述第t组t个重叠度构建出所述重叠度矩阵的最后一行，进而得到所述重叠度矩阵。
[0233]
本发明实施例中，信息识别装置800中的检测处理单元804用于将多个第一字符框信息通过预设异常点检测模型处理，剔除所述多个第一字符中与其他的第一字符密度之间密度最低的所述异常字符，得到所述多个第二字符。
[0234]
本发明实施例中，信息识别装置800中的检测处理单元804用于通过所述多个第二字符框信息中的多个中心点信息进行线性拟合得到拟合线，并计算所述多个中心点信息距离所述拟合线的误差平方和；根据所述误差平方和的大小确定出所述字符识别结果的字符层数；若所述字符层数为二层，则从所述多个第二字符中提取出包括任意的p个第二字符多个字符组合；p为大于1小于t的整数；对所述多个字符组合分别进行线性拟合，并计算得到多个误差平方和，确定出最小的误差平方和对应的字符组合中包括的p个第三字符；将其余字符按照各自对应的第二字符框信息中的横坐标信息的大小顺序进行拼接，再将所述p个第三字符按照各自对应的横坐标信息的大小顺序进行拼接，得到所述字符识别结果；所述其余字符为所述多个第二字符中的除所述p个第三字符之外的字符。
[0235]
本发明实施例中，信息识别装置800中的检测处理单元804用于若所述字符层数为一层，则将所述多个第二字符按照各自对应所述横坐标信息的大小顺序进行拼接，得到所述字符识别结果。
[0236]
本发明实施例中，信息识别装置800中的确定单元805用于将所述多个字符识别结
果中的每个字符对应的字符类别概率信息相加，得到多个总概率；确定所述多个总概率中最大的总概率对应的字符识别结果为所述目标字符识别结果。
[0237]
本发明实施例中，信息识别装置800中的采集提取单元803用于在所述视频流中提取出所述当前时刻对应的当前图像帧；在所述视频流中以所述当前图像帧为起点，沿着时间轴每隔预定时长或者预定数量的图像帧提取出一个图像帧，直至提取得到n-1个图像帧；将所述当前图像帧和所述n-1个图像帧沿时间轴组合得到所述n个起始图像帧。
[0238]
本发明实施例中，信息识别装置800中的采集提取单元803用于实时采集预定区域的视频流，并基于滑动窗口的方法在视频流中提取出当前时刻对应的n个起始图像帧；n为大于1的整数；通过检测处理单元804若针对n个起始图像帧检测得到其中的第一物体为起始状态，则对每个图像帧中待测区域图像内的字符进行去重优化处理得到字符识别结果，直至针对n个终止图像帧检测得到其中的第一物体为终止状态时停止，得到多个字符识别结果；其中，n个终止图像帧是在视频流中距离当前时刻任意时长后的终止时刻提取到的；图像帧属于当前时刻至终止时刻在视频流中提取的多个图像帧；通过确定单元805基于多个字符识别结果，确定出目标字符识别结果。由于本方案通过抓取在第一物体到达和离开的期间对车牌信息进行识别，并且同时对识别得到的字符进行去重和优化处理，克服了车牌识别过程中的格式多样化的困难，进而可以提高对车牌信息的识别准确率。
[0239]
需要说明的是，本发明实施例中，如果以软件功能模块的形式实现上述的信息识别方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台信息识别装置(可以是个人计算机等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本发明实施例不限制于任何特定的硬件和软件结合。
[0240]
对应地，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的步骤。
[0241]
对应地，本发明实施例提供一种信息识别装置，包括存储器802和处理器801，所述存储器802存储有可在处理器801上运行的计算机程序，所述处理器801执行所述程序时实现上述方法中的步骤。
[0242]
这里需要指出的是：以上存储介质和装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本发明存储介质和装置实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解。
[0243]
需要说明的是，图16为本发明实施例提供的信息识别装置的一种硬件实体示意图，如图16所示，该信息识别装置800的硬件实体包括：处理器801和存储器802，其中；
[0244]
处理器801通常控制信息识别装置800的总体操作。
[0245]
存储器802配置为存储由处理器801可执行的指令和应用，还可以缓存待处理器801以及信息识别装置800中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(flash)或随机访问存储器(random access memory，ram)实现。
[0246]
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0247]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0248]
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
[0249]
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0250]
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0251]
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储装置、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。
[0252]
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机、服务器、或者网络装置等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储装置、rom、磁碟或者光盘等各种可以存储程序代码的介质。
[0253]
以上所述，仅为本发明的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。