一种基于视频识别的机动车检验监管系统的制作方法

1.本发明涉及信息处理技术领域，具体为一种基于视频识别的机动车检验监管系统。


背景技术：

2.机动车安全技术检验是检测机动车运行安全性能的有效手段，是我国机动车管理的重要环节。为了统一标准，全国统一应用了检验业务信息管理系统和机动车检验监管系统，通过交通管理部门与各检验机构间系统联网，实现机动车安全技术检验监管系统对所有的检验业务信息系统的监管。在监管过程中，在检验工位上设置视频监控设备，通过音视频采集管理系统控制视频监控设备上传机动车检验过程的全过程视频，监管人员对机动车检验过程视频进行监控，检验业务信息管理系统将检验过程详细结果和关键工位检验过程图片信息实时上传到机动车检验监管系统中，在机动车检验监管系统中进行审核。
3.为了减少监管过程中的人工审核的工作量，部分地市使用机动车检验过程照片智能审核系统，通过智能图像识别和筛选。然而，目前的音视频监控大多数的应用场景是：事中抓拍静态的过程照片上传到机动车检验监管系统中进行审核，以及事后随机视频抽查，或发现异常后再调阅视频进行责任倒查。虽然在一定程度上震慑了机动车检验过程中的违规违法行为。但是因为：监管实时抽查比例过低，事后抽查也无法保证实时性和公正性；内外勾结配合作弊的问题仍然存在，因为照片审核方式技术单一，静态图片数据造假成本较低，存在作弊空间。所以导致现有的监管系统在实际应用中的监管效果没有达到预期。


技术实现要素：

4.为了解决现有的基于静态图片的机动车检验监管系统在实际应用中监管效果未达预期的问题，本发明提供一种基于视频识别的机动车检验监管系统，其可以降低数据被造假的可能性，确保监管数据的准确性，提高监管系统的监管效果。
5.本发明的技术方案是这样的：一种基于视频识别的机动车检验监管系统，其包括：视频监控设备、音视频采集管理系统，其特征在于，其还包括：机动车检验监管模块、视频识别模块和预设在检验现场的专用数据采集器；所述音视频采集管理系统控制所述视频监控设备，实现对机动车检验全过程和关键检测工位的视频监控，同时根据检验业务信息管理系统写入的检验车辆、检验项目、项目检验开始时间和结束时间为标记对视频文件进行分段和调取，以及支持检验过程中的视频和图像抓拍；所述音视频采集管理系统包括：视频存储单元、视频联网单元、项目视频文件标记单元和视频流播放和输出单元；所述视频存储单元，用于存储、标记检验工位上的检验项目过程视频；所述视频联网单元，用于实现视频专网和业务专网之间的互联互通和实时视频播放；
所述项目视频文件标记单元，按照检验业务信息管理系统需求，标记检验项目视频播放地址和格式；检验业务信息管理系统在每个检验项目开始时，通过所述项目视频文件标记单元，写入视频文件开始时间，在每个检验项目结束后，通过所述项目视频文件标记单元写入视频文件结束时间；所述视频流播放和输出单元，用于输出视频流；所述视频识别模块根据视频地址和视频类型对所述监控视频数据进行识别，得到视频识别结果；所述专用数据采集器在机动车检验过程中，按照预设的旁路数据检验项目，将采集到的数据作为旁路检验信息向所述机动车检验监管模块推送；所述旁路数据检验项目为所述待确认车辆在检验项目中的通过所述视频监控设备无法监控到的视频音频以外的检验项目；所述旁路检验信息从专线传送到所述机动车检验监管模块中；所述机动车检验监管模块读取检验业务信息管理系统上传的检验过程信息，根据所述检验过程信息，按照检验项目确认识别内容，将所述检验过程信息与所述检验项目对应的所述监控视频数据的所述视频识别结果和所述旁路数据检验信息共同进行比对分析，实现对机动车检验过程数据实时监管和异常数据的识别和报警处理；所述检验业务信息管理系统在对待确认机动车进行检验开始之前，采集所述待确认机动车的机动车信息，并通过所述机动车检验监管模块，通过所述机动车检验监管模块比对所述待确认机动车机动车登记信息，将比对结果作为待确认机动车的机动车唯一性比对结果信息进行存储；所述机动车检验监管模块包括：检验项目开始接收单元、检验过程图片接收单元、检验详细结果接收单元、检验项目结束接收单元、视频结果分析处理单元、视频结果分析处理单元和数据异常处理单元；所述检验项目开始接收单元，用于接收检验项目开始信息、合法性校验；在开始每一个所述检验项目时，所述检验业务信息管理系统通过所述检验项目开始接收单元写入检验项目开始信息；所述检验过程图片接收单元，用于接收项目检验过程中所述视频监控设备抓拍的照片；所述检验项目实施过程中，所述检验业务信息管理系统将随机拍摄的机动车检验过程照片，通过所述检验过程图片接收单元写入检验照片信息；所述检验详细结果接收单元，在每个检验项目结束后，接收所述检验业务信息管理系统上传的所有的检验过程信息；所述检验过程信息为所述检验项目包括的所有检验项目信息和所述检验项目对应的识别结果，所述检验过程信息中，所有数据按照每个所述检验项目分别存储和标记；所述检验项目结束接收单元，用于接收检验项目结束信息、合法性校验；在每个检验项目结束后，所述检验业务信息管理系统通过所述检验项目结束接收单元写入项目结束信息；所述系统调度控制单元，用于在项目检验结束后，根据检验车辆、检验项目及检验开始、结束时间，向所述视频识别模块发起视频识别计算请求；所述视频结果分析处理单元，依据预设的检验规范和要求，接收所述视频识别模块上传的所述视频识别结果，在检验项目结束后，将所述视频识别结果和所述旁路检验信
息与分别所述检验过程信息中对应的所述检验项目的识别结果进行比对；如果比对结果中的数据误差超过设定阀值或比对结果不符的进行预警，则将对应的检验项目和比对结果传递给所述数据异常处理单元所述数据异常处理单元，用于筛选检验过程出现异常的项目，发起异常调查处置流程。
6.其进一步特征在于：所述视频监控设备与其他模块设置于互相隔离的网络环境中，不同的网络环境之间没有统一的时钟服务器，基于时钟补偿算法对模块之间的时钟进行校准计算；所述时钟补偿算法包括以下步骤：a1：所述音视频采集管理系统将待校准数据上传到所述到检验业务信息管理系统所述待校准数据包括：视频监控设备抓拍视频数据以及视频数据采集上传时间；a2：所述到检验业务信息管理系统将所述待校准数据发送到所述机动车检验监管模块；a3：所述机动车检验监管模块将所述待校准数据传递给所述视频识别模块；a4：所述视频识别模块基于图像识别算法对所述视频数据的拍摄时间进行识别，将所述拍摄时间与所述视频数据采集上传时间进行比较计算，得时间差，将所述时间差返回给所述机动车检验监管模块；a5：所述所述机动车检验监管模块所述时间差以及所述视频数据采集上传时间计算得到每一个所述视频数据的真实拍摄视频时间；步骤a4中详细包括以下步骤：a41：图像降噪处理；基于所述视频数据获取图像帧，记作：待识别图像数据；对每帧所述待识别图像数据进行去噪处理；a42：对所述待识别图像数据按照预设的尺寸进行缩放，然后进行归一化处理；a43：基于dbnet模型构建文本检测模型；所述文本检测模型输入为待识别图像数据，输出为所述待处理图像数据中的文本的坐标位置；a44：将所述待识别图像数据送入所述文本检测模型中，得到所述待识别图像数据中对应的文本坐标位置；a45：基于所述文本坐标位置，对每一张所述待识别图像数据进行截取，获得文本区域图像；对所述文本区域图像按照指定尺寸进行缩放和归一化处理，得到待识别文本图像；a46：基于crnn模型构建文本识别模型；所述文本识别模型的数据为待识别文本图像，输出为文本字符；a47：将所述待识别文本图像输入到所述文本识别模型中，得到对应的文本字符；将所述文本字符根据预设的时间格式转换为时间数据，即得到所述拍摄时间；a48：将所述拍摄之间与所述视频数据采集上传时间做减法，得到所述时间差；所述检验业务信息管理系统与所述机动车检验监管模块之间，采用外挂软件接口
申请授权方式进行；所述检验过程信息采用密钥加密保存，避免第三方篡改过程信息；所述机动车检验监管模块与所述视频识别模块之间采用加密签名方式进行数据交换；针对不同算法提供厂商生成非对称密钥对，所述机动车检验监管模块发起视频检测请求时，对请求参数进行私钥签名，视频识别算法计算模块通过公钥验证签名信息；所述视频识别模块将识别结果回写至机动车检验监管模块时，采用外挂软件接口申请授权方式进行；所述视频识别模块包括：视频读取单元、视频识别计算单元和视频结果封装处理单元；所述视频读取单元接收到所述系统调度控制单元发起的视频识别计算请求后，通过视频地址读所述音视频采集管理系统存储的视频流，送入所述视频识别计算单元；所述视频识别计算单元对视频流进行抽帧处理，根据视频类型进行在线视频识别，按照识别项目要求对视频进行计算机视频运算，并将生成的计算结果送入所述视频结果封装处理单元；所述视频结果封装处理单元将视频识别结果以json格式封装打包后，上传给机动车检验监管模块中的所述视频结果分析处理单元进行后续处理；所述视频存储单元对于对于视频监控设备，支持两种管理方式：管理方式1：每条检测线通过工作站配置工位摄像头，工位程序发送开始结束信号至检测线对应的工作站，工作站通知工位摄像头进行视频照片的拍摄；所有视频拍摄完成后，储按照预设的保存期限，存储在web视频服务器中；管理方式2：所有视频监控设备的摄像头接入硬盘录像机，配置对应端口，记录每个工位的开始时间点和结束时间点，根据端口和时间点截取硬盘录像机中存储的视频数据，按照预设的保存期限保存在web视频服务器中；对于全局视角的视频存储需求，获取对应视角的非工位视频数据，按照预设的保存期限保储存在硬盘录像机中；所述视频识别模块中，当所述待确认机动车的类型为栏板货车和栏板挂车时，所述视频识别结果中包括：货箱栏板高度；所述货箱栏板高度的识别步骤包括：b1：基于centernet构建焦点估算模型；所述焦点估算模型的输入为所述待识别图像数据，输出为所述待确认机动车的车牌的四个角点的位置和大车尾部栏板四个焦点的位置；b2：根据车牌的四个角点的计算出车牌的宽和高，记作：车牌识别尺寸；根据大车尾部栏板四个焦点计算出栏板的宽度和高度，记作：货箱栏板识别尺寸；b3：获取所述车牌的标准尺寸，记作：车牌标准尺寸；b4：比较所述车牌标准尺寸和所述车牌识别尺寸；设：得到的车牌标准尺寸中宽度与车牌识别尺寸中的宽度的比值为w，高度的比值为h；b5：根据w和h，通过所述货箱栏板识别尺寸中的宽度和高度分别计算得到大车尾部栏板对应的实际宽度和高度。
7.本发明提供的一种基于视频识别的机动车检验监管系统，在机动车检验监管的原检验项目过程信息的基础上，通过项目视频识别的内容，再结合机动车登记信息、旁路检验
信息与检验项目信息根据检验规范和要求进行对比分析，极大地提高了检验过程异常情形的识别能力。本技术中将机动车安全技术检验过程按照检验项目分解，通过检验业务信息管理系统监控每个检验项目的开始和结束时间，设置监管实施的时间点，在检验项目结束后，马上通过机动车检验监管模块进行异常识别和分析，确保第一时间固定违规证据，避免了事后调查取证是证据链缺失的问题发生。基于本技术技术方案，可以降低数据被造假的可能性，确保监管数据的准确性，提高监管系统的监管效果。
附图说明
8.图1为本技术中基于视频识别的机动车检验监管系统的系统模块结构示意图；图2为机动车检验监管系统中软件模块关系示意图；图3~图6为机动车检验的检验项目的实施例；图7为基于视频监控设备采集的视频数据中的视频帧的示例；图8为基于dbnet模型对文本区域识别的流程图；图9为基于crnn模型对文本识别的实施例；图10为基于centernet模型识别车辆和车牌的四个角点的实施例。
具体实施方式
9.如图1所示，本发明包括一种基于视频识别的机动车检验监管系统，其包括：视频监控设备、音视频采集管理系统、机动车检验监管模块、视频识别模块和预设在检验现场的专用数据采集器。
10.视频监控设备设置于机动车检验全过程中的工位上。
11.专用数据采集器在机动车检验过程中，按照预设的旁路数据检验项目，将采集到的数据作为旁路检验信息向机动车检验监管模块推送；旁路数据检验项目为待确认车辆在检验项目中的通过视频监控设备无法监控到的视频音频以外的检验项目, 制动检验项目和灯光光强检验项目；旁路检验信息从专线传送到机动车检验监管模块中。
12.具体实现时，专用数据采集器为统一配置的，实现数据检验过程原始数据不可篡改的采集设备，采集的旁路检验信息如：制动力过程数据、灯光光强等检验结果数据。用于与检验机构上传的检验数据进行比对，确保检验数据的真实性。
13.音视频采集管理系统控制视频监控设备，实现对机动车检验全过程和关键检测工位的视频监控，同时支持项目过程视频信息存储、标记和调阅功能，支持检验过程视频抓拍。以接口方式提供视频文件按检验项目分段存储或标记，提供视频照片抓拍读取以及按照检验车辆、检验项目、项目检验开始时间和结束时间的方式获取视频流。
14.如图2所示，音视频采集管理系统包括：视频存储单元、视频联网单元、项目视频文件标记单元和视频流播放和输出单元。
15.视频存储单元，用于按需存储、标记检验工位上的检验项目过程视频；视频存储单元对于对于视频监控设备，支持两种管理方式：管理方式1：每条检测线通过工作站配置工位摄像头，工位程序发送开始结束信号至检测线对应的工作站，工作站通知工位摄像头进行视频照片的拍摄；所有视频拍摄完成后，储按照预设的保存期限，存储在web视频服务器中；
管理方式2：所有视频监控设备的摄像头接入硬盘录像机，配置对应端口，记录每个工位的开始时间点和结束时间点，根据端口和时间点截取硬盘录像机中存储的视频数据，按照预设的保存期限保存在web视频服务器中；对于全局视角的视频存储需求，获取对应视角的非工位视频数据，按照预设的保存期限保储存在硬盘录像机中。
16.视频联网单元，通过核心交换机实现视频专网和业务专网之间的互联互通和实时视频播放；项目视频文件标记单元，按照检验业务信息管理系统需求对视频文件按照检验项目及开始和结束时间进行标记，方便视频调阅和读取；检验业务信息管理系统在每个检验项目开始时，通过项目视频文件标记单元，写入视频文件开始时间，在每个检验项目结束后，通过项目视频文件标记单元写入视频文件结束时间；视频流播放和输出单元，用于输出视频流。视频流播放和输出单元中支持的视频数据播放和输出方式包括：以web视频服务器提供url远程调用地址方式；以rtsp格式获取指定视频流进行智能识别和输出。
17.音视频采集管理系统，根据检验业务信息管理系统写入的检验车辆、检验项目、项目检验开始时间和结束时间为标记对视频文件进行分段和调取，为解决了不同系统之间因时钟不一致带来的视频信息与检验过程文本信息不一致的问题提供数据基础。
18.机动车检验监管模块读取检验业务信息管理系统上传的检验过程信息，根据检验过程信息，按照检验项目确认识别内容，将检验过程信息与检验项目对应的监控视频数据的视频识别结果和旁路数据检验信息共同进行比对分析，实现对机动车检验过程数据实时监管和异常数据的识别和报警处理。
19.检验业务信息管理系统在对待确认机动车进行检验开始之前，采集待确认机动车的机动车信息，并通过机动车检验监管模块，通过机动车检验监管模块比对待确认机动车机动车登记信息，将比对结果作为待确认机动车的机动车唯一性比对结果信息进行存储；机动车检验监管模块包括：检验项目开始接收单元、检验过程图片接收单元、检验详细结果接收单元、检验项目结束接收单元、视频结果分析处理单元、视频结果分析处理单元和数据异常处理单元；检验项目开始接收单元，用于接收检验项目开始信息、合法性校验；在开始每一个检验项目时，检验业务信息管理系统通过检验项目开始接收单元写入检验项目开始信息；检验过程图片接收单元，用于接收项目检验过程中视频监控设备抓拍的照片；检验项目实施过程中，检验业务信息管理系统将随机拍摄的机动车检验过程照片，通过检验过程图片接收单元写入检验照片信息；检验详细结果接收单元，在每个检验项目结束后，接收检验业务信息管理系统上传的所有的检验过程信息；检验过程信息为检验项目包括的所有检验项目信息和检验项目对应的识别结果，检验过程信息中，所有数据按照每个检验项目分别存储和标记；检验项目结束接收单元，用于接收检验项目结束信息、合法性校验；在每个检验项目结束后，检验业务信息管理系统通过检验项目结束接收单元写入项目结束信息；系统调度控制单元，用于在项目检验结束后，根据检验车辆、检验项目及检验开始、结束时间，向视频识别模块发起视频识别计算请求；
视频结果分析处理单元，依据预设的检验规范和要求，接收视频识别模块上传的视频识别结果，在检验项目结束后，将视频识别结果和旁路检验信息与分别检验过程信息中对应的检验项目的识别结果进行比对；如果比对结果中的数据误差超过设定阀值或比对结果不符的进行预警，则将对应的检验项目和比对结果传递给数据异常处理单元数据异常处理单元，用于筛选检验过程出现异常的项目，发起异常调查处置流程。
20.在机动车检验监管模块中，实现对机动车检验过程数据实时监管和异常数据自动报警处理的步骤包括：d1：接收检验业务信息管理系统上传的机动车信息，与机动车技术参数、登记信息进行比对，确认唯一性。
21.d2：实时接收检验业务信息管理系统上传的检验项目、项目检测开始时间、抓拍照片、项目详细信息和项目检测结束时间。实时接收专用数据采集器的旁路检验信息，合并保存项目详细检测结果信息。
22.d3：项目检测结束后，触发系统调度控制单元。根据检验车辆、检验项目及项目检验开始、结束时间，发起视频识别计算请求。
23.d4：异步等待接收音视频采集管理系统上传的视频识别处理结果信息，保存视频识别检测内容信息。
24.d5：后台任务读取详细检验结果信息、旁路检验信息和视频识别内容结果。进行多路数据信息比对校验，数据误差超过设定阀值或比对结果不符的进行预警。
25.d6：异常预警后，可以调阅视频数据和检验结果数据，进行人工比对和审核，缺失发现问题的，取消核发检验合格标志。
26.本技术中，检验业务信息管理系统实现对机动车检验全过程的业务流程管理，采集检验过程信息的，将机动车安全技术检验中包括的所有检验项目，对应的数据按照检验项目分别存储和标记。
27.具体实现时，检验业务信息管理系统包括：车辆唯一性确认单元，用于采集检验车辆信息、与机动车唯一性信息比对；检验项目开始处理单元，用于检验项目开始指令的记录、上传；检验过程图片抓拍单元，用于检验项目过程照片的抓拍、上传；项目检验详细信息单元，用于检验项目详细结果的采集、上传；检验项目结束处理单元，用于检验项目结束指令的记录、上传。
28.检验业务信息管理系统针对每一辆待确认机动车，进行监管的过程包括以下步骤：c1：实时地监控每一辆进入安全技术检验流程的机动车，记作待确认机动车；c2：采集待确认机动车的机动车信息，并通过机动车检验监管模块接口自动比对待确认机动车机动车登记信息，将机动车检验监管模块的比对结果作为待确认机动车的机动车唯一性比对结果信息进行存储；如果比对信息不一致的，则停止检验；否则，针对待确认机动车，实施步骤c3；c3：在开始每一个检验项目时，通过检验项目开始接收单元提供的接口写入检验项目开始信息；同步通过项目视频文件标记单元提供的接口，写入视频文件开始时间；c4：每个检验项目实施过程中，通过视频监控设备随机拍摄机动车检验过程照片，
通过检验过程图片信息接收单元提供的接口写入检验照片信息；c5：检验项目结束后，检验业务信息模块通过项目视频文件标记单元提供的接口，写入视频文件结束时间；通过检验项目结束接收单元提供的接口写入检验项目信息和项目结束信息；c6：循环执行步骤c1~c4，直至待确认机动车对应的所有项目都检验结束，通过机动车检验监管模块写入检验结束信息。
29.检验业务信息管理系统与机动车检验监管模块之间，采用外挂软件接口申请授权方式进行；检验过程信息采用密钥加密保存，避免第三方篡改过程信息；机动车检验监管模块与视频识别模块之间采用加密签名方式进行数据交换；针对不同算法提供厂商生成非对称密钥对，机动车检验监管模块发起视频检测请求时，对请求参数进行私钥签名，视频识别算法计算模块通过公钥验证签名信息；视频识别模块将识别结果回写至机动车检验监管模块时，采用外挂软件接口申请授权方式进行；确保整个监管过程的安全性和结果的公正性。
30.实际应用中，因为检验业务信息管理系统和机动车检验监管系统都工作在专网中不同的局域网里，视频监控设备、音视频采集管理系统和检验业务信息管理系统设置在同一个局域网，机动车检验监管系统其他模块工作在另外的局域网，而专网环境中，在不同的局域网环境之间没有统一的时钟服务器，这就导致前端的视频监控设备的录制视频时间与机动车检验监管系统的其他业务受理模块的时间不一致。同一个机动车检验监管系统中的不同模块之间时间不一致，一方面影响了视频检索效率，另一方面会引起标记的视频与业务数据无法精确对应，导致视频识别检测结果的准确率偏低。所以，本技术中基于时钟补偿算法对模块之间的时钟进行校准计算。
31.时钟补偿算法包括以下步骤：a1：音视频采集管理系统将待校准数据上传到到检验业务信息管理系统待校准数据包括：视频监控设备抓拍视频数据以及视频数据采集上传时间；a2：到检验业务信息管理系统将待校准数据发送到机动车检验监管模块；a3：机动车检验监管模块将待校准数据传递给视频识别模块；a4：视频识别模块基于图像识别算法，如ocr技术，对视频数据的拍摄时间进行识别，将拍摄时间与视频数据采集上传时间进行比较计算，得时间差，将时间差返回给机动车检验监管模块；a5：机动车检验监管模块时间差以及视频数据采集上传时间计算得到每一个视频数据的真实拍摄视频时间。
32.如：音视频采集管理系统正在进行外观检测左前场景的检验项目的录制，检验业务信息管理系统根据视频开始录制时间（2022-09-01 12：25：00）从音视频采集管理系统的视频流中获取视频帧数据，如图7所示为本实施例中的待识别图像数据，同时上传待识别图像数据到检验业务信息管理系统。
33.检验业务信息管理系统上传待识别图像数据、视频开始录制时间、视频结束录制时间到检验监管系统。
34.机动车检验监管模块发送传待识别图像数据、视频上传时间给视频识别模块。
35.视频识别模块使用ocr技术，使用基于dbnet模型构建文本检测模型对图片时间进
行识别，同时根据上传时间计算时间差返回给机动车检验监管模块。本实施例中计算后得到的时间差是1分38秒。
36.机动车检验监管模块根据时间差和视频开始录制时间计算出音视频采集管理系统真实视频开始录制时间和视频结束时间，获取正确视频发送给视频识别模块。
37.如图8所示，将待识别文本图像作为图片输入到dbnet模型中，训练好的dbnet模型具备完整的与制图，根据阈值图对输入的待识别文本图像进行分割，得到分割图；本技术中，基于dbnet模型构建文本检测模型对待识别图像数据中的时间进行识别，采用dbnet算法，基于分割算法，提出可微分二值化的概念：即对每一个像素点进行自适应二值化，二值化阈值由网络学习得到，彻底将二值化这一步骤加入到网络里一起训练，这样最终的输出图对于阈值具备很高的鲁棒性，进而确保检测结果的准确性。
38.步骤a4中详细包括以下步骤：a41：图像降噪处理；基于视频数据获取图像帧，记作：待识别图像数据；对每帧待识别图像数据进行去噪处理；a42：对待识别图像数据按照预设的尺寸进行缩放，然后进行归一化处理；a43：基于dbnet模型构建文本检测模型；文本检测模型输入为待识别图像数据，即步骤a42中经过缩放和归一化处理的高维数组数据，输出为待处理图像数据中的文本的坐标位置；在实际应用时，构造的dbnet模型的训练数据来自于两部分，一部分是从视频业务场景中获取数据，另一部分是编写文本图片生成程序来合成的数据，真实数据大概2000张，合成数据有5万张图片，然后对真实图片进行人工标注，合成图片自带标注信息，利用所有数据来训练dbnet的文本检测模型。模型的训练过程中，采用adam的优化策略，学习率设置成0.001，如果学习率设置的太大，有可能不收敛，同时设置大太小会导致收敛的非常慢；a44：将待识别图像数据送入文本检测模型中，得到待识别图像数据中对应的文本坐标位置；a45：基于文本坐标位置，对每一张待识别图像数据进行截取，获得文本区域图像；因为本技术中使用的视频监控设备采集的视频图像中，时间显示的位置时固定的，所以直接定义文本坐标位置即可确定时间所在画面位置，不会与视频中其他的文字区域发生混淆，也无需对其他文字进行识别和排查，极大地提高了计算效率；对文本区域图像按照指定尺寸进行缩放和归一化处理，得到待识别文本图像；a46：基于crnn模型构建文本识别模型；文本识别模型的数据为待识别文本图像，输出为文本字符，实现由图片中的文本到可以编辑的文本字符的识别过程；a47：将待识别文本图像输入到文本识别模型中，得到对应的文本字符；将文本字符根据预设的时间格式转换为时间数据，即得到拍摄时间；a48：将拍摄之间与视频数据采集上传时间做减法，得到时间差。
39.文字识别是对序列的预测方法，所以采用了对序列预测的rnn网络。通过cnn将图片的特征提取出来后采用rnn对序列进行预测，最后通过一个ctc的翻译层得到最终结果。
40.crnn算法主要采用的是cnn+rnn+ctc三层网络结构，从下到上依次为：
（1）卷积层，使用cnn，从输入图像中提取特征序列；（2）循环层，使用rnn，预测从卷积层获取的特征序列的标签（真实值）分布；（3）转录层，使用ctc，把从循环层获取的标签分布通过去重整合等操作转换成最终的识别结果。
41.如图9所示，是对日期的识别，将待识别文本图像输入到卷积层，提取特征序列后，经过循环层预测处理得到对应的文本字符，经过转录层处理得到最终的之别结果，即得到按照预设格式输出的文本字符：09-01-2022；对具体时间的识别过程与对日期识别过程相同。
42.视频识别模块根据视频地址和视频类型对监控视频数据进行识别，得到视频识别结果。
43.视频识别模块包括：视频读取单元、视频识别计算单元和视频结果封装处理单元；视频读取单元接收到系统调度控制单元发起的视频识别计算请求后，根据检验车辆、检验项目及项目检验开始、结束时间，通过视频地址读音视频采集管理系统存储的视频流，送入视频识别计算单元；视频识别计算单元对视频流进行抽帧处理，根据视频类型进行在线视频识别，按照如图3~图6所示的识别项目要求，对视频进行计算机视频运算，并将生成的计算结果送入视频结果封装处理单元；其中，视频识别计算单元的识别内容包括：外观、检验时间、反光标识、防护装置、灯光、号牌号码、号牌放大号、位移、工作人员、行驶区域范围和定位；视频结果封装处理单元将视频识别结果以json格式封装打包后，上传给机动车检验监管模块中的视频结果分析处理单元进行后续处理。
44.视频识别模块中，当待确认机动车的类型为栏板货车和栏板挂车时，视频识别结果中包括：货箱栏板高度；传统的以“货箱栏板标尺”作为参照物计算高度的方式因视频头拍摄角度、距离远近位置的不确定导致算法识别计算误差比较大。本技术技术方案通过车辆号牌作为参照物去计算高度减少误差率。车辆号牌是标准件，长度、宽度都属于国标，通过同一视频的号牌与要计算高的对比，可以更准确地解决高度计算误差较大的问题，同时无需借由车牌的标准尺寸进行计算，无须考虑图像的拍摄角度等问题，计算速度更快，效率更高。
45.货箱栏板高度的识别步骤包括：c1：基于centernet构建焦点估算模型；焦点估算模型的输入为待识别图像数据，输出为待确认机动车的车牌的四个角点的位置和大车尾部栏板四个焦点的位置；c2：根据车牌的四个角点的计算出车牌的宽和高，记作：车牌识别尺寸；根据大车尾部栏板四个焦点计算出栏板的宽度和高度，记作：货箱栏板识别尺寸；c3：获取车牌的标准尺寸，记作：车牌标准尺寸；c4：比较车牌标准尺寸和车牌识别尺寸；设：得到的车牌标准尺寸中宽度与车牌识别尺寸中的宽度的比值为w，高度的比值为h；c5：根据w和h，通过货箱栏板识别尺寸中的宽度和高度分别计算得到大车尾部栏
板对应的实际宽度和高度。
46.如图10所示，待识别图像数据经过缩放和归一化处理送入centernet网络，网络得到最后大车和车牌的四个角点，具体位置如图所示。
47.根据图片中车牌的四个角点坐标为[[1959,2235],[2197,2245],[1951,2360],[2195,2369]]，大车尾部栏板四个角点[[1452,298],[2951,618],[2755,2230],[1332,2149]]，计算出图片中车牌的宽为38，大车车厢宽度为499，由于实际车牌具有标准宽和高，标准宽是45cm，根据上述数据，按照比例计算出大车尾部栏板的实际宽度是590.9cm。
[0048]
本发明提供的一种基于视频识别的机动车检验监管系统，其可以实现车辆外观检查、底盘检查、线内检验、路试等全过程检测视频信息智能识别在线监管，为解决擅减检验项目、降低检验标准、篡改/伪造检验数据等突出问题提供技术支撑。同时，可以进一步释放有限的警力资源，充分发挥音视频监控系统的直观、准确、及时和信息内容丰富等特点，有针对性地开展业务抽查、回放等工作。本技术方案通过在机动车检验监管的原检验项目过程信息的基础上，增加项目视频识别的内容后，再结合机动车登记信息、检验详细结果信息、旁路检验信息后。依据检验规范和要求，对项目检验结果和详细信息与视频识别获取的结果进行比较和对比分析，确保检验工作人员按照检验流程和标准操作动作对机动车进行安全检验，避免不检验或者不按检验操作规程进行检验。同时，通过号牌识别、放大号牌识别和车辆外观识别的综合应用，一定程度上可以避免替检行为发生。通过系统的推广应用，利用视频识别和实时异常识别预警技术在一定程度上可以逐步代替大量人工照片审核，有利于逐步转变工作模式，提高工作效率和规范管理。本技术技术方案中，通过ai视频识别技术的应用，可以提升监督管理部门的履职能力，及时发现替检、降低检验标准、检验过程未按规定动作操作等异常行为并进行干预。基于视频监控的人工智能技术可以有效避免图片造假，同时通过ai技术的应用，可以提高工作效率，及时发现可能出现的数据造假问题，强化监督管理职责。