铁路动车故障图像智能识别模型鲁棒性测试方法与流程

本发明涉及铁路动车故障图像智能识别模型鲁棒性测试方法，属于网络模型性能测试领域。

背景技术：

1、动车故障检测工作，最早由检测人员在段内完成，其检测手段依赖于作业人员室外目视或通过人工室内浏览图像。这种方式受作业人员的业务素质、责任心、劳动强度等因素影响较大，容易发生错检、漏检等情况，作业质量难以保证，一旦出现设备质量问题，存在较大的行车安全隐患。后来开始采用神经网络模型根据列车图像对铁路动车进行智能故障识别。这种识别方式效率较高。

2、但是铁路列车故障识别模型在使用过程中可能会由于各种原因而造成测试能力下降或造成程序错误，使得智能识别模型的鲁棒性降低。

3、为了保证智能识别对象的产品质量，需要确保智能识别模型的鲁棒性。

技术实现思路

1、针对用于铁路列车故障识别的智能识别模型鲁棒性无法确定从而无法保证识别结果准确性的问题，本发明提供一种铁路动车故障图像智能识别模型鲁棒性测试方法。

2、本发明的一种铁路动车故障图像智能识别模型鲁棒性测试方法，包括，

3、构建异常测试数据集；

4、将异常测试数据集中的样本按照厂家、站名、车型、辆序和图像采集站命名，并按照车辆故障位置形成多个子集；

5、根据待测试智能识别模型可识别的故障位置及覆盖的厂家、站名和车型选择子集中的样本数据，形成测试用例集；测试用例集中每个测试用例配置故障标签；故障标签包括辆序、图像采集站命名和故障位置；

6、采用待测试智能识别模型对测试用例集中每个测试用例进行故障识别，根据识别结果与相应的故障标签确定智能识别模型的性能。

7、根据本发明的铁路动车故障图像智能识别模型鲁棒性测试方法，所述异常测试数据集以子集的形式存储在nas数据存储服务器上。

8、根据本发明的铁路动车故障图像智能识别模型鲁棒性测试方法，故障位置包括转向架、侧面中间部、互钩差、制动梁、底面中间部、车钩钩缓、车体、车顶和地板。

9、根据本发明的铁路动车故障图像智能识别模型鲁棒性测试方法，异常测试数据集中的样本由图像采集站采集的原始图片进行数据加工处理获得。

10、根据本发明的铁路动车故障图像智能识别模型鲁棒性测试方法，异常测试数据集中的样本的故障类别包括图片内容缺失、图片像素过大、图像明暗度过亮、图像明暗度过暗和空白图像。

11、根据本发明的铁路动车故障图像智能识别模型鲁棒性测试方法，采用图像数据处理模块对原始图片进行数据加工处理得到异常测试数据集中的样本的方法为：

12、采用数据库脚本将原始图片导入测试环境中，并配置原始图片属性明细表，属性明细表中记载原始图片的车次、过车时间、车型、列车总辆数、辆序和故障位置；

13、图像数据处理模块基于待测试智能识别模型可识别的故障位置确定待生成测试用例集，并确定待生成测试用例集所需要的异常数据过车信息；在原始图片数据库中查找对应的原始图片，读入所有相关原始图片数据，并将原始图片数据复制到nas数据存储服务器上；再根据故障类别对不同站名、厂家和车型的原始图片进行处理，获得异常测试数据集中的样本。

14、根据本发明的铁路动车故障图像智能识别模型鲁棒性测试方法，获得图片内容缺失的样本的方法为：对原始图片进行局部缺失处理；

15、获得图片像素过大的样本的方法为：对原始图片的像素进行接近或越过边界值的处理；

16、获得图像明暗度过亮和图像明暗度过暗的样本的方法为：通过调整图像数据处理模块的config值调节原始图片灰度值，使图像明暗度过亮和图像明暗度过暗。

17、根据本发明的铁路动车故障图像智能识别模型鲁棒性测试方法，对智能识别模型的鲁棒性测试还包括对图片存储路径的测试，对图片格式的测试和非法图像号的测试：

18、对图片存储路径的测试包括判断样本是否处于对应路径下；

19、对图片格式的测试包括判断样本图像是否为bmp、png、tif、gif、pcx或tga格式；

20、对非法图像号的测试包括判断样本的命名中是否含有非法字符。

21、根据本发明的铁路动车故障图像智能识别模型鲁棒性测试方法，采用配置文件模块将待测试智能识别模型所需的程序模板保存在相应的测试环境中；再采用配置文件模块获取当前测试用例集名称并选择对应的测试用例集路径，自动读取测试用例的标签信息；并根据当前测试用例集名称在测试用例集站点层级目录下基于程序模板生成待测试智能识别模型的配置程序和测试执行脚本；

22、在测试环境中启动配置程序和测试执行脚本，测试执行脚本将配置程序复制到框架程序路径中，并按照站名过车时间依次执行异测试用例；

23、待测试智能识别模型分为多个进程通过消息队列和框架程序通信，进行图像识别，并将识别结果文件保存到指定路径下，由框架程序读取并处理。

24、根据本发明的铁路动车故障图像智能识别模型鲁棒性测试方法，框架程序在分析脚本alarmcode配置文件中，配置软件概要模型所有异常处理返回值；通过执行分析结果脚本查看框架日志和识别进程日志的异常情况，并确定智能识别模型的识别结果返回值与软件概要模型异常处理返回值是否相符；设定软件概要模型异常处理返回值为：

25、返回值000为无异常；001代表缺图；002代表图片像素过大；003代表图像过亮；004代表图像过暗；005代表无图像；006代表非法图像号；007代表gpu掉线；008代表显存不足；

26、若智能识别模型的识别结果返回值与软件概要模型异常处理返回值不同，则报警；

27、若智能识别模型的识别结果无返回值，表示智能识别模型宕机。

28、本发明的有益效果：本发明方法可以提前发现智能识别模型存在的问题，从而保证模型在长时间运行下的稳定性，减轻人工作业确认故障的成本。

29、本发明通过人工构建异常测试数据，来测试智能识别模型对异常输入数据的反应，可以评估智能识别模型处理错误的能力，从而确定其鲁棒性能。本发明方法可自动选取原始图片加工处理成异常数据，并自动执行识别模型测试，节省了大量的人力成本和时间成本，极大程度的提高了测试效率。本发明方法可扩展应用性强，可以应用到机车走行部、地铁轨道交通、铁路货车、高铁故障图像识别模型测试中。

技术特征：

1.一种铁路动车故障图像智能识别模型鲁棒性测试方法，其特征在于包括，

2.根据权利要求1所述的铁路动车故障图像智能识别模型鲁棒性测试方法，其特征在于，所述异常测试数据集以子集的形式存储在nas数据存储服务器上。

3.根据权利要求2所述的铁路动车故障图像智能识别模型鲁棒性测试方法，其特征在于，故障位置包括转向架、侧面中间部、互钩差、制动梁、底面中间部、车钩钩缓、车体、车顶和地板。

4.根据权利要求3所述的铁路动车故障图像智能识别模型鲁棒性测试方法，其特征在于，异常测试数据集中的样本由图像采集站采集的原始图片进行数据加工处理获得。

5.根据权利要求4所述的铁路动车故障图像智能识别模型鲁棒性测试方法，其特征在于，异常测试数据集中的样本的故障类别包括图片内容缺失、图片像素过大、图像明暗度过亮、图像明暗度过暗和空白图像。

6.根据权利要求5所述的铁路动车故障图像智能识别模型鲁棒性测试方法，其特征在于，采用图像数据处理模块对原始图片进行数据加工处理得到异常测试数据集中的样本的方法为：

7.根据权利要求6所述的铁路动车故障图像智能识别模型鲁棒性测试方法，其特征在于，获得图片内容缺失的样本的方法为：对原始图片进行局部缺失处理；

8.根据权利要求7所述的铁路动车故障图像智能识别模型鲁棒性测试方法，其特征在于，对智能识别模型的鲁棒性测试还包括对图片存储路径的测试，对图片格式的测试和非法图像号的测试：

9.根据权利要求8所述的铁路动车故障图像智能识别模型鲁棒性测试方法，其特征在于，采用配置文件模块将待测试智能识别模型所需的程序模板保存在相应的测试环境中；再采用配置文件模块获取当前测试用例集名称并选择对应的测试用例集路径，自动读取测试用例的标签信息；并根据当前测试用例集名称在测试用例集站点层级目录下基于程序模板生成待测试智能识别模型的配置程序和测试执行脚本；

10.根据权利要求9所述的铁路动车故障图像智能识别模型鲁棒性测试方法，其特征在于，框架程序在分析脚本alarmcode配置文件中，配置软件概要模型所有异常处理返回值；通过执行分析结果脚本查看框架日志和识别进程日志的异常情况，并确定智能识别模型的识别结果返回值与软件概要模型异常处理返回值是否相符；设定软件概要模型异常处理返回值为：

技术总结
一种铁路动车故障图像智能识别模型鲁棒性测试方法，属于网络模型性能测试领域。本发明针对用于铁路列车故障识别的智能识别模型鲁棒性无法确定从而无法保证识别结果准确性的问题。包括：构建异常测试数据集；将异常测试数据集中的样本按照厂家、站名、车型、辆序和图像采集站命名，并按照车辆故障位置形成多个子集；根据待测试智能识别模型可识别的故障位置及覆盖的厂家、站名和车型选择子集中的样本数据，形成测试用例集；采用待测试智能识别模型对测试用例集中每个测试用例进行故障识别，根据识别结果与相应的故障标签确定智能识别模型的性能。本发明用于测试智能识别模型的鲁棒性。

技术研发人员：王春龙,刘金媛,姜海祥,王雪莹
受保护的技术使用者：哈尔滨市科佳通用机电股份有限公司
技术研发日：
技术公布日：2024/8/26