模型检测方法、装置、电子设备和计算机可读存储介质与流程

本发明涉及计算机视觉，特别是涉及一种模型检测方法、模型检测装置、电子设备和计算机可读存储介质。

背景技术：

1、大模型多目标检测是指使用深度学习中的大模型来识别和定位图像中的所有且不同类别多个目标，这是计算机视觉领域中的一项关键技术。这项技术不仅要求模型能够准确识别出图像中的各种物体，还要能够确定它们在图像中的具体位置。由于目标物体可能在不同的外观、形状和姿态，并且受到成像条件如光照、遮挡、角度、距离、背景复杂程度等因素的影响，多目标检测一直是计算机视觉领域中最具有挑战性的问题之一。

2、大模型目标检测算法测试工具主要作用是测试大模型算法识别是否准确、统计测试指标、保存测试结果。现有技术中已有的目标检测算法测试方法有以下几种：

3、1)访问可视化界面系统手动主观测试的方法：

4、访问系统可视化界面把图片或视频流上传至算法模块，系统处理后返回识别结果或告警信息，人为统计结果计算出部分指标。缺点在于：重复操作、人为统计结果麻烦易出现错误且只能计算部分指标、消耗大量人力，成本高。

5、2)使用接口测试工具的方法：

6、将图片或视频流传给算法接口获取到识别信息，检测识别信息是否符合结果。缺点在于：数据处理难、返回信息不易处理、指标无法直观统计、检测结果无法在图片上绘制算法预测框、数据无法可视化展示等。

7、3)利用python语言直接调用算法接口的方法：

8、将已标注处理好的数据传给算法接口获取识别结果信息，利用python语言计算性能指标。缺点在于：适用场景单一，适合单目标检测传统算法，随着类别数量的增加，无法有效评估大规模类别目标检测算法的性能以及多个算法比较。

技术实现思路

1、鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种模型检测方法、一种模型检测装置、一种电子设备和一种计算机可读存储介质。

2、本发明实施例公开了一种模型检测方法，所述方法包括：

3、构建用于测试模型的测试数据集；

4、对待测试的模型进行初始化，得到初始模型；

5、基于所述测试数据集对所述初始模型进行测试，得到测试结果；

6、对所述测试结果进行分析，得到分析结果；

7、若所述分析结果满足预设要求，则生成测试报告；若所述分析结果未满足所述预设要求，则对所述初始模型进行迭代，得到迭代后的目标模型，将所述目标模型作为所述初始模型，跳转至所述基于所述测试数据集对所述初始模型进行测试，得到测试结果。

8、在本发明实施例中，所述构建用于测试模型的测试数据集，包括：

9、针对获取到的原始图像数据集，对所述原始图像数据集进行预处理，得到目标图像数据集；所述原始图像数据集包括至少一个原始图像数据，所述目标图像数据集包括至少一个目标图像数据；

10、对所述目标图像数据集进行目标识别，得到所述目标图像数据集对应的候选标注框集和类别标识集；所述类别标识包括至少一种目标的类别的标识；

11、对所述候选标注框集进行过滤和补充，得到目标标注框集；所述目标标注框集包括至少一个目标标注框；

12、确定各个目标标注框的第一坐标点，并基于所述第一坐标点和所述类别标识集生成所述目标图像数据集的第一信息文件。

13、在本发明实施例中，所述对待测试的模型进行初始化，得到初始模型，包括：

14、基于预设脚本从模型数据库中获取待测试的模型，并对所述待测试模型进行初始化，得到初始模型；所述模型数据库中包括至少一个未测试的模型。

15、在本发明实施例中，所述基于所述测试数据集对所述初始模型进行测试，得到测试结果，包括：

16、采用所述初始模型对所述测试数据集进行目标识别，得到至少一个目标识别框；

17、确定所述至少一个目标识别框的第二坐标点，并基于所述第二坐标点生成第二信息文件；

18、基于所述测试数据集中的第一信息文件和所述第二信息文件计算各个目标图像数据的坐标点交集占比，得到测试结果。

19、在本发明实施例中，所述对所述测试结果进行分析，得到分析结果，包括：

20、根据所述测试结果计算所述测试数据集中各个类别的目标在每个置信度下的第一平均正确率、第一精确率和第一召回率，以及，所述初始模型的第二平均正确率、第二精确率和第二召回率；

21、确定所述初始模型在测试中的检测速度和计算资源耗时；

22、采用所述第二平均正确率、第二精确率、第二召回率、所述检测速度和所述计算资源耗时计算所述初始模型的加权分数；

23、将所述第一平均正确率、第一精确率、第一召回率和所述加权分数作为分析结果。

24、在本发明实施例中，所述若所述分析结果未满足所述预设要求，则对所述初始模型进行迭代，得到迭代后的目标模型，包括：

25、若所述分析结果中的第一平均正确率未超过平均正确率阈值，和/或，所述第一精确率未超过精确率阈值，和/或，所述第一召回率未超过召回率阈值，和/或，所述加权分数未超过加权分数阈值，则所述分析结果未满足所述预设要求；

26、对所述初始模型进行迭代，得到迭代后的目标模型。

27、在本发明实施例中，还包括：

28、采用所述测试数据集中的第一信息文件在目标图像数据集中标注第一标注框，以及，采用所述测试结果中的第二信息文件在所述目标图像数据集中标注第二标注框，得到标注后的目标图像数据集；

29、展示所述标注后的目标图像数据集。

30、相应的，本发明实施例公开了一种模型检测装置，所述装置包括：

31、构建模块，用于构建用于测试模型的测试数据集；

32、初始化模块，用于对待测试的模型进行初始化，得到初始模型；

33、测试模块，用于基于所述测试数据集对所述初始模型进行测试，得到测试结果；

34、分析模块，用于对所述测试结果进行分析，得到分析结果；

35、生成模块，用于若所述分析结果满足预设要求，则生成测试报告；

36、迭代模块，用于若所述分析结果未满足所述预设要求，则对所述初始模型进行迭代，得到迭代后的目标模型，将所述目标模型作为所述初始模型，并调用所述测试模块。

37、在本发明实施例中，所述构建模块，具体用于：

38、针对获取到的原始图像数据集，对所述原始图像数据集进行预处理，得到目标图像数据集；所述原始图像数据集包括至少一个原始图像数据，所述目标图像数据集包括至少一个目标图像数据；

39、对所述目标图像数据集进行目标识别，得到所述目标图像数据集对应的候选标注框集和类别标识集；所述类别标识包括至少一种目标的类别的标识；

40、对所述候选标注框集进行过滤和补充，得到目标标注框集；所述目标标注框集包括至少一个目标标注框；

41、确定各个目标标注框的第一坐标点，并基于所述第一坐标点和所述类别标识集生成所述目标图像数据集的第一信息文件。

42、在本发明实施例中，所述初始化模块，具体用于：

43、基于预设脚本从模型数据库中获取待测试的模型，并对所述待测试模型进行初始化，得到初始模型；所述模型数据库中包括至少一个未测试的模型。

44、在本发明实施例中，所述测试模块，具体用于：

45、采用所述初始模型对所述测试数据集进行目标识别，得到至少一个目标识别框；

46、确定所述至少一个目标识别框的第二坐标点，并基于所述第二坐标点生成第二信息文件；

47、基于所述测试数据集中的第一信息文件和所述第二信息文件计算各个目标图像数据的坐标点交集占比，得到测试结果。

48、在本发明实施例中，所述分析模块，具体用于：

49、根据所述测试结果计算所述测试数据集中各个类别的目标在每个置信度下的第一平均正确率、第一精确率和第一召回率，以及，所述初始模型的第二平均正确率、第二精确率和第二召回率；

50、确定所述初始模型在测试中的检测速度和计算资源耗时；

51、采用所述第二平均正确率、第二精确率、第二召回率、所述检测速度和所述计算资源耗时计算所述初始模型的加权分数；

52、将所述第一平均正确率、第一精确率、第一召回率和所述加权分数作为分析结果。

53、在本发明实施例中，所述迭代模块，具体用于：

54、若所述分析结果中的第一平均正确率未超过平均正确率阈值，和/或，所述第一精确率未超过精确率阈值，和/或，所述第一召回率未超过召回率阈值，和/或，所述加权分数未超过加权分数阈值，则所述分析结果未满足所述预设要求；

55、对所述初始模型进行迭代，得到迭代后的目标模型。

56、在本发明实施例中，还包括：

57、标注模块，用于采用所述测试数据集中的第一信息文件在目标图像数据集中标注第一标注框，以及，采用所述测试结果中的第二信息文件在所述目标图像数据集中标注第二标注框，得到标注后的目标图像数据集；

58、展示模块，用于展示所述标注后的目标图像数据集。

59、相应的，本发明实施例公开了一种电子设备，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述模型检测方法实施例的各个步骤。

60、相应的，本发明实施例公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述模型检测方法实施例的各个步骤。

61、本发明实施例包括以下优点：

62、构建用于测试模型的测试数据集；对待测试的模型进行初始化，得到初始模型；基于所述测试数据集对所述初始模型进行测试，得到测试结果；对所述测试结果进行分析，得到分析结果；若所述分析结果满足预设要求，则生成测试报告；若所述分析结果未满足所述预设要求，则对所述初始模型进行迭代，得到迭代后的目标模型，将所述目标模型作为所述初始模型，跳转至所述基于所述测试数据集对所述初始模型进行测试，得到测试结果。通过上述方式，减少了人工操作，提高了测试效率；实现了批量测试能力，允许同时处理大量图像数据；自动化统计关键指标，减少了人为错误，提高了准确性；通过标准化的测试结果记录与分析，便于结果的保存和进一步分析；实现了基于测试结果的自动化参数调优，简化了模型迭代过程以及模型对比。