图像处理装置和图像处理方法与流程

本公开涉及图像处理装置和图像处理方法，其中，在进行使用机器学习模型的图像识别操作以从拍摄图像检测预定事件的情况下，使检测目标的识别状况可视化并呈现给用户，使得用户可以从视觉上检查机器学习模型的图像识别性能。

背景技术：

1、广泛使用的监测系统包括用于通过对照相机所拍摄到的监测区域的图像进行图像识别操作来检测在监测区域中发生的预定事件的系统。近年来，通过使用利用诸如深度学习等的机器学习技术所构建的机器学习模型，图像识别的准确度已显著提高。

2、在将机器学习模型用于图像识别的情况下，机器学习模型是黑匣子；也就是说，机器学习模型中的用以产生识别结果的过程是未知的，这意味着用户无法容易地检查机器学习模型的图像识别性能。在使用机器学习模型的图像识别中解决该问题的已知技术包括用于利用图像和文本来使通过机器学习模型为产生识别结果所进行的判断的基础可视化的技术(专利文献1)。

3、现有技术文献

4、专利文献

5、专利文献1：日本特开2019-82883

技术实现思路

1、发明要解决的问题

2、在用于使用机器学习模型的图像识别的上述现有技术中，利用图像和文本来可视化并显示通过机器学习模型为产生图像识别结果所进行的判断的基础，这使得用户能够容易地从视觉上检查机器学习模型中的用以产生图像识别结果的过程。

3、然而，环境变化可能导致监测区域的条件的各种变化。在这种情况下，使用机器学习模型的图像识别操作也可能受环境变化影响，这导致准确度降低。因此，通过使用在特定条件下拍摄到的图像来评价机器学习模型的识别性能是不够的，并且需要用以通过使用在由环境变化引起的各种条件下拍摄到的图像来评价机器学习模型的识别性能的技术(也就是说，用以使得系统开发人员或系统管理员检查使用机器学习模型的图像识别针对现场的各种可能环境变化的鲁棒性是否足够的技术)。

4、本公开是有鉴于现有技术的问题而做出的，并且本公开的主要目的是提供一种图像处理装置和图像处理方法，其使得系统开发人员或系统管理员能够容易地从视觉上检查机器学习模型针对现场的各种可能环境变化的鲁棒性，以由此构建具有高鲁棒性的系统。

5、用于解决问题的方案

6、本公开的一方面提供了一种图像处理装置，用于进行处理操作，所述处理操作用以使在进行使用机器学习模型以从拍摄图像检测预定事件的图像识别操作的情况下的检测目标的识别状况可视化，其中所述处理操作由处理器进行，并且所述处理操作包括：响应于用户的用以指定图像处理条件的操作，基于指定的图像处理条件来对原始图像进行图像处理操作，由此生成用于再现在特定情形下拍摄到的图像的模拟图像；以及生成表示在对所述模拟图像进行所述图像识别操作的情况下的检测目标的识别状况的状况图像，并且将所生成的状况图像叠加在所述模拟图像上，以产生作为可视化结果的结果图像，其中所述结果图像作为显示信息被输出。

7、本公开的另一方面提供了一种图像处理方法，用于进行处理操作，所述处理操作用以使在进行使用机器学习模型以从拍摄图像检测预定事件的图像识别操作的情况下的检测目标的识别状况可视化，其中所述处理操作由信息处理装置进行，并且所述处理操作包括：响应于用户的用以指定图像处理条件的操作，基于指定的图像处理条件来对原始图像进行图像处理操作，由此生成用于再现在特定情形下拍摄到的图像的模拟图像；以及生成表示在对所述模拟图像进行所述图像识别操作的情况下的检测目标的识别状况的状况图像，并且将所生成的状况图像叠加在所述模拟图像上，以产生作为可视化结果的结果图像，其中所述结果图像作为显示信息被输出。

8、发明的效果

9、根据本公开，使用基于由用户指定的图像处理条件的图像处理操作来生成反映现场的各种可能环境变化的模拟图像。在对模拟图像进行图像识别操作时，生成表示检测目标的识别状况的状况图像，并且将该状况图像叠加在模拟图像上以产生作为可视化结果的结果图像，该结果图像作为显示信息被输出。该配置使得系统开发人员或系统管理员能够容易地从视觉上检查机器学习模型针对现场的各种可能环境变化的鲁棒性，以由此构建具有高鲁棒性的系统。

技术特征：

1.一种图像处理装置，用于进行处理操作，所述处理操作用以使在进行使用机器学习模型以从拍摄图像检测预定事件的图像识别操作的情况下的检测目标的识别状况可视化，其中所述处理操作由处理器进行，并且所述处理操作包括：

2.根据权利要求1所述的图像处理装置，其中，所述处理器所进行的处理操作包括：

3.根据权利要求1所述的图像处理装置，其中，所述处理器所进行的处理操作包括：

4.根据权利要求1所述的图像处理装置，其中，所述图像处理操作包括模糊操作、照度调整操作和虚拟物体叠加操作中的至少一个。

5.根据权利要求1所述的图像处理装置，其中，所述处理器所进行的处理操作包括：

6.根据权利要求1所述的图像处理装置，其中，所述处理器所进行的处理操作包括：

7.根据权利要求1所述的图像处理装置，其中，在用户指定多个检测目标的情况下，所述处理器所进行的处理操作包括：

8.一种图像处理方法，用于进行处理操作，所述处理操作用以使在进行使用机器学习模型以从拍摄图像检测预定事件的图像识别操作的情况下的检测目标的识别状况可视化，其中所述处理操作由信息处理装置进行，并且所述处理操作包括：

技术总结
[问题]使得系统开发人员或系统管理员能够容易地从视觉上检查机器学习模型针对现场的各种可能环境变化的鲁棒性，由此构建具有高鲁棒性的系统。[解决方案]在图像处理装置或方法中，处理器进行信息处理操作，这些信息处理操作包括：响应于用户的用以指定图像处理条件的操作，基于指定的图像处理条件来对原始图像进行图像处理操作；生成用于再现在特定情形下拍摄到的图像的模拟图像；生成表示检测目标的识别状况的热图(状况图像)；以及将热图叠加在模拟图像上以产生作为可视化结果的结果图像，该结果图像作为显示信息被输出。

技术研发人员：渡边伟志
受保护的技术使用者：松下知识产权经营株式会社
技术研发日：
技术公布日：2024/11/4