一种面向工业图像质量的智能反馈控制方法与系统

本发明属于工业图像处理，具体涉及一种面向工业图像质量的智能反馈控制方法与系统。

背景技术：

1、在工业检测过程中，工件表面的图像质量对检测结果非常关键。然而，在实际的复杂多变且苛刻的工业环境中，烟雾粉尘的存在，水珠的存在，光照不足或过曝，物体高度变化明显导致未聚焦，物体和相机相对速度过大导致运动模糊等影响下，不仅图像质量过差，更是连图像中的目标可视性都难以保证。这意味着要直接获得边缘锐化、无块状模糊的高分辨率图像，离不开高性能采集相机和附件等良好的内部条件，以及干净的环境和适当的拍摄光强及角度等合适的外部条件。然而，这样的话，图像采集的难度和成本将显着提高，不利于先进、经济的图像检测系统的部署。因此，开发具有较高图像处理能力的算法，并集成足够的自主调节功能是提高工业图像质量的一种经济有效的方法。

2、近年来，采用智能图像处理方法和系统进行图像质量改善的方案已得到了成功的应用，但整体还存在一些问题。

3、申请号202211686606.6名称为一种智能图像处理系统，公开了一种智能图像处理系统。该系统主要用于对输入图像尺寸进行智能化处理，期间还包括对图像进行色彩，对比度，清晰度的处理与优化，具备了较好的图像处理能力。但是，上述公开的技术方案仍然存在如下技术问题：(1)该方法是对图像的显示效果进行了调整，而无法改变图像的显示能力。修复也仅限于对调整后的图像进行降噪处理。即，原始图片已具备良好的目标可视性，而该方法只是强化人眼的认知感受。无法处理工业环境下的各种成像条件不佳导致的可视性较差的情况。(2)该方法未涉及采集设备反馈调节策略与技术，无法自适应工业环境下的复杂成像条件。

4、申请号202210487677.7名称为一种自适应曝光驱动相机摄影水下图像处理系统，公开了一种自适应曝光驱动相机摄影水下图像处理系统。该系统主要用于对输入图像的光照和特性信息进行分析，并基于分析结果一方面调整相机参数，另一方面采用特征修复算法进行特征增强，最终实现更优质的图像显示。但是，上述公开的技术方案仍然存在如下技术问题：(1)该方法中基于每一副输入的图像调用自适应曝光模块进行分析和调整时，首先分析图像的光照值，随后采用动作-价值算法框架的强化学习智能体分析得到所对应的最佳相机参数，最后，基于所分析得到的相机参数进行调整，以实现最佳的光照成像条件。但是这样的物理优化方式十分耗费时间。并且，很多时候对光照值的调节并不是很重要。每一帧的图像采集都采用这种调节方式将严重影响图像采集效率和实时监控作业的实现；(2)该系统中的图像复原模块仅采用单一图像修复算法，对于工业环境下复杂多变的难可视情景，单一算法的修复能力有限，这意味着该算法的工业应用能力有限。

5、因此，由于工业环境的复杂多变，一般的图像处理方法及系统难以高效解决工业图像的可视化问题。急需开发一种功能集成度高，充分考虑效率的高度智能的图像处理方法和系统，尽可能的保证快速高效的工业图像质量优化调整，以契合实时工业检测作业，提高工业环境下作业的效率和准确度。

技术实现思路

1、本发明目的在于提供一种面向工业图像质量的智能反馈控制方法与系统，用于复杂多变环境。在工业情景下，由于环境复杂多变，多种外部干扰将会严重影响图像质量，甚至影响目标可视性。一方面，对难可视或不可视图像目标进行修复，使其具备可视性的难度显著高于常规的图像质量修复。另一方面这些外部干扰的干扰机制并不相同，单一算法无法解决不同干扰机制带来的影响。集成多种算法，并尽可能的采用高效的调用/调节策略，将是一种可行的方式。本发明提出的方法以如何高效保证复杂多变环境下的图像目标高质量可视为目标，采用机器视觉及深度学习技术，设计高效的模块集成和调用方案，在保证了检测效率的前提下，解决了当下复杂多变环境下图像质量差且可视化程度不高而严重影响检测判断的问题，适宜于工业环境部署。

2、本发明解决其技术问题所采用的技术方案是：

3、一种面向工业图像质量的智能反馈控制方法与系统，其特征在于包括以下模块：图像质量评价模块、图像处理模块、数据储存模块、计数重置模块、反馈调节模块；

4、所述图像质量评价模块用于对输入图像进行成像质量评估，该模块从两个方面来对图像进行评估，一种是评估成像的质量是否合格，一种是对不合格图像判断其成像不佳的原因类别；

5、所述图像处理模块用于对图像质量评价模块中判定为不合格的工件图像根据其成像不佳的原因，调用对应的图像智能优化方法进行处理；

6、所述数据储存模块用于对图像质量评价模块运算后的图像信息进行储存，包含合格图像信息储存区和不合格图像信息储存区，储存形式可为图片格式也可为矩阵数列等其他格式，其中不合格图像信息除了图像还有其对应的不合格类别的文本判定信息；

7、所述计数重置模块用于对一定时间内图像处理模块处理后的仍然不合格的图片进行计数，以调控图像反馈调节模块；

8、所述反馈调节模块用于根据计数重置模块判定结果触发对应调整装置，包含采集设备调整装置和报警装置，其中采集设备调整装置将依据所判定的不合格图像成像不佳的原因类别按照指定调整原则调整相机及光源参数，而当无法调整得到合格图片时，将触发报警装置，引入人工干预；

9、一种面向工业图像质量的智能反馈控制方法，包括以下步骤：

10、s11：基于特定工业环境，根据图像采集设备的采集帧率和成像范围及物体移动速度确定需反馈调节的不合格图片数临界值n和计数模块的每次计数时间间隔t；

11、s12：开启图像采集设备，将采集到的实时图像流按一定标记规则顺序命名后输入至图像质量评价模块用于成像质量评估；

12、s13：图像质量评价模块先评价图像质量是否合格，若合格则将该图片投入至数据储存模块中的合格图片储存区用于储存，并继续对下一帧图像进行检测，若不合格则进一步判断导致其成像不佳的原因类别，并投入至图像处理模块，同时继续对下一帧图像进行检测；

13、s14：图像处理模块根据图像质量评价模块所传递的成像不佳原因的判别信息，对投入的图像调用针对性的图像处理算法进行优化处理；

14、s15：图像处理完成后，将所处理后的图像继续投入至图像质量评价模块，若判断为合格，则将其按命名顺序插入至数据储存模块中的合格图片储存区的对应位置，若判断为不合格则开启计数重置模块统计t时间内不同类别的不合格图片数，并将根据所统计的不同类别的不合格图片数调控反馈调节模块；

15、s16：反馈调节模块根据计数重置模块所分析得到的需要处理的成像不佳的类别，调用针对性的采集设备调整策略对采集设备进行调整，改善成像环境，调节过程重复步骤s12-s15；

16、s17：计数重置模块在每个t时间到后，自动将所统计的所有不合格图片数清零，并将所有不合格图片按原有命名顺序投入至数据储存模块中的不合格图片储存区；

17、进一步地，权利要求1中步骤s15涉及到的计数重置模块调控反馈调节模块的方法为：

18、s21：若在t时间内任意类别的不合格图片数均小于临界值n，则核对反馈调节模块中采集设备调整装置是否启动，若已启动，则不论是否运行均关闭反馈调节模块；

19、s22：若在t时间内某一类别的不合格图片数大于或等于临界值n，则核对反馈调节模块中采集设备调整装置是否启动并运行，若已启动但并未运行，则启动报警装置，并关闭采集设备调整装置，若已启动并正在运行，则不予处理，若未启动，则启动反馈调节模块中采集设备调整装置。

20、本发明的有益效果为：

21、1.不同于传统的采用固定的图像质量优化处理流程的系统，本发明通过灵活调用物理优化和特征优化方法，能自适应复杂多变的工业环境，保证了系统的智能化。

22、2.不同于传统的以提升画面质感为目的的图像质量优化处理方法与系统，本发明通过集成多种针对性的图像修复算法，不仅可提升图像质量，更可有效改善工件图像中的目标难可视/不可视问题，避免了使用昂贵的采集设备或者苛刻的采集条件，在实现更强功能的同时有效保证了经济性。

23、3.不同于传统的基于输入生成并执行相关控制指令的串联逻辑的视觉伺服系统，本发明通过设置图像质量评估模块进行持续不断的前端筛选，仅对部分出现问题的输入通过判别才执行对应的反馈调节，主线控制逻辑为近t型的分支型，可有效保证视觉伺服系统的高效性和准确性。

24、综上，所提出的一种面向工业图像质量的智能反馈控制方法与系统在保证经济性的同时实现了实时，高效，智能的工件图像修复，有效解决了复杂环境下的图像目标难可视/不可视问题。为工业图像处理方法和系统的升级提供了新思路。