智能汽车车载摄像头污损检测方法、操作系统及车载设备与流程

本说明书涉及智能汽车视觉感知，尤其涉及智能汽车车载摄像头污损检测方法、操作系统及车载设备。

背景技术：

1、车载摄像头在智能汽车运行过程中起到至关重要的作用，影像系统、自动泊车辅助系统等都极其依赖于摄像头成像图像。但是，由于智能汽车在真实场景下行驶时所遇到的污损源、天气、户外亮度等均具有较大不确定性，并且车载摄像头一般暴露在外界，较易受到环境中的泥泞、雨雪及恶意遮挡等因素的影响，使得车载摄像头的成像存在不清晰、成像范围内重要信息被遮挡等缺陷，从而导致各项环视功能置信度较低，带来行车风险。

2、为了避免上述情况发生，现有技术一般会利用成像图像对摄像头的脏污进行识别，例如采用帧差法定位脏污区域，或者将成像图像拆分成多个图像块分别进行脏污评分等。但帧差法的本质是利用亮度对比出脏污区域，不适用于检测亮度变化不明显的不透明污损；而成像图像裁剪分块失去了各图像块之间的上下文联系，对污损尤其是点状污损的检测效果较差。

3、以上两种检测方式均会增加污损误检的风险，无法有效检测出车载摄像头脏污。因此，如何降低车载摄像头脏污的误检率，是目前亟需解决的问题。

技术实现思路

1、本说明书提供了一种智能汽车车载摄像头污损检测方法、操作系统及车载设备，以解决或者部分解决车载摄像头脏污的误检率较高的技术问题。

2、为解决上述技术问题，本说明书公开了一种智能汽车车载摄像头污损检测方法，所述方法包括：

3、通过所述车载摄像头采集待检测图像帧；

4、利用事先训练的污损检测模型对所述待检测图像帧进行污损分类检测，得到所述待检测图像帧的第一污损区域结果；

5、基于局部图像信息熵对所述第一污损区域结果进行调整，得到第二污损区域结果；

6、将所述第二污损区域结果和整体污损区域结果进行整合，得到第三污损区域结果；其中，所述整体污损区域结果通过整合所述待检测图像帧之前调整出的图像帧的污损区域结果得到；

7、使用基于距离度量的评分机制对所述第三污损区域结果进行污损评分，并根据污损分数判定所述车载摄像头的污损情况。

8、优选的，所述通过所述车载摄像头采集待检测图像帧之后，所述方法还包括：

9、判断所述待检测图像帧是否是首帧；

10、若所述待检测图像帧是首帧，将所述待检测图像帧作为参考帧，并直接执行“利用事先训练的污损检测模型对所述待检测图像帧进行污损分类检测”的步骤；

11、若所述待检测图像帧不是首帧，计算所述待检测图像帧和所述参考帧的帧间相似度，并利用参考相似度和所述帧间相似度进行比较；

12、若所述帧间相似度大于所述参考相似度，过滤掉所述待检测图像帧，并通过所述车载摄像头采集下一帧待检测图像帧；

13、若所述帧间相似度小于等于所述参考相似度，利用所述帧间相似度替换所述参考相似度，并执行“通过所述车载摄像头采集待检测图像帧”的步骤；以及利用所述待检测图像帧替换所述参考帧，并执行“利用事先训练的污损检测模型对所述待检测图像帧进行污损分类检测”的步骤。

14、优选的，所述利用事先训练的污损检测模型对所述待检测图像帧进行污损分类检测，得到所述待检测图像帧的第一污损区域结果，具体包括：

15、利用事先训练的污损检测模型对所述待检测图像帧中每个像素点进行污损分类检测，得到所述待检测图像帧的中每个像素点的污损类别，不同的污损类别采用不同的污损值表示；

16、基于所述待检测图像帧的中每个像素点的污损类别，得到所述第一污损区域结果；所述第一污损区域结果中包含不同的污损类别。

17、优选的，所述基于局部图像信息熵对所述第一污损区域结果进行调整，得到第二污损区域结果，具体包括：

18、确定所述每个像素点对应的局部设定区域；

19、根据所述每个像素点对应的局部设定区域，确定所述每个局部设定区域的局部图像信息熵；

20、根据所述每个局部设定区域的局部图像信息熵，调整对应像素点的污损类别；

21、基于所有像素点调整后的污损类别，得到所述第二污损区域结果。

22、优选的，所述使用基于距离度量的评分机制对所述第三污损区域结果进行污损评分，具体包括：

23、基于所述车载摄像头采集图像的任一顶点到中心点的距离，得到设定距离阈值；

24、遍历所述第三污损区域结果中的每个像素点至所述中心点的目标距离及其污损值；

25、每个像素点至所述中心点的目标距离、污损值和所述设定距离阈值，计算每个像素点的污损评分；

26、基于每个像素点的污损评分，得到所述第三污损区域结果的污损评分。

27、本说明书公开了一种智能汽车的操作系统，包括：

28、摄像头采集模块，用于采集待检测图像帧；

29、分类检测模块，用于利用事先训练的污损检测模型对所述待检测图像帧进行污损分类检测，得到所述待检测图像帧的第一污损区域结果；

30、调整模块，用于基于局部图像信息熵对所述第一污损区域结果进行调整，得到第二污损区域结果；

31、整合模块，用于将所述第二污损区域结果和整体污损区域结果进行整合，得到第三污损区域结果；其中，所述整体污损区域结果通过整合所述待检测图像帧之前调整出的图像帧的污损区域结果得到；

32、评分模块，用于使用基于距离度量的评分机制对所述第三污损区域结果进行污损评分，并根据污损分数判定所述车载摄像头的污损情况。

33、优选的，所述系统还包括：

34、判断模块，用于判断所述待检测图像帧是否是首帧；

35、第一替换模块，用于若所述待检测图像帧是首帧，将所述待检测图像帧作为参考帧，并直接执行“利用事先训练的污损检测模型对所述待检测图像帧进行污损分类检测”的步骤；

36、计算模块，用于若所述待检测图像帧不是首帧，计算所述待检测图像帧和所述参考帧的帧间相似度，并利用参考相似度和所述帧间相似度进行比较；

37、过滤模块，用于若所述帧间相似度大于所述参考相似度，过滤掉所述待检测图像帧，并通过所述车载摄像头采集下一帧待检测图像帧；

38、第二替换模块，用于若所述帧间相似度小于所述参考相似度，利用所述帧间相似度替换所述参考相似度，并执行“通过所述车载摄像头采集待检测图像帧”的步骤；以及利用所述待检测图像帧替换所述参考帧，并执行“利用事先训练的污损检测模型对所述待检测图像帧进行污损分类检测”的步骤。

39、优选的，所述分类检测模块，具体用于：

40、利用事先训练的污损检测模型对所述待检测图像帧中每个像素点进行污损分类检测，得到所述待检测图像帧的中每个像素点的污损类别，不同的污损类别采用不同的污损值表示；

41、基于所述待检测图像帧的中每个像素点的污损类别，得到所述第一污损区域结果；所述第一污损区域结果中包含不同的污损类别。

42、优选的，所述调整模块，具体用于：

43、确定所述每个像素点对应的局部设定区域；

44、根据所述每个像素点对应的局部设定区域，确定所述每个局部设定区域的局部图像信息熵；

45、根据所述每个局部设定区域的局部图像信息熵，调整对应像素点的污损类别；

46、基于所有像素点调整后的污损类别，得到所述第二污损区域结果。

47、优选的，所述评分模块，具体用于：

48、基于所述车载摄像头采集图像的任一顶点到中心点的距离，得到设定距离阈值；

49、遍历所述第三污损区域结果中的每个像素点至所述中心点的目标距离及其污损值；

50、每个像素点至所述中心点的目标距离、污损值和所述设定距离阈值，计算每个像素点的污损评分；

51、基于每个像素点的污损评分，得到所述第三污损区域结果的污损评分。

52、本说明书公开了一种车载设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。

53、通过本说明书的一个或者多个实施例，本说明书具有以下有益效果或者优点：

54、本说明书中的方案，通过采用污损分割网络模型对传入的车载摄像头图像帧进行污损区域分类，以避免污损类型的漏检误检。随后基于图像局部信息熵对分类检测得到的第一污损区域结果进行复筛，由于复筛考虑像素周围局部污损区域对像素点产生的影响，使复筛后的污损检测结果更为精准。最后，利用整体污损区域结果对复筛出的污损检测结果进行整合，并基于距离度量的评分机制对整合出的最终污损检测结果进行评分，从而判断摄像头是否污损。上述方案能够降低误检率且鲁棒性较强，在多个真实场景和污损源情况下均表现良好。

55、上述说明仅是本说明书技术方案的概述，为了能够更清楚了解本说明书的技术手段，而可依照说明书的内容予以实施，并且为了让本说明书的上述和其它目的、特征和优点能够更明显易懂，以下特举本说明书的具体实施方式。