用于自动驾驶的诊断图像故障的方法和系统与流程

1.本公开涉及计算机视觉技术领域，尤其涉及例如用于自动驾驶的图像故障诊断方法和系统。


背景技术：

2.相机作为自动驾驶车辆的视觉部件，是自动驾驶系统的重要组成部分。自动驾驶系统从相机图像获取各种特征量，作为自动驾驶的巡航依据。在自动驾驶系统的图像处理过程中，首先需要诊断图像是否存在故障，为后续处理提供可靠的依据和保障。
3.在现有技术中，图像故障诊断较多关注于检测缺陷像素，旨在识别出缺陷像素以及缺陷像素的类型。但是，当前的缺陷像素诊断方法在实际应用中无法令人满意，经常因为计算量大、诊断系统复杂而出现误报，影响诊断的可靠性，所以存在进一步改进的必要和空间。


技术实现要素：

4.本公开提供了一种用于自动驾驶的诊断图像故障的方法，包括：滑动诊断窗口以扫描待诊断的图像；每次滑动所述诊断窗口后，依据当前所述诊断窗口内的异常像素点数量以及所有异常像素点之间的欧氏距离的平均值和方差，判断是否存在图像故障。
5.有益的是，每次滑动所述诊断窗口后，执行如下步骤：统计当前所述诊断窗口内的异常像素点数量；如果所述异常像素点数量小于或等于异常像素点数量预设阈值，则继续滑动所述诊断窗口以扫描所述图像的其余部分；如果所述异常像素点数量大于异常像素点数量预设阈值，则计算所有异常像素点之间的欧氏距离的平均值和方差，并且在所述平均值小于平均值预设阈值并且所述方差小于方差预设阈值时生成图像故障信息，在所述平均值大于或等于平均值预设阈值、或所述方差大于或等于方差预设阈值时继续滑动所述诊断窗口以扫描所述图像的其余部分。
6.有益的是，每次滑动所述诊断窗口后，执行如下步骤：统计当前所述诊断窗口内的异常像素点数量，并计算所有异常像素点之间的欧氏距离的平均值和方差；如果所述异常像素点数量大于异常像素点数量预设阈值、并且所述平均值小于平均值预设阈值、并且所述方差小于方差预设阈值，生成图像故障信息；如果所述异常像素点数量小于或等于异常像素点数量预设阈值、或所述平均值大于或等于平均值预设阈值、或所述方差大于或等于方差预设阈值，继续滑动所述诊断窗口以扫描所述图像的其余部分。
7.有益的是，所述诊断窗口的长度和宽度根据深度学习最小识别区域进行设置。
8.有益的是，当图像中的像素点的灰度值不在该像素点的灰度阈值范围内时，判定
该像素点为异常像素点。
9.本公开还提供了一种用于自动驾驶的诊断图像故障的系统，包括：图像获取模块，其被设置为接收实时采集的图像；图像扫描模块，其设置有诊断窗口，并通过滑动该诊断窗口扫描所述图像；故障诊断模块，其在每次滑动所述诊断窗口后，依据当前所述诊断窗口内的异常像素点数量和所有异常像素点之间的欧氏距离的平均值和方差判断是否存在图像故障。
10.有益的是，所述故障诊断模块被设置为，在每次滑动所述诊断窗口后，执行如下诊断步骤：统计当前所述诊断窗口内的异常像素点数量；如果所述异常像素点数量小于或等于异常像素点数量预设阈值，则继续滑动所述诊断窗口以扫描所述图像的其余部分；如果所述异常像素点数量大于异常像素点数量预设阈值，则计算所有异常像素点之间的欧氏距离的平均值和方差，并且在所述平均值小于平均值预设阈值并且所述方差小于方差预设阈值时生成图像故障信息，在所述平均值大于或等于平均值预设阈值、或所述方差大于或等于方差预设阈值时继续滑动所述诊断窗口以扫描所述图像的其余部分。
11.有益的是，所述故障诊断模块被设置为，在每次滑动所述诊断窗口后，执行如下步骤：统计当前所述诊断窗口内的异常像素点数量，并计算所有异常像素点之间的欧氏距离的平均值和方差；如果所述异常像素点数量大于异常像素点数量预设阈值、并且所述平均值小于平均值预设阈值、并且所述方差小于方差预设阈值，生成图像故障信息；如果所述异常像素点数量小于或等于异常像素点数量预设阈值、或所述平均值大于或等于平均值预设阈值、或所述方差大于或等于方差预设阈值，继续滑动所述诊断窗口以扫描所述图像的其余部分。
12.本公开还提供了一种电子设备，其包括处理器和存储有由所述处理器执行的指令，其中，所述指令被所述处理器执行时上述任一实施方式所述的用于诊断图像故障的方法的步骤。
13.本公开还提供了一种存储介质，其存储有应用程序，当所述应用程序被处理器执行时，实现上述任一实施方式所述的用于诊断图像故障的方法的步骤。
14.本技术的图像故障诊断方案尤其适用于自动驾驶系统的深度学习。发明人基于分析发现，自动驾驶深度学习对异常像素点具有较高容错性、只有特定的坏点状态才会影响视觉深度学习的准确性，为此创新了图像故障的评价标准和方法。此方法能够有效减小自动驾驶系统的计算量，并且提高了图像诊断的可靠性，进一步提高了车辆的自动驾驶巡航性能。
附图说明
15.图1为用于诊断图像故障的一种例示性方法流程图。
16.图2为图1所示方法的一种具体实施方案。
17.图3-1至图3-3为例示的待诊断相机图像。
18.图4为用于诊断图像故障的一种例示性系统。
具体实施方式
19.为进一步描述本公开的相关内容，以下将结合多个实施例及附图，对技术方案进行描述。所描述的内容仅涉及部分实施例，并且基于所描述的实施例，本领域技术人员在无需创造性劳动的前提下，能够想到所述实施例的其他未描述的相关内容或者类似实施例。
20.图1示出了用于诊断相机图像故障的其中一种例示方法，其包括如下步骤：s101：滑动诊断窗口以扫描待诊断的图像。
21.在一个或多个实施例中，诊断窗口被设置为具有合适的长度m和宽度n，所述m和n的值与图像故障诊断的精度相关，值越小，精度越高，计算量也越大。为此，可依据机器深度学习最小识别区域和/或待检测的图像的尺寸来设定。例如，诊断窗口的大小介于机器深度学习最小识别区域与待检测图像的尺寸之间。
22.此外，诊断窗口的设置还可以包括诊断窗口的每次滑行步长，即诊断窗口每次滑动时所移动的距离。例如，在一个或多个实施例中，诊断窗口每次只在一个方向滑动一个像素点，以保证图像上每个像素点都被扫描过。
23.滑动诊断窗口的步骤主要基于设置好的诊断窗口按照预定的滑动路径对待诊断的图像进行扫描，为后续的诊断步骤选定目标区域。例如，诊断窗口按照设置好的步长，在图像上先沿水平方向滑动，完成一行扫描后，再沿竖直方向滑动，即从左向右、自上而下就待诊断的图像逐行进行扫描，直至遍历整个图像且均未发现缺陷或故障为止。
24.s102：每次滑动所述诊断窗口后实施图像故障诊断。
25.此步骤的具体内容包括而不限于：每次依照预设的步长滑动所述诊断窗口后，依据当前所述诊断窗口内的异常像素点数量以及所有异常像素点之间的欧氏距离的平均值和方差判断是否存在图像故障。换言之，诊断窗口依照预设的步长每做一次滑移后，实施一次图像故障诊断，并且此诊断过程所考虑的因素至少包括诊断窗口内的异常像素点数量以及所有异常像素点之间的欧氏距离的平均值和方差中的一种或多种。
26.在一个或多个实施例中，依据图像的每个像素点的灰度值判断是否存在异常像素点。例如，可以根据具体相机的像素特征，设定图像的灰度值范围作为异常像素点的阈值范围，当像素点的灰度值不在所述阈值范围内时，判定该点为异常像素点。
27.异常像素点之间的欧氏距离计算方法如下（式1，例如精确到小数点后三位）：（1）其中，为点与点之间的欧氏距离，j为第j个异常像素点，k为第k个异常像素点；所述欧氏距离的平均值的计算方法如下（式2）：（2）所述欧氏距离的方差计算方法如下（式3）：（3）
其中，i=，n为异常像素点的个数。
28.图2例示了图1所示方法的一种具体实施方案，其包括：s1：获取实时采集的相机图像。
29.s2：将诊断窗口按照预定的滑动路径滑动预定的步长，以对所述图像进行扫描。如前文所示，诊断窗口的滑动路径例如为从左向右、自上而下对待诊断的图像依次滑动。
30.s3：在所述诊断窗口滑动预定的步长后，统计当前所述诊断窗口内的异常像素点数量和各个异常像素点的坐标。
31.s4：如果所述异常像素点数量小于或等于预设阈值，则继续滑动所述诊断窗口以扫描所述图像的其余部分，直至整个图片均被扫描过而完成单张图片的诊断，并开始下一张图像的采集和诊断。异常像素点数量预设阈值可以根据需要进行设定，其中所述异常像素点数量预设阈值越大，诊断精度越低，计算量越小。
32.s5：如果所述异常像素点数量大于所述异常像素点数量预设阈值，则计算所有异常像素点之间的欧氏距离的平均值和方差；s6：如果所述平均值和方差均小于预设阈值，则生成图像故障信息，指示图像错误，完成当前图像的诊断，并开始下一张图像的采集和诊断；如果所述平均值和方差均大于或等于预设阈值，则继续滑动所述诊断窗口以扫描所述图像的其余部分，直至整个图片均被扫描过而完成单张图片的诊断，并开始下一张图像的采集和诊断。欧式距离平均值预设阈值和欧式距离方差预设阈值也可以根据需要进行设定，其中所述阈值越大，诊断精度越高，计算量越小。
33.以下将以图3-1、图3-2、图3-3所示出的多幅待诊断相机图像为例，具体说明上述方法的相关内容，其中图中的黑色方块代表异常像素点。
34.为进行所述诊断方法，例如将诊断窗口的宽度和长度设置为25
×
25像素，并且设置异常像素点个数的预设阈值a=3，所述异常像素点欧氏距离平均值的预设阈值b=4，欧氏距离方差的预设阈值c=3。
35.首先，采集一张图像（如图3-1），统计图中的异常像素点个数及其坐标，其中异常像素点个数为2个，坐标分别为（5，25）、（8，19）。由于图3-1的异常像素点个数小于预设阈值a=3，且整张图片全部被扫描过，认定此图像无缺陷，完成当前图像的诊断。
36.然后，重新采集图像（如图3-2），统计图中的异常像素点个数及其坐标，其中异常像素点个数为4个，坐标分别为（6，23）、（20，23）、（8，15）、（21，15）。由于图3-2的异常像素点个数大于预设阈值a=3，进而根据式（1）计算各个异常像素点之间的欧氏距离，得到的欧氏距离分别为：3.742、8.246、18.788、14.422、8.062、13。再根据式（2）计算欧氏距离平均值为11.043，根据式（3）计算欧氏距离方差为24.208。由于图3-2的平均值大于预设值b=4、方差大于预设值c=3，且整张图片全部被扫描过，认定此图像无缺陷。
37.再后，重新采集图像（如图3-3），统计图中的异常像素点个数及其坐标，其中异常像素点个数为4个，坐标分别为（18，13）、（15，13）、（14，17）、（15，17）。由于图3-3的异常像素点个数大于预设阈值a=3，进而根据式（1）计算所有异常像素点之间的欧氏距离，得到的欧氏距离分别为：3、5.657、5、4.123、4、1。根据式（2）计算欧氏距离的平均值为3.797，根据式（3）计算欧氏距离的方差为2.252。图3-3的平均值小于预设值b=4且图3-3的方差小于预设
值c=3，指示图像错误，产生故障报警信号，重新采集图像，进入下一个诊断循环。
38.上述具体实施方案可以具有多种变形，例如包括：s1：实时采集相机图像。
39.s2：将诊断窗口滑动预定的步长，以按照预定的滑动路径对所采集的图像进行扫描。如前文所示，诊断窗口的滑动路径例如为从左向右、自上而下对待诊断的图像依次滑动。
40.s3：对所述诊断窗口滑动预定的步长后，统计当前所述诊断窗口内的异常像素点数量和各个异常像素点的坐标，并计算所有异常像素点之间的欧氏距离的平均值和方差。
41.s4：如果所述异常像素点数量大于预设阈值、并且所述平均值和方差均小于预设阈值时，生成图像故障信息，完成当前图像的诊断，并开始下一张图像的采集和诊断；s5：如果所述异常像素点数量小于或等于预设阈值、或所述平均值大于或等于平均值预设阈值、或所述方差大于或等于方差预设阈值，继续滑动所述诊断窗口以扫描所述图像的其余部分，直至整个图片均被扫描过而完成单张图片的诊断，并开始下一张图像的采集和诊断。
42.图4例示了一种用于图像故障诊断的系统10，包括：图像获取模块11，其被设置为接收实时采集的相机图像；图像扫描模块12，其设置有诊断窗口，并通过滑动该诊断窗口扫描所述相机图像；故障诊断模块13，其在每次滑动所述诊断窗口后，依据当前所述诊断窗口内的异常像素点数量和所有异常像素点之间的欧氏距离的平均值和方差判断是否存在图像故障。
43.例如，在一个或多个实施例中，所述故障诊断模块13被设置为：在每次滑动所述诊断窗口后，统计当前所述诊断窗口内的异常像素点数量；如果所述异常像素点数量小于或等于异常像素点数量预设阈值，则继续滑动所述诊断窗口以扫描所述图像的其余部分；如果所述异常像素点数量大于异常像素点数量预设阈值，则计算所有异常像素点之间的欧氏距离的平均值和方差，并且在所述平均值小于平均值预设阈值并且所述方差小于方差预设阈值时生成图像故障信息，在所述平均值大于或等于平均值预设阈值、或所述方差大于或等于方差预设阈值时继续滑动所述诊断窗口以扫描所述图像的其余部分。
44.又如，在一个或多个实施例中，所述故障诊断模块13被设置为，在每次滑动所述诊断窗口后，统计当前所述诊断窗口内的异常像素点数量，并计算所有异常像素点之间的欧氏距离的平均值和方差；如果所述异常像素点数量大于异常像素点数量预设阈值、并且所述平均值小于平均值预设阈值、并且所述方差小于方差预设阈值，生成图像故障信息；如果所述异常像素点数量小于或等于异常像素点数量预设阈值、或所述平均值大于或等于平均值预设阈值、或所述方差大于或等于方差预设阈值，继续滑动所述诊断窗口以扫描所述图像的其余部分。
45.本领域技术人员可以理解，上述实施例方法中的全部或部分步骤可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程，在此不再赘述。
46.以上实施例仅用以说明本公开的技术方案，而非对其限制。本领域技术人员应当
理解，可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，这些修改或者替换并不使相应技术方案的本质脱离上述各实施例技术方案的精神和范围。