用于对光学图像的盲区进行分类的方法与流程

1.本发明涉及一种用于对光学图像的盲区（blindheit）进行分类的方法，一种用于改进光学图像的方法、一种用于确定光学图像的至少一个图像平面的方法和一种用于生成经过训练的机器学习系统的方法，以及涉及一种相对应的设备、计算机程序和机器可读的存储介质。


背景技术：

2.驾驶的自动化随着给车辆装备有用于进行周围环境检测的越来越广泛的和性能越来越强大的传感器系统而出现。在解释传感器数据时，针对分类和探测任务，采用机器学习（英语为machine learning）的方法。在视频领域中，在此例如利用卷积网络（英语为：convolutional neural networks（卷积神经网络））来工作。视频传感器可能由于拍摄路径的极其不同的干扰而退化，这样例如由于摄像机镜头的或者设置在前部的挡风玻璃的弄脏而退化，或者由于摄像机的损坏或者由于如雨、雾、雪或者溅水之类的另外的环境影响而退化。
3.为了借助光学传感器检测对至少部分自动化驾驶的环境表示，光学传感器的足够清楚的图像是特别重要的。


技术实现要素：

4.用于对象探测和对象分类的典型方案在这些情况下由于假阳性和假阴性识别不起作用，而在此不能识别出这些方案的已退化的状态。在视频传感器的周围环境检测中的错误又可能导致上级的系统中的功能性误判。视所实现的功能而定，由此可能发生安全风险或者舒适性丧失。因而，车辆中的视频传感器可以装备有单独的盲区识别（blindheitserkennung）。通过针对传感器盲区的识别机制，在整个系统中在传感器数据上实现的功能可能以对于当前的传感器可用性适当的方式而退化。
5.换言之，由传感器系统生成数据，以便借助传感器数据实现系统功能。如果传感器系统的可用性是已知的，如例如通过可靠的盲区探测而是已知的，则由此可能导出系统功能的可用性。也就是说，系统可以仅仅通过良好地识别出传感器退化也诊断或标识出适当的系统功能退化。使得例如在仅部分检测到的环境中，由于系统的局部的盲区，也只能相对应地部分受限地提供相对应的功能。
6.当前的盲区识别具有极大的弱点，尤其在识别如光剑（lichtschwertern）或者畸变之类的复杂退化效应时具有极大的弱点。盲区识别的假阳性率也过高，以便针对自动化水平采用所述盲区识别，其中驾驶员不再承担责任并且在怀疑的情况下可能会接管车辆导向。
7.类似于对象识别，用于识别视频图像上的盲区的中心方案是关于盲区对图像或者图像片段的分类。分类器典型地受到监督训练（英语为supervised training）。对此的关键是合适数量、多样性和质量的参考数据（英语为ground truth（地面实况））。
8.产生参考数据的前提条件是如下合适的标签模式（label
‑
schema），按照该标签模式，数据可以合适地被表征为盲的或者非盲的。与如汽车、行人或者道路表面之类的对象不同，对于各种各样的不同盲区原因、盲区效应和盲区密度有意义的是，判定在此
ꢀ“
盲区”标签的边界该处在何处。
9.例如，图像中的许多原因不再能够被区分，如例如尘埃或者包覆物；一些原因又不能被混淆，如例如水和树叶。一些原因可能导致局部完全退化，例如鸟类排泄物；而另外的原因可能半透明地还部分泄漏背景，如例如薄的尘埃。一些效应又难以被划定边界，例如条痕或者散射效应；并且另外的效应在图像中小部分地散射，如例如沙；而另外的效应平面地出现，如例如包覆物。视焦距、张角和距（例如挡风玻璃或者镜头的）受污染的表面的距离而定，可以极大地区分这些效应。同时，例如关于被贴标签的图像的使用，根据盲区标签进行归类的相应目的也始终取决于功能方面。
10.如果例如仅仅要针对退化路径识别盲区，则不需要区分原因。而对于可能的清洁，为了选择适当的清洁参数/清洁程序，对原因的尽可能好的区分是有帮助的。其他实例涉及对交通信号灯的识别，例如利用仅仅一个传感器进行识别，其中整个图像要是可用的，因为交通信号灯可出现在整个成像区域中，由此由成像区域的部分遮蔽产生传感器/系统的完全故障。在另外的情况下，如在上面提到的“电视摄像机向后（tele
‑
kamera
‑
nach
‑
hinten）”情况中，绝对还可以使用被部分遮蔽的传感器的数据，使得根据这种功能方面而对盲区识别的空间分辨率提出了不同的要求。
11.根据本发明的方面，建议了根据独立权利要求的特征的一种用于对光学图像的盲区进行分类的方法、一种用于改进光学图像的方法、一种用于确定光学图像的至少一个图像平面的方法、一种用于生成经过训练的机器学习系统以对光学图像的盲区进行分类的方法、一种用于提供控制信号的方法、一种设备、一种计算机程序产品和一种机器可读的存储介质。有利的构建方案是从属权利要求以及随后的描述的主题。
12.根据本发明的一个方面，建议了一种用于对移动平台的环境的光学图像的盲区进行分类的方法，所述方法具有下列步骤。在第一步骤中，提供移动平台的环境的数字光学图像。在其他步骤中，形成多个区域，用于划分数字图像。在其他步骤中，借助经过训练的机器学习系统，利用至少两个不同的盲区属性来对数字图像的多个区域中的每个区域进行分类，并且利用数字图像作为机器学习系统的输入信号来进行分类，其中机器学习系统借助多个数字参考图像和相应的数字参考图像的经过分类的区域已被训练为，关于至少两个盲区属性来对数字参考图像的区域进行分类，并且至少两个盲区属性被分配给数字图像的相应的区域。
13.在此，机器学习系统的实例是神经卷积网络，必要时与完全连接的神经网络组合，必要时在利用经典的正则化层和稳定化层、如批量归一化（batch
‑
normalisierung）和训练丢弃（trainings
‑
drop
‑
outs）的情况下，在利用不同的激活函数、如sigmoid和relu等等的情况下，如支持向量机（support
‑
vector
‑
machines）、推进（boosting）、决策树以及随机森林（random
‑
forrests）之类的经典方案也可以被用作针对所描述的方法的机器学习系统。
14.在对本发明的整个描述中，方法步骤的序列示出为使得，可以容易地理解本方法。但是，本领域技术人员将认识到，这些方法步骤中的许多方法步骤也可以按另外的顺序来遍历，并且导致相同的或者相对应的结果。在此意义下，这些方法步骤的顺序可以相对应地
被改变。数个特征配备有计数字，以便改进可读性或者使分配更明确，但是这没有暗含存在确定的特征。
15.参考图像是如下图像：所述图像尤其是特定地为了教会（anlernen）机器学习系统而已被拍摄，并且例如手动地已被选择和已被标注，或者已被合成生成，并且在所述图像中，关于区域的分类来给多个区域贴标签。例如，手动地根据分类的预给定（如至少两个盲区属性），可以进行这种给区域贴标签。
16.在神经网络中，给人工神经元的连接的信号可以是实数，并且人工神经元的输出通过该人工神经元的输入的总和的非线性函数来计算。人工神经元的连接典型地具有如下权重：所述权重利用渐进式学习来适应。权重提高或者降低给连接的信号的强度。人工神经元可以具有阈值，使得只有当总信号超过该阈值时才输出信号。
17.典型地，多个人工神经元被联合成多个层。不同的层可能针对这些层的输入执行不同类型的变换。信号从第一层（输入层）行进至最后的层（输出层）；可能在多次遍历这些层之后行进至最后的层。
18.这种人工神经网络的架构可以是如下神经网络：所述神经网络根据多层感知机（multi
‑
layer
‑
perceptron（mlp））必要时扩展有其他的不同建立的层。多层感知机（mlp）网络属于人工前馈神经网络族。原则上，mlp包括至少三个神经元层：输入层、中间层（hidden layer（隐藏层））和输出层。这意味着，该网络的所有神经元分成多个层。
19.在此，在前馈网络中，没有实现至先前的层的连接。除了输入层之外，不同的层包括如下神经元：所述神经元可以经受非线性的激活函数，并且可以与下一层的神经元连接。深度神经网络可以具有多个这种中间层。
20.这种神经网络必须针对这些网络的特定任务来训练。在此，神经网络的相对应的架构的每个神经元例如都获得随机的初始权重。接着，输入数据被给到所述网络中，并且每个神经元都可以给输入信号加权有它的权重，而且进一步向下一层的神经元给出结果。那么，在输出层处提供总结果。误差的大小可以被计算，以及每个神经元参与误差的份额可以被计算，以便接着沿着使误差最小化的方向改变每个神经元的权重。接着，进行递归遍历，重新测量误差和适应权重，直至满足误差准则。
21.这种误差准则例如可以是测试数据集（test
‑
daten
‑
set）上的分类误差，或者也可以是损失函数（loss
‑
funktion）的当前值，例如在训练数据集上的损失函数的当前值。替选地或者附加地，误差准则可以涉及中断准则作为一个步骤，在所述步骤中，在训练中可能会采用过拟合（overfitting），或者用于训练的可用时间期满。
22.光学图像作为输入信号以数字形式被提供给经过训练的神经网络。
23.移动平台可以被理解为至少部分自动化的系统，所述系统是移动的，和/或被理解为驾驶员辅助系统。实例可以是至少部分自动化的车辆或具有驾驶员辅助系统的车辆。也就是说，在本上下文中，至少部分自动化的系统包含关于至少部分自动化的功能的移动平台，但是移动平台也包含包括驾驶员辅助系统在内的车辆和另外的移动机器。针对移动平台的其他实例可以是：具有多个传感器的驾驶员辅助系统，如机器人吸尘器或者割草机之类的移动多传感器机器人，多传感器监控系统，生产机器，个人辅助装置或者访问控制系统。这些系统中的每个系统都可以是完全或者部分自动化的系统。
24.多个区域可以包括小数目的区域、如例如两个或者三个区域，所述多个区域也可
以包括100个区域，或者还高得多的数目的区域可以被分类。
25.利用给光学图像的区域用两个盲区属性贴标签的方法或构思，可以至少部分克服上面所描述的针对视频退化/盲区的当前盲区识别的缺陷。用至少两个盲区属性贴标签的构思允许对所有在单图像上可能的盲区信息的标注，并且可应用于所有盲区情况。因此，以这种方式贴标签的数据记录可以被用于基于图像的盲区分类的许多任务。
26.利用包括贴标签构思在内的方法，可能的是，借助受监督的机器学习方案来探测和分类当前的传感器退化状态。该方案要么可以借助独立的分类器（例如呈卷积网络的形式）来执行，要么通过（例如针对对象的）集成到另外的分类器中或者与另外的分类器组合来执行。
27.经此能够实现：a．在光学图像中定位污垢、水等。这贡献于系统的更高的可用性，因为尽管有部分限制但是至少部分功能可以利用剩余图像来执行。
28.b. 在生成该数字图像的系统的可用性低于一定程度时，该系统可以可靠地、及时地和受控地被关断。这是必需的，以便保证安全性。
29.c. 可以自动地触发生成该数字图像的系统的保留功能（freihaltefunktionen），如例如玻璃刮水器或者传感器加热装置或者传感器清洗过程，以便维持系统可用性。
30.2. 所描述的具有至少两个盲区属性的标签构思能够实现针对多种退化原因贴标签，而在此不用丢弃本质的可鉴别性信息。以此，创建了一种标准，以便针对多个应用情况给具有已退化的图像部分的数字图像贴标签。以这种方式被贴标签的数字图像因此可以成本高效地被再使用。
31.3. 除此以外，要简单地理解标签构思，并且在大多数情况下，该标签构思创建了明确限定的标签任务。
32.利用在本方法中包含的贴标签构思，可以基于机器学习来生成针对基于摄像机的退化识别的训练和验证数据记录。退化状态包含系统在它的使用寿命中可能经历的所有损伤。实例：雨、雪、划痕、包覆物、尘埃、雾、例如处于低位置的太阳的眩光效应、树叶和另外的沾污。
33.尤其是，这里所描述的标签构思可以生成合适的标签，所述标签可以应用于所有盲区原因，而不丢弃重要的可鉴别性信息。标签构思在给贴标签机说明标签目的的明确的和客观的预给定的程度上“被清楚地限定”。
34.借助这种被贴标签的图像，可以实现高性能的盲区识别。通过对所提到的效应的良好识别，在高的传感器和系统可用性的情况下可以保证高的安全性。
35.根据一个方面建议了，光学图像的盲区的面密度被分配给第一盲区属性，而光学图像的盲区的不透明性被分配给第二盲区属性。
36.贴标签构思方案特定地可以涉及在下文所描述的属性。对于这种数字描述的图像，术语“盲区”或“退化”可以被理解为如下区域：在所述区域中，图像损坏，并且场景的感知能力由于挡风玻璃或者表面玻璃上的残留物（如例如污物或者水滴）而被减小。替选地或者附加地，大气中的散射性的和吸收性的物质可能是数字描述的图像的部分的或者完全的盲区的原因。
37.盲区/退化标签可以被理解为叠加，也就是说盲区/退化标签可以包含在任意另外
的语义标签之上的单独的层中。例如，可以与行人叠加地给这种盲区贴标签。
38.在此，盲区/退化可以由于不同的原因形成，例如由于污物、水滴、雪、冰、冷凝物或者甚至如裂纹或者划痕之类的缺陷而形成。由于常常不能可靠地确定原因，所以该原因在贴标签步骤中不能被区分。取而代之，该效应利用多个属性来归类。为此，明确地可识别的原因可以附加地被给予属性。视实施形式而定，可以省去下面介绍的属性中的一种或多种。
39.为了定位在摄像机图像中的盲区，多边形贴标签可以被用于这三个所介绍的属性，也就是说折线被用于界定被给予属性的图像部段。视需求和可能性而定，在此可以采用不同多条线段。尤其是，存在其中被给予属性的图像区域通过少量的（例如3
‑
10条）线段来划定边界的应用，并且存在其中进行像素精确的划定边界的另外的应用。在另外的应用中，针对被贴标签的区域也可以采用另外的边缘参数化，如例如具有弯曲的线段。
40.第一盲区属性：“盲区的面密度”（英语为density）描述了，所标记的区域在空间上多密地以该盲区效应来覆盖。这并不涉及物质的物理体积密度，而是涉及盲区效应的像素或者表面密度，也就是说在多边形之内有多少像素实际上被该盲区效应所涉及。在下文，相关联地盲的像素区域要被称作“斑点”。
41.1. 低/low：多边形包含小的被分割的盲点（小：从遮盖仅一个像素起）。事件的数目足够高，使得例如在经济的或者算法的考虑下，对这些斑点单个划定界线可能会是没有意义的。
42.2. 高/high：多边形包含多个盲点，这些盲点涉及大部分像素，但是存在间隙。
43.3. 全/full：实践上涉及在多边形之内的所有像素，也就是说该多边形基本上对应于一个斑点。
44.第二盲区属性“盲区的透明性”（英语为obscurity（模糊性））描述了，盲区效应多强烈地减小对在所标记的区域中的斑点后面的实际场景的感知。主要指标是，所基于的场景中有多少结构还可以被感知。
45.1. 低/low：场景的结构或者纹理尽管有盲区效应但还是明确可见的。此外，各个边或者线还可以被标识出。
46.2. 中等/medium：识别出该场景的结构或者纹理是困难的。可能的是，正确地识别出大的形状和可能的场景颜色，其中细节丢失。
47.3. 高/high：不可能的是，识别出该场景在盲点上的结构或者纹理。
48.根据一个方面建议了，盲区的可识别的原因被分配给第三盲区属性。
49.根据一个方面建议了，给第三盲区属性分配在摄像机系统之前用不同于水的物质覆盖透明的面的可识别的原因，所述摄像机系统已生成数字图像。
50.第三盲区属性：水指示（英语为water indication）描述了，盲点潜在地是否可能已通过水来产生。可能的值是：1. 真/true：盲点可能会已通过水来产生。
51.2. 假/false：清楚地识别出，盲点不曾通过水产生。
52.在此，表征或分类盲区是否已通过水造成在许多情况下从功能看来是相关的信息，如例如与传感器清洁系统共同作用：通过水覆盖的传感器表面优选地通过干燥清洁而不是湿式清洗过程来清洁。然而，贴标签机不能可靠地区分，盲区是否已通过水产生。标签“水指示”的目的在于，仍然描述最大从该图像中可提取的信息。
53.由于常常强烈散焦地示出对透明的面的覆盖，所以有利的是，在贴标签时排除第三盲区属性“水”作为原因，因为这在实践中比标识出水更简单。
54.替选地，“水指示”也可以通过液体指示或者挥发性指示来替代和/或补充。
55.根据一个方面建议了，多个区域由数字图像的整个数目的像素形成，也就是说给每个像素都分配有至少一个区域，或每个像素都被给予属性。
56.根据一个方面建议了，形成用于确定在相应的数字图像中的不同地被分类的图像平面的多边形曲线，其方式是：多边形曲线在数字图像的（关于盲区）不同地被分类的区域之间伸展。
57.利用这种多边形曲线，可以将不同地被分类的区域关于盲区属性彼此明确地分开。
58.建议了一种用于改进移动平台的环境的光学图像的方法，其中已利用数字摄像机生成光学图像，所述数字摄像机通过透明的面以机械方式与环境隔开，并且根据光学图像的如下数目的区域来触发透明的面的清洁过程：根据权利要求1至6中任一项，利用关键的盲区属性已对所述数目的区域进行分类。在此，透明的面尤其是也可以涉及摄像机系统的镜头。
59.为了确定关键的盲区属性，可以根据应用选择阈值。在此，在该背景下，任务是，每当（例如关于有效距离、对象识别率或者角度精度）经此可预期传感器的显著的性能获益并且恰好满足针对传感器清洁的所有边界条件（如例如硬件可用性、安全性（safety）使能、速度窗等）时，才触发传感器清洁。
60.建议了一种用于确定光学图像的至少一个图像平面的方法，所述方法适合于对象探测，其中根据光学图像的如下数目的区域来确定图像平面：根据权利要求1至6中任一项，利用相关的盲区属性已对所述数目的区域进行分类。
61.为了确定相关的盲区属性，可以考虑下列两个方案：一方面，在此可以考虑距离和对象相关性，其中例如图像中的轻微蒙翳还可以识别出在附近的大对象，但是不能识别出进一步远离的和/或小的对象。
62.另一方面，理想地，当感知算法由于干扰不再能够足够可靠地识别出针对相对应的要求的对象时，针对某个探测要将图像区域归类为盲的。定性地，这目前大致与人员是否还能可靠地识别出对象吻合。例如，这可以意味着，对象由于柔和效应、畸变效应和对比度损失效应而修改为使得，对象的本质的标识特征不再足够地在摄像机或者视频系统的数字图像中被示出。
63.建议了一种用于生成经过训练的机器学习系统的方法，用于针对上面所描述的方法之一对移动平台的环境的光学图像的盲区进行分类，用于对移动平台的环境的光学图像的盲区进行分类，该方法具有多个训练周期，其中每个训练周期都具有下列步骤。
64.在一个步骤中，提供光学图像，所述光学图像具有在移动平台的环境的光学图像的多个区域中的不同盲区。在其他步骤中，对于该光学图像提供所分配的参考图像，其中在参考图像中根据至少两个盲区属性给所述多个区域贴标签。在其他步骤中，光学图像作为机器学习系统的输入信号而被提供。在其他步骤中，适配机器学习系统，以便在对光学图像的区域的盲区进行分类时使与相应的所分配的参考图像的偏差最小化。
65.利用该方法，可以生成经过训练的机器学习系统，所述机器学习系统可以在上面
所描述的方法中被采用。
66.建议了一种方法，在所述方法中，基于光学图像的如下数目的相关的和/或关键的区域来提供用于操控至少部分自动化的车辆的控制信号：根据上面所描述的方法之一，利用盲区属性已对所述数目的区域进行分类；和/或基于光学图像的如下数目的相关的和/或关键的区域来提供用于警告车辆乘客的报警信号：根据上面所描述的方法之一，利用盲区属性已对所述数目的区域进行分类。
67.术语“基于”要关于如下特征宽泛地来理解：控制信号基于光学图像的如下数目的区域而被提供，根据上面所描述的方法之一利用盲区属性已对所述数目的区域进行分类。该术语要被理解为使得，根据光学图像的如下数目的区域来考虑控制信号的每个确定或者计算：多个根据上面所描述的方法之一利用盲区属性已对所述数目的区域进行分类；其中并不排除的是，也还考虑另外的输入变量来确定控制信号。这相对应地适用于报警信号的提供。
68.利用这种方法，可以根据数字图像的现有退化的程度对传感器退化做出不同反应。这样，利用该方法，例如在存在保留功能或者清洗功能时，例如利用针对传感器表面的喷嘴和玻璃刮水器，可以激活具有不同强度的清洁。除此以外，高度自动化的系统可能开始过渡到安全状态中。例如，这在至少部分自动化的车辆中可能导致缓慢停在紧急车道上。
69.根据一个方面，说明了一种设备，所述设备具有机器学习系统，所述机器学习系统已根据上面所描述的方法之一被训练。利用这种设备，可以将相对应的方法容易地集成到不同的系统中。
70.根据一个方面，说明了一种计算机程序，所述计算机程序包括如下指令：所述指令在通过计算机实施所述计算机程序时促使所述计算机，实施上面所描述的方法之一。这种计算机程序能够实现在不同的系统中采用所描述的方法。
71.说明了一种机器可读的存储介质，在所述机器可读的存储介质上存储有上面所描述的计算机程序。借助这种机器可读的存储介质，上面所描述的计算机程序是便携式的。
附图说明
72.参照图1至2，示出并且在下文更详细地阐述了本发明的实施例。在附图中：图1示出了用于利用两个盲区属性对光学图像的盲区进行分类的图表；和图2示出了具有不同区域的示例图像，所述不同区域分别利用两个盲区属性来归类。
具体实施方式
73.图1示意性概略示出了用于对相应的图像中的区域进行归类的两个盲区属性的组合。在此，在每个图像中表征了如下区域：以不同的表现形式概略地示出所述区域的具有第一盲区属性和具有第二盲区属性的盲区，所述第一盲区属性为盲区的面密度，所述第二盲区属性为盲区的不透明性。在此，dl、dh、df代表盲区的低的、高的和完全的面密度，而l、m、h代表盲区的低的、中等的和高的不透明性。
74.图2示意性地示出了具有不同的区域的示例图像，所述区域分别利用两个盲区属性来归类。在此，区域210例如由于雨滴而以盲区的低的不透明性和盲区的高面密度来分
类，并且区域22例如由于污染而以盲区的高的不透明性和盲区的高面密度来分类。