具有目标明确的预处理的图像分析处理的制作方法

本发明涉及一种用于图像分析处理的系统，该系统尤其可以在驾驶辅助系统和用于自主驾驶的系统中用于识别边沿、对象和其他特征。

背景技术：

视觉信息的接收对于在机动化的道路交通上的有效参与是不可缺少的。与之相应地，用于驾驶辅助系统和用于自主驾驶的系统的摄像机系统是重要的信息源。

通常，必要的是，在分析处理之前例如通过校正或颜色匹配来预处理由摄像机提供的图像。然而，这样的预处理随发展趋势总是伴随着在图像中所包含的信息的明显的压缩。因此，与所打算的分析处理不匹配的预处理可能导致恰好丢失对于这种分析处理所需要的信息。这可能使分析处理的结果变差，而不是如所打算地那样改进。

us5,182,776a公开，执行一种包括用自学习的人工神经网络进行图像预处理在内的图像分析处理过程，以测量等待电梯的乘客的数量。借助附加信息对所测量的数量进行可信度检验，并且偏差作为学习信息被传回神经网络中，在那里所述偏差也对预处理的参数具有影响。

us5,553,159a公开，在拍摄x射线照片时使用人工神经网络，所述人工神经网络也能够最优地调节用于原始图像的自然拍摄和用于接下来的预处理的参数。

技术实现要素：

在本发明的范畴内，开发了一种用于识别在输入图像中的特征或对象的系统。该系统包括构造为ki模块(ki-modul/ai-module)的至少一个预处理模块，所述至少一个预处理模块构造用于由输入图像借助参数化的内部的处理链产生至少一个中间图像。此外，系统包括至少一个分析处理模块，所述至少一个分析处理模块构造用于识别在中间图像中的所期望的特征或对象。

已看到，功能性的这种划分能够实现对预处理与真正的分析处理无关地进行优化。即，如果例如分析处理模块同样构造为ki模块并且两个ki模块是自学习的，则两个ki模块的学习过程可以相互解耦。因此，例如预处理模块和分析处理模块可以相互独立地交换，而不在未期望的位置上丢失ki的突然的学习进展。

然而，同时有利地，在预处理时已经可以考虑所期望的分析处理的要求，从而在信息在预处理时不可避免的缩减和压缩的情况下恰好可以选择那种对所打算的分析处理也至关重要的信息。即，尤其对于于此有关的学习过程，还存在输入图像的完整的信息量以供使用。目前，正是在驾驶辅助系统和自主驾驶的领域中首先借助固定的预处理来处理输入图像，所述固定的预处理例如包括校正和颜色处理。然后，在真正的分析处理开始并且使用ki之前，还部分地进行在特征中的划分(segmentierung)和因此进行信息量的进一步缩减。

此外，所提到的尤其用于驾驶辅助系统和用于自主驾驶的模块化的结构是有利的。在这类复杂的系统中，通常可以由同一个输入图像分析处理多个特性。即，在本发明的一种特别有利的构型中，可以设置多个分析处理模块，其中，分析处理模块获得中间图像，分析处理模块分别构造用于特征或对象的识别，所述中间图像和/或所述特征或对象彼此不同。

同一个输入图像可以被预处理模块转化成具有不同的内容和目标设置的中间图像，例如具有

·颜色信息，

·自身运动信息，

·在确定的方面提高的质量，或

·输入图像的不同的片段(场景划分)的中间图像。

因此，同一个经预处理的中间图像不必然对于所有打算的分析处理是最优的。相比于如下图像，例如对用于进行显示的系统和人类观察者(“displayvision”，显示视觉)的图像提出不同的要求：所述图像的用机器的分析处理通过后续的测量程序和功能(“machinevision”，机器视觉)进行打算。例如经模糊(weichzeichnen)或以其他的方式平整的中间图像也可以改进在受噪声干扰的图像中的对象的识别，而边沿的识别正相反地从对中间图像的清晰显示(scharfzeichnen)中获益。模块化的结构实现，对于每个所打算的分析处理提供恰好在这方面优化的中间图像以供使用。

在此，尤其当在预处理模块中输入图像在产生用于多个分析处理模块的中间图像时遍历同一个内部的处理链时，可以有利地并行地产生这些不同的中间图像。那么，预处理模块不会多次地彼此相继地执行基本上相同的工作。尤其是在目前的驾驶辅助系统和用于自主驾驶的系统中，频繁地出现这样的情况：不同的分析处理算法需要不同的尺寸和颜色格式(farbformaten)的图像信息。为此要彼此相继地制作多个中间图像是非常耗时的。

预处理模块可以自学习地构造。为此目的，在本发明的一种特别有利的构型中设置至少一个评估模块，所述至少一个评估模块构造用于定性地评估由分析处理模块提供的结果并且将其反馈到预处理模块的输入端中。为此，例如分析处理模块可以提供用于定性地评估的目标函数。

另一方面，也不强制预处理模块是自学习的。例如，可以在工厂方面已经以大量的学习数据来训练预处理模块，从而内部的处理链确定的参数已经包含来自这种训练的学习经验。然后，预处理模块可以例如静态地运行，也就是说，该预处理模块在由输入图像产生中间图像时可以调用学习经验，而不使其进一步扩大。

如果存在多个分析处理模块，则例如每个分析处理模块可以配属有自身的评估模块，所述评估模块也可以集成到分析处理模块自身中。但是，也可以设置例如共同的评估模块。在本发明的一种特别有利的构型中，评估模块构造用于将由多个分析处理模块所提供的结果的评估合并为总评估并且将该总评估反馈到预处理模块的输入端中。然后，例如可能以同一个中间图像供给多个分析处理模块，所述中间图像是在相应的要求之间的最优的折衷。

然而，这类总评估也可以反映这样的情况：存在两个不同的分析处理模块，所述不同的分析处理模块获得不同的中间图像。如果输入图像例如在第一分析处理模块中应借助分类的交叉熵进行分析处理和在第二分析处理模块中应借助二元的交叉熵进行分析处理，则在第一分析处理模块方面的最优的中间图像相应于第一目标函数z1的极值，并且在第二分析处理模块方面的最优的中间图像可以相应于第二目标函数z2的极值。现在在本发明的一种特别有利的构型中，如果例如输入图像在产生用于两个分析处理模块的中间图像时遍历同一个内部的处理链，则该内部的处理链关于这一个中间图像的优化也对另外的中间图像自动地产生影响。在共同的目标函数z中，例如根据规定z＝λ*z1+z2给两个目标函数z1和z2加权重，通过该共同的目标函数z可以找到在对于两个分析处理模块的优化之间的最优的折衷。

有利地，所需要的功能性在分析处理模块上这样进行划分，使得可以针对每个分析处理模块的需求来优化中间图像，而在此在该分析处理模块中所实施的不同的功能性之间不出现目标冲突。如先前所阐述的那样，例如在对象识别和边沿识别之间存在这样的目标冲突。因此，在本发明的一种特别有利的构型中，至少一个分析处理模块构造用于识别至少一个对象，而至少一个另外的分析处理模块构造用于识别至少一个边沿。

在本发明的一种特别有利的构型中，预处理模块的内部的处理链包括至少一个人工神经网络，所述至少一个人工神经网络由人工的神经元的多个层构成。在该网络中，输入层接收(aufnehmen)输入图像，并且中间图像层存储中间图像。在输入层和中间图像层之间布置有至少两个处理层。处理链的参数包括在神经网络层之间的连接的权重。

已看到，这样的神经网络可以特别好地并行化。因此，可以以每个单元低的特定的成本实现计算能力。尤其有利的是，将系统的硬件开销集中在神经网络中。然后，通过可以给系统的剩余的部件明显更微小地定尺寸的方式，可以明显地降低系统的总成本。

有利地，至少一个处理层构造用于，借助卷积核对图像数据进行卷积运算，和/或通过降采样(downsampling)来压缩图像数据。它们是这样的函数：所述函数的计算开销可以特别好地在神经网络中并行化。

在本发明的一种另外的特别有利的构型中，神经网络在中间图像层的背向输入层的一侧上具有至少一个分析处理层，在该分析处理层中实现分析处理模块的功能性的至少一部分。以这种方式，可以例如在预处理模块的效率高的、并行化的硬件上实施分析处理的计算最密集的部分。然后，系统的总的硬件开销还可以更强地集中到预处理模块上。

有利地，在系统中附加地设置用于获得输入图像的摄像机。在本发明的一种特别有利的构型中，该摄像机构造成通过车辆的挡风玻璃进行冷却，其中，摄像机具有最大5瓦特的电功率消耗。那么，摄像机尤其可以集成在挡风玻璃中并且直接地布置在其后面，以从最大程度地类似于车辆的人类驾驶员的角度来检测在车辆前方发生的活动。因此，5瓦特的功率限制由如下造成：高得多的功率不可能在所有的气候状况下通过挡风玻璃排出并且可能对摄像机进行过度加热。摄像机通常包括半导体结构元件，所述半导体结构元件的使用寿命随着运行温度按指数减小。

在本发明的一种另外的有利的构型中，预处理模块附加地构造用于求取引导至摄像机的、用于摄像机的至少一个运行参数的至少一个调节参量。预处理原则上可以仅仅使来自输入图像的这样的信息突出(herausarbeiten)：所述信息在那里以足够的强度表现出来。摄像机自身的运行参数提供附加的自由度：按成本不同地突出确定的方面。例如通过曝光调节可以确定，仅仅这样的图像区域总的来说落在摄像机的在最小强度和最大强度之间的动态区域中：所述图像区域的亮度位于确定的区间内。例如，有些特征恰好可以通过较长的曝光时间(所谓的模糊(blurring))来突出，这首先是反直觉的(kontraintuitiv)，因为由此使在图像中的大量的其他信息强烈地平整。但是，摄像机可以例如也转换到其他的波长范围上。

在本发明的一种另外的特别有利的构型中，系统与至少部分自动化的车辆的转向系统、制动系统和/或驱动系统耦合。在此，将特征或对象的至少一个识别转化成操控信号，所述操控信号作用到转向系统上、到制动系统上或到驱动系统上。操控信号可以例如预给定转向角、驱动系统的转矩或制动延迟。以这种方式，系统可以尤其在可靠性和运行安全性的方面定性地改进驾驶任务的至少部分自动化地完成。

根据先前的描述，本发明也涉及一种用于训练(anlernen)系统的方法。在该方法中，将多个或大量的学习输入图像输送给系统。然后，将由分析处理模块对每个学习输入图像所提供的结果与用于结果的、属于学习输入图像的已知的学习值进行比较。

接下来，可以单个地或组合地以两种方式进一步利用结果与学习值的偏差。一方面，该偏差可以被反馈到预处理模块的输入端中，因此在其中所包含的ki可以自动地依次地这样配置其内部的处理链的参数，使得学习输入图像尽可能好地被转化成所属的结果。另一方面，也可以直接地、例如通过优化算法在预处理模块的内部的处理链的参数中进行干预。除了在选择优化算法时的自由度之外，后者也提供这样的可能性：考虑外部的计算能力用于训练，所述外部的计算能力明显大于在完成了的预处理模块中自然存在的计算能力。

多个目标函数提供标度值，并且最优值相应于极值。有利地，参数的匹配借助梯度下降法进行。

系统可以包括用于预处理模块的特别的硬件、例如特别地设计为用于人工神经网络的平台的硬件。然而，对于根据本发明的原则上的作用方式，重要的不是在其上实现系统的具体的平台。这种平台可以是例如计算机或用于安装到车辆中的控制设备。那么，根据本发明的功能性可以体现在相应的软件中，就这点而言，所述相应的软件为可独立地出售的产品。因此，本发明也涉及一种具有机器可读的指令的计算机程序产品，当所述指令在计算机上和/或在控制设备上实施时，所述指令使所述计算机或所述控制设备升级为根据本发明的系统，和/或所述指令促使实施根据本发明的方法。

附图说明

以下，与本发明的优选的实施例的说明一起根据附图更详尽地说明另外的、改进本发明的措施。附图示出：

图1示出根据本发明的系统1的实施例；

图2示出在预处理模块3中的参数化的内部的处理链31的示例性的结构；

图3示出用于训练系统1的方法100的实施例。

具体实施方式

在图1中示例性地绘制的系统1设置用于在控制在图1中未进一步详细说明的自主的车辆时进行信息获得。安装在车辆的挡风玻璃上的摄像机7记录输入图像2。输入图像2在这里示例性地包含边沿21和交通标志22，所述边沿相应于行车道边缘。为了完成驾驶任务，需要不仅识别边沿21而且识别交通标志22。首先，这在输入图像2中是困难的，因为只能微弱地识别出边沿21和交通标志22并且输入图像2附加地被噪声23覆盖。

系统1包含第一分析处理模块5a以及第二分析处理模块5b，所述第一分析处理模块构造用于识别51a交通标志22，所述第二分析处理模块构造用于识别51b边沿21。预处理模块3为两个验收器(abnehmer)5a和5b分别提供根据其特定的需求而设计的中间图像4a或4b。

使第一中间图像4a变得模糊。由此消除在输入图像2中所包含的噪声23，并且使交通标志22更清楚地突出。因此这换来：使边沿21与输入图像2相比还更强烈地模糊。第一分析处理模块5a可以不被其妨碍并且提供交通标志22的良好的识别51a。

使第二中间图像4b清晰显示。由此，噪声23与输入图像2相比还稍微加强，从而交通标志22还可稍微较差地识别出。作为替代，使边沿21更清楚地突出，从而第二分析处理模块5b可以提供该边沿21的良好的识别51b。

由评估模块6a和6b对识别51a和51b定性地评估。将评估61a和61b作为反馈输送给预处理模块3的输入端32a和32b。以这种方式，预处理模块3可以这样匹配其内部的处理链31的参数，使得两个分析处理模块5a和5b可以分别提供最优的识别51a或51b。

可选地，评估模块6a和6b也可以合并成一个唯一的评估模块6，所述评估模块将由所述评估61a和61b例如通过加权合成的评估61向预处理模块3的输入端32反馈。为了清楚起见，这种情况在图1中未示出。

预处理模块3附加地求取用于摄像机7的运行参数72的调节参量71。以这种方式，在记录输入图像2时已经可以考虑分析处理模块5a和5b的需求。例如，可以对曝光进行匹配。

在本发明的一种特别有利的构型中，使识别51a和/或识别51b转化为操控信号，为了完成驾驶任务的目的，所述操控信号又输送给至少部分自动化的车辆的转向系统、制动系统和/或驱动系统。

在图2中示出内部的处理链31的示例性的结构的草图。内部的处理链31是由在这里示例性地示出的具有神经元33的九个层31a-31i组成的人工神经网络。在相邻的层31a-31i的神经元之间存在着连接34，所述连接34的权重构成内部的处理链31的参数。为了清楚起见，在图2中仅一个神经元以附图标记33标记并且仅一个连接以附图标记34标记。

层31a是接收输入图像2的输入层。处理层31b-31g从上向下地邻接该输入层。在从第二处理层31c到第三处理层31d的过渡中，处理分裂为两个分支，所述两个分支最终在中间图像层31h上通到两个中间图像4a和4b中。中间图像4a和4b确定用于分析处理模块5a和5b。

处理链31在中间图像层31h下方(即在其背向输入层31a的一侧上)包括分析处理层，在该分析处理层中已经实施两个分析处理模块5a和5b的功能性的一部分。以这种方式，相应的分析处理的计算最密集的步骤还可以在预处理模块3中进行，在那里，存在着巨大的并行计算能力以供成本有利地使用。

图3示出用于训练系统1的方法100的实施例。在步骤110中，将多个学习输入图像9输送给预处理模块3。预处理模块3由此分别产生中间图像4，该中间图像被输送给分析处理模块5。在步骤120中，将由分析处理模块5提供的结果10与用于结果10的学习值11进行比较。在步骤130中，将所求取的差12反馈到预处理模块3的输入端32中，从而其自学习过程可以这样匹配内部的处理链31的参数，使得最终根据步骤150减小偏差12。对此替代地或也组合地，根据步骤140可以直接地匹配内部的处理链31的参数。在此，例如可以利用外部的计算能力，所述外部的计算能力明显大于自然地在所提供的系统1中所使用的计算能力。