用于制作可靠的拼接图像的系统和方法与流程

1.本技术涉及用于制作可靠的拼接图像的系统和方法。


背景技术：

2.拼接图像是这样一种图像，其组合了从一个或多个具有重叠视场的不同姿态的摄像机获取的至少两个分量图像，以创建具有比分量图像更大或不同的视场的图像。
3.如果分量图像图中的相同物体的图像映射到拼接图像中的不同位置，则拼接过程会导致拼接图像中的赝像，例如重影效应。
4.us9509909描述了一种用于校正光度未对准的方法，包括从合成视图几何查找表、输入鱼眼图像和视图重叠区域中的至少一个提取块样本，从提取的块样本中选择样本内标，估计所选块样本的最佳颜色增益，基于估计的颜色增益执行精细调整并应用颜色变换，以及产生合成环绕视图图像。
5.us2018/0253875描述了一种用于拼接图像的方法，包括基于分量图像的一个或多个内容度量从一组拼接方案中选择拼接方案，并应用所选择的拼接方案。
6.de102016124978a1描述了一种方法，该方法使用虚拟三维空间中的附加投影面来改善机动车辆的驾驶员辅助系统的显示设备上的竖直物体的可识别性，以在显示设备上更好地表示一个或多个竖直物体。
7.us2012/0262580描述了一种系统，该系统可以通过位于车辆上不同位置的摄像机提供来自车辆的环绕视图。摄像机可以生成对应于环绕视图的图像数据，并且处理设备可以处理图像数据并生成环绕视图。
8.us2009/0110327描述了一种便于识别3d坐标系中的平面的方法，其中将基于2d图像生成3d模型。设置该平面和2d图像之一中的感兴趣区域的挤出方向，并且该平面被挤出，直到平面中的感兴趣区域与2d图像中的对应区域相匹配。
9.本发明的目的是使拼接图像更加可靠，而没有先前工作的限制。


技术实现要素：

10.本发明由独立权利要求限定。从属权利要求提供了进一步的可选特征。
11.简而言之，描述了一种使拼接图像更可靠的方法。该方法有效且准确地检测双效赝像，其中分量图像中的物体映射到拼接图像中的分离的离散位置，并且如果拼接图像中的内容不可靠，则能够发出警报。在一些实施例中，检测到的赝像被动态伪像实时有效地替换，以产生可靠的拼接图像。
附图说明
12.现在将参考附图，通过示例的方式描述本发明的实施例，其中：
13.图1示出了具有多个车载摄像机的车辆；
14.图2更详细地示出了图1的车辆和两个摄像机之间的重叠区域；
15.图3示出了同一场景的两幅拼接图像，其中不同的混合区域被突出显示；
16.图4示出了根据本发明实施例的检测和处理双效赝像的方法；
17.图5示出了在图4的实施例中使用的用于标记图像的卷积神经网络cnn；
18.图6示出了叠加有检测到的已知物体的标签的图像；
19.图7示出了图3场景的进一步拼接图像，其中标记了相应的混合区域。在左图中，汽车的双效赝像被检测并标记。在右图中，检测到的双赝像已被处理；
20.图8示出了图3场景的更多拼接图像，其中标记了相应的混合区域。在左图中，路灯结构的双效赝像被检测并标记。在右图中，检测到的双赝像已被处理；以及
21.图9示出了在检测到的双效赝像被处理后的图8的拼接图像。
具体实施方式
22.对于许多涉及驾驶车辆的任务，获取关于本地环境的信息是重要的。实现此的一种方法是分析来自安装在车辆上的摄像机模块的图像。然后可以将图像拼接在一起，以提供更方便的图像来观看。
23.当试图对车辆周围的环境成像时，一个摄像机通常没有足够的视场来获取所有需要的数据。解决这个问题的一种方法是使用多个摄像机。在图1中，示出了车辆100，其具有位于车辆外围的四个摄像机101、102、103、104。每个摄像机视场的一个边缘用虚线101a、102a、103a、104a标记。摄像机的这种配置导致视场在区域101b、102b、103b、104b中重叠。作为示例，区域102b表示前置摄像机101的视场101a和左侧摄像机102的视场102a之间的重叠。图示的配置仅仅是示例性的。所公开的教导对于其他摄像机配置同样有效。
24.图示的视场对着约180度。宽视场通常由具有宽视场透镜的摄像机实现，例如鱼眼镜头。鱼眼镜头是优选的，因为它们通常是圆柱对称的。在本发明的其他应用中，视场可以小于或大于180度。虽然鱼眼镜头是优选的，但可以使用提供宽视场的任何其他透镜。在本文中，宽视场是具有超过100度视场的透镜，优选超过150度，更优选超过170度。通常，具有如此宽视场的摄像机导致所采集图像中的成像赝像和失真。
25.本发明中使用的摄像机的灵敏度不必限于任何特定的波长范围，但最常见的是，它将与对可见光敏感的摄像机一起使用。摄像机通常是摄像机模块的形式，包括用于透镜和传感器的外壳，透镜用于将光聚焦到传感器上。摄像机模块还可以具有为传感器供电并能够与传感器通信的电子设备。摄像机模块还可以包括处理图像的电子设备。该处理可以是低级图像信号处理，例如增益控制、曝光控制、白平衡、去噪等，和/或它可以包括例如用于计算机视觉的更强大的处理。
26.如果摄像机配置成使得它从车辆周围的所有方向提供图像，如图1所示，它们的分量图像可以提供足够的信息视图，以从各种虚拟摄像机姿态之一合成拼接图像，特别是从车辆上方。
27.在如图1所示的具有多个摄像机的车辆的情况下，可能希望显示周围图像，包括从车辆正上方的视点观察的局部环境的单个图像，而不是来自多个摄像机的多个图像。因此，来自所有四个摄像机的图像必须拼接在一起。在执行拼接之前或者作为拼接过程的一部分，可以将图像映射到不同的表面。例如，在拼接之前，可以将分量图像映射到球面或柱面上。在一实施例中，在拼接之前，分量图像被映射到平底碗表面上。这种映射还可以考虑镜
头失真和/或便于拼接过程。
28.在其他时间，如在下面描述的示例中，例如，如果车辆将要左转，可能希望从从车辆前置摄像机101和左侧摄像机102获取的分量图像产生拼接图像，其中虚拟摄像机姿态位于车辆上方，以便更清楚地向驾驶员示出交叉路口。当车辆将要右转或在拐角处倒车时，可以从成对的图像中生成相似的拼接图像。
29.有多种已知的方法将分量图像拼接在一起。例如直接拼接、线性混合、选择性混合或多带混合。为了描述这些过程，现在转向图2，其示出了图1所示车辆的更多细节。在该图2中，重叠区域102b具有混合段102c。混合段102c是重叠区域的至少一部分，并且由两个角度限定：角偏移102d和角宽度102e。来自位于混合段102c内的任何分量图像的数据将与来自另一分量图像的数据组合，并且组合的数据在形成拼接图像时使用。混合段在分量图像上的投影限定了分量图像中的混合区域。
30.直接拼接在两个分量图像之间的重叠区域中限定了过渡线。实际上，角宽度102e被设置为零。拼接图像使用线一侧的一个分量图像的图像和线另一侧的另一个分量图像的图像。该拼接过程导致一个分量图像到另一个分量图像之间的突然过渡。因此，赝像可能以拼接图像中可见接缝或不连续的形式出现。在一些情况下，可以通过已知的摄像机模块协调技术和设备来减少赝像的可能性或严重性，例如在2019年10月7日提交的题为“电子控制单元”的德国专利申请号de102019126814.1(参考号：2019pf00721)中描述的那些。
31.直接拼接的已知变化是使用动态接缝的直接拼接。在这种情况下，直接拼接线不必是直的，而是具有根据拼接的分量图像的内容而调整的路径。这种方法可以解决一些重影效应，但不太可能解决双效赝像，在双效赝像中，来自分量图像的给定物体出现在拼接图像中分离的离散位置。
32.线性混合通过随着跨越混合区域的距离线性地调整一个分量图像的像素权重来调整混合区域102c中的像素值。混合区域102c内的像素值被计算为来自分量图像的像素值的加权平均值。因为权重逐渐下降到零，所以从一个视图到另一个视图的平滑过渡被观察到，而不是急剧变化。线性混合的问题在于，由于两个不同视图之间的不完美的物体对准，混合区域内的物体可能会模糊。因此，由于未对准物体的混合，可能会在混合区域内观察到重影效果。
33.选择性混合使用线性混合和直接拼接来为每个像素找到来自线性混合的合成像素值i
线性
和来自直接拼接的合成像素值i
拼接
。然后，将这些合成的像素值与和在考虑位置的两个分量图像值之间的差相关的权重相结合。差越低，线性混合的权重越高，反之亦然。选择性混合避免了混合对应于不匹配物体的像素，因此可以减少模糊和重影效果。然而，当不匹配的物体具有相似的颜色或光度校准后的残余差异仍太大时，它会失败。由于后者是双效赝像的一个原因，选择性拼接不是解决双效赝像的理想选择。换句话说，选择性拼接对于消除不均匀颜色物体的重影效果是有效的，但不太可能解决导致双效赝像的极端差异。
34.多带混合通过将分量图像分成子带并自适应地混合这些子带来改善拼接图像中混合区域的外观。在一示例中，频率子带分解被应用于混合区域102c。对于高频带，应用第一小混合区域。对于低频带，使用第二较大混合区域。结果，这种操作对于低频分量在较长空间范围内进行平均，对于高频分量在较短空间范围内进行平均。由于较小的混合范围可以更好地保留高频分量，所以结果是混合区域中细节的清晰呈现。然而，多带混合不能解决
非平面物体的重影问题。
35.在所有情况下，在拼接图像中都存在明显的双效赝像的风险。当存在与背景具有高对比度的物体时，这种双效赝像的可能性或出现会增加。双效赝像在其他情况下也存在，但通常没有明显的视觉效果。例如，道路和天空中的双效赝像很少会有问题—如果道路的两个空白部分有复制的纹理，这通常不是问题。
36.双效赝像的外观取决于所采用的拼接技术和拼接参数。例如，分量图像之间的重叠区域中的混合区域的尺寸变化可以改变双效赝像的外观。
37.为了演示这种变化，考虑图3，它示出了分别使用两个不同的拼接参数产生的拼接图像的两个图像部分。在图3的左手侧，形成第一图像300的拼接参数限定相对较宽的混合区域302c。该混合区域302c由角宽度302e和角偏移302e限定。角偏移是从汽车正前方开始测量的。在图3的右手侧，形成第二图像300’的拼接参数限定不同的、相对窄的混合区域302c’。
38.当获取用于产生图3中的拼接图像的分量图像时，在车辆前方的道路上只有一辆汽车。然而，第一图像300中的双效赝像导致在混合区域302c中出现两辆部分透明的汽车。另一个双效赝像出现在第二图像300’中，并导致两辆汽车出现在与第一图像300相同的位置。然而，在第二图像300’中，两辆明显的汽车在混合区域302c’之外，并且是不透明的。用一条线沿着窄混合区域302’的中间直接拼接将产生与第二300’相似的图像。
39.传统上，分量图像的混合区域可被认为是圆柱形扇区。作为示例，考虑图3中的第一图像300，其中圆柱形扇区延伸图像的高度，并且由角宽度302e和角偏移302d限定。由于双效赝像的出现取决于拼接技术和拼接参数，所以通过调整拼接技术和拼接参数，可以降低双效赝像的可能性和/或降低赝像的严重性。圆柱形扇区的分层或堆叠提供了很大的自由度来减轻双效赝像，因为它提供了更多的自由度和额外的拼接参数来调整。由于每层是圆柱形扇区，因此除了角宽度和角偏移之外，它还有两个附加参数即层高度和层厚度。
40.现在参考图4，示出了描述本发明实施例的流程图。第一步410是获取拼接图像，这可以通过使用上述任何技术将来自一对具有重叠视场的摄像机的分量图像进行组合来完成。然而，本发明的实施例同样可以应用于任何拼接图像，其中出现在一对分量图像的每个中的给定物体可以映射到拼接图像内的离散位置。
41.在任何情况下，然后处理拼接图像以检测物体420。这种检测可以通过使用已知的物体检测分类器来实现，例如机器学习算法。在该实施例中，分类器可以直接处理拼接图像，这意味着该过程对于每个拼接图像只需要发生一次。可替代地或另外，可以对每个分量图像使用分类器，并且通过将每个分量图像的结果映射到拼接图像来组合结果。
42.在优选实施例中，cnn用于标记图像中的已知物体。这种cnn的示例如图5所示。训练cnn检测已知物体的各种方法对于技术人员来说是已知的。一旦经过训练，cnn就可以处理图像，并用适当的标签标记检测到的物体。应用于被检测物体的标签通常将限定包围被检测物体的至少一部分和已被检测的已知物体的名称的边界框。边界框不必是矩形的，并且可以是方便的不同形状和大小。如果对分量图像操作分类器，则分量图像和拼接图像之间的映射可能导致在拼接图像中边界框是不同的形状。
43.cnn可以通过用一个或多个卷积或汇集层处理输入511图像来检测已知物体。在卷积层512中，一个或多个卷积核通过该图像，并且在汇集层513中，处理数据的空间分辨率被
降低。在图5所示的示例中，使用了两个卷积层511和513以及两个汇集层513和515。在本发明的实施例中，任何数量的卷积或汇集层可以形成cnn400的隐藏层510。来自隐藏层510的数据然后被分类层520处理以形成结果。在图5所示的示例中，来自隐藏层的数据被展平521以提供特征向量，该特征向量然后被传递通过多个完全连接层522。在这种情况下，执行softmax操作523以识别图像中的已知物体，例如卡车、路灯结构或汽车。
44.已知的替代分类器也可以用于检测已知的物体。在一些实施例中，分类器可以利用从其他传感器确定的信息，例如车辆上的激光雷达传感器。当训练分类器时，也可以输入附加的可选输入，如边缘增强或边缘图像，以在有限的输入图像可用的情况下提供帮助。对于一些分类器，这样的附加输入有助于降低网络的复杂性，即使用附加输入可以减少cnn的隐藏层的层数。
45.分类器的典型输出如图6中的图像所示。输入图像具有覆盖在经处理的图像上的多个标签，包括交通灯601a、两辆卡车601b和601c以及一辆汽车601d。每个标签具有相关的位置并且标记了边界框，该边界框标记了分类器认为与被标记的物体相关的输入图像的区域。
46.由于目标是识别一个或多个重叠区域中的双效赝像，所以被处理的拼接图像的区域、感兴趣区域roi可被限制到拼接图像的重叠区域，即其中分量图像的视场重叠的拼接图像的区域。roi的该减少大大加快了处理速度，减少了不必要的物体检测，并大大降低了误报率。
47.roi可以由拼接技术和参数来限定。像拼接角度(例如图3中的角宽度302e和角偏移302d)这样的参数可以用于限定roi。
48.一旦检测到物体，检测到的物体被测试430以查看它们是否相似。换句话说，检测到的物体被处理以检测边界框中的内容之间的相似性。普通的复制内容检测算法是计算密集型的。由于物体和摄像机之间的距离很大，双效赝像主要表现为平移移位。因此，复制内容评估不需要考虑所有可能的变形。在一些实施例中，诸如cnn的分类器被训练成通过关注来自内容的平移移位的复制来检测双效赝像。限制平移移位有助于减少假阳性的数量。在这种情况下，假阳性是不因双效赝像的相似物体。由于仅针对平移移位的测试所施加的狭窄限制，假阳性的可能性被显著地最小化。通过考虑一个摄像机到另一个摄像机之间的视角变化，可以改进训练分类器。这种训练改进是由于来自双效赝像的复制物体可能由于视角变化而看起来略有不同。
49.当检测双效赝像时，时间信号也可以帮助避免假阳性。例如，当物体接近车辆时，由于双效赝像而出现的复制物体倾向于一起移动，甚至可能混合在一起。对于可能被检测到的其他类型的复制物体，通常不是这种情况。
50.相似性测试可以合并到检测物体的分类器中，或者可以单独应用于检测到的物体列表。在优选实施例中，在拼接图像中的物体被标记后，cnn评估被标记物体的相似性以检测复制。相似性测试的结果是检测到相似的标记物体，即检测到可能的双效赝像。
51.另一可选步骤是测试440检测到的复制物体是否是真实的。在一些实施例中，该步骤包括处理至少一个分量图像，以查看在任何一个分量图像中是否检测到相似的复制物体。如果在任何一个分量图像中存在复制物体，则复制物体很可能不是拼接的赝像。这一步骤有助于确保两个真实的相似物体不会被错误地标记为双效赝像。这是很重要的，因为由
于赝像而被复制的物体可被忽略或者随后从图像中被去除；而忽略或移除真实物体(例如汽车)可能是严重的错误。因此，对明显复制的检测物体是否真实的测试提高了拼接图像的可靠性。
52.响应于检测并可选地确认拼接图像包含双效赝像，有许多选项是可用的。这些可以包括小到标记拼接图像可能包含赝像，或者在某些情况下，通过尝试校正拼接图像或者防止这种赝像出现在随后生成的拼接图像中来主动响应。
53.因此，例如，可以向驾驶员报告赝像的检测，以确保驾驶员警惕拼接图像中潜在的误导信息。例如，当停车时，可以发出警报以向驾驶员发出信号，表明附近的两个明显的灯柱似乎是由于双效赝像造成的。然后，驾驶员可以在镜子中直观地确认哪个明显的灯柱最相关，并相应地操纵汽车。拼接图像和检测到的双效赝像也可以由车辆子系统记录和录入，例如硬盘驱动器或其他存储区域。
54.还可以向机器学习算法报告双效赝像的存在，该算法配置为调整拼接参数以减轻双效赝像。在优选实施例中，调整拼接参数的机器学习算法是卷积神经网络cnn。
55.在一些情况下，可以简单地调整拼接的图像内容，以标记检测到的双效赝像。
56.然而，在本实施例中，拼接图像的内容在显示之前被调整。
57.伪像是添加到图像中的图形赝像，以更好地表示丢失或被歪曲的物体。例如，考虑图3，注意所有车载摄像机都位于车辆的外围，并且面朝外。因此，没有来自任何车载摄像机的图像能够使车辆很好地呈现在图像中。图3中图像右下方所示的车辆仅仅是叠加在拼接图像的正确位置中的车辆化身。这种化身显著改善了拼接图像的外观，并且让驾驶员更容易看到车辆在拼接图像中是如何定向的。车辆化身是静态伪像的示例，其是至少部分地在执行该方法之前生成的伪像，并存储在存储器中以供必要时使用。静态伪像的缺点是，它们要求替换图像事先已知或可计算。当不可能使用静态伪像时，可以使用动态伪像。动态伪像是至少部分基于从一个或多个摄像机确定的数据在运行时生成的伪像。
58.在一些实施例中，本发明使用伪像解决了检测到的双效赝像。具体地，在步骤450，用动态伪像替换复制物体之一。动态伪像包括来自分量图像的图像数据。对于每个双效赝像，一个分量图像提供双效赝像中一个物体的数据，另一个分量图像提供另一个物体的数据。因此，用来自另一个分量图像的数据替换被检测为双效赝像的拼接图像的区域将会消除双效赝像。
59.这个过程的两个示例分别如图7和图8所示。在图7中，左手侧图像700包含复制汽车形式的双效赝像。检测到的双效赝像701的边界框用黑白虚线框表示。在拼接图像中，混合区域702的左下方区域中的数据来自源自朝左的车载摄像机的分量图像。混合区域702的右上方区域中的数据来自源自前向车载摄像机的分量图像。因此，形成最左边的汽车703物体的数据来自面向左的摄像机，并且检测到的双效赝像701的边界框中的汽车来自面向前的摄像机。在右手侧的图像700’上，检测到的双效赝像701的边界框中的数据已经被来自面向左侧的摄像机的数据所替换，从而消除了双效赝像。图8示出了再次发生的过程，因为路灯结构也被确定为双效赝像801。同样，将双效赝像的边界框中的数据切换到另一个分量图像的数据解决了双效赝像。
60.图9中示出了没有明显双效伪像的拼接结果。可以使用进一步的平滑效果来掩盖在拼接图像中已被调整的边缘区域。例如，可以将伪像与原始拼接图像混合，以避免像素值
的突然转变。在一些实施例中，平滑效果会模糊伪像的边缘。这种平滑效果有助于隐藏拼接图像中的伪像。
61.可以对拼接图像进行进一步的处理以细化图像。此外，可以进行单独的处理来去除不同的图像赝像。例如，参见2019年11月26日提交的题为“图像处理模块”的德国专利申请第102019131971.4号(参考号：2018pf02667)。预先去除双效赝像防止了任何增强双效赝像外观的后续处理。
62.所描述的方法旨在可靠地解决拼接图像中令人分心的高对比度双效赝像。与其他复制内容发现方法相比，所描述的方法不会浪费资源来检测和/或消除不必要区域中的双效赝像，例如校正均匀路面的外观。相反，所描述的方法集中于可靠地减轻视觉上最引人注目的双效赝像(例如前方道路上的汽车的第二图像)。
63.所描述的方法可以帮助车辆驾驶员信任拼接图像。例如，考虑通过安装在车辆内部的显示器观看拼接图像的驾驶员，例如，通过观看安装在汽车乘客车厢中的显示屏上的拼接图像来操纵汽车停车的汽车驾驶员。所描述的方法可以警告驾驶员显示的双效赝像的存在，或者从显示的图像中去除双效赝像。在这两种情况下，显示的拼接图像将更加可靠。
64.所考虑的车辆也可以是自动驾驶车辆，即自主车辆或具有驾驶员辅助功能的车辆。在这种情况下，所考虑的图像的准确性尤其重要。例如，车辆控制机制可以将车辆控制或驾驶建议基于拼接图像。因此，通过报告双效赝像或消除它们，车辆控制机制可以采取适当的行动。因此，通过使用所描述的方法，可以减少由于拼接图像中的双效赝像而做出或推荐的不良驾驶决策。
65.车辆系统也可以记录检测到的双效赝像或校正的拼接图像的警报。记录可以是在媒体存储设备例如硬盘中保持记录的形式。
66.虽然已经根据从车辆前置摄像机101和左侧摄像机102获取的拼接图像提供了上述示例，但应当理解，在其他时候，来自具有相邻视场的摄像机的其他组合的拼接视图可能是感兴趣的，并且类似地，本发明同样可扩展到创建从从车辆周围的所有摄像机101
…
104获取的分量图像拼接的环绕视图图像。