用层叠结构来表示立体图像以分析图像中的目标的技术的制作方法
【技术领域】
[0001]本发明涉及立体视觉图像处理领域，且更具体地，涉及用层叠结构来表示立体图像以分析立体图像中的目标的方法和系统。
【背景技术】
[0002]现今，基于立体视觉的3维图像分析和处理技术越来越成为研究的热点。例如，可靠的3维立体道路环境理解对于车辆的自主驾驶十分重要。3维立体道路环境识别任务可以主要包括路面估计，消失点计算，目标检测等，其中，目标的分析和检测作为最为重要的部分，对车的自主控制有着直接的影响。
[0003]当前基于立体图像的单帧信息的目标分析和检测方法主要有两类:(I)基于滑动窗口及其改进的相关方法；(2)基于分割/聚类的方法。第一类方法通常较为简单，但计算量非常大。相比于第一类方法，第二类方法在实时性方法有显著的优势，并且其对目标外观变化有较强的鲁棒性。但是第二类方法难于采用统一的特征或一致的准则进行准确的聚类分割:太宽松的聚类条件容易导致相邻的目标错误的合并在一起形成过合并的结果；太严格的聚类条件可能错误的将一个目标分裂为几个小块形成过分割的结果。
[0004]本发明针对以上问题，采用提出的新方法进行目标分析和检测，以得到更精确的目标位置。
【发明内容】
[0005]根据本公开的一个方面，提供一种用层叠结构来表示立体图像以分析图像中的目标的方法，包括:针对输入的立体图像，基于立体图像中的第一类相关特征、准则或模型，来生成至少一个第一第一级结构图，其中，不同的第一第一级结构图是利用该第一类相关特征、准则或模型的不同严格程度来生成的，且所述不同的第一第一级结构图在不同第一分割程度上包括目标；至少部分地结合所述至少一个第一第一级结构图来分析立体图像中的目标，以得到包括目标的第一级目标分析结果的结构图。
[0006]根据本公开的另一方面，提供一种用层叠结构来表示立体图像以分析图像中的目标的系统，包括:第一第一级生成装置，被配置为针对输入的立体图像，基于立体图像中的第一类相关特征、准则或模型，来生成至少一个第一第一级结构图，其中，不同的第一第一级结构图是利用该第一类相关特征、准则或模型的不同严格程度来生成的，且所述不同的第一第一级结构图在不同第一分割程度上包括目标；第一第一级分析装置，被配置为至少部分地结合所述至少一个第一第一级结构图来分析立体图像中的目标，以得到包括目标的第一级目标分析结果的结构图。
【附图说明】
[0007]图1示出了应用本发明的技术的示例硬件结构。
[0008]图2示出了根据本发明的一个实施例的用层叠结构来表示立体图像以分析图像中的目标的方法的示例流程图。
[0009]图3示出了根据本发明的另一个实施例的用层叠结构来表示立体图像以分析图像中的目标的方法的示例流程图。
[0010]图4A示出了根据本发明的再一个实施例的用层叠结构来表示立体图像以分析图像中的目标的具体方法的示例流程图。图4B示出了应用图4A所示的方法的过程的直观示意图。
[0011]图5示出了如图4A所示地基于不同类相关特征、准则或模型来生成多系列低级层叠结构金字塔(CSP)的结构图的过程的流程图。
[0012]图6A-6E示出了基于一类相关特征、准则或模型(S卩，空间相邻性特征)生成一系列低级层叠结构金字塔(CSP)的示例结构图、以及结合该一系列低级结构图来得到包括目标的低级目标分析结果的结构图的过程的示意图。
[0013]图7A示出了结合关于空间相邻性特征的一系列低级结构图以及关于灰度一致性特征的一系列结构图来得到另一种包括目标的低级目标分析结果的结构图的过程的示意图。图7B示出了结合关于空间相邻性特征的一系列低级结构图以及关于灰度一致性特征的一系列结构图来得到另一种包括目标的低级目标分析结果的结构图的过程涉及的图像例子的示意图。
[0014]图8A示出了基于图7A所示的另一种包括目标的低级目标分析结果的结构图来生成一系列闻级结构图。图8B TK出了基于图8A所TK的一系列闻级结构图来得到一系列闻级层叠结构金字塔(CSP)的结构图。
[0015]图9示出了结合图8A所示的一系列高级结构图来生成包括目标的高级目标分析结果的结构图。
[0016]图10示出了根据本发明的一个实施例的用层叠结构来表示立体图像以分析图像中的目标的系统的示例方框图。
【具体实施方式】
[0017]现在将详细参照本发明的具体实施例，在附图中例示了本发明的例子。尽管将结合具体实施例描述本发明，但将理解，不是想要将本发明限于所述的实施例。相反，想要覆盖由所附权利要求限定的在本发明的精神和范围内包括的变更、修改和等价物。应注意，这里描述的方法步骤都可以由任何功能块或功能布置来实现，且任何功能块或功能布置可被实现为物理实体或逻辑实体、或者两者的组合。
[0018]为了使本领域技术人员更好地理解本发明，下面结合附图和【具体实施方式】对本发明作进一步详细说明。
[0019]图1示出了应用本发明的技术的示例硬件结构。
[0020]如图1所示，立体相机(例如双目相机)可以将拍摄到的立体图像传输到解码器，解码器可以将其解码并转换为任何需要的图像、例如视差图、灰度图等，数字信号处理器则可以将目标图像(包括但不限于视差图、灰度图)作为输入，并与存储设备交互来进行处理以输出检测到的目标和其他相关数据到车辆控制模块，而车辆控制模块可以根据检测到的目标和其他相关数据来进行车辆的控制，例如识别行人、车辆、道路、自主驾驶等。其中，数字信号处理器可以连接输入设备(双目相机与解码器)、输出设备(车辆控制模块)以及存储设备。而本公开提出的方法就可以运行于该数字信号处理器当中。
[0021]图2示出了根据本发明的一个实施例的用层叠结构来表示立体图像以分析图像中的目标的方法的示例流程图。
[0022]图2所示的用层叠结构来表示立体图像以分析图像中的目标的方法200包括:步骤S201，针对输入的立体图像，基于立体图像中的第一类相关特征、准则或模型，来生成至少一个第一第一级结构图，其中，不同的第一第一级结构图是利用该第一类相关特征、准则或模型的不同严格程度来生成的，且所述不同的第一第一级结构图在不同第一分割程度上包括目标；步骤S202，至少部分地结合所述至少一个第一第一级结构图来分析立体图像中的目标，以得到包括目标的第一级目标分析结果的结构图。
[0023]在此，还可以将输入的立体图像进行预处理，例如，将其转换为视差图、灰度图、或进行边缘检测得到边缘检测图，以便于如上所述地、基于立体图像中的第一类相关特征、准则或模型，来生成至少一个第一第一级结构图。
[0024]在一个实施例中，第一类相关特征、准则或模型可以包括用于聚类的基于空间相邻性特征、灰度一致性特征或边缘连续性特征或轮廓特征。在一个实施例中，该第一类相关特征、准则或模型的不同严格程度包括在空间相邻性特征的情况下的基于固定视差中心或基于可移动视差中心的不同空间视差(或距离或深度)阈值的聚类、在灰度一致性特征的情况下的基于不同灰度差阈值的聚类、或在边缘连续性特征的基于不同边缘连续性阈值的聚类、在轮廓特征的情况下的基于不同的轮廓包含关系的聚类等。例如，如果要检测的对象、例如人、车一般是竖直站立的，则可以对视差图的视差(或距离或深度)参数设置一个视差(或距离或深度)阈值(该阈值可以比较小，因为对象假设为竖直的)，并根据该视差(或距离或深度)阈值，对视差图进行基于固定视差中心或基于可移动视差中心的聚类，来聚类在视差值(或距离或深度值)上小于视差(或距离或深度)阈值的一些像素点以形成分割区域。这种分割区域由于视差(或距离或深度)阈值的取值大小而形成过分割、过合并或合适大小的情形。另外，由于选择是基于固定视差中心还是基于可移动视差中心来进行上述聚类，也可以形成更小或更大的聚类分割区域。
[0025]从而，可见，通过对第一类相关特征、准则或模型的不同严格程度的选择，来得到在不同分割程度上包括目标的聚类结构图，可以形成有层次感的一系列聚类结构图，它们或多或少、或大或小地包括了要检测的对象。当然，除了基于空间相邻性特征来进行聚类的情况，也可以在灰度一致性特征的情况下的基于不同灰度差阈值、或在边缘连续性特征的基于不同边缘连续性阈值来得到另外的几个系列的有层次感的聚类结构图，它们也或多或少、或大或小地包括了要检测的对象。
[0026]如果将这些不同分割程度的结构图按照分割程度更粗到分割程度更细的顺序从上到下排列，贝1J可以构建类似于层叠结构金字塔(Cascade Structure Pyramids, CSP)的结构，其中相对于金字塔底部的结构图，位于金字塔顶部的结构图中的信息通常更少、更抽象。之所以称其为金字塔，正是因为按稠密表示法，位于CSP顶部的结构图更加抽象、数据量更小，比位于CSP底部的结构图更“小”，正如一个金字塔形。当然，该构建金字塔的步骤是可选的，仅是为了更直观地向读者表达本发明的构思而已。
[0027]如此，由于不同的第一第一级结构图是利用该第一类相关特征、准则或模型的不同严格程度来生成的，因此这种不同的第一级结构图可以包括不同分割程度的目标，例如，有个(些)结构图可能包括较多过分割的目标(即，一个实际对象可能被分割为过多小区域)和较少过合并的目标(即，多个实际对象可能被合并为一个大区域)，有个(些)结构图可能包括较少过分割的目标和可能包括较多过合并(即欠分割)的目标，当然，有个(些)结构图也可能包括正好大小合适的包括实际对象的分割目标和可能的少量过分割、过合并的分割目标。通过分析这些不同分割程度的结构图，可以相互校正一些过分割和过合并的分割目标，从而得到较为精准的分割目标。
[0028]在一个实施例中，可以通过所述在不同第一分割程度上包括目标的至少一个第一第一级结构图互相校正，基于目标的特征，来确定在哪种第一分割程度上分割的目标更准确，从而得到包括在确定的第一分割程度上分割的目标的第一级目标分析结果的结构图。例如，在基于空间相邻性特征来聚类的情况下，不同的第一第一级结构图具有不同分割程度的分割目标。假设要检测的对象是公交车，则例如目标的特征可以包括典型的公交车的高度、宽度的平均值、公交车背面的各个像素点的视差值(或距离或深度值)差较小(因为公交车背面典型地是竖直的且由于双目相机拍摄的前方公交车背面通常是背面面对着双目相机的，因此公交车背面的像素点在视差图上的视差值(或距离或深度值)大致接近)、和/或公交车侧面的垂直线上的各个像素点的视差值(或距离或深度值)差较小(同样因为公交车侧面典型地是竖直的)、分割目标的内部某些点的视差值(或距离或深度值)与其他点的差异不大等等。如此，可以基于公交车这个具体对象的特征，来确定大小近似于预定大小