1.本发明涉及视觉成像处理
技术领域：
：，具体涉及一种双光路成像装置及图像深度检测方法、存储介质。
背景技术：
：：2.众所周知，场景中的光线在人眼这个精密的成像系统中被采集，通过神经中枢被送入包含有数以亿计的神经元的大脑中被并行的处理，得到了实时、高清晰、准确的深度感觉信息。这使得人类对环境的适应能力大大提高，很多复杂的动作能够得以完成：如行走、体育运动、驾驶车辆以及进行科学实验等。而计算机视觉正是使用计算机来模拟人的视觉系统的学科，目的是根据获取的两幅平面图像恢复3d图像。当前，计算机立体视觉的水平与人类的双目视觉水平还相距甚远，因此对它的研究仍然是一个非常活跃的邻域。3.双目立体视觉（binocularstereovision）是计算机视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。由此可知，它通过模拟人的视觉系统来处理现实世界，对于立体视觉匹配的研究，能够大大的增强计算机或机器人对环境的感知能力，使得机器人能够更好的适应环境、更加智能，从而能够更好的为人们服务。经过多年的技术发展，双目立体视觉已在机器人视觉、航空测绘、反求工程、军事运用、医学成像和工业检测等邻域中得以应用。当前，双目立体视觉融合了两个取像设备获得的图像并观察它们之间的差别，使计算机可以获得准确的深度信息，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，通常将这种差别称作视差(disparity)。然而，双目立体视觉中最重要但又非常困难的问题就是立体视觉匹配问题，即从不同视点图像中找到匹配的对应点。4.在双目视觉的立体测量系统中，往往采用两个参数完全一致且对称设置的相机来采集图像，从而通过寻找左右两幅图像中的对应像素点来得到两幅图像中对应像素的水平位置差（即视差），从而根据视差以及两个相机之间的内外参数直接计算出该像素的深度。现有方法首先需要两个相机，而且在镜头、传感器等方面都要求这两个相机具有高度的一致性，则对相机的产品工艺和后续参数标定都提出了苛刻要求，最终导致双目视觉系统的应用成本非常高，也增加了双目视觉处理算法的复杂性。技术实现要素：5.为克服现有立体视觉中双相机取像导致的应用问题，本技术公开一种双光路成像装置及图像深度检测方法、存储介质。6.根据本发明的第一方面，一种实施例中提供一种双光路成像装置，其包括：光学部件，用于通过两个光路组件分别采集来自同一场景中物体的光线，以及并发输出采集到的两路光线；取像部件，设于所述光学部件的一端，用于接收所述两个光路组件并发输出的两路光线，以及取像生成待检测图像；所述待检测图像具有所述两路光线分别形成的成像区域；处理部件，与所述取像部件信号连接，用于对所述待检测图像进行立体匹配处理，得到所述物体在场景中的深度信息。7.可选地，所述光学部件包括第一光路组件和第二光路组件，所述第一光路组件和所述第二光路组件均设有进光口和出光口；所述第一光路组件的进光口用于从第一方向采集来自所述物体的第一光线，所述第二光路组件的进光口用于从第二方向采集来自所述物体的第二光线；所述第一光路组件的出光口和所述第二光路组件的出光口用于以并发方式分别出射所述第一光线和所述第二光线。8.可选地，所述第一光路组件的出光口和所述第二光路组件的出光口并排设置，且分别从第三方向、第四方向上出射所述第一光线和所述第二光线；所述第三方向和所述第四方向都处于所述取像部件的取像范围内，或者，所述第三方向和所述第四方向以平行方式指向所述相机的取像范围，或者，所述第三方向和所述第四方向以预设的偏差角度方式指向所述相机的取像范围。9.可选地，所述第一光路组件包括多个第一镜面体，所述多个第一镜面体用于将所述第一光线的传播方向由所述第一方向调整至所述第三方向；所述第一二光路组件包括多个第二镜面体，所述多个第二镜面体用于将所述第二光线的传播方向由所述第二方向调整至所述第四方向。10.可选地，所述第一光路组件和/或所述第二光路组件包括透明体，所述多个第一镜面体或所述多个第二镜面体布设于所述透明体的外侧面；或者，所述第一光路组件和/或所述第二光路组件包括空腔体，所述多个第一镜面体或所述多个第二镜面体布设于所述空腔体的内侧面。11.可选地，所述第一光路组件包括第一透光元件，所述第二光路组件包括第二透光元件，所述第一透光元件用于由自身的入光面充当为第一光路组件的入光口，以第一方向采集来自所述物体的第一光线，并通过光学折射作用由自身的出光面充当为第一光路组件的出光口，以第三方向出射所述第一光线；所述第二透光元件用于由自身的入光面充当为第二光路组件的入光口，以第二方向采集来自所述物体的第二光线，并通过光学折射作用由自身的出光面充当为第二光路组件的出光口，以第四方向出射所述第二光线。12.可选地，所述第一透光元件和所述第二透光元件均采用透明多面体的结构，在所述透明多面体的相对侧面上分别形成有入光面和出光面，所述透明多面体的入光面用于对所述第一光线或所述第二光线折射后传输至所述透明多面体的出光面，所述透明多面体的出光面用于对所述第一光线或所述第二光线再次折射后进行出射，所述透明多面体采用玻璃材质或树脂材质；或者，所述第一透光元件和所述第二透光元件均采用光栅元件，在所述光栅元件的相对侧面分别形成有入光面和出光面；所述光栅元件的入光面用于通过透光狭缝将所述第一光线或所述第二光线折射后传输至所述光栅元件的出光面，并由所述光栅元件的出光面直接对所述第一光线或所述第二光线进行出射。13.所述取像部件可包括镜头和传感器；所述镜头与所述第一光路组件的出光口、所述第二光路组件的出光口相对设置，且在所述第一光线和所述第二光线的出射方向上形成取像范围；所述传感器设于所述镜头的末端，用于通过不同感光区域对所述第一光线和所述第二光线进行感光，且生成所述待检测图像。14.根据本发明的第二方面，一种实施例中提供一种图像深度检测方法，其包括：获取同一场景中物体的待检测图像；所述待检测图像由上述第一方面中的双光路成像装置生成得到，且具有所述物体的第一成像区域和第二成像区域；对所述待检测图像进行分割处理，得到所述第一成像区域对应的第一图像和所述第二成像区域对应的第二图像；对所述第一图像和所述第二图像进行立体匹配处理，得到所述物体在场景中的深度信息。15.所述对所述第一图像和所述第二图像进行立体匹配处理，得到所述物体在场景中的深度信息，包括：构建所述第一图像和所述第二图像的匹配代价函数；利用所述匹配代价函数计算所述第一图像或所述第二图像中任意像素点的最佳视差值；根据所述最佳视差值确定所述物体在场景中的深度信息。16.根据本发明的第三方面，一种实施例中提供一种计算机可读存储介质，其包括程序，所述程序能够被处理器执行以实现上述第二方面中的图像深度检测方法。17.本技术的有益效果是：依据上述实施例的一种双光路成像装置及图像深度检测方法、存储介质，其中双光路成像装置包括光学部件、取像部件和处理部件，光学部件用于通过两个光路组件分别采集来自同一场景中物体的光线以及并发输出采集到的两路光线；取像部件用于接收两个光路组件并发输出的两路光线以及取像生成待检测图像；处理部件用于对待检测图像进行立体匹配处理以得到物体在场景中的深度信息。第一方面，由于光学部件具有两个光路组件，利于将来自物体的光线分为两路进行输出，便于后续进行双光路的成像；第二方面，由于取像部件同时接受来自两个光路组件并发输出的两路光线，那么可以在待检测图像上生成两路光线分别形成的成像区域，从而使得单个取像部件也具有双目视觉成像的应用效果；第三方面，由于处理部件能够对待检测图像进行图像深度检测，使得装置能够计算得到待检测图像的左右两个视图中任意像素点的最佳视差值，为确定物体在场景中的深度信息提供了实现可能；第四方面，技术方案采用单个诸如相机的取像部件即可完成双目视觉测量，不仅节省了图像深度检测中的应用成本，还能够降低匹配算法的复杂度以避免双相机参数配准的情况。附图说明18.图1为本技术实施例一中双光路成像装置的结构示意图；图2为光线在光学部件中进行传播的原理示意图；图3为一个具体示例中光学部件和取像部件的结构示意图；图4为另一个具体示例中光学部件和取像部件的结构示意图；图5为本技术实施例二中图像深度检测方法的流程图；图6为立体匹配处理的流程图；图7为本技术实施例三中双光路成像装置的结构示意图。具体实施方式19.下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本技术能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本技术相关的一些操作并没有在说明书中显示或者描述，这是为了避免本技术的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。20.另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。21.本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本技术所说“连接”、“联接”，如无特别说明，均包括直接和间接连接（联接）。22.实施例一、请参考图1，本实施例中公开一种双光路成像装置，其主要包括光学部件11、取像部件12和处理部件13，下面分别说明。23.光学部件11是光线的采集和传播机构，用于通过两个光路组件分别采集来自同一场景中物体的光线，以及并发输出采集到的两路光线。在图1中，光学部件11包括第一光路组件111和第二光路组件112，分别采集来自物体w的光线，然后并发输出这两路光线。24.需要说明的是，这里的物体w可以是生活场景中的任意物体，具有反射光线或发射光线的特性，比如桌子上的杯子、街道上的行人、公路上的汽车、路边的树木等，这里不做具体限定。由于物体w位于任意场景中且呈现三维立体状态，那么物体w的表面各处相对于光学部件必然存在一定的深度，致使两个光路组件采集的光线之间存在着光学信息偏差，为检测场景中物体w的深度信息提供了可能。25.取像部件12可采用相机、摄像机、摄像头等设备，其具有照相或摄像功能，当然也应当具有必要的进光构件，其设于光学部件11的一端，比如光学部件11的出光口处，用于接收两个光路组件并发输出的两路光线，以及取像生成待检测图像。由于取像部件12同时对并发进入的两路光线进行光学感应和取像，那么待检测图像具有两路光线分别形成的成像区域，比如在待检测图像上形成有左右两个视图的成像区域，或者在待检测图像上形成上下两个视图的成像区域。26.处理部件13与取像部件12信号连接，可采用处理器、可编程逻辑器件等数字处理集成电路。处理部件13用于对待检测图像进行立体匹配处理，得到物体w在场景中的深度信息。这里的深度信息可以表征物体w的表面三维形态，甚至可以表征物体与光学部件11之间的空间距离。27.示例性地，参见图1和图2，光学部件11包括第一光路组件111和第二光路组件112。第一光路组件111设有进光口1111和出光口1112，第二光路组件112设有进光口1121和出光口1122。其中，第一光路组件111的进光口111用于从第一方向采集来自物体的第一光线l1，第二光路组件112的进光口1121用于从第二方向采集来自物体的第二光线l2；由于进光口1111、进光口1121之间存在空间距离，所以物体w表面上同一个位置反射进入这两个进光口的光线将指向不同的方向，比如第一方向、第二方向，这两个方向之间的角度差不做限定。其中，第一光路组件111的出光口1112和第二光路组件112的出光口1122用于以并发方式分别出射第一光线和第二光线，为方便区别，出射的第一光线、第二光线可分别记为l´1、l´2。28.需要说明的是，由于光线在空间中传播速度非常快，所以忽略出射的第一光线l´1或第二光线l´2的延迟时间，认为两者是同时输出的。此外，光学部件11的第一光路组件111和第二光路组件112均对光线起到了光路调整的作用，从而使得出射的第一光线l´1、第二光线l´2处于取像部件12的取像范围121内，优选地以并行或者接近于并行的方式出射光线。29.示例性地，参见图2，第一光路组件111的出光口1112和第二光路组件112的出光口1122并排设置，且分别从第三方向、第四方向上出射第一光线l´1和第二光线l´2。那么，出射的第一光线l´1所在的第三方向和出射的第二光线l´2所在的第四方向都处于取像部件12的取像范围内，第三方向和第四方向既可以以平行方式指向同一个方向，还可以以非平行方式指向不同方向，只要出射的第一光线l´1和第二光线l´2在取像范围121内不重叠即可。那么可以理解，第三方向和第四方向可以平行方式指向相机的取像范围，或者也可以预设的偏差角度方式指向相机的取像范围。30.在一个具体的示例中，两个光路组件形成为光学通道，主要采用反射的方式引导光线。参见图3，第一光学通道111a充当为第一光路组件，其上设有多个第一镜面体1113，多个第一镜面体1113用于将第一光线l1的传播方向由第一方向调整至第三方向。各个第一镜面体1113均具有镜面反射特性，配合作用下能够改变第一光线l1的传播光路，从而在第三方向上出射第一光线l´1。可以理解，采集的第一光线l1和出射的第一光线l´1之间并没有光学信息上的差异，仅仅是传播方向发生了改变。31.第二光学通道112a充当为第二光路组件，其上设有多个第二镜面体1123，多个第二镜面体1123用于将第二光线l2的传播方向由第二方向调整至第四方向。各个第二镜面体1123均具有镜面反射特性，配合作用下能够改变第二光线l2的传播光路，从而在第四方向上出射第二光线l´2。可以理解，采集的第二光线l2和出射的第二光线l´2之间并没有光学信息上的差异，仅仅是传播方向发生了改变。32.当然，为了保证出射的第一光线l´1和第二光线l´2的一致性，和取像结果的有效性，可以调整出射的第一光线l´1所在的第三方向和出射的第二光线l´2所在的第四方向并行指向同一方向。33.可选地，第一光学通道111a或第二光学通道112a为透明体结构，那么多个第一镜面体1113或多个第二镜面体1123布设于透明体的外侧面。布设的镜面体既可以覆盖透明体的整个外侧面，还可以仅覆盖透明体上光线反射的必要位置。34.或者可选地，第一光学通道111a或第二光学通道112a为空腔体，那么多个第一镜面体1113或多个第二镜面体1123布设于空腔体的内侧面。布设的镜面体既可以覆盖空腔体的整个内侧面，还可以仅覆盖空腔体上光线反射的必要位置。35.作为示例，图3中，第一光学通道111a和第二光学通道112a均采用了六面体的透明体结构。对于正面图像为i1的猫，来自猫的光线包括第一光线l1、第二光线l2；那么借助透明体外侧面布设的第一镜面体1113可使得第一光线l1经过两次反射后形成出射的第一光线l´1；并且，借助透明体外侧面布设的第二镜面体1123可使得第二光线l2经过两次反射后形成出射的第二光线l´2。36.在另一个具体的示例中，两个光路组件形成为透光元件，主要采用折射的方式引导光线。参见图2，第一光路组件111采用第一透光元件，进光口1111和出光口1112即分别为第一透光元件的入光面和出光面；第二光路组件112采用第二透光元件，进光口1121和出光口1122即分别为第二透光元件的入光面和出光面。第一透光元件用于由自身的入光面以第一方向采集来自物体w的第一光线l1，并通过光学折射作用由自身的出光面以第三方向出射第一光线l´1；第二透光元件用于由自身的入光面以第二方向采集来自物体的第二光线l2，并通过光学折射作用由自身的出光面1122以第四方向出射第二光线l´2。37.第一透光元件和第二透光元件可采用透明多面体的结构，在透明多面体的相对侧面上分别形成入光面和出光面。那么，该透明多面体的入光面用于对第一光线l1或第二光线l2折射后传输至透明多面体的出光面，透明多面体的出光面用于对第一光线l1或第二光线l2再次折射后进行出射，从而形成出射的第一光线l´1或第二光线l´2。38.需要说明的是，透明多面体具有至少两次的光线折射作用，能够改变第一光线l1的传播光路，从而在第三方向上出射第一光线l´1。同理，透明多面体也能够改变第二光线l2的传播光路，从而在第四方向上出射第二光线l´2。可以理解，采集的第一光线l1和出射的第一光线l´1之间并没有光学信息上的差异，采集的第二光线l2和出射的第二光线l´2之间并没有光学信息上的差异，仅仅是传播方向发生了改变。39.需要说明的是，为了保证透明多面体的光学折射和光线传播效果，可使得透明多面体采用玻璃材质或树脂材质。置于玻璃材质是有机玻璃、玛瑙、晶体等，不做严格限制。40.可选地，第一透光元件和第二透光元件可采用光栅元件，在光栅元件的相对侧面分别形成为入光面和出光面。光栅元件的入光面用于通过透光狭缝将第一光线或第二光线折射后传输至光栅元件的出光面，并由光栅元件的出光面直接对第一光线或第二光线进行出射。需要说明的是，光折射率周期性调制器件即为光栅。这里可采用二维光栅，即一个一个均匀分布的带有狭缝的一个平面元件，透光和不透光呈现周期相间的分布，其狭缝的宽度和入射光的波长在同一个数量级。41.作为示例，参考图4，第一透光元件111b和第二透光元件112b均采用了透明三角体的结构。对于正面图像为i1的猫，来自猫的光线包括第一光线l1、第二光线l2；那么借助透明三角体（例如111b）可使得第一光线l1经过两次折射后形成出射的第一光线l´1；并且，借助透明三角体（例如112b）可使得第二光线l2经过两次折射后形成出射的第二光线l´2。42.可选地，为了保证取像过程不受外界环境光线的干扰，光学部件11和取像部件12之间还可以设置壳体进行密封，使得光学部件11和取像部件12处于暗室之中。43.示例性地，参见2、图3和图4，取像部件12包括镜头122和传感器123。其中，镜头122可由多组光学镜片组成，镜头122与第一光路组件（例如第一光学通道111a或第一透光元件112a）的出光口1112、第二光路组件112（例如第二光学通道111b或第二透光元件112b）的出光口1122相对设置，且在第一光线l´1和第二光线l´2的出射方向上形成取像范围121。此外，传感器123设于镜头122的末端，用于通过不同感光区域对出射的第一光线l´1和第二光线l´2进行感光，且生成待检测图像；传感器123可以采用数码相机中常用的感光元件（又称图像传感器），能够将感光面上的光像转换为与光像成相应比例关系的电信号，比如使用ccd器件或cmos器件。由于出射的第一光线l´1和第二光线l´2能够被传感器123同时感应到，那么传感器123生成的待检测图像i2具有这两路光线分别形成的成像区域，比如待检测图像i2中包括猫的左右两个成像区域，且分别表示为第一成像区域i21、第二成像区域i22。44.需要说明的是，参见图1、图3和图4，处理部件13可获取取像部件12生成的待检测图像i2，通过对待检测图像i2进行立体匹配处理，即可得到猫在场景中的深度信息。立体匹配处理的过程既可以采用现有的技术，也可以采用未来出现的技术，这里不做严格限制，但是为了帮助技术人员更加清楚地理解本技术技术方案，处理部件13可采用下文实施例二中的方法来实现图像的立体匹配处理。45.实施例二、在实施例一中公开的双光路成像装置的基础上，本实施例中公开一种图像深度检测方法，该方法主要在图1中的处理部件13上进行应用。46.请参考图5，请求保护的图像深度检测方法包括步骤s210-s230，下面分别说明。47.步骤s210，获取同一场景中物体的待检测图像。待检测图像可由实施例一中公开的双光路成像装置生成得到，具体利用图1中的光学部件11采集来自物体w的两路光线，利用取像部件12对这两路光线进行感应取像，从而生成具有第一成像区域和第二成像区域的待检测图像。48.比如在图3或图4中，若场景中的物体为猫，则生成的待检测图像i2中包括猫的左右两个成像区域，且分别为第一成像区域i21、第二成像区域i22。第一成像区域i21中的猫头部和第二成像区域i22中的猫头部呈现为并列成像状态，由于光学采集的位置存在差异，所以这两个猫头部之间存在像素视差。49.步骤s220，对待检测图像进行分割处理，得到第一成像区域对应的第一图像和第二成像区域对应的第二图像。50.需要说明的是，分割图像时既可以从第一成像区域和第二成像区域的连接处进行分割，还可以以图像中物体的相对位置进行分割，不做具体限制。由于第一成像区域对应的第一图像，和第二成像区域对应的第二图像内均包含有场景中的物体成像状态，所以接下来可以借助立体匹配处理技术得到物体的三维深度信息。51.步骤s230，对第一图像和第二图像进行立体匹配处理，得到物体在场景中的深度信息。在一个具体实施例中，参见图6，步骤s230可以具体包括步骤s231-s233，分别说明如下。52.步骤s231，构建第一图像和第二图像的匹配代价函数。53.这里的第一图像和第二图像相当于双目视觉中观察到的左右两个图像，只要能够寻找左右图像中的匹配点，就容易得到这两幅图像中对应像素的水平位置差，也称之为视差，从而进一步可以计算出该像素点的深度。不在同一深度的像素点，完全可能有相同的颜色、纹理和梯度等，所以这常常会导致立体匹配时发生错配，从而进一步导致视差计算出现较大的错误，大大影响了双目视觉在深度测量中的应用。为了克服这一点，在常规的图像立体匹配方法中，一般会采用像素点周边区域的像素点来估计该像素点。54.例如，在理想的情况下，为获取像素点(y,x)的最佳视差值d*，就要在d={0,1,…,dmax}中找到使得匹配代价函数c(y,x,d)达到最小的视差值d，但只用一个像素点的匹配代价太容易收到噪声、以及光线变化等因素的影响，因此需要进行代价聚合，常用的加权方法是利用距离差以及颜色差来进行加权，即利用下面的代价聚合函数；这里的w是像素点（y,x）周边的一个聚合区域；i()表示颜色函数，对于rgb彩色图像，就是两个颜色的rgb之差的绝对值之和；|yi-y|-|xi-x|为距离差，距离中心像素越远，加权越小。55.实际上，该代价聚合函数采用了双边滤波的加权方法，来对代价函数进行加权，但对于求取视差来说，采用像素值即rgb颜色差是非常不合理的，因为有很多物体虽然颜色变化大，但他们却属于同一个物体或背景表面，也就是说，颜色即使相差很大但它们的视差却有可能是一样或相近的。因此，采用颜色差来进行代价聚合有时候是很不合理的。然而，较为合理的处理方法是采用像素点的匹配代价之差，尤其在极小值周边的匹配代价之差。56.步骤s232，利用匹配代价函数计算第一图像或第二图像中任意像素点的最佳视差值。57.比如，在视差d的取值范围{0,1,...,dmax}内计算匹配代价函数c(y,x,d)，获得最小函数值时的视差，并将该视差作为最佳视差值d*。58.可以理解，如果获得了第一图像中一个像素点的最佳视差值，根据该最佳视差值可以找到第二图像中的匹配对应点。那么，可以根据相同方法继续计算第一图像中所有像素点的最佳视差值，如此可实现两幅或多幅图像之间像素点的一一立体匹配，进而达到图像深度检测的效果。在获得第一图像中所有像素点的最佳视差值之后，就可得到对应的视差图。59.步骤s233，根据最佳视差值确定物体在场景中的深度信息。60.需要说明的是，视差的单位是像素（pixel），深度的单位往往是毫米（mm）表示。而根据平行双目视觉的几何关系可以得到视差与深度的转换公式depth=(f*baseline)/disp；其中，depth表示深度图，f表示归一化的焦距（即相机内参中的fx）；baseline为光学部件中的两个光路组件的光路组件光心之间的距离，称作基线距离；disp是视差值。61.在一个实施例中，提供了一种技术方案，从而利用匹配代价函数计算第一图像或第二图像中任意像素点的最佳视差值。62.（1）估计步骤，主要是根据预设的多个视差值分别对其中一幅图像中的每个像素点进行代价估计，得到各个视差值对应的代价函数图像。比如，对于预设的一个视差值，获得其中一幅图像中的每个像素点在该视差值下的颜色、梯度和/或排名，以根据该像素点的颜色、梯度和/或排名计算该视差值对应的代价函数图像。例如，对于其中一幅图像中的每个像素点i(y,x)，根据视差值d可得c_color(y,x,d)、c_grad(y,x,d)、c_rank(y,x,d)，该些函数分别表示像素点i(y,x)在视差值d的颜色、梯度和排名。对于其中一幅图像中的每个像素点i(y,x)，计算一视差值d对应的代价函数图像，用公式表示为c(y,x,d)=w1*c_color(y,x,d)+w2*c_grad(y,x,d)+w3*c_rank(y,x,d)；其中，w1、w2、w3均为用户设定的权重值，c_color为颜色函数，c_grad为梯度函数，c_rank为排名函数，d为像素点在行方向上的视差值。63.在视差值d∈{0,1,...,dmax}且dmax为预设的最大视差值时，得到各个视差值对应的代价函数图像，该些代价函数图像仍可用c(y,x,d)进行表示，只是式中的d存在差别。64.（2）转换步骤，主要是对每个视差值对应的代价函数图像进行函数转换，得到该视差值对应的转换函数图像。构造代价函数图像中任意一像素点的邻域，对于每个视差值对应的代价函数图像c(y,x,d)上的像素点i(y,x)，构造该像素点i(y,x)的邻域r(y,x)，使得r(y,x)={r(i,j),i∈(y-b,y+b),j∈(x-b,x+b)}；其中，r(i,j)为邻域r(y,x)内任意的像素点，i、y均为像素点的行坐标，j、x均为像素点的列坐标，b为邻域r(y,x)的半径。65.对每个视差值对应的代价函数图像c(y,x,d)进行函数转换，得到该视差值对应的仅对特定误差敏感的转换函数图像，用公式表示为；其中，e(y,x,d)为转换后的转换函数图像，exp表示指数函数，为邻域r(y,x)的灰度方差。根据其它视差值dϵ{0,1,...,dmax}得到的转换函数图像仍可用e(y,x,d)进行表示，只是式中的d存在差别。转换函数图像e(y,x,d)仅对特定误差敏感，具体表现为，对较大的误差不敏感，而对较小的误差敏感，这种现象由指数函数的求解特性决定，这里采用指数转换的方式有利于增强代价函数图像c(y,x,d)的处理效果。66.（3）分割步骤，主要是根据预设的mser算法对转换函数图像上任意一像素点的邻域进行分割，得到该像素点所在的分割区域。比如，对于每个视差值对应的转换函数图像e(y,x,d)，根据mser算法对该转换函数图像e(y,x,d)上的像素点i(y,x)的邻域r(y,x)进行分割，得到该像素点i(y,x)所在的分割区域。67.mser（maximallystableextremalregions，最稳定极值区域）算法是一种被业界认为是性能最好的区域提取算法，该mser算法主要是使用不同的灰度阈值对图像进行二值化时得到最稳定的区域，具备以下特点：对于图像灰度的仿射变化具有不变性，区域的支持集相对灰度变化具有稳定性，可以检测不同精细程度的区域。运用mser算法对图像进行特征区域提取的过程为：（1）使用一系列灰度阈值对图像进行二值化处理；（2）对于每个阈值得到的二值图像，得到相应的黑色区域与白色区域；（3）在比较宽的灰度阈值范围内保持形状稳定的区域就是mser；（4）使用特定的评判标准（如da/dt，a表示二值图像区域面积，t表示灰度阈值）对mser进行评价。68.对其它视差值对应的转换函数图像分别进行mser算法的处理，以对其它转换函数图像上的同一像素点i(y,x)的邻域r(y,x)进行分割，仍得到该像素点i(y,x)所在的分割区域r'(y,x)。69.（4）聚合步骤，主要是在分割区域上对转换函数图像进行代价聚合，得到任意一像素点对应的匹配代价函数。比如，在分割区域r'(y,x)上，对各个视差值对应的转换函数图像进行代价聚合，得到像素点i(y,x)对应的匹配代价函数的数学表达式；其中，(i,j)∈r'(y,x)表示分割区域r'(y,x)内的像素点，n为分割区域r'(y,x)内的像素点的数目，视差值d∈{0,1,...,dmax}。70.（5）计算步骤，主要是利用匹配代价函数c(y,x,d)计算任意一像素点的最佳视差值。比如，在视差d的取值范围{0,1,...,dmax}内计算匹配代价函数c(y,x,d)，获得最小函数值时的视差，并将该视差作为最佳视差值d*。71.除此之外，还可以参考另一个实施例，也提供了一种技术方案，从而利用匹配代价函数计算第一图像或第二图像中任意像素点的最佳视差值。72.（1）构建步骤，主要是构建第一图像中的第一像素点的聚合区域，根据预设的多个视差值对第一像素点以及聚合区域内的每个像素点进行代价估计，得到各个视差值分别对应的匹配代价图像，这里的第一像素点为第一图像中的任意一像素点。73.第一像素点的聚合区域为第一图像上第一像素点周围的若干像素点构成的区域。优选地，将第一像素点周围的一个聚合窗口作为第一像素点的聚合区域，例如以第一像素点为中心的边长为n（n》=3）个像素的矩形区域。对于每个视差值d和第一像素点(y,x),计算得到该视差值d对应的匹配代价图像，用公式表示为c(y,x,d)=|il(y,x)ꢀ‑ꢀir(x-d,y)|。74.对于每个视差值d和聚合区域内每个像素点(yi,xi),计算得到该视差值d对应的匹配代价图像，用公式表示为c(yi,xi,d)=|il(yi,xi)ꢀ‑ꢀir(yi,xi-d)|；其中，il表示第一图像的颜色函数，ir表示第二图像的颜色函数；d∈{1,2,…,dmax}，dmax为允许的最大视差值。75.（2）权重计算步骤，主要是根据匹配代价图像获得聚合区域内每个像素点与第一像素点之间的匹配代价权重和距离权重。比如，对于每个视差值d和第一像素点(y,x),计算得到该视差值d对应的变换图像，用公式表示为e(y,x,d)=exp(-c(y,x,d)/α)；或者用公式表示为e(y,x,d)=exp(-c(y,x,d)·c(y,x,d)/α)；其中，exp()表示以e为底的指数函数，α为预设的变换系数，α》0。76.对于每个视差值d和聚合区域内每个像素点(yi,xi),计算得到该视差值d对应的变换图像，用公式表示为e(yi,xi,d)=exp(-c(yi,xi,d)/α)；或者用公式表示为e(yi,xi,d)=exp(-c(yi,xi,d)·c(yi,xi,d)/α)；其中，exp()表示以e为底的指数函数，α为预设的变换系数，α》0。77.根据变换图像获得聚合区域内每个像素点与第一像素点之间匹配代价之差和距离之差，以计算得到匹配代价权重和所述距离权重。例如，若聚合区域内每个像素点(yi,xi)与第一像素点(y,x)之间的匹配代价之差为|e(yi,xi,d)-e(y,x,d)|，则对应的匹配代价权重用公式表示为w1(yi,xi,y,x)=exp(-|e(yi,xi,d)-e(y,x,d)|)；若聚合区域内每个像素点(yi,xi)与第一像素点(y,x)之间的距离之差为||xi-x|-|yi-y||，则对应的距离权重用公式表示为w2(yi,xi,y,x)=exp(-||xi-x|-|yi-y||)。78.（3）聚合步骤，主要是根据匹配代价权重和距离权重对匹配代价图像进行代价聚合，获得各个视差值对应的代价聚合函数。79.比如，对于每个视差值d和第一像素点(y,x),计算得到该视差值d对应的代价聚合函数，用公式表示为；其中，w表示第一像素点(y,x)的聚合区域。80.（4）视差计算步骤，主要是根据代价聚合函数从各个视差值{0,1,...,dmax}中获得第一像素点的最佳视差值。由于各个视差值对应的代价聚合函数{c(y,x,d)|d=0,1,...,dmax}，接下来可以现有的匹配代价加权算法对该些代价聚合函数进行处理，如采用胜者为王算法wta（winner-take-all），只需在一定范围内选取叠加匹配代价最优的点（sad和ssd取最小值，或ncc取最大值）作为对应匹配点。比如，在视差d的取值范围{0,1,...,dmax}内计算匹配代价函数c(y,x,d)，获得最小函数值时的视差，并将该视差作为最佳视差值d*，即采用最大值公式d*=argmaxc(y,x,d)来计算获得第一像素点(y,x)的最佳视差值d*。81.实施例三、在实施例二中公开的图像深度检测方法的基础上，本实施例中公开一种双光路成像装置。82.请参考图7，双光路成像装置3包括存储器31和处理器32。其中，存储器31可以被认为是计算机可读存储介质，用于存储程序，该程序可以是实施例二中图像深度检测方法对应的程序代码。83.处理器32与存储器31连接，用于通过执行存储器31存储的程序实现图像深度检测方法。那么，处理器32实现的功能可以参考图5中的步骤s210-s230，以及参考图6中公开的步骤，这里不再进行详细说明。84.本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。85.以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属
技术领域：
：的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。当前第1页12当前第1页12