【具体实施方式】
[0029] 在一个实施例中,提供了一种工作范围可调的=维深度感知方法,所述方法应用 于=维深度感知装置,所述装置包括激光投射器驱动电路、激光投射器、接收摄像头、深度 感知模块、控制模块和存储器;
[0030] 通过在所述装置上部署控制模块来设置或重新设置装置的工作范围模式;所述工 作范围模式的参数通过在装置中设置寄存器来存储;
[0031] 所述控制模块根据预设的或重新设定的工作范围模式的参数向激光图形投射器 驱动电路、接收摄像头和深度感知模块分别发送控制命令;
[0032] 对激光图形投射器驱动电路发送的控制命令用于调节激光图形投射器驱动电路 的驱动电流和输出功率,通过激光图形投射器将编码图案投向目标物体或空间,所述目标 物体或空间处于工作范围模式的参数所对应的工作范围内;
[0033] 对接收摄像头发送的控制命令用于调节接收摄像头焦距和基线距离,按一定的帖 频采集激光图形投射器产生的编码图像W生成输入编码图像序列,并送入深度感知模块; 所述接收摄像头用于接收激光图形投射器所投射的、特定波长范围的编码图案,其包括一 种图像传感装置,包含光学聚焦成像透镜单元和滤波单元;所述基线距离是指激光图形投 射器与接收摄像头之间的水平距离,两者的中屯、光轴平行;
[0034] 对深度感知模块发送的控制命令用于调整图像预处理的控制参数,使输入编码图 像序列经预处理后实现一致性处理;并用于从存储器已固化的多组参考编码图像中选择输 出与工作范围模式相符的一组参考编码图像,对经预处理后的输入编码图像序列进行块匹 配视差计算和深度计算,输出深度图序列;
[0035] 所述多组参考编码图像是指配合不同的工作范围模式,其中:每个参考编码图像 是投射在与投射器光轴垂直、不同距离的垂直平面上、并被预先采集,且经过与所述输入编 码图像相同的图像预处理的编码图像,其作为标准参考编码图像预先固化在存储器中;每 个工作范围模式的参数Mi对应一组距离di的参考编码图像,一组参考编码图像可W是一幅 或多幅图像组成,其中i表示第i组;
[0036] 所述块匹配视差计算通过将图像预处理后的输入编码图像序列中各输入编码图 像与参考编码图像进行块匹配相似度比较,求取输入编码图像中图像块与最优匹配块之间 的位移量;
[0037] 所述深度计算,假设接收摄像头焦距f、接收摄像头图像传感器点距y、激光图形 投射器与接收摄像头的基线距离S、块匹配视差计算得到位移量为Am,所述Am为Ax或 Ay,参考编码图像对应的已知距离山,则通过下述深度计算的公式,得到对应的深度值dl:
[0038]
[0039] 在运个实施例中,通过控制模块来设置工作范围模式,根据该模式调节激光图形 投射器驱动电路的驱动电流和输出功率,通过激光图形投射器将编码图案投向工作范围内 的目标物体或空间;接收摄像头采集所投射的编码图像序列送入深度感知模块,深度感知 模块根据工作范围模式调整图像预处理的控制参数,并从多组参考编码图像中选择与工作 范围模式相符的一组参考编码图像,对输入编码图像序列进行块匹配视差计算和深度计 算,输出深度图序列。
[0040] 其中,所述激光图形投射器是一种激光编码图形(Pattern)发射装置,所投射的 图形可W是固定的,也可W通过编程更改;其发射可与接收摄像头的编码图像采集可进行 同步控制;所投射的图形具有一定的水平垂直视角化V;激光光源可W是可见光、红外、紫 外线、X射线。
[0041] 所述激光图形投射器驱动电路可W对驱动电流进行调节来改变输出功率,从而能 够控制激光图形投射器投向目标物体或空间的光强度和投射距离范围。
[0042] 所述接收摄像头用于接收激光图形投射器所投射的、特定波长范围的编码图案, 其包括一种图像传感装置,包含光学聚焦成像透镜单元和滤波单元;根据所设置的工作范 围模式,调节接收摄像头焦距和基线距离,按一定的帖频采集激光图形投射器产生的编码 图像生成输入编码图像序列,并送入深度感知模块;变换工作范围模式,接收摄像头可W跟 着调节不同的焦距和不同的基线距离,也可W保持焦距或基线距离参数值不变。所述基线 距离是指激光图形投射器与接收摄像头之间的水平距离,两者的中屯、光轴平行。
[0043] 所述深度感知模块根据所设置的工作范围模式调整图像预处理的控制参数,使输 入编码图像序列经预处理后实现一致性处理;从存储器已固化的多组参考编码图像中选择 输出与工作范围模式相符的一组参考编码图像,对经预处理后的输入编码图像序列进行块 匹配视差计算和深度计算,输出深度图序列;所述存储器用于固化不同距离的多组参考编 码图像,一般为非易失性存储器,如Flash。
[0044] 所述图像预处理包括对输入编码图像序列或参考编码图像进行输入视频格式转 换、色度空间转换、灰度图像自适应去噪和增强、灰度图像二值化处理,使不同图像得到一 致性处理。其目的是通过编码图像的预处理,使散斑图形更清晰、减少噪声干扰,并有利于 本
【发明内容】
的块匹配视差计算。
[0045] 输入编码图像序列经过图像预处理子模块处理后,如果是作为参考编码图像,贝U 通过存储控制器子模块将其存储在存储器中;如果是为了结合存储的参考编码图像进行深 度计算,则进入块匹配视差计算子模块,而用来计算的参考编码图像通过存储控制器读出 进入块匹配视差计算子模块;经块匹配视差计算子模块计算后的偏移量表示的视差图进一 步进入深度计算子模块进行深度计算,最后输出深度图像序列。
[0046] 所述多组参考编码图像是指配合不同的工作范围模式,投射在与投射器光轴垂 直、不同距离的垂直平面上采集得到,且经过与输入编码图像相同的图像预处理的编码图 像,其作为标准参考编码图像预先固化在存储器中。工作范围模式Mi对应一组相同距离d1 的参考编码图像,一组参考编码图像可W是一幅或多幅图像组成。进一步地,在深度计算 时,由于工作范围模式Mi不同,其对应不同组参考编码图像的已知距离di不同。
[0047] 进一步地,所述一组参考编码图像可W是由激光图形投射器投射固定图形的激光 束(红外、可见光、紫外线、不可见光)与激光图形投射器的中屯、轴狂轴)相垂直或与激光 图形投射器的中屯、轴成固定的夹角、且已知垂直距离为di的平面(该平面可由投影布、平 板等构成,用于呈现清晰稳定的激光图像,该平面可称之为参考基准平面)上,再由接收摄 像头根据溫度、湿度等不同采集得到的一组编码图像。一般情况下激光图形投射器与接收 摄像头的光轴平行、基线距离为S。同一组参考编码图像经与输入编码图像序列相同的图像 预处理后,作为输入编码图像序列进行视差计算的匹配基准图形,可由一幅或多幅相同距 离的激光编码图像构成。
[0048] 所述块匹配视差计算通过将图像预处理后的输入编码图像序列中各输入编码图 像与参考编码图像进行块匹配相识度比较,求取输入编码图像中图像块与最优匹配块之间 的位移量,即视差值。
[0049] 所述深度计算,假设接收摄像头焦距f、接收摄像头图像传感器点距y、激光图形 投射器与接收摄像头的基线距离S、块匹配视差计算得到的视差图的偏移量为Am,所述 Am为Ax或Ay,参考编码图像的已知距离参数di,则通过下述深度计算的公式,能够得到 对应的深度值dl: 阳化0]
[0051]由此,通过本实施例提供的方法,通过增加控制模块根据工作范围模式来调节激 光图形投射器驱动电路的驱动电流,W及调节接收摄像头焦距f、激光图形投射器与接收摄 像头的基线距离S;调整图像预处理的控制参数,并在存储器中选择与工作范围模式相符 的一组参考编码图像。可实现在不同目标距离内能生成高分辨率、高精度的深度信息,方便 利用图像处理技术获取深度信息进行=维图像的识别及动作捕捉。
[0052] 增加控制模块后的S维深度感知装置结构示意图如图1所示。
[0053] 在一个实施例中,将所述深度感知模块根据其处理功能进行了进一步的划分,包 括图像预处理子模块、块匹配视差计算子模块、存储控制器子模块W及深度计算子模块,根 据工作范围模式的寄存器状态值将采集的输入编码图像序列进行有利于块匹配视差计算 的图像预处理,结合已固化在存储器中、已知距离的一组参考编码图像进行块匹配视差计 算和深度计算,