一种基于深度学习的端到端散斑投影三维测量方法与流程

文档序号:24060603发布日期:2021-02-26 14:56阅读:来源:国知局

技术特征:
1.一种基于深度学习的端到端散斑投影三维测量方法,其特征在于,包括如下步骤:步骤一:投影仪投影、双目相机同步采集散斑图案,对散斑图案进行立体校正;步骤二:基于共享权重的特征提取子网络对散斑图案进行处理得到设定尺寸的低分辨率的3维特征张量;步骤三:将特征张量输入到显着性物体检测子网络中检测散斑图中的前景信息,生成全分辨率的有效掩膜图;步骤四:根据两个视角的特征张量以及候选视差范围生成4维匹配成本体,将4维匹配成本体输入三维卷积层滤波实现成本聚合,通过视差回归得到初始视差图;步骤五:根据有效掩膜图和初始视差图得到最终视差图。2.根据权利要求1所述的基于深度学习的端到端散斑投影三维测量方法,其特征在于,步骤二基于共享权重的特征提取子网络对散斑图案进行处理得到设定尺寸的低分辨率的3维特征张量的具体过程为:尺寸大小为h
×
w,散斑图案经过3个具有相同输出通道数的卷积层得到尺寸为32
×
h
×
w的张量;经过1个具有步长为2的卷积层得到尺寸为32
×
h/2
×
w/2的张量;连续经过3个残差块得到尺寸为32
×
h/2
×
w/2的张量;经过16个残差块得到尺寸为64
×
h/2
×
w/2的张量;经过6个残差块得到尺寸为128
×
h/2
×
w/2的张量;尺寸为128
×
h/2
×
w/2的张量然后分别经过大小为(5,5)、(10,10)、(20,20)、(40,40)的平均池化层与卷积层进行不同尺度的降采样,并使用双线性插值得到原分辨率的张量;并将原分辨率的张量与尺寸为64
×
h/2
×
w/2的张量、尺寸为128
×
h/2
×
w/2的张量在特征通道上进行拼接,得到尺寸为320
×
h/2
×
w/2的张量;经过两个卷积层得到尺寸为32
×
h/2
×
w/2的张量。3.根据权利要求1所述的基于深度学习的端到端散斑投影三维测量方法,其特征在于,步骤三将特征张量输入到显着性物体检测子网络中检测散斑图中的前景信息,生成全分辨率的有效掩膜图的具体过程为:尺寸为32
×
h/2
×
w/2的张量经过3个残差块得到尺寸为64
×
h/2
×
w/2的张量;经过一个反卷积层得到尺寸为32
×
h
×
w的张量;经过3个残差块得到尺寸为32
×
h
×
w的张量;通过一个不含激活操作的卷积层得到尺寸为1
×
h
×
w的张量;经过一个sigmoid层得到最终全分辨率的有效掩膜图。4.根据权利要求1所述的基于深度学习的端到端散斑投影三维测量方法,其特征在于,步骤四中使用两个视角的特征张量根据候选视差范围生成的4维匹配成本体具体为:cost(1:32,d
i-d
min
+1,1:h,1:w-d
i
)=feature
left
(1:32,1:h,1:w-d
i
)cost(33:64,d
i-d
min
+1,1:h,1:w-d
i
)=feature
right
(1:32,1:h,d
i
:w)其中,feature
left
和feature
right
为两个视角的特征张量,32
×
h/2
×
w/2为两个视角的特征张量的尺寸,[d
min
,d
max
]为视差范围,d
i
为候选视差。5.根据权利要求1所述的基于深度学习的端到端散斑投影三维测量方法,其特征在于,通过视差回归得到初始视差图的过程为:匹配成本体经过softmax层,通过视差回归得到初始视差图,如下式所示:
其中,[d
min
,d
max
]为视差范围,softmax(
·
)代表softmax操作,disparity代表通过视差回归得到初始视差图,cost为经过成本滤波后的4维匹配成本体;使用双线性插值得到原分辨率的初始视差图。6.根据权利要求1所述的基于深度学习的端到端散斑投影三维测量方法,其特征在于,步骤五根据有效掩膜图和初始视差图得到的最终视差图,如下式所示:disparity
final
(x,y)=disparity(x,y)*mask(x,y)式中,disparity为初始视差图,mask为有效掩膜图。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1