一种自适应交互的多视图三维物体重建算法及系统

文档序号:36826599发布日期:2024-01-26 16:38阅读:来源:国知局

技术特征:

1.一种自适应交互的多视图三维物体重建算法,其特征在于:包括,

2.如权利要求1所述的一种自适应交互的多视图三维物体重建算法,其特征在于:所述构建自适应多视图组合模块包括在二维视图编码网络阶段,多视角图片数据经过主干网络特征提取之后,构建自适应多视图组合模块,主要细节设定主视角为视角1,则其余视角为参考视角,当输入主视角1的底层特征图后,对其进行1×1的卷积操作,而后归一化层,再进行3×3卷积操作,而后接relu层,将1×1卷积块得到的特征与3×3卷积块得到的特征相加,得到融合特征图f1。

3.如权利要求2所述的一种自适应交互的多视图三维物体重建算法,其特征在于:所述对多个视图特征进行自适应关联,并且选择性融合相关视角包括参考视角2的两条支路并行操作,在第一条支路中,底层特征图f2进行全局平均池化,进行1×1的卷积,得到具有全局信息的特征图f2';

4.如权利要求3所述的一种自适应交互的多视图三维物体重建算法,其特征在于:所述构造视角信息注意力增强模块包括建立了两种卷积方式,分别使用1×1和3×3的卷积核,通过结合这两种卷积产生的多层特征,获得更丰富的信息,利用全局平均池化来融入整体信息,并经过一个全连接层生成特定特征,对每个通道执行softmax标准化,并将得到的加权特征与原始特征结合。

5.如权利要求4所述的一种自适应交互的多视图三维物体重建算法,其特征在于:所述一种体素细化损失包括在三维体素解码环节引入“体素精细化损失(lvr)”策略,损失表示为:

6.如权利要求5所述的一种自适应交互的多视图三维物体重建算法,其特征在于:所述构造一种自适应体素判别模块,对生成粗略的体素模型进行校准包括由四组三维卷积块和两个卷积层构成,每层卷积之后都包含批处理归一化层和leakyrelu激活层,级联sigmoid激活层,将三维体素模型映射在区间(0,1)之间的体素占用概率值,同时概率值与groundtruth进行体素自适应判别损失(lad)计算,对物体的每个部件进行概率判别,实现对三维模型中冗余体素的消除,将生成的体素与真实体素进行自适应判别,当真值与生成的三维体素相差在设定标准之上,则继续调整重建网络的参数,直到结果与ground truth值达到一种平衡状态,体素自适应判别损失(lad)表示为:

7.如权利要求6所述的一种自适应交互的多视图三维物体重建算法,其特征在于:所述对重建质量进行定量评价包括采用交并比和f1分数两个评价指标来对重建质量进行定量评价,交并比表示为:

8.一种采用如权利要求1~7任一所述的一种自适应交互的多视图三维物体重建算法的系统,其特征在于:数据输入模块、特征提取模块、匹配和几何校正模块、三维重建模块、交互模块、优化模块;

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。


技术总结
本发明涉及计算机视觉技术领域,本发明所述方法包括,构建自适应多视图组合模块,对多个视图特征进行自适应关联,并且选择性融合相关视角,构造视角信息注意力增强模块,实现全局结构特征和局部细节特征的加权融合,通过一种体素细化损失,赋予物体细节部分体素损失的权重,构造一种自适应体素判别模块,对生成粗略的体素模型进行校准,并对重建质量进行定量评价。本方法可以根据用户的需求,对需要重建的物体进行交互式的选择和调整,避免了对整个场景进行不必要的重建,提高了重建效率;针对不同的物体表面特征,自适应地选择不同的视图进行重建,避免了对不可见表面或不重要的表面进行重建,从而提高了重建的精度。

技术研发人员:宋智功,郑义林
受保护的技术使用者:江南大学
技术研发日:
技术公布日:2024/1/25
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1