一种联合局部与全局聚焦特征的三维形貌重建方法

本发明属于三维重建，具体涉及一种联合局部与全局聚焦特征的三 维形貌重建方法。

背景技术：

1、三维形貌重建作为一类典型的计算机视觉技术主要应用于精密制造领域的 模型设计与质量检测等流程。随着中观场景的精细化三维建模、消费电子领域 的多聚焦图像融合等应用需求的逐渐增多，现有三维形貌重建方法无法满足上 述多样化场景的应用需求。

2、目前，测量物体表面形貌的三维重建方法大体可以分为光学重建和图形学重 建两类。其中，光学重建通过投射光线并接收反射信号的模式获取待测物体表 面形貌。例如，三维激光扫描技术利用激光测距仪探测物体形貌。首先向待测 物体投射光线，信号经物体表面散射后获得点云数据，然后剔除点云数据中离 群点并进行下采样精细化处理，进而得到待测物体的三维点云数据。由于光学 重建的精度变相依赖于光学设备精度，高精度和低成本无法兼得。图形学重建 主要通过采集待测物体的形貌图像并辅以恰当的深度线索进行三维重建，大致 可以划分为手工特征建模与神经网络预测。手工特征选择首先需要根据物体表 面形貌寻找特征作为关键信息点，然后依据关键信息点对待测物体形貌图像进 行特征配准或深度聚类，最后通过三维形貌函数拟合物体并迭代式修复得到待 测物体的三维模型。由于不同场景成像原理、噪声干扰各异，各类建模方法通 常基于特定应用领域进行设计，缺乏场景适应性。而神经网络预测通过对多场 景数据进行整合和提炼，形成自动化决策模型，可以有效克服光学重建的高成 本和手工特征建模中缺乏场景先验知识的限制。但现阶段，神经网络预测仅通 过局部卷积核对图像进行特征分析，未引入全局特征信息对拟合待测物体形貌 时进行有效指导。

3、根据上述研究现状表明现有的三维形貌重建方法存在以下三方面不足：光学 重建对于光学设备的严苛要求导致其无法在成本和精度之间权衡；而图形学重 建中的手工特征建模依赖于场景先验知识，在复杂多变的场景下模型移植性较 差；神经网络预测未利用全局特征信息，拟合待测物体形貌时精度不足。而随 着国内相关领域需求不断增长，如何实现场景自适应的三维形貌重建方法是现 阶段亟需考虑的问题之一。

4、由上可知，我们认为在基于神经网络预测的三维形貌重建方法中，网络结构 的高实用与全局信息的有效利用是解决三维形貌重建跨场景应用的关键。因此， 本专利通过设计的一种聚焦特征增强模块和局部-全局特征联合模块，可实现三 维形貌重建方法的低成本与高效率部署应用。

技术实现思路

1、为克服现有方法的不足之处，本发明的目的是提供一种联合局部与全局聚 焦特征的三维形貌重建方法。

2、本发明的技术方案是：一种联合局部与全局聚焦特征的三维形貌重建方法， 包括以下步骤：

3、步骤1：通过垂直调整待测物体到相机感光成像面的相对距离产生不同区域 的聚焦图像，从而得到待测物体的多聚焦图像序列n表示多聚焦图像序 列数目，其取值范围为1≤n≤n；

4、步骤2：对步骤1中得到的多聚焦图像序列根据式(1)进行卷积操作得 到图像序列特征集n′表示特征集数目，其取值范围为1≤n′≤n′，

5、

6、其中conv1和conv2表示神经网络卷积层参数，为卷积操作符；

7、步骤3：对步骤2中得到的图像序列特征集根据式(2)对i′n′位置p处 的特征进行可变形卷积操作得到初始聚焦特征ilow，

8、

9、其中wk和pk表示第k个位置预先指定的卷积权重和卷积偏移量，k表示可变形卷 积核的总数；

10、步骤4：对步骤3中得到的初始聚焦特征ilow根据式(3)对其进行最大池化操 作得到聚焦特征集其取值范围为1≤k≤k，

11、

12、其中fk表示第k个特征图在特征矩阵iloc的最大池化输出值，xkpq表示特征矩阵iloc中位于(p,q)处的第k个特征值；

13、步骤5：对步骤4中得到的聚焦特征集通过特征分离模块得到新的特征 {fl,fg}，其中fl表示局部特征建模分支的输入特征，fg表示全局特征建模分支的 输入特征；

14、步骤6：对步骤5中的局部特征建模分支的输入特征fl根据式(4)进行深度 卷积得到多聚焦图像序列的局部特征l(fl)，

15、

16、其中conv3表示神经网络层中深度卷积参数；

17、步骤7：对步骤5中的全局特征建模分支的输入特征fg根据式(5)进行自注 意力校正得到多聚焦图像序列的全局特征g(fg)，

18、

19、其中gi(fg)表示i位置输入特征fg与其余位置特征构建的关联关系，θi(fg)表示位置i输入特征fg在θ空间的特征嵌入过程，φj(fg)和分别表示在位置j输入 特征fg在φ和空间的特征嵌入过程，n表示特征点的数量，t表示特征向量转 置，exp表示以自然常数e为底的指数函数，∑(·)表示特征值累加；

20、步骤8：对步骤6得到的多聚焦图像序列的局部特征l(fl)和步骤7得到的多聚 焦图像序列的全局特征g(fg)根据式(6)进行特征联合操作得到局部-全局特征 集fcou，

21、fcou＝f(l(fl),g(fg))                         (6)

22、其中f(·,·)表示局部-全局特征联合函数；

23、步骤9：对步骤8中得到的局部-全局特征fcou通过式(7)的特征映射模块迭 代得到待测物体的深度图d，

24、

25、其中conv4、conv5和conv6表示神经网络层中卷积参数，为反卷积操作符。

26、与现有技术相比，本发明具有以下优点：

27、(1)本发明构建的聚焦特征增强模块和局部-全局特征联合模块兼顾局部聚 焦信息定位和全局聚焦信息耦合的特性，可实现三维形貌重建方法跨场景与跨 领域应用。

28、(2)本发明提出的三维形貌重建方法在保持高精度的前提下同时提升了重 建效率，可满足不同场景对重建精度与效率的要求。

技术特征：

1.一种联合局部与全局聚焦特征的三维形貌重建方法，包括以下步骤：

技术总结
本发明公开了一种联合局部与全局聚焦特征的三维形貌重建方法。包括以下步骤：首先，通过垂直调整待测物体到相机感光成像面的相对距离得到多聚焦图像序列；其次，将多聚焦图像序列进行卷积操作、可变形卷积操作和池化操作得到聚焦特征集；然后，将聚焦特征集输入局部‑全局特征联合模块得到局部‑全局特征集；最后，将局部‑全局特征集进行特征映射为深度图。本发明的方法在保持高精度的前提下同时提升了重建效率，可有效满足跨场景的应用需求。

技术研发人员：闫涛,张江峰,钱宇华,王克琪
受保护的技术使用者：山西大学
技术研发日：
技术公布日：2024/1/13