基于神经网络模型的光度立体图生成方法与流程

本发明属于图像生成方法，涉及基于神经网络模型的光度立体图生成方法。

背景技术：

1、随着深度学习在各种计算机视觉任务中的巨大成功，基于深度学习的方法被引入到光度立体视觉，依赖训练和测试期间预定义的一组光源方向生成光度立体图像。实际应用中遇到的大多是未标定情况下的光度立体问题，需要一种可靠的方法来生成光源方向，从而消除繁琐的光源标定的需要。

2、2019年，chen等人将深度学习网络应用到光源标定，提出分两阶段的基于深度学习的自标定光度立体网络模型。2020年，yu chanki针对未标定光度立体进行多尺度融合的方法进行表面方向估计。santo等人提出深度光度立体网络，在己知光源方向的前提下学习反射率和法向之间的映射关系。理论上深度学习可以应用到光度立体的每一个流程中，学习原始图像从而估计出表面法向和光源信息，也可以学习法向量和重建高度的关系等。目前直接利用神经网络生成光源方向的方法生成的光照参数估计效果不理想，从而导致生成的光度立体图像不够精确。同时，现有的方法大多数局限于特定的光照环境，需要光照模型(朗伯反射/非朗伯反射模型)，不具有通用性。

技术实现思路

1、本发明的目的是提供一种基于神经网络模型的光度立体图生成方法，解决了现有技术中存在的生成光源方向限于特定光照环境的问题。

2、本发明所采用的技术方案是，基于神经网络模型的光度立体图生成方法，包括以下步骤：

3、步骤1、获取不同光照方向下待测物体的原始图像，并提取每个原始图像的掩码图，对原始图像、掩码图进行处理，得到预设尺寸的原始图像、掩码图；

4、步骤2、构建神经网络模型并进行训练，得到训练后的神经网络模型，神经网络模型包括编码器和解码器；

5、步骤3、将步骤1得到的每个原始图像、对应掩码图在通道方向上进行合并，得到多组组合图像；将多组组合图像输入训练后的神经网络模型中的编码器，进行多尺度特征提取、多尺度特征融合，得到全局光照信息；

6、步骤4、将步骤1得到的每个原始图像、掩码图、全局光照信息输入训练后的神经网络模型中的解码器，进行特征聚合、法向回归，得到光度立体图。

7、本发明的特点还在于：

8、步骤1的具体处理过程为：对原始图像进行归一化处理，根据掩码图中有效像素的位置范围确定裁剪尺寸，对原始图像、掩码图进行裁剪，采用最邻近插值将裁剪后的原始图像、掩码图缩放到预设尺寸，得到预设尺寸的原始图像、掩码图。

9、编码器包括特征提取模块、特征融合模块。

10、特征提取模块用于对每组组合图像进行特征提取，得到不同维度的特征，即特征金字塔。

11、特征融合模块用于先将不同维度的特征进行通道统一，再自上向下提取特征金字塔的前三层特征，将每层特征进行上采样后进行横向连接得到融合后的特征金字塔；再分别对融合后的特征金字塔前三层特征进行上采样，使其与第一层特征的尺寸相同，按通道维度将四层特征进行融合后进行卷积操作，得到多组特征。

12、步骤4具体包括以下步骤：

13、步骤4.1、将多组特征、原始图像、掩码图进行双线性插值，使其与预设表面法向尺寸相同；

14、步骤4.2、将步骤3.1得到的多组特征、原始图像在通道方向上进行合并，得到特征图；

15、步骤4.3、对特征图进行筛选，得到与步骤3.1得到的掩码图的有效值相对应的有效特征；

16、步骤4.4、将有效特征输入到特征聚合模块，得到聚合特征；

17、步骤4.5、将聚合特征输入到法向回归预测模块，得到表面法向。

18、本发明的有益效果是：本发明的基于神经网络模型的光度立体图生成方法，从多幅输入的图像和对应的掩码图中，利用神经网络提取全局光照信息，然后将全局光照信息与原图像结合进行逐像素表面法向恢复；用于训练的数据集包含了未知的任意变化的光照条件，不再局限于暗室单光源的假设；训练数据集中物体形状、材质的多样性打破自然光光度立体中对于凸朗伯表面光照模型的限制；结合神经网络模型提取到全局光照信息，从而得到更加精确的光度立体图。

技术特征：

1.基于神经网络模型的光度立体图生成方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于神经网络模型的光度立体图生成方法，其特征在于，步骤1的具体处理过程为：对原始图像进行归一化处理，根据掩码图中有效像素的位置范围确定裁剪尺寸，对原始图像、掩码图进行裁剪，采用最邻近插值将裁剪后的原始图像、掩码图缩放到预设尺寸，得到预设尺寸的原始图像、掩码图。

3.根据权利要求1所述的基于神经网络模型的光度立体图生成方法，其特征在于，所述编码器包括特征提取模块、特征融合模块。

4.根据权利要求3所述的基于神经网络模型的光度立体图生成方法，其特征在于，所述特征提取模块用于对每组组合图像进行特征提取，得到不同维度的特征，即特征金字塔。

5.根据权利要求4所述的基于神经网络模型的光度立体图生成方法，其特征在于，所述特征融合模块用于先将不同维度的特征进行通道统一，再自上向下提取特征金字塔的前三层特征，将每层特征进行上采样后进行横向连接得到融合后的特征金字塔；再分别对融合后的特征金字塔前三层特征进行上采样，使其与第一层特征的尺寸相同，按通道维度将四层特征进行融合后进行卷积操作，得到多组特征。

6.根据权利要求1所述的基于神经网络模型的光度立体图生成方法，其特征在于，步骤4具体包括以下步骤：

技术总结
本发明公开了基于神经网络模型的光度立体图生成方法，包括：获取不同光照方向下待测物体的原始图像，并提取掩码图；构建神经网络模型并进行训练，神经网络模型包括编码器和解码器；将每个原始图像、对应掩码图在通道方向上进行合并，得到多组组合图像；将多组组合图像输入训练后的神经网络模型中的编码器，得到全局光照信息；将每个原始图像、掩码图、全局光照信息输入训练后的神经网络模型中的解码器，得到光度立体图。用于训练的数据集包含未知的任意变化的光照条件，不再局限于暗室单光源的假设；训练数据集中物体形状、材质的多样性打破自然光光度立体中对于凸朗伯表面光照模型的限制；能得到更加精确的光度立体图。

技术研发人员：莫冬春,李可,齐文博
受保护的技术使用者：中科摇橹船科技（西安）有限公司
技术研发日：
技术公布日：2024/1/14