一种天空图像处理方法和装置与流程

1.本发明涉及图像处理技术领域，特别是涉及一种天空图像处理方法，一种天空图像处理装置，一种电子设备和一种存储介质。


背景技术：

2.随着智能汽车的兴起，车载设备日益完善，相应的对于车辆各部分的智能化需求也随之上升。目前车载摄像头是智能汽车的标配，通过对摄像头捕捉到的图像进行自动后期处理也成为了用户对车辆采集的图像处理需求。但是由于车辆上的车载终端的硬件性能有限，用于如pc（personal computer，个人计算机）等终端上的处理方法并不适用与车辆上。


技术实现要素：

3.鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种天空图像处理方法，一种天空图像处理装置，一种电子设备和一种存储介质。
4.为了解决上述问题，本发明实施例公开了一种天空图像处理方法，应用于移动终端，所述移动终端上存储有天空替换图像数据，所述方法包括：在所述移动终端进行拍摄时，获取拍摄的视频流数据，所述视频流数据包括视频帧天空图像；提取所述视频帧天空图像的高频特征以及低频特征；融合所述高频特征以及所述低频特征，生成全局特征；对所述全局特征进行矩阵解码，生成掩膜数据；在所述视频帧天空图像上，结合所述掩膜数据以及所述天空替换图像数据，生成换天图像。
5.可选地，所述方法还包括：针对所述换天图像进行图像后期处理，生成效果图像。
6.可选地，所述提取所述视频帧天空图像的高频特征以及低频特征的步骤包括：将所述视频帧天空图像进行快速下采样处理；复制处理后的视频帧天空图像，生成第一天空图像和第二天空图像；对所述第一天空图像进行高频特征提取；对所述第二天空图像进行低频特征提取。
7.可选地，所述对所述第二天空图像进行低频特征提取的步骤包括：采用低频编码的方式，提取所述第二天空图像中的低频语义信息；确定所述低频语义信息为所述低频特征。
8.可选地，所述对所述第一天空图像进行高频特征提取的步骤包括：采用高频编码的方式，提取所述第一天空图像中的高频语义信息；
确定所述高频语义信息为所述高频特征。
9.可选地，所述融合所述高频特征以及所述低频特征，生成全局特征的步骤包括：通过预设矩阵在通道方向上合并所述高频特征以及所述低频特征，生成全局特征。
10.可选地，在所述对所述全局特征进行矩阵解码，生成掩膜数据的步骤之后，所述方法还包括：对所述掩膜数据进行引导滤波处理。
11.本发明实施例还公开了一种天空图像处理装置，应用于移动终端，所述移动终端上存储有天空替换图像数据，所述装置包括：获取模块，用于在所述移动终端进行拍摄时，获取拍摄的视频流数据，所述视频流数据包括视频帧天空图像；提取模块，用于提取所述视频帧天空图像的高频特征以及低频特征；融合模块，用于融合所述高频特征以及所述低频特征，生成全局特征；解码模块，用于对所述全局特征进行矩阵解码，生成掩膜数据；结合模块，用于在所述视频帧天空图像上，结合所述掩膜数据以及所述天空替换图像数据，生成换天图像。
12.本发明实施例还公开了一种电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的天空图像处理方法的步骤。
13.本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的天空图像处理方法的步骤。
14.本发明实施例包括以下优点：本发明实施例通过在所述移动终端进行拍摄时，获取拍摄的视频流数据，所述视频流数据包括视频帧天空图像；提取所述视频帧天空图像的高频特征以及低频特征；融合所述高频特征以及所述低频特征，生成全局特征；对所述全局特征进行矩阵解码，生成掩膜数据；在所述视频帧天空图像上，结合所述掩膜数据以及所述天空替换图像数据，生成换天图像。本发明实施例通过获取拍摄到的视频帧天空图像，针对捕获图像中天空部分进行分割得到全局特征，并生成掩膜数据，将掩膜数据和天空替换图像数据结合在视频帧天空图像上生成换天图像，以实现实时对图像的天空部分置换为其他场景的效果，具有高精度，且参数量小、功耗低；适用于移动终端上。
附图说明
15.图1是本发明的一种天空图像处理方法实施例的步骤流程图；图2是本发明的另一种天空图像处理方法实施例的步骤流程图；图3是本发明的一种天空图像处理装置实施例的结构框图。
具体实施方式
16.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实
施方式对本发明作进一步详细的说明。
17.参照图1，示出了本发明的一种天空图像处理方法实施例的步骤流程图，应用于移动终端，所述移动终端上存储有天空替换图像数据。
18.需要说明的是，所述移动终端可以包括手持移动终端，如手机，平板电脑等，还可以包括机械承载移动的终端，如车载终端等。本发明实施例对此不作具体限定。
19.对于天空替换图像数据可以是与天空图像相关的素材数据，也可以与天空不同类型的素材数据，所述天空替换图像数据是用于替换视频帧天空图像中天空部分的图像。其可以存储在移动终端的内置存储空间的存储地址，也可以存储在移动终端的外置存储空间的存储地址，本发明实施例对此也不做限定。
20.所述方法具体可以包括如下步骤：步骤101，在所述移动终端进行拍摄时，获取拍摄的视频流数据，所述视频流数据包括视频帧天空图像；在实际应用中，移动终端上可以配置有至少一个摄像头，当启动其中一个摄像头进行拍摄时，可以获取摄像头针对实际场景进行拍摄的视频流数据，其中，所述视频流数据多帧视频帧天空图像。
21.步骤102，提取所述视频帧天空图像的高频特征以及低频特征；在获取到视频帧天空图像后，可以分别针对视频帧天空图像进行高频特征提取和低频特征提取，以提取出视频帧天空图像的高频特征以及低频特征。
22.步骤103，融合所述高频特征以及所述低频特征，生成全局特征；根据得到的高频特征以及低频特征，将相同位置的高频特征以及低频特征进行融合，生成矩阵数据，所述矩阵数据即为全局特征。
23.步骤104，对所述全局特征进行矩阵解码，生成掩膜数据；由于矩阵数据为计算机易读的数据，需要将全局特征进行矩阵解码还原为人所能看懂的自然语义信息，生成掩膜数据。
24.步骤105，在所述视频帧天空图像上，结合所述掩膜数据以及所述天空替换图像数据，生成换天图像。
25.将掩膜数据和待替换的天空替换图像数据，在视频帧天空图像上进行层层叠加的结合生成新的换天图像，以对视频帧天空图像中的天空部分进行替换。
26.本发明实施例通过在所述移动终端进行拍摄时，获取拍摄的视频流数据，所述视频流数据包括视频帧天空图像；提取所述视频帧天空图像的高频特征以及低频特征；融合所述高频特征以及所述低频特征，生成全局特征；对所述全局特征进行矩阵解码，生成掩膜数据；在所述视频帧天空图像上，结合所述掩膜数据以及所述天空替换图像数据，生成换天图像。本发明实施例通过获取拍摄到的视频帧天空图像，针对捕获图像中天空部分进行分割得到全局特征，并生成掩膜数据，将掩膜数据和天空替换图像数据结合在视频帧天空图像上生成换天图像，以实现实时对图像的天空部分置换为其他场景的效果，具有高精度，且参数量小、功耗低；适用于移动终端上。
27.参照图2，示出了本发明的另一种天空图像处理方法实施例的步骤流程图，应用于移动终端，所述移动终端上存储有天空替换图像数据。其中，所述移动终端具体可以为车载终端。
28.步骤201，在所述移动终端进行拍摄时，获取拍摄的视频流数据，所述视频流数据包括视频帧天空图像；在实际应用中，在车辆行驶过程，车载摄像头实时拍摄路况影像，车载终端拉流获取到视频流数据；截取视频流数据中的单帧图像为视频帧天空图像，其中，将视频流转化为图像帧可以根据设备的不同，一秒可截取24至30帧不等，以生成视频帧天空图像。在本发明的一优选示例中，由于人眼所能分辨为流畅的帧率为24帧/秒，因此，可以选取24帧/秒的频率截取视频流数据。
29.此外，还可以对单帧的视频帧天空图像进行预处理。预处理的过程具体可以包括两个步骤：1、将视频帧天空图像转换为矩阵数据，具体地可以依据以下公式进行转换：其中，x为图像转换的矩阵，mean为训练数据集的均值，std为训练数据集的方差，在本发明实施例中使用的mean对应rgb三通道为[0.485, 0.456, 0.406]，std对应rgb三通道[0.229, 0.224, 0.225]。
[0030]
2、将得到的矩阵利用双线性差值缩放尺寸至固定尺寸，其中，所述固定尺寸本领域技术人员可以根据需求进行设置，本发明实施例对此不做具体限定。但是长宽的乘积与模型的计算量成正比，但是过小的尺寸会使模型的精度下降，在本发明的一优选示例中，所述固定尺寸为宽512，高256，通道数为3。
[0031]
步骤202，提取所述视频帧天空图像的高频特征以及低频特征；针对视频帧天空图像进行特征提取，提取出视频帧天空图像的高频特征以及低频特征。
[0032]
在本发明的一可选实施例中，所述提取所述视频帧天空图像的高频特征以及低频特征的步骤包括：子步骤s2021，将所述视频帧天空图像进行快速下采样处理；可以采用神经网络模型中的快速下采样模块对视频帧天空图像进行快速下采样处理。其中，快速下采样模块由卷积模块、批量归一化模块和非线性模块组成的。
[0033]
所述卷积模块作用主要为快速提取视频帧天空图像的信息并进行压缩精炼，而在本发明的一示例中，使用的是5x5的卷积核，使得视频帧天空图像输出尺寸为输入尺寸面积的1/16。
[0034]
所述非线性模块具体可是relu6（激活函数）模块，其最大输出被限制为6，即经过relu6的的输出值不会超过数字6，若大于6则按6计算。使得在移动端设备 float16/int8 的低精度的时候也能有很好的数值分辨率。其中，对于所述relu6的定义为：其中，x为输入数据，通常为矩阵形式。
[0035]
子步骤s2022，复制处理后的视频帧天空图像，生成第一天空图像和第二天空图像；
在经过快速下采样后，可以将快速下采样处理后的视频帧天空图像复制一份，生成相同的视频帧天空图像，并确定其中一份为第一天空图像，另一份为第二天空图像。需要说明的是第一天空图像和第二天空图像是完全相同的，两份图像数据，第一天空图像与第二天空图像只是为了区分送至高频模块或是低频模块。
[0036]
子步骤s2023，对所述第一天空图像进行高频特征提取；在实际应用中，可以将第一天空图像送至高频频编码模块，通过高频编码模块对第一天空图像进行高频特征提取。
[0037]
具体地，所述对所述第一天空图像进行高频特征提取的步骤包括：子步骤s20231，采用高频编码的方式，提取所述第一天空图像中的高频语义信息；子步骤s20232，确定所述高频语义信息为所述高频特征。
[0038]
需要说明的是，高频编码模块为独立的卷积单元，其输入与低频编码模块完全相同，可以对应天空的位置、形状和尺寸，通过训练学习后的高频编码模块，可以将输入数据中相关的信息进一步精炼。高频编码模块结构与快速下采样模块类似。其中的卷积模块替换为深度可分离卷积，即由一个3x3的depthwise卷积和一个pointwise卷积代替单个3x3卷积，已达到近似效果降低计算量的目的。此外，高频编码模块中的非线性模块采用prelu激活函数。prelu激活函数的定义为：其中， a为可学习的参数，初始值为0.25。
[0039]
因此，采用高频编码模块的高频编码方式，提取第一天空图像中的高频语义信息；其中，高频语义特征为图像转至频域后，在高频段显现的特征，以表征图像地细节和锐化纹理。然后确定高频语义信息作为高频特征。
[0040]
子步骤s2024，对所述第二天空图像进行低频特征提取。
[0041]
在实际应用中，可以将第二天空图像送至低频编码模块，通过低频编码模块对第二天空图像进行高频特征提取。其中，所述低频编码模块用于提取第二天空图像中的低频语义信息。
[0042]
具体地，所述对所述第二天空图像进行低频特征提取的步骤包括：子步骤s20241，采用低频编码的方式，提取所述第二天空图像中的低频语义信息；子步骤s20242确定所述低频语义信息为所述低频特征。
[0043]
在本发实施例中，可以对应天空的位置、形状和尺寸，通过训练学习后的低频编码模块，可以将输入数据中相关的信息进一步精炼。
[0044]
低频编码模块本方法中使用的是shufflenetv2的骨架结构，它利用深度可分离卷积替换了普通卷积，在精度少量下降的情况下大量减少了模型的计算量。并且针对深度可分离卷积中复杂度较大的1x1卷积进行了优化，通过带group的1x1卷积和通道随机打乱联合的方式用较少的计算量模拟了传统点卷积的效果。
[0045]
因此，采用低频编码模块的低频编码方式，提取第二天空图像中的低频语义信息；其中，低频语义特征表征着天空部分的整体轮廓和大致边缘。然后确定低频语义信息作为低频特征。
[0046]
步骤203，融合所述高频特征以及所述低频特征，生成全局特征；
需要说明的是，融合特征高频特征以及低频特征，即为将低频提取模块中的感受野增强模块输出的特征数据，与高频编码模块输出的特征数据进行融合。因为在神经网络中的特征数据存在形式均为矩阵的形式，因此可以通过将高频特征以及低频特征分别对应的矩阵数据进行融合，生成全局特征。
[0047]
具体地，可以通过预设矩阵在通道方向上合并所述高频特征以及所述低频特征，生成全局特征。
[0048]
在实际应用中，可以通过矩阵在通道方向上的进行合并，将两个矩阵中的每一位数据进行计算，生成得到的矩阵即为全局特征。如此得到的全局特征分可以尽可能地保证高频和低频信息都得到保留。
[0049]
步骤204，对所述全局特征进行矩阵解码，生成掩膜数据；可与将全局特征输入至解码模块进行矩阵解码，将编码信息还原为人所能看懂的自然语义信息，生成掩膜数据。所述解码模块与所述高频编码模块结构相同。
[0050]
具体地，将全局特征输入至解码模块，解码模块输出一个所有值均为0-1之间的矩阵，确定所述矩阵为视频帧天空图像对应矩阵尺寸大小的掩膜数据。
[0051]
步骤205，对所述掩膜数据进行引导滤波处理；对所述掩膜数据进行引导滤波处理，以实现对掩膜数据的进行精细化处理，将视频帧天空图像和掩膜数据放缩至同一尺寸。对于该尺寸，尺寸越小，引导滤波处理的总体消耗时间越短，但精度损失也会越多，本领域可以根据实际任务需求和效果确定具体尺寸值。
[0052]
需要说明的是，在进行引导滤波处理时需要一幅引导图像，引导图像可以是另外单独的图像，也可以是输入图像本身。在本发明实施例中，采用数据的视频帧天空图像作为引导图像，通过引导滤波处理对应的引导滤波函数进行计算得到精细化的掩膜数据。其中，所述引导滤波函数为：其中，filter为引导滤波器，n为与输入图像尺寸大小相同的全1常量矩阵，经过滤波器处理后的n仍然为常量。eps为一小值常量，主要作用为在极端情况下，如图片中完全没有天空，保证分母不为零，避免出现数据异常。eps为0.002。x、y分别为放缩至固定尺寸和处理后视频帧天空图像和引导用的掩膜数据矩阵，通过一系列运算得到refine_mask，即为通过引导滤波微调的精细化掩膜数据。
[0053]
步骤206，在所述视频帧天空图像上，结合所述掩膜数据以及所述天空替换图像数据，生成换天图像；在实际应用中，可以将精细化掩膜数据放缩至原图尺寸大小，然后在基于融合公
式将天空替换图像数据、掩膜数据按一定比例融合至视频帧天空图像上，令在视觉上形成换天效果。具体地，所述融合公式为：其中，sky为待替换的天空替换图像数据，mask即为掩膜数据，而mask的值越接近于1代表该像素模型认为越有可能是天空，越接近0则代表越有可能不是天空，上式计算后会将待替换天空与原图按一定比例融合。需要说明的是，公式里均为矩阵运算。
[0054]
步骤207，针对所述换天图像进行图像后期处理，生成效果图像。
[0055]
在换天图像的基础上，对换天图像进行色温、色调和亮度的调整，以使目标图像更加真实。色温、色调和亮度的调整值与和换天图像相关，如夜间星空需要将色温降低亮度调暗，而阳光明媚时又需要相反，本领域技术人员可以根据实际需求进行确定，本发明实施例对此不做具体限定。
[0056]
在本发明实施例中，通过获取车载摄像头捕获视频流数据并截取为视频帧天空图像，对单帧图像进行预处理；对处理后得到的矩阵进行快速下采样，得到特征编码矩阵分别送入低频编码模块和高频编码模块；经过低频编码模块处理后的数据，送入感受野增强模块；高频编码模块处理后的数据与感受野增强模块处理后的数据进行特征融合生成全局特征；对全局特征通过解码模块处理得到天空分割的掩膜数据；将掩膜数据和视频帧天空图像共同经过引导滤波模块处理，得到精细的天空分割掩膜数据；将待替换的天空替换图像数据和掩膜数据共同作用在视频帧天空图像上，得到换天图像；将换天后的图像进行色温、色调和亮度等后处理，得到最终的结果图。实现快速逐帧重复分割每帧图像天空并置换，从而达到实时换天的效果；有着较高的精度，且参数量小、功耗低。
[0057]
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
[0058]
参照图3，示出了本发明的一种天空图像处理装置实施例的结构框图，所述装置应用于移动终端，所述移动终端上存储有天空替换图像数据，所述装置具体可以包括如下模块：获取模块301，用于在所述移动终端进行拍摄时，获取拍摄的视频流数据，所述视频流数据包括视频帧天空图像；提取模块302，用于提取所述视频帧天空图像的高频特征以及低频特征；融合模块303，用于融合所述高频特征以及所述低频特征，生成全局特征；解码模块304，用于对所述全局特征进行矩阵解码，生成掩膜数据；结合模块305，用于在所述视频帧天空图像上，结合所述掩膜数据以及所述天空替换图像数据，生成换天图像。
[0059]
在本发明的一可选实施例中，所述装置还包括：后期处理模块，用于针对所述换天图像进行图像后期处理，生成效果图像。
[0060]
在本发明的一可选实施例中，所述提取模块302包括：
快速下采样子模块，用于将所述视频帧天空图像进行快速下采样处理；复制子模块，用于复制处理后的视频帧天空图像，生成第一天空图像和第二天空图像；第一提取子模块，用于对所述第一天空图像进行高频特征提取；第二提取子模块，用于对所述第二天空图像进行低频特征提取。
[0061]
在本发明的一可选实施例中，所述第二提取子模块包括：第一提取单元，用于采用低频编码的方式，提取所述第二天空图像中的低频语义信息；第一确定单元，用于确定所述低频语义信息为所述低频特征。
[0062]
在本发明的一可选实施例中，所述第一提取子模块包括：第二提取单元，用于采用高频编码的方式，提取所述第一天空图像中的高频语义信息；第二确定单元，用于确定所述高频语义信息为所述高频特征。
[0063]
在本发明的一可选实施例中，所述融合模块303包括：合并子模块，用于通过预设矩阵在通道方向上合并所述高频特征以及所述低频特征，生成全局特征。
[0064]
在本发明的一可选实施例中，所述装置还包括：引导滤波，用于对所述掩膜数据进行引导滤波处理。
[0065]
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0066]
本发明实施例还提供了一种电子设备，包括：处理器和存储介质，所述存储介质存储有所述处理器可执行的计算机程序，当电子设备运行时，所述处理器执行所述计算机程序，以执行如本发明实施例任一项所述的方法。具体实现方式和技术效果与方法实施例部分类似，这里不再赘述。
[0067]
本发明实施例还提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如本发明实施例任一项所述的方法。具体实现方式和技术效果与方法实施例部分类似，这里不再赘述。
[0068]
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0069]
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0070]
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执
行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
[0071]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
[0072]
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
[0073]
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
[0074]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0075]
以上对本发明所提供的一种天空图像处理方法和一种天空图像处理装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。