图像融合方法和装置【
技术领域：
：】1.本技术涉及图像处理领域，尤其涉及一种图像融合方法和装置。
背景技术：
：：2.图像超分辨率重建是一种将低分辨率图像转换为高分辨率图像技术，广泛应用于图像处理系统中。基于多帧的图像超分辨率重建一般要先进行多帧图像对齐，然后将对齐后的多帧图像融合成目标图像，图像对齐的精度直接影响融合后目标图像的细节效果。3.由于在一些较极端的曝光或暗光场景下可以获取的有效信息较少，无法很好的区分图像内前景物体的运动状态，很可能导致在图像对齐的过程中提取到错误的特征信息。如果仅通过传统的特征法利用全图的特征信息进行全图对齐，会因为受到部分错误特征的影响而降低图像对齐的精度，进而导致超分辨率重建效果偏差。技术实现要素：4.有鉴于此，本发明实施例提供了一种图像融合方法和装置，通过将图像划分为前景区域和背景区域，选取包含更多特征信息的区域进行图像对齐并融合，解决了特殊场景下图像对齐精度较低，超分辨率重建效果偏差的问题。5.第一方面，本发明实施例提供了一种图像融合方法，所述方法包括：6.获取第一图像序列的光照场景信息；7.根据所述光照场景信息，确定所述第一图像序列是否于正常光照场景拍摄；8.如果所述第一图像序列于非正常光照场景拍摄，则获取所述第一图像序列中图像帧的前景偏移信息；9.根据所述前景偏移信息，确定所述第一图像序列中图像帧的对齐方式；10.根据所述对齐方式对所述第一图像序列中的图像帧对齐；11.将对齐后的图像帧融合为超分辨率图像。12.可选的，所述获取所述第一图像序列中图像帧的前景偏移信息，包括：13.确定所述第一图像序列中的参考帧和非参考帧；14.获取所述参考帧的前景图像和所述非参考帧的前景图像；15.通过模板匹配法将所述非参考帧的前景图像与所述参考帧的前景图像对齐，得到所述非参考帧的前景偏移信息。16.可选的，所述获取所述参考帧的前景图像和所述非参考帧的前景图像，包括：17.对所述参考帧进行语义分割处理，得到二值化的蒙版图像；18.将所述参考帧与所述蒙版图像比对，得到所述参考帧的前景图像；19.将所述非参考帧与所述蒙版图像比对，得到所述非参考帧的前景图像。20.可选的，所述通过模板匹配法对所述非参考帧的前景图像与所述参考帧的前景图像对齐，得到所述非参考帧的前景偏移信息，包括：21.对所述参考帧的前景图像和所述非参考帧的前景图像进行腐蚀处理，得到参考帧的前景图像连通域和非参考帧的前景图像连通域；22.通过模板匹配法分别将对应位置的参考帧与非参考帧的前景图像连通域对齐，得到前景图像连通域各个位置的偏移值；23.将前景图像连通域各个位置的偏移值相加，得到所述非参考帧的前景偏移信息。24.可选的，所述根据所述前景偏移信息，确定所述第一图像序列中图像帧的对齐方式，包括：25.如果非参考帧的前景偏移信息小于或等于预设的第一偏移阈值，则通过特征法将所述非参考帧的前景图像与参考帧的前景图像对齐；26.如果非参考帧的前景偏移信息大于预设的第一偏移阈值，则通过所述非参考帧的背景偏移信息重新确定所述非参考帧与所述参考帧的对齐方式。27.可选的，所述通过所述非参考帧的背景偏移信息重新确定所述非参考帧与所述参考帧的对齐方式之前，所述方法还包括：28.获取所述参考帧的背景图像和所述非参考帧的背景图像；29.根据预设比例将所述参考帧的背景图像和所述非参考帧的背景图像等比例缩小为参考帧的第一背景图像和非参考帧的第一背景图像；30.通过模板匹配法将所述参考帧的第一背景图像和所述非参考帧的第一背景图像对齐，得到所述非参考帧的第一背景偏移信息；31.通过特征法将所述参考帧的背景图像和所述非参考帧的背景图像对齐，得到所述非参考帧的第二背景偏移信息。32.可选的，所述通过所述非参考帧的背景偏移信息重新确定所述非参考帧与所述参考帧的对齐方式，包括：33.如果所述非参考帧的第二背景偏移信息与第一背景偏移信息间的差值小于或等于预设的第二偏移值阈值，则通过特征法将所述非参考帧的背景图像和所述参考帧的背景图像对齐；34.如果所述非参考帧的第二背景偏移信息与第一背景偏移信息间的差值大于预设的第二偏移值阈值，则通过模板匹配法将非参考帧和参考帧对齐。35.第二方面，本发明实施例提供了一种图像融合装置，包括：36.第一获取模块，获取第一图像序列的光照场景信息；37.第一确定模块，根据所述光照场景信息，确定所述第一图像序列是否于正常光照场景拍摄；38.第二获取模块，如果所述第一图像序列于非正常光照场景拍摄，则获取所述第一图像序列中图像帧的前景偏移信息；39.第二确定模块，根据所述前景偏移信息，确定所述第一图像序列中图像帧的对齐方式；40.对齐模块，根据所述对齐方式对所述第一图像序列中的图像帧对齐；41.融合模块，将对齐后的图像帧融合为超分辨率图像。42.第三方面，本发明实施例提供了一种图像融合设备，包括：43.至少一个处理器；以及44.与所述处理器通信连接的至少一个存储器，其中：45.所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如第一方面任一项所述的方法。46.可选的，一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行如第一方面任一所述的方法。47.通过上述方案，解决了一些特殊场景导致图像特征缺失时，图像对齐的精度较差，超分辨率重建效果不佳的问题。【附图说明】48.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。49.图1为本发明实施例提供的一种图像融合方法的流程图；50.图2为本发明实施例提供的另一种图像融合方法的流程图；51.图3为本发明实施例提供的一种图像融合装置的结构示意图；52.图4为本发明实施例提供的一种电子设备的结构示意图。【具体实施方式】53.为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。54.应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。55.为了实现图像超分辨率重建，需要预先将多帧图像进行对齐处理。图像对齐是图像处理领域中的重要方法。对于一组图像数据集中的两幅图像，通过寻找一种空间变换将一幅图像映射至另一幅图像，使得两图中对应于同一位置的点一一对应起来。其目的在于可以量化比较两帧图像中场景或物体的偏移信息，或是融合同一对象在不同条件下获取的多帧图像。56.传统的图像对齐方法包括模板匹配法和特征法。模板匹配法需要在一帧图像上截取出局部模板图像，并到另一幅图像中寻找与局部模板图像相似的子图像，一般用于在明确局部特征具体位置的情况下，研究局部特征与另一幅图像间的位置关系。模板匹配法具体包括：灰度图相关匹配等算法。57.特征法需要提取一帧图像的全部特征，再生成描述子，并根据描述子的相似程度对两帧图像的特征进行匹配，一般用于图像融合之前对特征较多的两帧图像进行全图对齐。特征法具体包括：尺度不变特征变换(scale-invariantfeaturetransform，sift)、加速稳健特征(speededuprobustfeatures，surf)、定向快速旋转标注(orientedfastandrotatedbrief，orb)等算法。58.在图像超分辨率重建的过程中，通常通过特征法提取多帧图像内的相同特征并进行对齐和融合。但是无论使用模板匹配法还是特征法进行图像对齐，都需要两张图像包含足够的特征以提高对齐的精度。59.在过度曝光和暗光场景下，常常因为无法提取足够的有效特征导致对齐失败。而场景中存在前景干扰时，很容易由于前景物体的移动导致图像中特征变化，进而导致基于特征对齐时出现错误，超分辨率重建效果偏差。60.本发明实施例在非正常光照场景且存在前景干扰时，通过场景语义分割，将图像帧划分为前景和背景，并分别对前景和背景进行运动偏移分析，选取偏移较小即包含更多相同特征的部分进行对齐，从而实现对图像对齐精度的提升，提高超分辨率重建效果，优化重建主体视觉效果。61.本发明实施例提供了一种图像融合方法。如图1所示，该方法的处理步骤包括：62.101，获取第一图像序列的光照场景信息。63.具体的，接收拍摄单元拍摄到的第一图像序列，通过光传感器读取拍摄第一图像序列时的光照数据，并通过光照数据确定第一图像序列的光照场景信息。64.光照场景信息通常分为：暗光场景、正常场景和曝光场景。65.在一些实施例中，暗光场景可以为不开灯的夜晚场景；正常场景可以为办公室、商场等光照强度适中的场景；曝光场景可以为晴天光照充足背对太阳光、室内背对光源等场景。66.其中，第一图像序列由拍摄单元通过零延时拍摄功能在短时间内获取的多帧图像帧所组成，通常包含5至10帧图像帧。由于第一图像序列内的各帧图像帧均在极短时间内拍摄的，因此可通过读取任意一帧图像帧的光照场景信息来确定第一图像序列整体的光照场景信息。67.102，根据光照场景信息，确定第一图像序列是否于正常光照场景拍摄。68.具体的，当第一图像序列的光照场景信息为暗光场景或曝光场景时，确定第一图像序列于非正常光照场景拍摄。69.其中，暗光、正常、曝光等光照场景信息由预先通过训练模型计算得到的第一光照阈值和第二光照阈值确定。通过对大量图像、图像光照数据以及图像所包含的特征数量进行计算，获取图像所包含的特征数量与光照数据的对应关系，将图像所包含特征数量大幅减少的临界点确定为两个光照阈值，即一旦光照低于第一光照阈值或高于第一阈值，则会导致图像帧中的特征大幅减少。70.当第一图像序列的光照场景信息处于第一光照阈值和第二光照阈值之间时，确定第一图像序列于正常光照场景拍摄；当第一图像序列的光照场景小于第一光照阈值或大于第二光照阈值时，确定第一图像序列于暗光场景或曝光场景，即非正常光照场景拍摄。71.如果第一图像序列于正常光照场景拍摄，则直接通过特征法将第一图像序列内各图像帧全图对齐；如果第一图像序列于非正常光照场景拍摄，则继续执行后续步骤。72.103，如果第一图像序列于非正常光照场景拍摄，则获取第一图像序列中图像帧的前景偏移信息。73.具体的，在第一序列图像中确定出参考帧，并将其余图像帧确定为非参考帧。通过模板匹配法依次将各非参考帧与参考帧对齐，以获取各非参考帧的前景偏移信息。74.其中，通过清晰度检测算法将清晰度最高的图像帧确定为参考帧。确定参考帧的过程可以采用任意清晰度检测算法，如根据图像的梯度统计最大值信息判断清晰度的方法来确定参考帧。75.本发明实施例以第一图像序列中任一非参考帧为例进行说明。76.确定非参考帧的前景偏移信息时，需要首先对参考帧进行语义分割处理，得到与第一序列图像大小相同的二值化蒙版图像，并通过0表示背景，1表示前景。将蒙版图像与参考帧对比，可以得到参考帧的前景图像；将蒙版图像与非参考帧图像对比，可以得到非参考帧的前景图像。77.分别对参考帧和非参考帧的前景图像进行腐蚀处理，得到参考帧的前景图像连通域和非参考帧的前景图像连通域。通过模板匹配法分别将对应位置的参考帧与非参考帧的前景图像连通域对齐，得到前景图像连通域各个位置的偏移值。并将前景图像连通域各个位置的偏移值相加，得到非参考帧的前景偏移信息。78.其中，非参考帧的前景偏移信息用于表征非参考帧的前景图像与参考帧的前景图像相比，是否发生了较大幅度的偏移变化。从而可以通过前景偏移信息确定非参考帧是否仍具有足够的特征与参考帧进行高精度对齐。79.104，根据前景偏移信息，确定第一图像序列中图像帧的对齐方式。80.具体的，如果非参考帧的前景偏移信息小于或等于预设的第一偏移阈值，则通过特征法将非参考帧的前景图像与参考帧的前景图像对齐；如果非参考帧的前景偏移信息大于预设的第一偏移阈值，则通过非参考帧的背景偏移信息重新确定非参考帧与参考帧的对齐方式。81.其中，非参考帧的前景偏移信息小于或等于预设的第一偏移阈值表明非参考帧的前景图像与参考帧的前景图像相比并未发生较大幅度的变化，前景中仍保留有足够的特征实现高精度对齐，故通过特征法将参考帧和非参考帧的前景图像对齐。82.非参考帧的前景偏移信息大于预设的第一偏移阈值表明非参考帧的前景图像与参考帧的前景图像相比发生了较大幅度的变化，不具备足够的特征实现高精度对齐，如仍通过特征法将参考帧和非参考帧的前景图像对齐很可能会因为特征提取错误而造成对齐误差，故需要通过非参考帧的背景偏移信息重新确定是否可以基于背景图像对齐。83.105，根据对齐方式对第一图像序列中的图像帧对齐。84.具体的，根据为各个非参考帧确定的对齐方式，分别将各非参考帧与参考帧进行对齐。85.106，将对齐后的图像帧融合为超分辨率图像。86.本发明实施例在图像特征较少的情况下，通过场景语义分割在图像帧中划分出图像中较为重要的前景图像，对前景图像进行运动分析，在前景物体运动偏移较小并保留相对较多特征的情况下，仅通过保留较多特征的前景图像对图像帧进行对齐，实现对图像对齐精度的提升，提高超分辨率重建效果，优化重建主体视觉效果。87.在一些实施例中，图像帧的前景偏移信息超出了预定的第一偏移值阈值，表明前景图像内的前景物体发生了较大幅度的移动或变化，可提取特征减少。如果仍根据图像帧的前景图像对齐会造成特征提取错误，导致图像对齐精度降低，图像融合效果较差。此时应重新确定图像帧的背景图像中是否仍保留有足够的特征，并根据背景图像进行图像对齐。88.参见图2，为本发明实施例提供的另一种图像融合方法，用于在第一图像序列中前景物体发生较大幅度偏移导致特征缺失后，通过背景图像进行对齐。如图2所示，该方法的处理步骤包括：89.201，获取第一图像序列的光照场景信息。90.202，根据光照场景信息，确定第一图像序列是否于正常光照场景拍摄。91.203，如果第一图像序列于非正常光照场景拍摄，则获取第一图像序列中图像帧的前景偏移信息。92.204，根据前景偏移信息，确定第一图像序列中图像帧的对齐方式。93.205，获取第一图像序列中图像帧的背景偏移信息。94.具体的，将蒙版图像取反，通过0表示前景，1表示背景。并通过蒙版图像与参考帧和非参考帧对比，获取参考帧的背景图像和非参考帧的背景图像。95.通过预设比例将参考帧的背景图像和非参考帧的背景图像等比例缩小为参考帧的第一背景图像和非参考帧的第一背景图像，并通过模板匹配法将参考帧的第一背景图像和非参考帧的第一背景图像对齐，得到非参考帧的第一背景偏移信息。其中，预设比例通常根据图像帧大小设定。96.通过特征法将参考帧的背景图像和非参考帧的背景图像对齐，得到非参考帧的第二背景偏移信息。97.其中，图像整体尺寸被缩小后，图像中的具体内容也会随之对应缩小。大图状态下的一些运动变化也会随着图像尺寸的缩小而缩小，从而达到去除图像中运动变化的效果。参考帧的第一背景图像和非参考帧的第一背景图像对齐后得到的第一背景偏移信息，即可看做消除运动变化后的偏移信息。以第一背景信息作为基准，通过第二背景信息确定非参考帧的背景图像与参考帧的背景图像相比，是否发生了较大幅度的偏移变化。从而可以通过背景偏移信息确定非参考帧是否仍具有足够的特征与参考帧进行高精度对齐。98.206，根据背景偏移信息，重新确定第一图像序列中图像帧的对齐方式。99.具体的，如果非参考帧的第二背景偏移信息与第一背景偏移信息间的差值小于或等于预设的第二偏移值阈值，则通过特征法将非参考帧的背景图像和参考帧的背景图像对齐。100.如果非参考帧的第二背景偏移信息与第一背景偏移信息间的差值大于预设的第二偏移值阈值，则通过模板匹配法将非参考帧和参考帧对齐。101.其中，第二背景偏移信息与第一背景偏移信息间的差值小于或等于预设的第二偏移阈值，表明非参考帧背景图像与参考帧背景图像间实际的偏移信息，与消除运动偏移变化后的偏移信息相差不多，即非参考帧的背景图像与参考帧的背景图像相比并未发生较大幅度的变化，背景中仍保留有足够的特征实现高精度对齐，故通过特征法将参考帧和非参考帧的背景图像对齐。102.第二背景偏移信息与第一背景偏移信息间的差值大于预设的第二偏移阈值，表明非参考帧背景图像与参考帧背景图像间实际的偏移信息，与消除运动偏移变化后的偏移信息相差较多，即非参考帧的背景图像与参考帧的背景图像相比发生了较大幅度的变化，背景中不具有足够的特征实现高精度对齐，仍通过特征法将参考帧与非参考帧的背景图像对齐很可能会因为特征提取错误而造成对齐误差。由于预先通过非参考帧的前景偏移信息，已经预先确定非参考帧无法通过前景图像对齐，故只能通过模板匹配法进行参考帧与非参考帧间的对齐。interconnection；以下简称：pci)总线。119.电子设备典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。120.存储器430可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(randomaccessmemory；以下简称：ram)和/或高速缓存存储器。电子设备可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。存储器430可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本说明书各实施例的功能。121.具有一组(至少一个)程序模块的程序/实用工具，可以存储在存储器430中，这样的程序模块包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块通常执行本说明书所描述的实施例中的功能和/或方法。122.处理器410通过运行存储在存储器430中的程序，从而执行各种功能应用以及数据处理，例如实现本说明书所示实施例提供的图像融合方法。123.本说明书实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行本说明书所示实施例提供的图像融合方法。124.上述非暂态计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(readonlymemory；以下简称：rom)、可擦式可编程只读存储器(erasableprogrammablereadonlymemory；以下简称：eprom)或闪存、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。125.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。126.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、rf等等，或者上述的任意合适的组合。127.可以以一种或多种程序设计语言或其组合来编写用于执行本说明书操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(localareanetwork；以下简称：lan)或广域网(wideareanetwork；以下简称：wan)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。128.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。129.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本说明书的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。130.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本说明书的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本说明书的实施例所属
技术领域：
：的技术人员所理解。131.取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。132.需要说明的是，本说明书实施例中所涉及的终端可以包括但不限于个人计算机(personalcomputer；以下简称：pc)、个人数字助理(personaldigitalassistant；以下简称：pda)、无线手持设备、平板电脑(tabletcomputer)、手机、mp3播放器、mp4播放器等。133.在本说明书所提供的实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。134.另外，在本说明书各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。135.上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(processor)执行本说明书各个实施例所述方法的部分步骤。136.以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。当前第1页12当前第1页12