一种移动前景目标遮挡的视频背景还原方法及系统与流程

1.本发明涉及机器视觉技术领域，特别是涉及一种移动前景目标遮挡的视频背景还原方法及系统。


背景技术：

2.视频记录着大量的图像信息，通过对视频的分析能够智能的分析各项数据；特别对于快消领域的商品识别来说，拍摄视频，然后对视频中的商品自动的定位和识别可以分析市场各个商品的占有量以及产品分布，有利于商品的铺货和销量分析。而超市往往人流量很多商品可能经常处于遮挡的状态，这使得商品的自动化识别受到阻碍。
3.目前常用的背景还原的技术是基于单张图片的，利用image to image深度学习网络进行端到端的训练和还原，但是这种方法往往是基于整体图片特征进行训练和预测的，还原出来的背景并不符合实际情况的背景内容。


技术实现要素：

4.为解决以上现有技术问题，本发明提供一种移动前景目标遮挡的视频背景还原方法及系统，基于像素级目标跟踪算法，在目标移动时候实时还原目标遮挡的像素区域，同时更新未遮挡的背景像素，通过算法处理能够还原一张没有前景目标遮挡的背景图，有利用后续背景目标的检测和分析。
5.本发明第一方面提供一种移动前景目标遮挡的视频背景还原方法，包括：
6.获取待处理的视频，并对所述视频进行解码，得到视频帧图片集；其中，所述视频帧图片集中包括所述视频中每一帧的图片，将所述视频中每一帧的图片定义为视频帧图片；
7.通过像素级目标跟踪算法对所述视频帧图片进行处理，直到完成视频帧图片集中的每张视频帧图片的处理，并输出背景图片。
8.进一步地，所述通过像素级目标跟踪算法对所述视频帧图片进行处理，包括：
9.根据所述视频的场景内容定义至少两个前景目标；
10.对所述前景目标进行跟踪，将跟踪结果作为当前的前景区域目标，并根据所有的前景区域目标建立跟踪列表；
11.对所述视频帧图片进行所述前景区域目标的检测，若检测出不属于所述跟踪列表中的前景区域目标，则将新检测得到的前景目标作为前景区域目标添加至所述跟踪列表中，以更新所述跟踪列表；
12.输出所有的所述前景区域目标作为所述视频帧图片的背景区域；
13.将所述视频的第一帧的视频帧图片作为背景图片；
14.根据所述背景图片及所述背景区域得到所述背景图片与所述背景区域的交集区域及属于所述背景区域但不属于所述背景区域的区域；
15.将所述属于所述背景区域但不属于所述背景区域的区域作为母版图片，并将所述
母版图片通过拉普拉斯金字塔融合方法填入所述背景区域。
16.进一步地，所述对所述视频帧图片进行所述前景区域目标的检测，包括：
17.计算所述将新检测得到的前景目标和所述属于所述跟踪列表中的前景区域目标的mask iou值；
18.若所述mask iou值大于0.3，则所述新检测得到的前景目标与所述属于所述跟踪列表中的前景区域目标为统一目标；
19.若所述mask iou值小于0.3，则所述新检测得到的前景目标为不属于所述跟踪列表中的前景区域目标。
20.进一步地，所述mask iou值通过以下公式计算：
[0021][0022]
其中，a为新检测得到的前景目标的像素点，b为属于跟踪列表中的前景区域目标的像素点，a∩b为新检测得到的前景目标与属于跟踪列表中的前景区域目标的相交区域的像素点，a∪b为新检测得到的前景目标与属于跟踪列表中的前景区域目标的总像素点。
[0023]
进一步地，所述根据所述视频的场景内容定义至少两个前景目标之后，包括：
[0024]
将所述前景目标进行mask标注，并将标注后的前景目标通过mask检测器进行训练。
[0025]
本发明第二方面提供一种移动前景目标遮挡的视频背景还原系统，包括：
[0026]
解码模块，用于获取待处理的视频，并对所述视频进行解码，得到视频帧图片集；其中，所述视频帧图片集中包括所述视频中每一帧的图片，将所述视频中每一帧的图片定义为视频帧图片；
[0027]
视频背景还原模块，用于通过像素级目标跟踪算法对所述视频帧图片进行处理，直到完成视频帧图片集中的每张视频帧图片的处理，并输出背景图片。
[0028]
进一步地，所述视频背景还原模块，还用于：
[0029]
根据所述视频的场景内容定义至少两个前景目标；
[0030]
对所述前景目标进行跟踪，将跟踪结果作为当前的前景区域目标，并根据所有的前景区域目标建立跟踪列表；
[0031]
对所述视频帧图片进行所述前景区域目标的检测，若检测出不属于所述跟踪列表中的前景区域目标，则将新检测得到的前景目标作为前景区域目标添加至所述跟踪列表中，以更新所述跟踪列表；
[0032]
输出所有的所述前景区域目标作为所述视频帧图片的背景区域；
[0033]
将所述视频的第一帧的视频帧图片作为背景图片；
[0034]
根据所述背景图片及所述背景区域得到所述背景图片与所述背景区域的交集区域及属于所述背景区域但不属于所述背景区域的区域；
[0035]
将所述属于所述背景区域但不属于所述背景区域的区域作为母版图片，并将所述母版图片通过拉普拉斯金字塔融合方法填入所述背景区域。
[0036]
进一步地，所述视频背景还原模块，还用于：
[0037]
计算所述将新检测得到的前景目标和所述属于所述跟踪列表中的前景区域目标的mask iou值；
[0038]
若所述mask iou值大于0.3，则所述新检测得到的前景目标与所述属于所述跟踪列表中的前景区域目标为统一目标；
[0039]
若所述mask iou值小于0.3，则所述新检测得到的前景目标为不属于所述跟踪列表中的前景区域目标。
[0040]
进一步地，所述mask iou值通过以下公式计算：
[0041][0042]
其中，a为新检测得到的前景目标的像素点，b为属于跟踪列表中的前景区域目标的像素点，a∩b为新检测得到的前景目标与属于跟踪列表中的前景区域目标的相交区域的像素点，a∪b为新检测得到的前景目标与属于跟踪列表中的前景区域目标的总像素点。
[0043]
进一步地，所述视频背景还原模块，还用于：
[0044]
将所述前景目标进行mask标注，并将标注后的前景目标通过mask检测器进行训练。
[0045]
与现有技术相比，本发明实施例的有益效果在于：
[0046]
本发明提供一种移动前景目标遮挡的视频背景还原方法及系统，其中方法包括：获取待处理的视频，并对所述视频进行解码，得到视频帧图片集；其中，所述视频帧图片集中包括所述视频中每一帧的图片，将所述视频中每一帧的图片定义为视频帧图片；通过像素级目标跟踪算法对所述视频帧图片进行处理，直到完成视频帧图片集中的每张视频帧图片的处理，并输出背景图片。本发明基于像素级目标跟踪算法，在目标移动时候实时还原目标遮挡的像素区域，同时更新未遮挡的背景像素，通过算法处理能够还原一张没有前景目标遮挡的背景图，有利用后续背景目标的检测和分析。
附图说明
[0047]
为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0048]
图1是本发明某一实施例提供的一种移动前景目标遮挡的视频背景还原方法的流程图；
[0049]
图2是本发明另一实施例提供的一种移动前景目标遮挡的视频背景还原方法的流程图；
[0050]
图3是本发明某一实施例提供的mask跟踪方法的流程图；
[0051]
图4是本发明某一实施例提供的一种移动前景目标遮挡的视频背景还原系统的装置图；
[0052]
图5是本发明某一实施例提供的一种电子设备的结构图。
具体实施方式
[0053]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。
[0054]
应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
[0055]
应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0056]
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0057]
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0058]
第一方面。
[0059]
请参阅图1，本发明提供一种移动前景目标遮挡的视频背景还原方法，包括：
[0060]
s10、获取待处理的视频，并对所述视频进行解码，得到视频帧图片集；其中，所述视频帧图片集中包括所述视频中每一帧的图片，将所述视频中每一帧的图片定义为视频帧图片。
[0061]
s20、通过像素级目标跟踪算法对所述视频帧图片进行处理，直到完成视频帧图片集中的每张视频帧图片的处理，并输出背景图片。
[0062]
在本发明实施例的一具体实施方式中，所述通过像素级目标跟踪算法对所述视频帧图片进行处理，包括：
[0063]
根据所述视频的场景内容定义至少两个前景目标；
[0064]
对所述前景目标进行跟踪，将跟踪结果作为当前的前景区域目标，并根据所有的前景区域目标建立跟踪列表；
[0065]
对所述视频帧图片进行所述前景区域目标的检测，若检测出不属于所述跟踪列表中的前景区域目标，则将新检测得到的前景目标作为前景区域目标添加至所述跟踪列表中，以更新所述跟踪列表；
[0066]
输出所有的所述前景区域目标作为所述视频帧图片的背景区域；
[0067]
将所述视频的第一帧的视频帧图片作为背景图片；
[0068]
根据所述背景图片及所述背景区域得到所述背景图片与所述背景区域的交集区域及属于所述背景区域但不属于所述背景区域的区域；
[0069]
将所述属于所述背景区域但不属于所述背景区域的区域作为母版图片，并将所述母版图片通过拉普拉斯金字塔融合方法填入所述背景区域。
[0070]
优选地，所述对所述视频帧图片进行所述前景区域目标的检测，包括：
[0071]
计算所述将新检测得到的前景目标和所述属于所述跟踪列表中的前景区域目标的mask iou值；
[0072]
若所述mask iou值大于0.3，则所述新检测得到的前景目标与所述属于所述跟踪列表中的前景区域目标为统一目标；
[0073]
若所述mask iou值小于0.3，则所述新检测得到的前景目标为不属于所述跟踪列表中的前景区域目标。
[0074]
优选地，所述mask iou值通过以下公式计算：
[0075][0076]
其中，a为新检测得到的前景目标的像素点，b为属于跟踪列表中的前景区域目标的像素点，a∩b为新检测得到的前景目标与属于跟踪列表中的前景区域目标的相交区域的像素点，a∪b为新检测得到的前景目标与属于跟踪列表中的前景区域目标的总像素点。
[0077]
优选地，所述根据所述视频的场景内容定义至少两个前景目标之后，包括：
[0078]
将所述前景目标进行mask标注，并将标注后的前景目标通过mask检测器进行训练。
[0079]
本发明提供的方法基于像素级目标跟踪算法，在目标移动时候实时还原目标遮挡的像素区域，同时更新未遮挡的背景像素，通过算法处理能够还原一张没有前景目标遮挡的背景图，有利用后续背景目标的检测和分析。
[0080]
请参阅图2，在本发明另一具体实施例中，本发明提供一种移动前景目标遮挡的视频背景还原方法，包括：
[0081]
1.将输入视频进行解码，解码后形成一帧一帧的图片流进行后续的算法操作。
[0082]
2.定义前景目标，由于本算法主要用于商场货架的还原，前景目标常常出现的是人，以及人携带的各种物品，所以把这些内容定义为前景，搜集图片并训练检测模型。
[0083]
(1)搜集训练样本图片：搜集实际应用场景下几千张图片进行mask标注。
[0084]
(2)训练mask检测器，mask检测可使用实例分割深度学习模型进行训练，常用的模型包括mask rcnn、deepmask、solo等等。本论文使用mask rcnn已经可以达到很高的实例分割准确率了。
[0085]
3.mask跟踪和前景区域的确认(图3流程图所示)。为了更加精准地检测出前景目标减少漏检，对所有前景mask目标进行跟踪，最后输出跟踪目标作为当前的前景区域目标。跟踪的主要步骤如下：
[0086]
(1)对新检测的目标和跟踪列表中目标进行mask iou的计算，计算公式如下：
[0087][0088]
其中a∩b表示a目标和b目标的相交区域的像素点数，a∪b表示a目标和b目标的像素点数和。
[0089]
(2)对于第一帧检测没有跟踪目标则跳过步骤(1)，将所有的检测目标建立为新目标加入跟踪列表。对于有跟踪目标的情况，则需计算得到两两mask iou值，新检测的目标中如果和它最大的mask iou的值大于0.3，则认为新检测的该目标和跟踪列表中对应的目标匹配上(为同一目标)，利用新检测出来的目标像素位置更新跟踪列表中对应目标的信息。如果所有跟踪目标和该新检测的目标mask iou都小于0.3，则认为该目标是新目标，加入到跟踪目标队列中去。
[0090]
(3)输出所有跟踪的目标区域作为当前帧的背景区域。
[0091]
4.更新背景图片
[0092]
如果是第一帧则将当前帧的背景区域设置为背景图片，遮挡的区域设置为黑色。如果不是第一帧则执行下面步骤更新背景图片。
[0093]
(1)对比当前帧的背景区域和背景图片的找出交集，利用当前帧的背景区域交集
替换背景图片交集区域；
[0094]
(2)对比当前帧的背景区域在背景图片中没有的区域(记为a)，将该区域构造成图片，其他区域像素值为0，将该区域利用以下拉普拉斯金字塔融合方式填入背景区域：
[0095]
①
分别计算当前帧图片和背景图片的拉普拉斯残差金字塔3层，记为ai,bi,i＝1,2,3,同时保留最顶端高斯金字塔图片分别记为ga,gb；
[0096]
②
利用区域a构建二值掩膜mask图片：图片大小和视频图片大小一致，区域a内像素值为1，其他地方像素值为0；
[0097]
③
二值掩模mask下采样构建高斯金字塔4层(记mi,i＝1,2,3)；
[0098]
④
利用mask残差金字塔每一层的mask图mi，将a图和b图的拉普拉斯残差金字塔对应层的图像合并为一幅图像。这样得到合并后的拉普拉斯残差金字塔li,i＝1,2,3。
[0099]
li＝aimi+bi(1-mi)
[0100]
同样利用mask残差金字塔最顶层合并步骤1中最顶端高斯金字塔图片得到topimg：
[0101]
topimg＝ga*mi+gb*(1-mi)
[0102]
⑤
对topimg进行高斯上采样，得到lp3，并将lp3与上一步骤中合并后的残差金字塔对应层的图像相加lp3+l3，重建出该层的图像。
[0103]
⑥
重复步骤5，直至重建出第1层，也就是金字塔最低端的图像，即为输出图片。
[0104]
5.循环处理视频帧，直到完成所有视频帧的处理，则可以输出背景图片。
[0105]
本发明实施例提供的方法具有以下有益效果：
[0106]
1.该算法能够实时的更新和还原背景信息；
[0107]
2.对比基于单张图片的还原，视频处理的方法可以还原真实的背景目标，可适用于遮挡背景目标的检测处理；
[0108]
3.前景目标基于mask区域检测，能够将遮挡的背景区域像素级的实时还原，还原的更加精细；
[0109]
4.对前景区域进行跟踪，可通过多帧匹配判断前景区域的真实性，使前景检测更加可靠，同时引入mask目标跟踪可以减少目标漏检测可能性使得构造的背景更加准确。
[0110]
第二方面。
[0111]
请参阅图4，本发明一实施例提供一种移动前景目标遮挡的视频背景还原系统，包括：
[0112]
解码模块10，用于获取待处理的视频，并对所述视频进行解码，得到视频帧图片集；其中，所述视频帧图片集中包括所述视频中每一帧的图片，将所述视频中每一帧的图片定义为视频帧图片。
[0113]
视频背景还原模块20，用于通过像素级目标跟踪算法对所述视频帧图片进行处理，直到完成视频帧图片集中的每张视频帧图片的处理，并输出背景图片。
[0114]
在本发明实施例的一具体实施方式中，所述视频背景还原模块20，还用于：
[0115]
根据所述视频的场景内容定义至少两个前景目标；
[0116]
对所述前景目标进行跟踪，将跟踪结果作为当前的前景区域目标，并根据所有的前景区域目标建立跟踪列表；
[0117]
对所述视频帧图片进行所述前景区域目标的检测，若检测出不属于所述跟踪列表
中的前景区域目标，则将新检测得到的前景目标作为前景区域目标添加至所述跟踪列表中，以更新所述跟踪列表；
[0118]
输出所有的所述前景区域目标作为所述视频帧图片的背景区域；
[0119]
将所述视频的第一帧的视频帧图片作为背景图片；
[0120]
根据所述背景图片及所述背景区域得到所述背景图片与所述背景区域的交集区域及属于所述背景区域但不属于所述背景区域的区域；
[0121]
将所述属于所述背景区域但不属于所述背景区域的区域作为母版图片，并将所述母版图片通过拉普拉斯金字塔融合方法填入所述背景区域。
[0122]
优选地，所述视频背景还原模块20，还用于：
[0123]
计算所述将新检测得到的前景目标和所述属于所述跟踪列表中的前景区域目标的mask iou值；
[0124]
若所述mask iou值大于0.3，则所述新检测得到的前景目标与所述属于所述跟踪列表中的前景区域目标为统一目标；
[0125]
若所述mask iou值小于0.3，则所述新检测得到的前景目标为不属于所述跟踪列表中的前景区域目标。
[0126]
优选地，所述mask iou值通过以下公式计算：
[0127][0128]
其中，a为新检测得到的前景目标的像素点，b为属于跟踪列表中的前景区域目标的像素点，a∩b为新检测得到的前景目标与属于跟踪列表中的前景区域目标的相交区域的像素点，a∪b为新检测得到的前景目标与属于跟踪列表中的前景区域目标的总像素点。
[0129]
优选地，所述视频背景还原模块20，还用于：
[0130]
将所述前景目标进行mask标注，并将标注后的前景目标通过mask检测器进行训练。
[0131]
本发明提供的系统基于像素级目标跟踪算法，在目标移动时候实时还原目标遮挡的像素区域，同时更新未遮挡的背景像素，通过算法处理能够还原一张没有前景目标遮挡的背景图，有利用后续背景目标的检测和分析。
[0132]
第三方面。
[0133]
本发明提供了一种电子设备，该电子设备包括：
[0134]
处理器、存储器和总线；
[0135]
所述总线，用于连接所述处理器和所述存储器；
[0136]
所述存储器，用于存储操作指令；
[0137]
所述处理器，用于通过调用所述操作指令，可执行指令使处理器执行如本技术的第一方面所示的一种移动前景目标遮挡的视频背景还原方法对应的操作。
[0138]
在一个可选实施例中提供了一种电子设备，如图5所示，图5所示的电子设备5000包括：处理器5001和存储器5003。其中，处理器5001和存储器5003相连，如通过总线5002相连。可选地，电子设备5000还可以包括收发器5004。需要说明的是，实际应用中收发器5004不限于一个，该电子设备5000的结构并不构成对本技术实施例的限定。
[0139]
处理器5001可以是cpu，通用处理器，dsp，asic，fpga或者其他可编程逻辑器件、晶
体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器5001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等。
[0140]
总线5002可包括一通路，在上述组件之间传送信息。总线5002可以是pci总线或eisa总线等。总线5002可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0141]
存储器5003可以是rom或可存储静态信息和指令的其他类型的静态存储设备，ram或者可存储信息和指令的其他类型的动态存储设备，也可以是eeprom、cd-rom或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
[0142]
存储器5003用于存储执行本技术方案的应用程序代码，并由处理器5001来控制执行。处理器5001用于执行存储器5003中存储的应用程序代码，以实现前述任一方法实施例所示的内容。
[0143]
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。
[0144]
第四方面。
[0145]
本发明提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现本技术第一方面所示的一种移动前景目标遮挡的视频背景还原方法。
[0146]
本技术的又一实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。