一种运动目标观测及模糊复原方法
【专利摘要】本发明公开了一种运动目标观测及模糊复原方法，该方法通过采用具有连续拍摄功能的多台同型号相机固定对同一视场的运动目标进行捕捉拍摄得到观测图像；对获取的观测图像分别进行运动模糊函数估计和分割提取得到各自的运动模糊目标图像；利用得到的运动模糊目标图像和运动模糊函数，采用空间域联合复原算法得到清晰目标图像。本发明对硬件设备要求低，仅需要多台市面流行的具有连拍功能的数码相机便可以解决高速运动目标观测及模糊复原问题。
【专利说明】
一种运动目标观测及模糊复原方法
技术领域
[0001] 本发明涉及一种图像复原处理方法，尤其涉及数字图像运动模糊复原处理方法。
【背景技术】
[0002] 在高速军事目标的观测识别，以及交通部门通过交通事故现场视频进行责任认定 等方面都涉及到高速运动目标观测及模糊复原问题。
[0003] 现有技术中的方法包括两种：
[0004] -种是Raskar等人提出的（Raskar R，Agrawal A，Tumbl in J，et al ? Coded Exposure Photography:Motion Deblurring Using Fluttered Shutter[C]// Proceedings of ACM SIGGRAPH 2006.Boston，Massachusetts:ACM，2006:795-804.)，在相 机曝光时间内快速开-关快门的编码曝光(Coded Exp〇SUre，CE)，可以获取可逆的运动模糊 函数，也就是运动模糊函数在频域无零点存在，从而将病态性的复原问题转化为良态。
[0005] 另一种是Agrawal等人提出的（Agrawal A，Xu Y，Raskar R. Invertible Motion Blur in Video[C]//Proceedings of ACM SIGGRAPH 2009.New Orleans,LA,USA:ACM, 2009:95 - 1 一8.)，利用普通相机通过连续拍摄，并改变曝光时间来记录同一目标，得到多 个具有不同运动模糊函数的运动模糊目标图像，从而引入零填充的概念来构建可逆的运动 模糊函数，进行多图像联合复原。
[0006] 上述两种方法都是基于计算摄影技术的运动模糊图像复原。该类复原方法是通过 设计新的图像获取方式，来获得更利于图像复原的信息。存在的问题是：
[0007] (1)第一种方法，即CE方法需要复杂的快门控制设置，对于局部图像复原的前提假 设是均匀背景(不能处理复杂背景的目标图像获取），并且需要手动进行运动模糊函数估计 和目标分割；
[0008] (2)第二种方法，即Agrawal等人提出的方法需要在目标运动的过程中，不断变换 曝光时间连续拍摄，然而，对于高速运动目标，相邻帧拍摄角度变化会比较大，从而影响复 原效果。另外，该方法利用阈值分割提取目标，不能有效去除模糊过程中叠加进来的背景像 素影响，也增大了后续复原处理的误差。
【发明内容】
[0009] 本发明要解决的技术问题在于:提供一种运动目标观测及模糊复原方法，解决高 速运动目标观测及模糊复原问题。
[0010] 本发明解决其技术问题所采用的技术方案是：
[0011] -种运动目标观测及模糊复原方法，包括如下步骤:步骤一，采用具有连续拍摄功 能的多台同型号相机固定对同一视场的运动目标进行捕捉拍摄得到观测图像，本步中将每 台相机设置成相同的帧频，和设置不同的曝光时间且曝光时间不成倍数关系;步骤二，对运 动目标进行运动模糊函数估计，得到其运动模糊函数;步骤三，运动模糊目标图像的分割提 取;步骤四，对获取的观测图像分别进行运动模糊函数估计和分割提取得到各自的运动模 糊目标图像;步骤五，利用得到的运动模糊目标图像和运动模糊函数，采用空间域联合复原 算法得到清晰目标图像。
[0012] 作为本发明的改进，其中步骤二所述的对运动目标进行运动模糊函数估计得到其 运动模糊函数的方法具体采用如下步骤:步骤2a，由相机系统时间设置直接得到每帧图像 的获取时间U，下标i表示第i帧图像;步骤2b，根据两幅图像目标部分在背景中的位置差异 A 1，及时间差异At，计算得到图像中目标的运动速度
；步骤2c，计算观测图像中运动 目标的运动模糊长度d，d = vT，T指曝光时间；步骤2d，计算运动模糊函数h。
[0013] 作为本发明的改进，步骤三所述对运动模糊目标图像的分割提取的具体步骤为： 步骤3a，对步骤一中获取的背景图像与观测图像进行异或运算，得到运动目标在观测图像 中的蒙板a，计算公式为:《 = 其中I表示观测图像，B表示背景图像;步骤3b，利用蒙板 a对观测图像I进行蒙板操作，得到黑色背景的目标图像M，计算公式为M=I ? a;步骤3c，对 黑色背景的目标图像M进行抠图，得到运动模糊目标图像g。
[0014] 作为本发明的改进，为了更好的经济性和复原效率，步骤一中同型号相机的数量 是2台。
[0015] 与现有技术相比，本发明具有如下特点:本发明对硬件设备要求低，不需要CE方法 中的昂贵的双目立体相机和编码相机，也不需要Agrawa 1方法采用的连续改变曝光时间的 工业级相机Flea2,本方法仅需要多台市面流行的具有连拍功能的数码相机便可以解决高 速运动目标观测及模糊复原问题的方法。
【附图说明】
[0016] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发 明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以 根据这些附图获得其他的附图。
[0017] 图1是本发明的流程图
[0018] 图2是利用两台相同型号相机对同一视场拍摄的观测图像
[0019] 图3是联合复原与单图复原的结果比较
[0020] 图4是阈值分割与本发明抠图方法提取目标的局部效果比较
【具体实施方式】
[0021] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是 本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员 在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0022] 为了获取高速运动目标的清晰影像，基于计算摄影的图像复原方法从图像获取阶 段就不同于普通图像的拍摄。首先利用特殊图像获取装置进行拍摄，然后将拍摄得到的多 幅图像联合复原处理。
[0023] 本发明的流程见图1，从图像获取到目标图像复原的具体过程如下：
[0024] 步骤一:采用具有连续拍摄功能的多台同型号相机固定对同一视场的运动目标进 行捕捉拍摄得到观测图像，本步中将每台相机设置成相同的帧频，和设置不同的曝光时间 且曝光时间不成倍数关系；
[0025] 理论上讲相机台数越多越利于后续图像恢复，但是考虑到降低图像获取代价，优 选采用三台。多台相机靠紧固定，在拍摄距离较远的条件下，不同相机拍摄的同一目标位置 影像差别极微小(可以控制在1像素内）因而可以忽略不计。
[0026] 对每台相机设置相同帧频的目的是使得相机快门开启的时间一致，但快门关闭时 间可以不同；设置各参加各拍摄相机的曝光时间应不同并且不成倍数关系，这样设置的目 的是，当运动目标经过指定视场时，不同相机可以获取同一静止背景下，具有不同运动模糊 程度的运动目标影像。但是因为各相机设置的帧频相同，而曝光时间值设置可选范围较小， 即各拍摄相机的曝光时间实际比较接近，所以运动目标影像的形态差异极其微小。
[0027] 如采用两台D7000相机，设置帧频都为6帧/秒，曝光时间分别为40ms和50ms，对同 一视场固定拍摄，拍摄得到视场背景图像如图2(a)所示。两台相机在同一时刻获取的两幅 运动目标的图像分别如图2(b)和(c)所示。可以看到两台相机得到的观测图像中目标起始 位置是相同的，两目标图像的运动模糊程度略有不同，但形态差异极其微小。
[0028] 步骤二:对运动目标进行运动模糊函数估计，得到其运动模糊函数h;
[0029] 步骤一中同一架相机获取的观测图像，其中的目标图像是运动模糊的，所以要对 运动目标进行运动模糊函数估计，得到其运动模糊函数h。现有技术中进行运动模糊估计的 方法很多，本发明中，由于步骤一中用同一架相机连续拍摄获取的观测图像中的运动目标， 其运动模糊函数是一致的（因为相机在连续拍摄过程中，在曝光时间内与目标之间的相对 运动速度不变，相对运动方向也不变，所以产生的运动模糊程度一致），作为优选，那么对同 一相机拍摄得到的观测图像中的运动目标进行运动模糊函数估计，可具体采用以下步骤：
[0030] 步骤2a:由相机系统时间设置直接得到每帧图像的获取时间^，下标i表示第i帧 图像；
[0031] 步骤2b:根据两幅图像目标部分在背景中的位置差异A H单位为像素），及时间差 异A t( A ，单位为秒），计算得到图像中目标的运动速度
_ (单位为像素/秒）；
[0032] 步骤2c:计算观测图像中运动目标的运动模糊长度d(单位:像素），d = vT，T指曝光 时间；
[0033] 步骤2d:计算运动模糊函数h;由于曝光时间较短，相机与目标的相对运动可以认 为匀速线性运动，所以运动模糊函数h用下面二维坐标形式表示：
^0<x<JJ.y = 0 其他
[0035]式中，h(x，y)为运动模糊函数;x，y分别表示图像水平和垂直方向的坐标，单位都 为像素。另外，本步骤中估计的运动模糊函数是观测图像中运动目标的模糊函数，这是对观 测图像中目标部分进行复原的前提条件。
[0036]步骤三:运动模糊目标图像的分割提取；
[0037]因为固定视场拍摄，所以获取的观测图像中，只有目标部分是运动模糊的，而背景 清晰。要复原目标图像，需要抠取其中的目标部分进行复原，而不应该整图复原。由于在曝 光时间内，目标与背景存在相对运动，从而观测图像中的目标部分中叠加了部分背景图像 信息，所以要剔除背景图像信息，准确地将目标图像信息从背景中分离出来，也就是进行运 动模糊目标图像的分割提取。本发明优选采用如下步骤进行运动模糊目标图像的分割提 取：
[0038] 步骤3a:对步骤一中获取的背景图像与观测图像进行异或运算，得到运动目标在 观测图像中的蒙板a;计算公式为:a = /6 其中I表示观测图像，B表示背景图像；
[0039] 步骤3b:利用蒙板a对观测图像I进行蒙板操作，得到黑色背景的目标图像M，计算 公式为M=I ? a;
[0040] 这里的M不是要分割提取的运动模糊目标图像，由于曝光时间内目标背景的相对 运动，使得在目标运动方向上的边界处，混合叠加了背景像素，因而还要进行抠图，提取出 运动模糊目标图像g。
[0041] 步骤3c:对黑色背景的目标图像M进行抠图，得到运动模糊目标图像g。
[0042] 本发明中，运动模糊目标图像g的计算公式如下：
[0043] g=M-(b-b ? 0)
[0044] 其中，
[0045] b表示对背景图像B利用蒙板a进行蒙板操作运算得到的目标图像覆盖的背景部 分，且b = B ? a;
[0046] 0是一个矩阵，矩阵大小与图像M相同，矩阵中的每个值0(X，y)表示图像M中任意位 置(x，y)处目标图像像素所占的百分比，且〇<e(x，y)<l。将0中的每个列向量表示为匕，本 发明中，，
。其中，向量中"1"的个数 等于图像M中第m行像素数减去d个像素。
[0047] 步骤四：对获取的观测图像分别进行运动模糊函数估计和分割提取得到各自的运 动模糊目标图像；
[0048] 假设共获取了 k幅观测图像，本发明优选采用步骤2.1~2.4的方法，提取得到其各 自运动模糊函数hk;然后对这些观测图像分别采用步骤3.1~3.3的方法，提取得到其各自 的运动模糊目标图像gk。
[0049] 步骤五:利用得到的运动模糊目标图像和运动模糊函数，采用空间域联合复原算 法得到清晰目标图像f。
[0050] 本发明中，单幅图像的空间域复原方法用循环矩阵与向量的乘积表达卷积的计算 公式如下：
[0051] gk = Bkf+nk
[0052]式中，nk是观测图像中的噪声，Bk是hk的循环运动模糊矩阵。本公式的计算属于现 有技术，具体计算方法可参看书籍(如邹谋炎编著的反卷积与信号复原，北京：国防工业出 版社，2004)
[0053]对k幅图像联合求解，则 叫卜]「咚
[0054] :： = ; /+ ; _&」[a」
[0055] 上式转化为求解下式，从而得到清晰目标图像f，本公式的计算属于现有技术，其 详细计算过程可参考文章（如：Agrawal A，Xu Y，Raskar R. Invertible Motion Blur in Video[C]//Proceedings of ACM SIGGRAPH 2009.New Orleans,LA,USA:ACM,2009:95-1-8.)
[0057]本发明对硬件设备要求低，不需要CE方法中的昂贵的双目立体相机和编码相机， 也不需要Agrawal方法采用的连续改变曝光时间的工业级相机Flea2,本方法仅需要多台市 面流行的具有连拍功能的数码相机。因为相机台数越多，复原效果越好，所以为了实验复原 效果，本文实验只选用两架D7000相机，并排固定拍摄，设置为连续拍摄模式，帧频都设为 6fps(相机最大帧频）。两相机设置不同的曝光时间，两者不成倍数关系，并要求曝光时间在 拍摄间隔内要求的最大值和最小值之间，来获取曝光效果较好的照片。
[0058]实验一:相机曝光时间分别为40ms和50ms，拍摄目标为一玩具汽车，每架相机在拍 摄视场内获取了 3幅观测图像，共6幅，其中同一时间获取的两幅图像如图2(b)(c)所示，按 照本文方法的步骤:①进行运动模糊函数估计，两幅图像的运动模糊长度分别为16和22个 像素;②对图2(b)(c)进行运动模糊目标的抠图提取;③对步骤三中的抠图结果采用空间域 联合复原算法进行复原，复原结果的局部效果如图3(a)所示。而单独对这两幅模糊长度不 同的图像进行空域迭代复原，复原结果的局部效果如图3(b)(c)所示。三幅图像的信噪比分 别为12.6db、35.4db和49.7db。观察图像也可发现多幅图像联合复原得到的结果图像边缘 细节清晰，而单幅图像的复原结果由于复原的病态效应，即使进行规整化复原仍存在一些 虚假波纹及噪点。
[0059] 实验二：比较实验一中步骤②采用阈值分割提取目标与本发明抠图方法的局部效 果，如图4(a)(b)。可以发现由于直接提取目标方法粗略分离目标背景，使得背景信息掺杂 在目标模糊图像中，进而会影响复原结果。所以对于这种局部图像复原，非常需要利用运动 模糊特征进行精确的目标分离提取。
[0060] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制;尽管 参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可 以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换； 而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和 范围。
【主权项】
1. 一种运动目标观测及模糊复原方法，其特征在于，包括如下步骤： 步骤一，采用具有连续拍摄功能的多台同型号相机固定对同一视场的运动目标进行捕 捉拍摄得到观测图像，本步中将每台相机设置成相同的帖频，和设置不同的曝光时间且曝 光时间不成倍数关系； 步骤二，对运动目标进行运动模糊函数估计，得到其运动模糊函数； 步骤=，运动模糊目标图像的分割提取； 步骤四，对获取的观测图像分别进行运动模糊函数估计和分割提取得到各自的运动模 糊目标图像； 步骤五，利用得到的运动模糊目标图像和运动模糊函数，采用空间域联合复原算法得 到清晰目标图像。2. 如权利要求1所述的一种运动目标观测及模糊复原方法，其特征在于，其中步骤二所 述的对运动目标进行运动模糊函数估计得到其运动模糊函数的方法具体采用如下步骤： 步骤2曰，由相机系统时间设置直接得到每帖图像的获取时间ti，下标i表示第i帖图像； 步骤化，根据两幅图像目标部分在背景中的位置差异Al,及时间差异At,计算得到图 像中目标的运动速月步骤2c，计算观测图像中运动目标的运动模糊长度d，d = ^，巧旨曝光时间； 步骤2d，计算运动模糊函数h。3. 如权利要求1或2所述的一种运动目标观测及模糊复原方法，其特征在于，其中步骤 =所述对运动模糊目标图像的分割提取的具体步骤为： 步骤3a，对步骤一中获取的背景图像与观测图像进行异或运算，得到运动目标在观测 图像中的蒙板曰，计算公式为= 公，其中I表示观测图像，B表示背景图像； 步骤3b，利用蒙板a对观测图像I进行蒙板操作，得到黑色背景的目标图像M，计算公式 为M=I ?口； 步骤3c，对黑色背景的目标图像M进行枢图，得到运动模糊目标图像g。4. 如权利要求3所述的一种运动目标观测及模糊复原方法，其特征在于，其中步骤一中 的同型号相机的数量是2台。
【文档编号】G06T5/00GK105913395SQ201610219056
【公开日】2016年8月31日
【申请日】2016年4月10日
【发明人】张玉叶, 赵育良, 王春歆, 李开端, 王颖颖, 李明珠, 张国栋
【申请人】中国人民解放军海军航空工程学院青岛校区