一种基于imu信息的手机夜拍方法
【专利摘要】本发明提供一种基于imu信息的手机夜拍方法，在手机上安装一个陀螺仪，在每次手机拍照的同时，陀螺仪会输出当前手机运动的角度信息也即imu信息。在针对夜拍情况时，手机对同一目标连续拍摄5幅图像{Ai|i＝1,…,5}，与此同时，陀螺仪输出每幅图像的imu信息。本发明提出的夜拍方法分别使用imu信息对每幅图像进行校正，然后对所有校正后的图像进行融合，得到一副高质量的夜拍图像。本发明提出方法所需的装置要求简单，成本较低，算法部分计算复杂度不大，能够较好的实现手机的夜拍功能，具有很好的实用价值。
【专利说明】
_种基于i mu信息的手机夜拍方法
技术领域
[0001] 本发明涉及图像处理领域、陀螺仪稳像技术领域，特指一种基于imu信息的手机夜 拍方法。
【背景技术】
[0002] 近年来随着摄像技术的不断发展，手机的拍照功能越来越强大，已逐步取代照相 机成为人们日常拍照的主流产品。照相手机给人们的生活带来许多的方便，但是随着手机 的不断更新换代，特别是八百万像素甚至千万像素的照相手机开始崭露头角，人们对手机 照相功能的要求也在不断的提高。仅在白天等正常环境下拍摄出高质量稳定的图像已不能 满足消费者的要求，人们对夜拍功能的追求日益强烈，希望在夜间也能像白天一样拍出高 质量的效果。
[0003] 为了实现手机的夜拍功能，手机制造商往往通过提高一些部件的规格来解决问 题。其一是提高手机拍照的像素值，像素值的提高意味着解析度的增强，也就是说画面当中 呈现的景物更加丰富，使得画面整体效果更加逼真。同时高像素也意味着手机内部的感光 元件(CCD或者CMOS)的处理能力更强，这对于光线不足条件下的拍摄尤其重要。但高像素也 意味着手机成本需要提高，且单纯靠提高像素值的方法对夜拍效果提升有限。其二是提高 感光度（ISO值），这样用户可以适当提高快门，从而获得稳定的成像。但高感光度会带来噪 点的增多，对画质有一定影响。
[0004] 此外，手机在拍照时会提供一些专业模式，如夜晚、微光等模式，对一些参数进行 调整，使之更适合夜间拍摄。但这种方式只是对一些拍摄参数的微调，改善夜间拍摄图像的 效果比较有限。
【发明内容】
[0005] 针对现有技术的不足，提出一种基于imu信息的手机夜拍方法，在手机上安装一个 陀螺仪，在每次手机拍照的同时，陀螺仪会输出当前手机运动的角度信息也即imu(惯性测 量单元)信息。在针对夜拍情况时，手机对同一目标连续拍摄5幅图像{A」i = l，…，5}，与此 同时，陀螺仪输出每幅图像的imu信息。本发明使用imu信息对每幅图像进行校正，然后对所 有校正后的图像进行融合，得到一副高质量的夜拍图像。
[0006] -种基于imu信息的手机夜拍方法，其特征在于，包括以下步骤：
[0007] S1.在手机上安装一个陀螺仪，在夜拍时，手机对同一目标连续拍摄5幅图像{Ai | i =1，…，5}，与此同时，陀螺仪输出每幅图像的imu信息。
[0008] S2.使用MJ信息对每幅图像进行校正，得到新的5幅源图像池|1 = 1，…，5}。
[0009] S3.对5幅源图像{Bi | i = 1，…，5}进行融合，得到初始融合图像Ball。
[0010] S4.采用基于源图像高质量区域检测的方法对初始融合图像Ball进行改进，得到最 终融合图像newBaii。
[0011 ] S4.1分别计算初始融合图像Ball和源图像| i = 1，…，5}的相似程度，共得到5个 相似度{SADi(x，y) |i = l,…，5};
[0012] S4.2通过到5个相似度{SADi(x，y)|i = l，…，5}来判断每个源图像的高质量区域， 得到所有像素点对应的高质量索引index(x，y);
[0013] S4.3通过每个像素点的高质量索引index(x，y)，对融合图像Bail进行改进，得至lj最 终的融合结果，记为newBaii。
[0014]本发明的有益效果是：
[0015] 本发明提出的基于imu信息的手机夜拍方法及装置，在手机端装有陀螺仪，获取手 机拍照时的运动信息，然后基于imu信息对夜拍的5幅图像进行校正，最后对校正的5幅图像 进行融合，得到一副高质量的夜拍图像。本发明提出方法所需的装置要求简单，成本较低， 算法部分计算复杂度不大，能够较好的实现手机的夜拍功能，具有很好的实用价值。
【附图说明】
[0016] 图1是本发明提出的带夜拍功能的手机装置示意图；
[0017] 图2是本发明提出的图像融合方法的流程图。
【具体实施方式】
[0018] 下面结合具体实施例，对本发明一种基于imu信息的手机夜拍方法做详细的描述。
[0019] 带夜拍功能的手机装置如图1所示，在手机上安装一个陀螺仪，在每次手机拍照的 同时，陀螺仪会输出当前手机运动的角度信息也即imu(惯性测量单元)信息。在针对夜拍情 况时，手机对同一目标连续拍摄5幅图像{仏|1 = 1，…，5}，与此同时，陀螺仪输出每幅图像 的imu信息。本发明提出的夜拍方法分别使用imu信息对每幅图像进行校正，然后对所有校 正后的图像进行融合，得到一副高质量的夜拍图像。
[0020] 本发明使用IMU信息对每幅图像进行校正，得到新的5幅源图像{Bdizl，…，5}， 具体步骤如下：
[0021] 已知手机拍照的焦距是f，将手机拍摄的第k帧和第k-l帧图像分别设为参考帧和 当前帧。当前帧图像的IMU信息也即陀螺仪角度信息为（co kx，coky)，是第k帧图像相对于第 k-l帧图像的平移信息。那么第k帧图像相对于第1帧图像的平移信息为将第k 帧图像Ak进行平移，平移矢量为-/ ? V< )，即得到新的第k帧图像Bk。 i = l.
[0022]对手机拍摄的5幅图像都进行上述处理，可以得到新的5幅源图像{Bjiil，…， 5}，由于都是夜拍图像，每张图像都存在不同的模糊或噪声，因此需要对这5幅图像进行融 合，充分吸收每幅图像高清的部分，以获取对同一场景的更为精确、更为全面、更为可靠的 一副图像。
[0023]目前像素级的图像融合方法大致可分为三大类:简单的图像融合方法、基于塔形 分解(如Laplace塔形分解、比率塔等)的图像融合方法和基于小波变换的图像融合方法。其 中小波变换具有许多优良特性，如方向选择性、可变的时频域分辨率以及分析数据量小等， 可以聚焦到图像的任意细节。采用小波方法对图像进行融合处理，可以保证既不损失待融 合图像的所有信息也不会产生冗余信息，是图像融合的一种强有力的工具。
[0024] 本发明采用基于小波变换的图像融合方法，充分利用小波变换的多尺度特性，对 新的5幅源图像…，5}进行融合，充分融合每幅图像的高清部分，获得一副高质量 的夜拍图像，具体步骤如下：
[0025] 分别对5幅源图像{Bjizl，…，5}选择Haar小波进行经典的二维离散小波分解， 得到源图像的低频分量和高频分量，而且高频分量包含三个分量:水平高频分量、垂直高频 分量和主对角高频分量。也即对其中任一幅图像 Bk，经过小波分解可以得到一个低频分量 BkLL，三个方向的高频分量BkLH、BkHL、BkHH。
[0026] 图像的低频反映了图像的轮廓，图像的高频反映了图像的细节。因此需要用不同 的融合规则来处理。
[0027]本发明对低频分量采用平均的方式进行处理，记处理后的低频分量为BallLL:
[0029]对三个高频分量分别采用绝对值取最大的方式进行处理，记处理后的高频分量分 别为 BaiiLH、BaiiHL、BaiiHH: BJ:LI!(x.y) = ma\[BLinx,y))
[0030] ^ (x, v) = max 15 //L(.v, v) j BidjI!lI(x\y) = max
[0031] 然后对处理后的低频分量BaiiLL和高频分量BaiiLH、BaiiHL、B aiiHH进行小波重构，得 到一副融合图像，记为初始融合图像Ball。
[0032] 通过上述方法获得的融合图像Ball整体质量有了明显提高，但与源图像中最清晰 的部分相比还存在一定程度的损失。这是因为，现有的融合规则不能保证绝对选择到最佳 区域。
[0033] 为了进一步提高夜拍图像的质量，本发明在基于小波变换的基础上，提出了一种 基于源图像高质量区域检测的改进方法，首先通过融合图像B all和源图像…，5} 的相似程度判断源图像的高质量也即清晰区域，然后使用这个信息对融合图像Ball进行改 进，得到最终的融合结果，记为newB all。具体步骤如下：
[0034] (1)分别计算融合图像Ball和源图像池|1 = 1，…，5}的相似程度。
[0035]由于图像之间差异较小，不存在尺度的问题，本发明采用绝对误差和准则SAD来计 算两幅图像的相似度：
[0037] 其中m、n分别表示对像素点(x，y)的偏移量，取值范围从-2到2。
[0038] 也即对每个像素点（x，y)，采用领域5X5内的所有像素的绝对误差和来表示在该 点两幅图像的相似度。一共可以得至1」5个相似度{SADdxJlizl，…，5}。从定义可以看到， SAD值越小，说明相似程度越大。
[0039] (2)通过到5个相似度{5六0心，7)|1 = 1，~，5}来判断每个源图像的高质量区域。
[0040]对融合图像上的每个像素点(x，y)，一共可以得到5个相似度取值{SADJhWliz 1，…，5}。将其中最小的SAD值对应的序号作为此像素点的高质量索引indeX(X，y)。用公式 表示如下：
[0041 ] ^ADi (-VV>') = min SAD:{x,y)
[0042] index(x,y) =k
[0043] SAD值最小，说明在该点这幅源图像Bk和融合图像Ball的相似程度最大，也即说明 在该点质量最好的图像信息在源图像Bk上。遍历融合图像上所有的像素点，可以得到所有 像素点对应的高质量索引index(x，y)。
[0044] (3)通过每个像素点的高质量索引index(x，y)。对融合图像Baii进行改进，得到最 终的融合结果，记为newBaii。 I B, (\\ t(), if D
[0045] newBall{x,y}^-\ ' {Ba,i(x-yh else
[0046] 这里D表示满足如下条件:首先index(x,y) =k，然后以点(x,y)为中心的3 X3领域 里每个像素的索引均为k，用公式表示为:,"$^1|& + ?^?) = ^这意味着只有以点(^7) 为中心的整个3X3领域里每个像素的索引均为k，最终融合图像newBall在该点(x，y)选择源 图像Bk的信息，否则还是选择初始融合图像Ball的信息。
[0047]以上包含了本发明优选实施例的说明，这是为了详细说明本发明的技术特征，并 不是想要将
【发明内容】
限制在实施例所描述的具体形式中，依据本
【发明内容】
主旨进行的其他 修改和变型也受本专利保护。本
【发明内容】
的主旨是由权利要求书所界定，而非由实施例的 具体描述所界定。
【主权项】
1. 一种基于imu信息的手机夜拍方法，其特征在于，包括以下步骤：51. 在手机上安装一个陀螺仪，在夜拍时，手机对同一目标连续拍摄5幅图像M1 |i = 1，…，5}，与此同时，陀螺仪输出每幅图像的imu信息；52. 使用MJ信息对每幅图像进行校正，得到新的5幅源图像(B11 i = 1，…，5};53. 对5幅源图像{Bi I i = 1，…，5}进行融合，得到初始融合图像Baii;54. 采用基于源图像高质量区域检测的方法对初始融合图像Ball进行改进，得到最终融 合图像newBaii。2. 根据权利要求1所述的基于imu信息的手机夜拍方法，其特征在于，S2的方法如下： 已知手机拍照的焦距是f，将手机拍摄的第k帧和第k-Ι帧图像分别设为参考帧和当前 帧；当前帧图像的MU信息为（cA，Coky)，当前帧图像的MJ信息是第k帧图像相对于第k-1 帧图像的平移信息；那么第k帧图像相对于第1帧图像的平移信息为，将第k帧 图像Ak进行平移，平移矢量）> 即得到新的第k帧图像Bk; 对手机拍摄的5幅图像都进行上述处理，得到新的5幅源图像(B11 i = 1，…，5}。3. 根据权利要求1所述的基于imu信息的手机夜拍方法，其特征在于，S3中采用基于塔 形分解的图像融合方法或基于小波变换的图像融合方法对5幅源图像= 进行 融合，得到初始融合图像Baii。4. 根据权利要求3所述的基于imu信息的手机夜拍方法，其特征在于，S3中采用基于小 波变换的图像融合方法对5幅图像{B11 i = 1，…，5}进行融合，方法如下： 分别对5幅源图像(B11 i = 1，…，5}选择Haar小波进行二维离散小波分解，得到源图像的 低频分量和高频分量，其中高频分量包含三个分量:水平高频分量、垂直高频分量和主对角 高频分量;也即对其中任一幅图像Bk，经过二维离散小波分解可以得到一个低频分量B kLL， 三个方向的高频分量BkLH、BkHL、BkHH; 对低频分量采用平均的方式进行处理，记处理后的低频分量为BallLL:对三个高频分量分别采用绝对值取最大的方式进行处理，记处理后的高频分量分别为 BallLH、BallHL、BallHH :然后对处理后的低频分量BaIiLL和高频分量BaiiLH、BaiiHL、B aiiHH进行小波重构，得到一 副融合图像，记为初始融合图像Ball。5. 根据权利要求1所述的基于imu信息的手机夜拍方法，其特征在于，S4包含以下步骤： S4.1分别计算初始融合图像Ball和源图像(B1 |i = l，…，5}的相似程度，共得至1」5个相似 度{SADi(x，y) I i = l，…，5}; S4.2通过到5个相似度{SADi (x，y) I i = I，…，5}来判断每个源图像的高质量区域，得到 所有像素点对应的高质量索引index(x，y); S4.3通过每个像素点的高质量索引index(x，y)，对融合图像Bail进行改进，得到最终的 融合结果，记为newBaii。6. 根据权利要求5所述的基于imu信息的手机夜拍方法，其特征在于，S4.1中采用绝对 误差和准则SAD来计算两幅图像的相似度：其中m、η分别表示对像素点(X，y)的偏移量，取值范围从-2到2; 对每个像素点（x，y)，采用领域5X5内的所有像素的绝对误差和来表示在该点两幅图 像的相似度，一共可以得到5个相似度{SADi (X，y) I i = 1，…，5 }，SAD值越小，说明相似程度 越大。7. 根据权利要求5所述的基于imu信息的手机夜拍方法，其特征在于，S4.2中，对融合图 像上的每个像素点（X，y)，一共可以得到5个相似度取值{SAD i(X，y) I i = 1，…，5};将其中最 小的SAD值对应的序号作为此像素占的高席量索引iX.V)，用公式表示如下：index(x ,y) =k SAD值最小，说明在该点这幅源图像Bk和融合图像Ball的相似程度最大，也即说明在该点 质量最好的图像信息在源图像Bk上，遍历融合图像上所有的像素点，可以得到所有像素点 对应的高质量索引index(x，y)。8. 根据权利要求5所述的基于imu信息的手机夜拍方法，其特征在于，在S4.3中，通过每 个像素点的高质量索引index (X，y )，对融合图像BaIi进行改进的方法为：其中：〇表示满足如下条件:首先;[11(161(1，7)=1^，然后以点（1，7)为中心的3\3领域里 每个像素的索引均为k，用公式表示为+ = &，仅当以点(x，y)为中心的整 个3X3领域里每个像素的索引均为k，最终融合图像newBall在该点(x，y)选择源图像Bk的信 息，否则还是选择初始融合图像Ball的信息。
【文档编号】G06T5/50GK105894486SQ201610497460
【公开日】2016年8月24日
【申请日】2016年6月29日
【发明人】罗文峰
【申请人】深圳市优象计算技术有限公司