一种多帧融合方法、装置及设备与流程

本申请涉及图像处理，尤其涉及一种多帧融合方法、装置及设备。

背景技术：

1、在拍照时，时常会出现由于光照过曝、进光不足、人像运动等原因导致画面信息不完善。

2、目前，画面信息不完善非常影响图像观感，此外，在人脸识别等图像具体应用场景下，画面信息不完善也会影响识别的准确度。

技术实现思路

1、有鉴于此，本申请提供了一种多帧融合方法、装置及设备，旨在解决由于光照或晃动等问题造成画面信息不完善的问题。

2、第一方面，一种多帧融合方法，包括：

3、根据进光量，将所述视频包括的帧分成n个集合；

4、根据所述集合中各帧的图像信息熵和图像动量，确定集合中的最优帧；

5、根据最优帧的运动场，从最优帧中选取多个融合帧；

6、将融合帧划分为多个图块，并针对每一位置的图块为各所述融合帧分配融合权重；根据所述融合权重，融合多个所述融合帧在同一位置的图块，并基于融合后的图块形成图像。

7、可选的，所述根据进光量，将所述视频包括的帧分成n个集合，包括：

8、计算各帧转换为灰度帧后，各帧的平均灰度值；

9、将0至255范围的灰度值依次划分为n个灰度值段，根据各帧的平均灰度，将所述视频包括的帧分配到对应灰度值段，每个灰度值段中对应的帧形成一个集合，每个灰度值段对应至少一帧。

10、可选的，所述根据所述集合中各帧的图像信息熵和图像动量，确定集合中的最优帧，包括：

11、计算所述n个集合中各集合各帧的图像信息熵和图像动量；

12、将各帧的图像信息熵乘以第一权重系数的值，与所述帧的图像动量乘以第二权重系数的值相加，得到所述帧的优选分数；

13、将所述集合中的优选分数最大的帧作为最优帧。

14、可选的，所述图像动量的计算方法，包括：

15、计算各帧中各像素点的运动矢量；

16、根据各帧中各像素点的运动矢量，计算所述帧的整个图像的图像动量；

17、所述各像素点的运动矢量计算公式为：

18、其中，v为像素点的运动矢量；i为该像素点在t时刻的亮度，表示为(x,y,t)，x为该像素点的横坐标位置，y为该像素点的纵坐标位置；it表示i对t的偏导；

19、所述整个图像的图像动量计算公式为：

20、其中，m(a)为a帧图像的总动量，vz表示第z个像素点的运动矢量。

21、可选的，所述根据最优帧的运动场，从最优帧中选取多个融合帧，包括：

22、在最优帧的图像所在二维平面上，根据运动方向x和y两个方向获取一个二维运动场，计算两个最优帧之间的运动场；

23、根据前k个最优帧的运动场，预测第k+1个最优帧的最小运动场，k为大于一且小于所述最优帧总个数的正整数；

24、从预测多个最优帧的最小运动场中选择数值最小的多个最优帧为融合帧。

25、可选的，所述融合权重为：

26、

27、其中，j为系数；dcb(w)为针对b帧中的图块位置c在傅里叶转换后频率为w的图块差，e为常数；为噪声方差。

28、可选的，所述方法，还包括：

29、在目标人脸对准相机的情况下，快速调整所述相机的光圈，获取一段存在明暗变化的视频。

30、可选的，所述图像为包括目标人脸的图像；所述方法，还包括：

31、通过人脸识别模型将所述图像与证件库中的人像进行匹配，进行人脸识别。

32、第二方面，本申请提供了一种多帧融合装置，包括：

33、分配单元，用于根据进光量，将所述视频包括的帧分成n个集合；

34、第一计算单元，用于根据所述集合中各帧的图像信息熵和图像动量，确定集合中的最优帧；

35、第二计算单元，用于根据最优帧的运动场，从最优帧中选取多个融合帧；

36、融合单元，用于将融合帧划分为多个图块，并针对每一位置的图块为各所述融合帧分配融合权重；根据所述融合权重，融合多个所述融合帧在同一位置的图块，并基于融合后的图块形成图像。

37、第三方面，本申请提供了一种电子设备，包括：存储器和处理器，所述存储器用于存储指令或代码，所述处理器用于执行所述指令或代码，以使所述设备执行上述任意一项所述的一种多帧融合方法。

38、本申请提供了一种多帧融合方法，包括：根据进光量，将所述视频包括的帧分成n个集合；根据所述集合中各帧的图像信息熵和图像动量，确定集合中的最优帧；根据最优帧的运动场，从最优帧中选取多个融合帧；将融合帧划分为多个图块，并针对每一位置的图块为各所述融合帧分配融合权重；根据所述融合权重，融合多个所述融合帧在同一位置的图块，并基于融合后的图块形成图像。如此能够，将视频中的多帧图像融合成一张图像，增大图片的信息量，以弥补由于光照变化或人像晃动产生等因素造成图像信息不完善的问题。

技术特征：

1.一种多帧融合方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据进光量，将所述视频包括的帧分成n个集合，包括：

3.根据权利要求1所述的方法，其特征在于，所述根据所述集合中各帧的图像信息熵和图像动量，确定集合中的最优帧，包括：

4.根据权利要求3所述的方法，其特征在于，所述图像动量的计算方法，包括：

5.根据权利要求1所述的方法，其特征在于，所述根据最优帧的运动场，从最优帧中选取多个融合帧，包括：

6.根据权利要求1所述的方法，其特征在于，

7.根据所述权利要求1所述的方法，其特征在于，所述方法，还包括：

8.根据所述权利要求1所述的方法，其特征在于，

9.一种多帧融合装置，其特征在于，包括：

10.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器用于存储指令或代码，所述处理器用于执行所述指令或代码，以使所述设备执行权利要求1-8任意一项所述的一种多帧融合方法。

技术总结
本申请提供了一种多帧融合方法、装置及设备，涉及图像处理技术领域，包括：根据进光量，将所述视频包括的帧分成N个集合；根据所述集合中各帧的图像信息熵和图像动量，确定集合中的最优帧；根据最优帧的运动场，从最优帧中选取多个融合帧；将融合帧划分为多个图块，并针对每一位置的图块为各所述融合帧分配融合权重；根据所述融合权重，融合多个所述融合帧在同一位置的图块，并基于融合后的图块形成图像。如此能够，将视频中的多帧图像融合成一张图像，增大图片的信息量，以弥补由于光照变化或人像晃动产生等因素造成图像信息不完善的问题。

技术研发人员：陈定权
受保护的技术使用者：中国农业银行股份有限公司
技术研发日：
技术公布日：2025/4/10