延时摄影方法及设备、延时摄影视频生成方法及设备与流程

1.本发明涉及摄影技术领域，尤其涉及一种延时摄影方法及设备、延时摄影视频生成方法及设备。


背景技术：

2.现代数码拍摄设备为人们提供了丰富的图像和视频拍摄手段，延时摄影是一种使用比拍摄帧率更高的播放帧率进行回放的拍摄和视频处理手段。
3.由于图像是长时间采集的，环境光等条件可能会发生改变，为了适应随着时间的变化，环境光的变化，许多相机会被设置为自动曝光模式，即实时根据场景调整合适的曝光参数，以将更多的图像细节容纳进当前拍摄的图像中。假如以正常帧率(30fps)拍摄时，拍摄图像之间的时间间隔很短，环境条件通常变化不大，曝光参数过渡平滑。但如果降低拍摄帧率，即增加拍摄图像之间的时间间隔，相邻图像的拍摄时的环境条件可能会发生很大的变化，相机的自动曝光模式可能会对拍摄时的曝光参数做出较大的改动。当以高帧率回放具有明显不同曝光参数的连续图像时，将会出现视频的闪烁。


技术实现要素：

4.本发明实施例提供一种延时摄影方法及设备、延时摄影视频生成方法及设备，用于至少解决上述技术问题之一。
5.第一方面，本发明实施例提供一种延时摄影方法，应用于摄影设备，所述方法包括：
6.延时拍摄获取多帧图像，其中，所述多帧图像分别具有不同的曝光值；
7.为所述多帧图像中的每帧图像生成平滑的多张包围曝光图像；
8.基于所生成的对应于每帧图像的多张包围曝光图像，通过多曝光融合得到对应于所述多帧图像的多张合成图像；
9.根据所述多张合成图像合成延时摄影视频。
10.第二方面，本发明实施例提供一种延时摄影视频生成方法，应用于与摄影设备通信连接的延时摄影视频生成设备，所述方法包括：
11.自所述摄影设备获取延时拍摄的多帧图像，其中，所述多帧图像分别具有不同的曝光值；
12.为所述多帧图像中的每帧图像生成平滑的多张包围曝光图像；
13.基于所生成的对应于每帧图像的多张包围曝光图像，通过多曝光融合，得到对应于所述多帧图像的多张合成图像；
14.根据所述多张合成图像合成延时摄影视频。
15.第三方面，本发明实施例还提供一种摄影设备，其包括：
16.至少一个处理器，
17.以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所
述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述任一实施例所述的延时摄影方法。
18.第四方面，本发明实施例还提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现前述任一实施例所述的延时摄影方法的步骤。
19.第五方面，本发明实施例还提供一种可移动平台，包括：
20.可移动本体，和
21.安装在所述可移动本体上的根据前述任一实施例所述的摄影设备。
22.第六方面，本发明实施例还提供一种延时摄影视频生成设备，其与摄影设备通信连接，包括：
23.至少一个处理器，
24.以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述任一实施例所述的延时摄影视频生成方法。
25.第七方面，本发明实施例还提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现前述任一实施例所述的延时摄影视频生成方法的步骤。
26.第八方面，本发明实施例还提供一种延时摄影系统，包括：前述任一实施例所述的摄影设备和与该摄影设备通信连接的前述任一实施例所述的延时摄影视频生成设备。
27.本发明实施例的有益效果在于：首先采集了多帧分别具有不同曝光值的图像，然后再生成对应于每帧图像的平滑的多张包围曝光图像，然后再通过多曝光融合的方式将每帧图像的多张包围曝光图像进行合成得到多张合成图像，用于合成延时摄影视频。由于多张包围曝光图像中的每张图像的曝光值是平滑的，所以使得多曝光融合得到的时间上相邻的两张合成图像的曝光值也达到平滑的效果，从而使得基于多张合成图像所生成的延时摄影视频不会出现闪烁。
附图说明
28.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
29.图1为本发明的延时摄影方法的一实施例的流程图；
30.图2为本发明中延时拍摄获取n帧图像的示意图；
31.图3为本发明中为每帧图像生成平滑的多张曝光图像的示意图；
32.图4为本发明中基于每帧图像的多张包围曝光图像融合得到多张合成图像的示意图；
33.图5为本发明的延时摄影方法的另一实施例的流程图；
34.图6为本发明中的不同时刻的图像的动态范围示意图；
35.图7为本发明的延时摄影方法的另一实施例的流程图；
36.图8为本发明中的延时摄影方法所支持扩展的动态范围示意图；
37.图9为本发明中的延时摄影方法生成的平滑的多张包围曝光图像的动态范围示意图；
38.图10a为本发明的一种摄影设备的实施例的示意图；
39.图10b为本发明的一种可移动平台的实施例的示意图；
40.图11为本发明的延时摄影视频生成方法的一实施例的流程图；
41.图12为本发明的延时摄影系统的一实施例的示意图；
42.图13为本发明的延时摄影方法的另一实施例的流程图。
具体实施方式
43.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
44.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
45.本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
46.在本发明中，“模块”、“装置”、“系统”等指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说，例如，元件可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/或计算机。还有，运行于服务器上的应用程序或脚本程序、服务器都可以是元件。一个或多个元件可在执行的过程和/或线程中，并且元件可以在一台计算机上本地化和/或分布在两台或多台计算机之间，并可以由各种计算机可读介质运行。元件还可以根据具有一个或多个数据包的信号，例如，来自一个与本地系统、分布式系统中另一元件交互的，和/或在因特网的网络通过信号与其它系统交互的数据的信号通过本地和/或远程过程来进行通信。
47.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
48.本发明实施例提供了一种延时摄影方法，主要用于解决延时摄影视频中存在的闪烁问题。示例性地，整个延时摄影方法的过程可以是在摄影设备端完成的，例如，摄影人员通过在摄像机端进行设置，使得摄像机执行本发明的延时摄影方法得到延时摄影视频，整个摄影过程、图像处理过程以及延时摄影视频的合成过程均在摄像机端完成。
49.如图1所示提供了一种延时摄影方法的实施例，该方法应用于摄影设备，该摄影设备可以是摄像机、可穿戴电子设备、手机、平板电脑、笔记本电脑等，本发明对此不作限制。示例性地，摄影设备可以安装在可移动平台上使用，该可移动平台可以是无人机(无人飞机
或者无人车或者无人船等)、手持云台等，本发明对此不作限定。
50.如图1所示，在本发明的延时摄影方法的一实施例中包括以下方法步骤：
51.s10、延时拍摄获取多帧图像，其中，所述多帧图像分别具有不同的曝光值。
52.示例性地，通过预先设置或者预设程序指令控制延时摄影设备在不同时刻按照不同的曝光值采集图像从而获取多帧图像{ri}，其中，i取值1至n，n是多帧图像的数量。如图2所示为延时拍摄获取n帧图像的示意图。
53.s20、为所述多帧图像中的每帧图像生成平滑的多张包围曝光图像。
54.示例性地，在步骤s10中获取多帧图像之后，为其中的每一帧图像生成多张平滑的包围曝光图像。例如，对于图像帧ri，为其确定多张平滑的包围曝光图像，这多张平滑的包围曝光图像中同时包含了曝光值大于和小于图像帧ri的曝光值的图像，其中，平滑指的是曝光值大小接近的两张图像之间的曝光值的差值小于预设阈值(例如，1/3ev、0.5ev或者1ev)。
55.如图3所示为为每帧图像生成平滑的多张曝光图像的示意图。其中，{r
hi
，r
ni
，r
li
}是对应于图像帧ri的包围曝光图像。
56.s30、基于所生成的对应于每帧图像的多张包围曝光图像，通过多曝光融合得到对应于所述多帧图像的多张合成图像。
57.如图4所示为基于每帧图像的多张包围曝光图像融合得到多张合成图像的示意图。其中，yuv
hdri
是对应于包围曝光图像{r
hi
，r
ni
，r
li
}的合成图像。
58.示例性地，在步骤s20中为每帧图像生成了平滑的多张包围曝光图像之后采用多曝光融合将对应于每帧图像的多张包围曝光图像融合为合成图像，得到对应于多帧图像的多张合成图像。
59.s40、根据所述多张合成图像合成延时摄影视频。
60.本发明实施例首先采集了多帧分别具有不同曝光值的图像，然后再生成对应于每帧图像的平滑的多张包围曝光图像，然后再通过多曝光融合的方式将每帧图像的多张包围曝光图像进行合成得到多张合成图像，用于合成延时摄影视频。由于多张包围曝光图像中的每张图像的曝光值是平滑的，所以使得多曝光融合得到的时间上相邻的两张合成图像的曝光值也达到的平滑的效果，从而使得基于多张合成图像所生成的延时摄影视频不会出现闪烁。
61.可选的，延时拍摄获取多帧图像为多帧raw图像。如图5所示在本发明的延时摄影方法的一实施例中，步骤s10延时拍摄获取多帧图像包括：
62.s11、估计当前场景的动态范围。
63.示例性地，根据liveview直方图或者使用包围测光确定待采集图像的动态范围[-a ev，+b ev]。例如，根据liveview的直方图，高光和暗部占比，估计需要恢复当前场景的动态范围需要采集[-a ev，+b ev]图像；或者使用包围测光，以特定的曝光值采集图像序列，例如，以1ev为间隔采集[-3ev，+3ev]的图像，再选择合适的ev范围。
[0064]
如图6所示为本发明中的不同时刻的图像的动态范围示意图，其中横坐标表示拍摄之间(t0、t1、t2、t3
……
)，纵坐标表示动态范围，“工”字形图案表示的是一帧图像最亮和最暗表示的动态范围区间，折线“0ev”表示当前动态范围的中值。
[0065]
s12、在所述动态范围内采集得到多帧图像。
[0066]
示例性地，以降曝光采集得到多帧图像，所述多帧图像之间的曝光值差异为相邻两帧图像之间的曝光值差值(降曝光值)。
[0067]
示例性地，在所述动态范围内采集得到多帧图像包括：
[0068]
在第i曝光值下采集多张图像并进行降噪处理得到第i帧图像，i取值1至n，n为所述多帧图像的数量；其中，当i＝1时，第1曝光值为-a ev(示例性地，采集n张-a ev的raw图像，进行3d降噪得到纯净的raw图像r0)，随着i增大，第i曝光值越接近+b ev，第n曝光值最接近+b ev但未超过+b ev。
[0069]
本发明实施例中通过在每一个曝光值下采集多张raw图像，并对这多张raw图像进行降噪处理得到一帧图像，提升了所得到的图像帧的画质，最终提升了延时摄影视频的质量。
[0070]
可选的，在上述实施例中步骤s20为所述多帧图像中的每帧图像生成平滑的多张包围曝光图像包括：根据所述多帧图像的曝光参数和所述多帧图像之间的曝光值差异，生成对应于每帧图像的平滑的多张包围曝光图像。示例性地，多帧图像之间的曝光差异可以是根据两两相邻的图像之间的曝光值之差所确定的平均曝光值之差。
[0071]
如图7所示在本发明的延时摄影方法的一实施例中，根据所述多帧图像的曝光参数和所述多帧图像之间的曝光值差异，生成对应于每帧图像的平滑的多张包围曝光图像包括：
[0072]
s21、对多帧图像的曝光参数进行平滑处理。
[0073]
示例性地，曝光参数包括光圈、曝光时间和iso中的一种或者多种。以相邻帧图像之间的均值作为平滑后的曝光值；或者使用与播放帧率有关的滤波窗口和滤波系统进行平滑滤波。
[0074]
s22、根据平滑处理后的曝光参数和多帧图像之间的曝光值差异，确定平滑后的多个增益值。
[0075]
示例性地，多帧图像之间的曝光值差异可以是相邻两帧图像之间的降曝光值。根据平滑后的曝光参数和拍摄时的降曝光值，可以得出平滑后的high，normal，low ev值，即得到这三张raw图像对应的gain值，通过对{ri}乘gain，即可得到平滑的包围曝光raw图像数据{{r
hi
，r
ni
，r
li
}}(根据硬件限制和环境需要，不一定是三张包围曝光图像，可以是2张或以上)。
[0076]
通过使用平滑后的曝光参数通过乘gain的方式得到包围曝光图像，使得视频帧中的动态范围过渡更平滑，避免了细节的突然丢失以及忽明忽暗的问题。
[0077]
s23、利用所述多个增益值对每帧图像进行图像增益，生成对应于每帧图像的平滑的多张包围曝光图像。
[0078]
如图8所示为本发明中的延时摄影方法所支持扩展的动态范围示意图。其中，虚线的“工”字形表示本发明的延时摄影方法所能支持扩展的动态范围。
[0079]
如图9所示为本发明中的延时摄影方法生成的平滑的多张包围曝光图像的动态范围示意图。其中，包括三条折线l1、l2和l3，分别对应于high(高)，normal(中)，low(低)ev值，将动态范围的中值0ev分别扩展到了high ev，normal ev，low ev。
[0080]
示例性地，t0时刻亮度为1，t1时刻亮度为2(大于亮度1)，平滑后得到介于亮度1和亮度2之间的亮度值。
[0081]
本发明实施例首先对多帧图像的曝光参数进行平滑处理，然后根据平滑处理后的曝光参数和多帧图像之间的曝光值差异，确定平滑后的多个增益值以用于生成对应于每帧图像的多张包围曝光图像，扩大了图像动态范围，为曝光平滑带来更大的平滑空间，能够增大合成的延时摄影视频的动态范围，避免曝光平滑带来的动态范围损失。
[0082]
可选的，在多曝光融合之前还包括：对对应于每帧图像的平滑的多张包围曝光图像进行颜色编码处理，转换成对应于每帧图像的视频兼容格式的图像集。示例性地，利用图像处理芯片isp将raw图像{{r
hi
，r
ni
，r
li
}}转yuv{{yuv
hi
，yuv
ni
，yuv
li
}}，yuv颜色编码格式，兼容通用图片和视频格式。
[0083]
可选的，发明人发现isp中的gtm(global tone mapping，全局色调映射)，ltm(local tone mapping，局部色调映射)模块可能会导致处理后的图像集出现闪烁。为了避免处理后的图像之间存在闪烁的问题，在进行所述颜色编码处理时，限制局部色调映射和/或全局色调映射的强度；或者在进行所述颜色编码处理时，获取处理时的参数，并进行后期平滑处理。
[0084]
在实现本发明的过程中发明人发现，由于延时摄影类型的不同，也会导致不同程度的闪烁问题。例如，根据拍摄时相机位置是否发生移动，可以将延时摄影分为timelapse(拍摄过程中相机位置固定)和hyperlapse(通过改变每次拍摄时的位置，给观众带来时间和空间上的快速运动的效果)。hyperlapse比timelapse更容易出现视频的闪烁。
[0085]
可选的，为有效解决以上hyperlapse中的视频闪烁问题，在多曝光融合之前，本发明的延时摄影方法还包括：对对应于每帧图像的视频兼容格式的图像集进行增稳处理。
[0086]
示例性地，对对应于每帧图像的视频兼容格式的图像集中的基准图像进行运动估计，得到去畸变因子，其中，所述基准图像是指所对应0ev的图像，所述图像集中的各张图像对应于不同的增益值；基于所述去畸变因子对对应于每帧图像的视频兼容格式的图像集进行增稳处理。
[0087]
例如，对{yuv
ni
}进行运动估计(基于图像特征或imu惯性测量单元信息)，得到用于去畸变的几何变换表{meshi}(即，畸变因子)；
[0088]
将{meshi}应用于{{yuv
hi
,yuv
ni
,yuv
li
}}上进行图像增稳。
[0089]
将增稳后的{{yuv
hi
,yuv
ni
,yuv
li
}}分别进行多曝光融合，得到扩展动态范围之后的合成图像组{yuv
hdri
}；
[0090]
{yuv
hdri
}即可用于合成大动态范围的延时摄影视频。
[0091]
如图10a所示本发明实施例还提供一种摄影设备100，其包括：
[0092]
至少一个处理器，
[0093]
以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述任一实施例所述的延时摄影方法。
[0094]
本发明实施例还提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现前述任一实施例所述的延时摄影方法的步骤。
[0095]
如图10b所示本发明实施例还提供一种可移动平台，包括：可移动本体200，和安装在所述可移动本体上的根据前述任一实施例所述的摄影设备100。
[0096]
本发明实施例提供了一种延时摄影视频生成方法，用于延时摄影视频生成设备
(例如，智能手机、平板电脑、笔记本电脑等，本发明对此不作限制)，主要用于解决延时摄影视频中存在的闪烁问题。可以通过摄像设备(例如，摄像机)的配合获取生成延时摄影视频所需的素材。示例性地，摄像机按照设置要求获取生成延时摄影视频所需的素材，然后将其传输给延时摄影视频生成设备(例如，智能手机)，智能手机通过执行本发明的延时摄影视频生成方法来基于所接收到的素材生成延时摄影视频。示例性地，以上摄像机和智能手机相互配合执行的方法构成了另外一种延时摄影方法。
[0097]
示例性地，延时摄影视频生成设备可以是安装了计算机程序软件的终端设备(例如，智能手机端安装了用于进行延时摄影视频生成的app)。示例性地，智能手机与摄像机之间通过有线或者无线的方式实现通信连接，摄影人员可以是在智能手机端的app上对摄像机进行设置以使得摄像机按照预设要求采集生成延时摄影视频所需的素材；或者摄影人员可以直接在摄像机上进行设置以使得摄像机按照预设要求采集生成延时摄影视频所需的素材。
[0098]
如图11所示提供了一种延时摄影视频生成方法的实施例，该方法应用于延时摄影视频生成设备，该延时摄影视频生成设备可以是智能手机、平板电脑、笔记本电脑等，本发明对此不作限制。
[0099]
如图11所示本发明的延时摄影视频生成方法，方法包括：
[0100]
s110、自所述摄影设备获取延时拍摄的多帧图像，其中，所述多帧图像分别具有不同的曝光值；
[0101]
s120、为所述多帧图像中的每帧图像生成平滑的多张包围曝光图像；
[0102]
s130、基于所生成的对应于每帧图像的多张包围曝光图像，通过多曝光融合，得到对应于所述多帧图像的多张合成图像；
[0103]
s140、根据所述多张合成图像合成延时摄影视频。
[0104]
本发明实施例首先接收了摄影设备采集的多帧分别具有不同曝光值的图像，然后再生成对应于每帧图像的平滑的多张包围曝光图像，然后再通过多曝光融合的方式将每帧图像的多张包围曝光图像进行合成得到多张合成图像，用于合成延时摄影视频。由于多张包围曝光图像中的每张图像的曝光值是平滑的，所以使得多曝光融合得到的时间上相邻的两张合成图像的曝光值也达到的平滑的效果，从而使得基于多张合成图像所生成的延时摄影视频不会出现闪烁。
[0105]
可选的，步骤s120为所述多帧图像中的每帧图像生成平滑的多张包围曝光图像包括：根据所述多帧图像的曝光参数和所述多帧图像之间的曝光值差异，生成对应于每帧图像的平滑的多张包围曝光图像。
[0106]
示例性地，根据所述多帧图像的曝光参数和所述多帧图像之间的曝光值差异，生成对应于每帧图像的平滑的多张包围曝光图像包括：
[0107]
对多帧图像的曝光参数进行平滑处理；
[0108]
根据平滑处理后的曝光参数和所述多帧图像之间的曝光值差异，确定平滑后的多个增益值；
[0109]
利用所述多个增益值对每帧图像进行图像增益，生成对应于每帧图像的平滑的多张包围曝光图像。
[0110]
可选的，在多曝光融合之前还包括：对对应于每帧图像的平滑的多张包围曝光图
像进行颜色编码处理，转换成对应于每帧图像的视频兼容格式的图像集。
[0111]
可选的，在进行所述颜色编码处理时，限制局部色调映射和/或全局色调映射的强度。
[0112]
可选的，在进行所述颜色编码处理时，获取处理时的参数，并进行后期平滑处理。
[0113]
可选的，在多曝光融合之前，还包括：对对应于每帧图像的视频兼容格式的图像集进行增稳处理。
[0114]
可选的，对对应于每帧图像的视频兼容格式的图像集进行增稳处理包括：
[0115]
对对应于每帧图像的视频兼容格式的图像集中的基准图像进行运动估计，得到去畸变因子，其中，所述基准图像是指所对应0ev的图像，所述图像集中的各张图像对应于不同的增益值；
[0116]
基于所述去畸变因子对对应于每帧图像的视频兼容格式的图像集进行增稳处理。
[0117]
可选的，延时拍摄获取多帧图像包括：估计当前场景的动态范围；在所述动态范围内采集得到多帧图像。
[0118]
可选的，所述延时拍摄获取多帧图像包括：以降曝光采集得到多帧图像，所述多帧图像之间的曝光值差异为相邻两帧图像之间的降曝光值。
[0119]
可选的，所述估计当前场景的动态范围包括：根据liveview直方图或者使用包围测光确定待采集图像的动态范围[-a ev，+b ev]。
[0120]
可选的，在所述动态范围内采集得到多帧图像包括：
[0121]
在第i曝光值下采集多张图像并进行降噪处理得到第i帧图像，i取值1至n，n为所述多帧图像的数量；
[0122]
其中，当i＝1时，第1曝光值为-a ev，随着i增大，第i曝光值越接近+b ev，第n曝光值最接近+b ev但未超过+b ev。
[0123]
可选的，所述多帧图像为多帧raw图像。
[0124]
本发明实施例还提供一种延时摄影视频生成设备，其与摄影设备通信连接，包括：
[0125]
至少一个处理器，
[0126]
以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述任一实施例所述的延时摄影视频生成方法。
[0127]
本发明实施例还提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现前述任一实施例所述的延时摄影视频生成方法的步骤。
[0128]
示例性地，本发明还提供一种延时摄影系统，该延时摄影系统包括前述任一实施例所述的摄影设备和与该摄影设备通信连接的前述任一实施例所述的延时摄影视频生成设备。
[0129]
如图12所示为本发明的延时摄影系统的一实施例的示意图，其中，包括摄影设备100(其可以安装在可移动平台200上)，与摄影设备通信连接的智能手机300。
[0130]
如图13所示提供了一种延时摄影视频生成方法的实施例，该方法应用于延时摄影系统，该延时摄影系统包括摄影设备和与该摄影设备通信连接的延时摄影视频生成设备。其中，摄影设备可以是摄像机，延时摄影视频生成设备可以是智能手机、平板电脑、笔记本电脑等，本发明对此不作限制。以摄像机和智能手机为例，摄像机可以安装在可移动平台上
(例如，无人飞机、无人车、无人船等)或者安装在固定支架上，本发明对此不作限定，摄影者可以通过智能手机对摄像机进行操控(例如，参数设置、摄影的开启与停止等等)以及图像视频的处理等。进一步地，当可移动平台是无人飞机等时，还可以通过智能手机端安装的应用软件对其进行飞行控制。
[0131]
如图13所示本发明的延时摄影视频生成方法，该方法应用于延时摄影系统，该方法包括：
[0132]
s210、摄影设备获取延时拍摄的多帧图像，并发送至延时摄影视频生成设备，其中，所述多帧图像分别具有不同的曝光值；
[0133]
s220、延时摄影视频生成设备为所述多帧图像中的每帧图像生成平滑的多张包围曝光图像；
[0134]
s230、延时摄影视频生成设备基于所生成的对应于每帧图像的多张包围曝光图像，通过多曝光融合，得到对应于所述多帧图像的多张合成图像；
[0135]
s240、延时摄影视频生成设备根据所述多张合成图像合成延时摄影视频。
[0136]
本发明实施例首先通过摄影设备采集了多帧分别具有不同曝光值的图像，然后延时摄影视频生成设备再生成对应于每帧图像的平滑的多张包围曝光图像，然后再通过多曝光融合的方式将每帧图像的多张包围曝光图像进行合成得到多张合成图像，用于合成延时摄影视频。由于多张包围曝光图像中的每张图像的曝光值是平滑的，所以使得多曝光融合得到的时间上相邻的两张合成图像的曝光值也达到的平滑的效果，从而使得基于多张合成图像所生成的延时摄影视频不会出现闪烁。
[0137]
可选的，步骤s220为所述多帧图像中的每帧图像生成平滑的多张包围曝光图像包括：根据所述多帧图像的曝光参数和所述多帧图像之间的曝光值差异，生成对应于每帧图像的平滑的多张包围曝光图像。
[0138]
示例性地，根据所述多帧图像的曝光参数和所述多帧图像之间的曝光值差异，生成对应于每帧图像的平滑的多张包围曝光图像包括：
[0139]
对多帧图像的曝光参数进行平滑处理；
[0140]
根据平滑处理后的曝光参数和所述多帧图像之间的曝光值差异，确定平滑后的多个增益值；
[0141]
利用所述多个增益值对每帧图像进行图像增益，生成对应于每帧图像的平滑的多张包围曝光图像。
[0142]
可选的，在多曝光融合之前还包括：对对应于每帧图像的平滑的多张包围曝光图像进行颜色编码处理，转换成对应于每帧图像的视频兼容格式的图像集。
[0143]
可选的，在进行所述颜色编码处理时，限制局部色调映射和/或全局色调映射的强度。
[0144]
可选的，在进行所述颜色编码处理时，获取处理时的参数，并进行后期平滑处理。
[0145]
可选的，在多曝光融合之前，还包括：对对应于每帧图像的视频兼容格式的图像集进行增稳处理。
[0146]
可选的，对对应于每帧图像的视频兼容格式的图像集进行增稳处理包括：
[0147]
对对应于每帧图像的视频兼容格式的图像集中的基准图像进行运动估计，得到去畸变因子，其中，所述基准图像是指所对应0ev的图像，所述图像集中的各张图像对应于不
同的增益值；
[0148]
基于所述去畸变因子对对应于每帧图像的视频兼容格式的图像集进行增稳处理。
[0149]
可选的，延时拍摄获取多帧图像包括：摄影设备估计当前场景的动态范围；摄影设备在所述动态范围内采集得到多帧图像。
[0150]
可选的，延时拍摄获取多帧图像包括：摄影设备以降曝光采集得到多帧图像，多帧图像之间的曝光值差异为相邻两帧图像之间的降曝光值。
[0151]
可选的，估计当前场景的动态范围包括：摄影设备根据liveview直方图或者使用包围测光确定待采集图像的动态范围[-a ev，+b ev]。
[0152]
可选的，在动态范围内采集得到多帧图像包括：
[0153]
在第i曝光值下采集多张图像并进行降噪处理得到第i帧图像，i取值1至n，n为所述多帧图像的数量；
[0154]
其中，当i＝1时，第1曝光值为-a ev，随着i增大，第i曝光值越接近+b ev，第n曝光值最接近+b ev但未超过+b ev。
[0155]
可选的，所述多帧图像为多帧raw图像。
[0156]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作合并，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0157]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0158]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0159]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。