本发明涉及多媒体数据处理领域,尤其涉及一种多媒体数据显示的方法及电子设备。
背景技术:
摄像头镜头的另一个重点在于变焦能力,所谓的变焦能力包括光学变焦(optical zoom)与数码变焦(digital zoom)两种。两者虽然都有有助于望远拍摄时放大远方物体,但是只有光学变焦可以支持图像主体成像后,增加更多的像素,让主体不但变大,同时也相对更清晰,而数码变焦是通过后期的放大来实现影像的放大,太大的数码变焦会使图像严重受损,有时候甚至因为放大倍数太高,而分不清所拍摄的画面。
在视频监控领域,目前监控系统保存下来的视频文件都是固定倍数的光学变焦,比如,按照正常1倍光学变焦录制下来的视频。在视频播放时,可以对视频中某个局部进行放大查看,但这种放大只能通过数码变焦的方式进行放大,因此,一旦需要对视频放大查看,像素损失导致质量得不到保证,监控效果大打折扣。
技术实现要素:
本发明实施例提供一种多媒体数据显示的方法及电子设备,以解决对视频放大查看时视频像素损失,视频质量得不到保证的问题。
第一方面,提供了一种多媒体数据显示的方法,所述方法应用于电子设备中,所述方法包括:
获取第一多媒体数据以及第二多媒体数据,其中,所述第一多媒体数据为采用主摄像头针对指定拍摄场景拍摄的数据,所述第二多媒体数据为采用多个辅摄像头分别拍摄所述指定拍摄场景的局部场景,得到对应的多个中间多媒体数据以后,对所述多个中间多媒体数据进行拼合得到的数据;所述辅摄像头的光学变焦倍数大于所述主摄像头的光学变焦倍数;
在多媒体播放界面中播放所述第一多媒体数据;
当检测到用户对所述第一多媒体数据的指定区域的放大操作时,从所述第二多媒体数据中提取与所述指定区域对应的目标多媒体数据;
显示所述目标多媒体数据。
第二方面,提供了一种电子设备,包括:
多媒体数据获取模块,用于获取第一多媒体数据以及第二多媒体数据,其中,所述第一多媒体数据为采用主摄像头针对指定拍摄场景拍摄的数据,所述第二多媒体数据为采用多个辅摄像头分别拍摄所述指定拍摄场景的局部场景,得到对应的多个中间多媒体数据以后,对所述多个中间多媒体数据进行拼合得到的数据;所述辅摄像头的光学变焦倍数大于所述主摄像头的光学变焦倍数;
多媒体数据播放模块,用于在多媒体播放界面中播放所述多媒体数据获取模块获取的第一多媒体数据;
多媒体数据提取模块,用于在检测到用户对所述多媒体数据播放模块播放的第一多媒体数据的指定区域的放大操作时,从所述多媒体数据获取模块获取的第二多媒体数据中提取与所述指定区域对应的目标多媒体数据;
目标多媒体数据显示模块,用于显示所述多媒体数据提取模块提取的目标多媒体数据。
这样,本发明实施例中,采用主摄像头拍摄第一多媒体数据,并采用多个变焦倍数比主摄像头的变焦倍数大的辅摄像头拍摄指定拍摄场景的局部场景得到对应的多个中间多媒体数据,随后,将多个中间多媒体数据拼合成第二多媒体数据,则在查看第一多媒体数据的过程中,当对第一多媒体数据的局部位置执行放大操作时,可以从分辨率更高的第二多媒体数据中获得该放大操作对应的目标多媒体数据进行显示,从而使得放大查看的多媒体数据是对焦倍数更大、分辨率更高的数据,避免了放大查看导致的像素损失,保证了放大查看数据的质量。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅 仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明第一实施例的一种多媒体数据显示的方法的流程图;
图2是本发明第二实施例的一种多媒体数据显示的方法的流程图;
图3是本发明第二实施例的摄像头阵列横截面示意图;
图4是本发明第二实施例的摄像头分配关系示意图;
图5是本发明第二实施例的校准示意图;
图6是本发明一个实施例的一种电子设备的框图;
图7是本发明的电子设备实施例中的角度校准模块的框图;
图8是本发明的电子设备实施例中的校准子模块的框图;
图9是本发明的电子设备实施例中的合成模块的框图;
图10是本发明的电子设备实施例中的多媒体数据提取模块的框图;
图11是本发明另一个实施例的电子设备的框图;
图12是本发明又一个实施例的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
第一实施例
参照图1,示出了本发明一个实施例的一种多媒体数据显示的方法的流程图,可以包括如下步骤:
步骤101,获取第一多媒体数据以及第二多媒体数据。
在本发明实施例中,第一多媒体数据可以为采用主摄像头针对指定拍摄场景拍摄的数据。第二多媒体数据可以为采用多个辅摄像头分别拍摄指定拍摄场景的局部场景,得到对应的多个中间多媒体数据以后,对该多个中间多媒体数据进行拼合得到的数据。
第一多媒体数据或第二多媒体数据可以包括视频数据或图像数据,本发 明实施例对此不作限制。
本发明实施例中主摄像头为一个,辅摄像头为多个,其中,主摄像头用于拍摄整体拍摄场景,辅摄像头用于拍摄局部拍摄场景。因此,主摄像头也可以称为全局摄像头,辅摄像头也可以称为局部摄像头。
在本发明实施例中,辅摄像头的光学变焦倍数大于主摄像头的光学变焦倍数,则第二多媒体数据的分辨率大于第一多媒体数据。
步骤102,在多媒体播放界面中播放所述第一多媒体数据。
当获得第一多媒体数据以后,电子设备可以在当前的多媒体播放界面中播放该第一多媒体数据。例如,当第一多媒体数据为视频数据时,可以在当前视频播放界面中播放该视频数据。或者,当第一多媒体数据为图像数据时,可以在当前图像浏览界面中展示该图像数据。
步骤103,当检测到用户对所述第一多媒体数据的指定区域的放大操作时,从所述第二多媒体数据中提取与所述指定区域对应的目标多媒体数据。
在播放视频数据或显示图像数据的过程中,当检测到用户对该视频数据或图像数据的指定区域执行放大操作时,则可以从高分辨率的第二多媒体数据中获取与该指定区域对应的目标多媒体数据,即从高分辨率的第二多媒体数据中获取更清晰的质量更好的针对指定区域的视频数据或图像数据,作为目标多媒体数据。
步骤104,显示所述目标多媒体数据。
获取到目标多媒体数据以后,可以在当前的多媒体播放界面中显示该目标多媒体数据。
在本发明实施例中,采用主摄像头拍摄第一多媒体数据,并采用多个变焦倍数比主摄像头的变焦倍数大的辅摄像头拍摄指定拍摄场景的局部场景得到对应的多个中间多媒体数据,随后,将多个中间多媒体数据拼合成第二多媒体数据,则在查看第一多媒体数据的过程中,当对第一多媒体数据的局部位置执行放大操作时,可以从分辨率更高的第二多媒体数据中获得该局部区域对应的目标多媒体数据进行显示,从而使得放大查看的多媒体数据是对焦倍数更大、分辨率更高的数据,避免了放大查看导致的像素损失,保证了 放大查看数据的质量。
第二实施例
参照图2,示出了本发明另一个实施例的一种多媒体数据显示的方法的流程图,本发明实施例可以应用于监控系统、智能手机、平板、掌上电脑(Personal Digital Assistant,PDA)、照相机等具有摄像头的电子设备中,进一步地,该电子设备还可以包括显示屏,其中,电子设备中的摄像头用于实现拍照、摄像功能,而显示屏用于实现对拍摄画面或视频的预览功能,即,通过对摄像头当前摄入的画面进行实时显示,以供用户预览,从而达到取景器的效果。
在本发明实施例中,摄像头可以包括主摄像头以及多个辅摄像头,其中,主摄像头可以用于拍摄指定拍摄场景的整体的图像,因此,主摄像头也可以称为全局摄像头。辅摄像头可以用于拍摄指定拍摄场景中局部场景的图像,因此,辅摄像头也可以称为局部摄像头。
该辅摄像头的光学变焦倍数大于该主摄像头的光学变焦倍数,在一种优选实施方式中,该主摄像头可以为一倍光学变焦摄像头,该多个辅摄像头可以为大于一倍光学变焦的摄像头,例如,该多个辅摄像头可以为标准可变焦摄像头模组或者为长焦可变焦摄像头模组(标准可变焦摄像头模组与长焦可变焦摄像头模组在光学变焦上的区别,主要体现在前者可以放大的倍数没有后者大,例如前者可能最大做到3倍光学变焦,后者则可能最大做到12倍光学变焦)。
在一种优选实施方式中,该多个辅摄像头可以排列成矩形阵列,而该主摄像头在该矩形阵列之外,并与该矩形阵列相邻。参考图3所示的摄像头阵列横截面示意图所示,多个辅摄像头302可以排列成4*3的矩形阵列(这与摄像头的感光器件是对应的,摄像头的感光器件也是矩形,长宽比是4:3),主摄像头301在该矩形阵列之外,并与该矩形阵列相邻。
需要说明的是,当接收到用户的拍摄指令或录制指令时,主摄像头以及多个辅摄像头可以同时对指定拍摄场景进行拍摄或录制,只是主摄像头拍摄的是全局的拍摄场景,辅摄像头拍摄的是局部的拍摄场景。
本发明实施例可以包括如下步骤:
步骤201,将主摄像头的焦距调整为1倍光学变焦,并分别将多个辅摄像头的焦距调整至预设的光学变焦倍数。
具体而言,在发出拍摄指令或录制指令以前,用户可以首先设定主摄像头与辅摄像头的光学变焦倍数。在一种优选实施方式中,用户可以将主摄像头的焦距设置为1倍光学变焦,并分别将多个辅摄像头的焦距设置为预设的光学变焦倍数。
而辅摄像头的预设的光学变焦倍数就是在播放视频或图像时,用户对视频或图像某一局部进行光学变焦放大查看的倍数。
需要说明的是,用户可以按需设定该辅摄像头的光学变焦倍数,但由于光学变焦倍数与摄像头个数呈正相关,因此,该光学变焦倍数不宜设置过大,倍数越大,需要越多的辅摄像头来处理。例如,辅摄像头按照二倍焦距来拍摄指定拍摄场景,在物距(物体到镜头的距离)相同的情况下,二倍焦距摄像头视角相对于一倍焦距摄像头小,摄入的画面就小。每个二倍焦距的摄像头只负责当前拍摄场景中某一局部的摄入,比如是这个拍摄场景的1/100,然后有100个二倍焦距摄像头同时摄入,这样就能保证整个拍摄场景摄入进去,即在二倍焦距时,100个辅摄像头能够把整个拍摄场景完整摄入,此时,如果将二倍焦距调整为三倍焦距,在辅摄像头的数量固定的情况下,每个辅摄像头的镜头只能摄入整个拍摄场景的1/150,这100个辅摄像头的镜头只能总共摄入整个拍摄场景的100/150,还差50个辅摄像头镜头。因此,当设备的辅摄像头数固定时,其光学变焦倍数就有最大值,用户设定的光学变焦倍数应当不超过该光学变焦倍数的最大值。
在实际中,在用户设置辅摄像头的光学变焦倍数时,电子设备可以将该光学变焦倍数的最大值提示给用户,并提示用户设定的光学变焦倍数不能超过该光学变焦倍数的最大值。例如,根据当前电子设备的辅摄像头的数量,限定光学变焦倍数的最大值为4倍,则可以提示用户设定的光学变焦倍数不能超过4倍焦距。
另外,需要说明的是,当设定了辅摄像头的光学变焦倍数以后,该光学 变焦倍数适用于所有辅摄像头,即当前电子设备的所有辅摄像头的光学变焦倍数都是一致的。或者,在另外一种场景中,用户还可以为每个辅摄像头分别设定光学变焦倍数,本发明实施例对此不作限制。
当用户设定好每个摄像头的光学变焦倍数以后,在开始录制视频或拍摄图像时,电子设备可以将主摄像头保持1倍光学变焦,方向对着正前方的指定拍摄场景,以及,将所有辅摄像头的焦距调整至该设定的光学变焦倍数,并将所有辅摄像头的方向调整为正对着指定拍摄场景的方向。
步骤202,对所述多个辅摄像头中每个辅摄像头进行角度偏转校准。
在步骤201中完成所有摄像头的光学变焦调整以后,可以进一步对所有辅摄像头中每个辅摄像头进行角度偏转校准。
在一种实施方式中,可以采用如下方式对每个辅摄像头进行角度偏转校准:获取主摄像头针对指定拍摄场景采集的预览画面区域,以及,辅摄像头的数量;将该预览画面区域划分为与辅摄像头的数量对应数量的指定大小的局部预览画面区域;分别为多个辅摄像头中每个辅摄像头分配一对应位置的局部预览画面区域;对于每个辅摄像头,基于分配的局部预览画面区域的中心位置,进行角度偏转校准。
具体而言,由于主摄像头用于拍摄指定拍摄场景的整体场景,因此,主摄像头能够采集整个指定拍摄场景的预览画面区域。并且,由于电子设备中辅摄像头的数量是固定的,因此,可以确切的获得辅摄像头的数量。
随后,可以将主摄像头采集的指定拍摄场景的预览画面区域划分为与辅摄像头的数量对应数量的指定大小的局部预览画面区域,并分别为多个辅摄像头中每个辅摄像头分配一对应位置的局部预览画面区域(即局部场景)。例如,如图4的摄像头分配关系示意图所示,当前设备有12个辅摄像头,则将主摄像头采集的指定拍摄场景的预览画面区域划分成12个局部预览画面区域,右下角是本发明实施例的摄像头阵列,其是4x3个辅摄像头再加一个主摄像头。左上角是一个将要摄入的指定拍摄场景,长宽比是4:3,根据辅摄像头的数量(12个),可以将其划分成相同大小的4x3个局部预览画面区域,并为每个辅摄像头分配一对应位置的局部预览画面区域,每条从辅摄 像头引出的实线指向指定拍摄场景中的局部预览画面区域就是表明辅摄像头与局部预览画面区域的一对一对应关系。
在实际中,由于在初始化时,全部摄像头都是正对前方的指定拍摄场景的,此时,如果用所有的辅摄像头分别就对应的局部预览画面区域拍下一张中间图像,并将所有辅摄像头拍摄的中间图像拼合起来,不一定能拼合成完整一副景象,因为辅摄像头都是大于一倍光学变焦,视场角相对于一倍变焦镜头小,摄入的景象就小。如果不经角度偏转校准,最后合成的图像就是有重叠区域的图像。基于此,在本发明实施例中,为每个辅摄像头分配对应的局部预览画面区域以后,可以基于分配的局部预览画面区域的中心位置,进行对应的辅摄像头的角度偏转校准。
在一种实施方式中,可以采用如下方式基于分配的局部预览画面区域的中心位置,进行对应的辅摄像头的角度偏转校准:基于分配的所述局部预览画面区域的中心位置,判断所述辅摄像头是否需要进行角度偏转校准;若所述辅摄像头需要进行角度偏转校准,则获取所述矩形阵列的对角线交点,设定为O点;获取当前待校准的辅摄像头的镜头圆心,设定为P点;将所述辅摄像头的偏转方向确定为OP的有向线段的方向;将所述有向线段的方向相对于Z轴偏移的角度作为所述辅摄像头需要进行校准的角度。
在具体实现中,若用所有辅摄像头分别就对应的局部预览画面区域的中心位置拍下一张中间图像,并将所有中间图像合成一张第一图像,同时用主摄像头就指定景象拍下一张第二图像;将第一图像与第二图像进行对比,若这两张图像重合完全一致,则表示辅摄像头不需要进行角度偏转校准。否则,若这两张图像不能完全重合,则表示辅摄像头需要进行角度偏转校准。
在一种实施方式中,如图5的校准示意图所示,若辅摄像头需要进行角度偏转校准,则可以首先确定该所有辅摄像头组成的矩形阵列的对角线交点,假设该点为O点,然后将当前待校准的辅摄像头的镜头圆心设定为P点,并将OP的有向线段的方向作为该O点对应的辅摄像头的偏转方向,则该辅摄像头需要进行校准的角度为该OP的有向线段的方向相对于Z轴偏移的角度,随后,可以按照该角度进行偏转校准。其他辅摄像头的角度偏转校 准也是类似操作。
需要说明的是,为了提高校准的准确度,上述角度偏转校准可能需要进行多次,直到多个辅摄像头拍摄的中间图像拼合成的第一图像与主摄像头拍摄的第二图像完全重合一致,该角度校准才完成。
步骤203,控制所述主摄像头拍摄所述指定拍摄场景,获得第一多媒体数据;以及,控制所述多个辅摄像头分别拍摄所述指定拍摄场景的对应的局部场景,获得多个中间多媒体数据。
当完成辅摄像头的角度偏转校准以后,电子设备可以同时控制主摄像头与所有辅摄像头对指定拍摄场景进行拍摄。
具体的,电子设备可以控制主摄像头对指定拍摄场景进行全局拍摄,从而获得第一多媒体数据。其中,该第一多媒体数据可以包括视频数据或图像数据,本发明实施例对此不作限定。
同时,电子设备还可以控制所有辅摄像头中每一辅摄像头分别拍摄对应的局部预览画面区域,以获得对应的多个中间多媒体数据。
例如,若辅摄像头用于拍摄图像,则该中间多媒体数据为中间图像;若该辅摄像头用于录制视频,则该中间多媒体数据为中间视频数据。
在具体实现中,该多个中间多媒体数据可以保存在预设缓存区中。
步骤204,将所述多个中间多媒体数据进行合成处理,生成所述第二多媒体数据。
得到多个中间多媒体数据以后,可以将缓冲区中的该多个中间多媒体数据进行合成处理,以生成第二多媒体数据。
在本发明实施例的一种优选实施例中,可以采用如下方式将多个中间多媒体数据进行合成处理,以生成第二多媒体数据:分别获取所述中间多媒体数据的背景图像;分别计算所述辅摄像头的全局对准参数;基于所述全局对准参数,完成所述中间多媒体数据的拼接,生成第二多媒体数据。
具体的,为了消除多模式背景和运动目标的影响,可以首先利用高斯混合模型得到各个中间多媒体数据的背景图像,作为一种示例,高斯模型的个数K可以设为5,阈值T设为0.7,窗口长度L设为200,初始标准差σ设 为20。
随后,可以分别对各个背景图像进行SIFT(Scale-invariant feature transform,尺度不变特征转换)特征点的检测和匹配,并利用RANSAC(RANdom Sample Consensus,它是根据一组包含异常数据的样本数据集,计算出数据的数学模型参数,得到有效样本数据的算法)算法消除其中的外点。考虑到对准过程的测量误差的影响,还可以利用特征点对的对称传递误差计算单应矩阵,该目标函数可以表示为:
∑[d(xi,H-1x′i)2+d(x′i,Hxi)2];
上式中,第1项表示当前帧的传递误差,第2项表示前一帧的传递误差; 表示前一帧和当前帧的第i个特征点对,H表示两幅图像的射影变换。
在辅摄像头的数量较多的情况下,可以采用全局优化算法消除误差积累,并得到各个辅摄像头的全局对准参数。由于全局方法计算量比较大,因此可以采用frame-to-mosaic(帧到全景图)方法计算各个辅摄像头的全局对准参数。例如,假设有4个辅摄像头的背景图像Ci(i=1,…,4)。首先选取其中一个背景图像(如Ci)作为参考帧,并把C2对准到C1,从而生成一个临时的拼接图像M。然后把背景图像C3与M进行对准,并利用C3对M进行更新。对C4采用同样的方法进行处理,从而可以得到所有背景图像的对准参数。
各个辅摄像头之间的单应矩阵一旦确定就不再发生变化,利用这些全局对准参数把各个中间多媒体数据投影到全局坐标系中,就可以把它们合成为第二多媒体数据。
需要说明的是,上述对中间多媒体数据进行合成处理的方式仅仅是本发明实施例的一种示例,本领域采用其他方式对中间多媒体数据进行合成处理均是可以的,本发明实施例对此不作限制。
需要说明的是,该第二多媒体数据的分辨率随着光学变焦倍数的不同而不同,光学变焦倍数越大,则第二多媒体数据的分辨率越大。并且其分辨率比第一多媒体数据的分辨率大。
步骤205,获取所述第一多媒体数据以及第二多媒体数据。
根据上述步骤201-步骤204,可以生成第一多媒体数据以及第二多媒体数据,随后,在步骤205中,电子设备可以获取该第一多媒体数据以及第二多媒体数据。
步骤206,在多媒体播放界面中播放所述第一多媒体数据。
当所有摄像头完成拍摄或录制以后,可以以第一多媒体数据作为播放或显示的版本,在当前的多媒体播放界面中播放或显示该第一多媒体数据。
步骤207,当检测到用户对所述第一多媒体数据的指定区域的放大操作时,从所述第二多媒体数据中提取与所述指定区域对应的目标多媒体数据。
在第一多媒体数据的播放或展示过程中,若用户想对该第一多媒体数据的某个指定区域进行放大查看,则用户可以对该指定区域执行放大操作,作为一种示例,该放大操作可以为双击操作、单击选定操作等,本发明实施例对此不作限定。
当电子设备检测到用户对该第一多媒体数据的指定区域的放大操作时,首先获取该指定区域对应的位置信息,然后基于该位置信息,从第二多媒体数据中提取与该位置信息对应的多媒体数据,作为目标多媒体数据。
在具体实现中,可以采用多种通用的方法获取指定区域对应的位置信息,例如,可以采用JavaScript获取鼠标点击的位置,当检测到鼠标点击事件后,通过event.clientX获取横坐标,以及,通过event.clientY获取纵坐标。又如,可以用Windows API中GetCursorPos获得鼠标位置,然后用ScreenToClient转换为当前程序的坐标。本发明实施例对获取位置信息的具体方式不作限定。
步骤208,显示所述目标多媒体数据。
当得到目标多媒体数据以后,可以在当前的多媒体播放界面中播放或显示该目标多媒体数据。
当目标多媒体数据播放或显示完成以后,可以重新回到第一多媒体数据中,继续播放该第一多媒体数据中紧跟指定区域对应的位置信息之后的数据。
在本发明实施例中,当用户想要对第一多媒体数据进行局部放大查看时,放大的目标多媒体数据由于分辨率大于第一多媒体数据,使得放大部分的数据像素没有损失,避免了放大查看导致质量下降的问题,保证了放大查看的数据的质量。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请实施例所必须的。
第三实施例
图6是本发明一个实施例的一种电子设备的框图。图6所示的电子设备600可以包括一个主摄像头(图中未示出)以及多个辅摄像头(图中未示出),所述电子设备600还可以包括多媒体数据获取模块605、多媒体数据播放模块606、多媒体数据提取模块607以及目标多媒体数据显示模块608。
多媒体数据获取模块605,用于获取第一多媒体数据以及第二多媒体数据。
其中,所述第一多媒体数据为采用主摄像头针对指定拍摄场景拍摄的数据。所述第二多媒体数据为采用多个辅摄像头分别拍摄所述指定拍摄场景的局部场景,得到对应的多个中间多媒体数据以后,对所述多个中间多媒体数据进行拼合得到的数据。
所述辅摄像头的光学变焦倍数大于所述主摄像头的光学变焦倍数。
多媒体数据播放模块606,用于在多媒体播放界面中播放所述多媒体数据获取模块获取的第一多媒体数据;
多媒体数据提取模块607,用于在检测到用户对所述多媒体数据播放模块播放的第一多媒体数据的指定区域的放大操作时,从所述多媒体数据获取模块获取的第二多媒体数据中提取与所述指定区域对应的目标多媒体数据;
目标多媒体数据显示模块608,用于显示所述多媒体数据提取模块提取 的目标多媒体数据。
在本发明实施例的一种优选实施例中,所述多个辅摄像头排列成矩形阵列,所述主摄像头在所述矩形阵列之外,并与所述矩形阵列相邻。
在本发明实施例的一种优选实施例中,所述主摄像头为一倍光学变焦摄像头,所述辅摄像头为大于一倍光学变焦的摄像头。
在本发明实施例的一种优选实施例中,参考图6所示,该电子设备600还可以包括如下模块:
焦距调整模块601,用于将所述主摄像头的焦距调整为1倍光学变焦,并分别将所述多个辅摄像头的焦距调整至预设的光学变焦倍数;
角度校准模块602,用于对所述焦距调整模块调整后的多个辅摄像头中每个辅摄像头进行角度偏转校准;
拍摄模块603,用于控制所述焦距调整模块调整后的主摄像头拍摄所述指定拍摄场景,获得第一多媒体数据;以及,控制所述角度校准模块校准后的多个辅摄像头分别拍摄所述指定拍摄场景的对应的局部场景,获得多个中间多媒体数据;
合成模块604,用于将所述拍摄模块获得的多个中间多媒体数据进行合成处理,生成所述第二多媒体数据。
在本发明实施例的一种优选实施例中,参考图7所示的角度校准模块的框图,所述角度校准模块602进一步可以包括如下子模块:
数据获取子模块6021,用于获取所述主摄像头针对所述指定拍摄场景采集的预览画面区域,以及,所述辅摄像头的数量;
区域划分子模块6022,用于将所述数据获取子模块获取的预览画面区域划分为与所述辅摄像头的数量对应数量的指定大小的局部预览画面区域;
区域分配子模块6023,用于分别为所述多个辅摄像头中每个辅摄像头分配一对应位置的所述局部预览画面区域;
校准子模块6024,用于对于每个所述辅摄像头,基于所述区域分配子模块分配的所述局部预览画面区域的中心位置,进行角度偏转校准。
在本发明实施例的一种优选实施例中,参考图8所示的校准子模块的框 图,所述校准子模块6024进一步可以包括如下单元:
判断单元60241,用于基于分配的所述局部预览画面区域的中心位置,判断所述辅摄像头是否需要进行角度偏转校准。
对角线交点确定单元60242,用于在所述判断单元判定所述辅摄像头需要进行角度偏转校准时,获取所述矩形阵列的对角线交点,设定为O点。
圆心确定单元60243,用于获取当前待校准的辅摄像头的镜头圆心,设定为P点。
偏转方向确定单元60244,用于将所述辅摄像头的偏转方向确定为OP的有向线段的方向。
偏转角度确定单元60245,用于将所述有向线段的方向相对于Z轴偏移的角度作为所述辅摄像头需要进行校准的角度。
在本发明实施例的一种优选实施例中,参考图9所示的合成模块的框图,所述合成模块604进一步可以包括如下单元:
背景图像获取子模块6041,用于分别获取所述中间多媒体数据的背景图像。
全局对准参数获取子模块6042,用于分别计算所述辅摄像头的全局对准参数。
拼接子模块6043,用于基于所述全局对准参数获取子模块计算得到的全局对准参数,完成所述中间多媒体数据的拼接,生成第二多媒体数据。
在本发明实施例的一种优选实施例中,参考图10所示的多媒体数据提取模块的框图,所述多媒体数据提取模块607进一步可以包括如下子模块:
位置确定子模块6071,用于当检测到用户对所述第一多媒体数据的指定区域的放大操作时,获取所述指定区域对应的位置信息。
多媒体数据获取子模块6072,用于从所述第二多媒体数据中提取与所述位置确定子模块获取的位置信息对应的多媒体数据,作为目标多媒体数据。
在本发明实施例的一种优选实施例中,所述第一多媒体数据或所述第二多媒体数据包括图像数据或视频数据。
电子设备600能够实现图1和图2的方法实施例中电子设备实现的各个 过程,为避免重复,这里不再赘述。
在本发明实施例中,电子设备600采用多媒体数据获取模块605获取第一多媒体数据以及第二多媒体数据,其中,第一多媒体数据为采用主摄像头针对指定拍摄场景拍摄的数据,第二多媒体数据为采用多个辅摄像头分别拍摄所述指定拍摄场景的局部场景,得到对应的多个中间多媒体数据以后,对所述多个中间多媒体数据进行拼合得到的数据,并且,所述辅摄像头的光学变焦倍数大于所述主摄像头的光学变焦倍数。随后,采用多媒体数据播放模块606在当前的多媒体播放界面中播放第一多媒体数据,在播放过程中,采用多媒体数据提取模块607检测到用户对所述第一多媒体数据的指定区域的放大操作,并在检测到放大操作时,从所述第二多媒体数据中提取与所述指定区域对应的目标多媒体数据;以及,采用目标多媒体数据显示模块608显示该目标多媒体数据。从而使得放大查看的多媒体数据是对焦倍数更大、分辨率更高的数据,避免了放大查看导致的像素损失,保证了放大查看数据的质量。
第四实施例
图11是本发明另一个实施例的电子设备的框图。图11所示的电子设备1100包括:至少一个处理器1101、存储器1102、至少一个网络接口1104和用户接口1103、摄像组件1106。电子设备1100中的各个组件通过总线系统1105耦合在一起。可理解,总线系统1105用于实现这些组件之间的连接通信。总线系统1105除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图11中将各种总线都标为总线系统1105,摄像组件1106包括一个主摄像头和多个辅摄像头,所述多个辅摄像头排列成矩形阵列,所述第一摄像头在所述矩形阵列之外,并与所述矩形阵列相邻;并且,优选地,所述主摄像头为一倍光学变焦摄像头,所述辅摄像头为大于一倍光学变焦的摄像头。
其中,用户接口1103可以包括显示器、键盘或者点击设备(例如,鼠标,轨迹球(trackball)、触感板或者触摸屏等。
可以理解,本发明实施例中的存储器1102可以是易失性存储器或非易 失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-OnlyMemory,ROM)、可编程只读存储器(ProgrammableROM,PROM)、可擦除可编程只读存储器(ErasablePROM,EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccessMemory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(StaticRAM,SRAM)、动态随机存取存储器(DynamicRAM,DRAM)、同步动态随机存取存储器(SynchronousDRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(DoubleDataRate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(SynchlinkDRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambusRAM,DRRAM)。本发明实施例描述的系统和方法的存储器1102旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中,存储器1102存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:操作系统11021和应用程序11022。
其中,操作系统11021,包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序11022,包含各种应用程序,例如照相机应用程序、媒体播放器(MediaPlayer)、浏览器(Browser)等,用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序11022中。
在本发明实施例中,通过调用存储器1102存储的程序或指令,具体的,可以是应用程序11022中存储的程序或指令,处理器1101用于获取第一多媒体数据以及第二多媒体数据;在当前多媒体播放界面中播放所述第一多媒体数据;当检测到用户对所述第一多媒体数据的指定区域的放大操作时,从所述第二多媒体数据中提取与所述指定区域对应的目标多媒体数据;显示所述目标多媒体数据,其中,所述第一多媒体数据为采用主摄像头针对指定拍 摄场景拍摄的数据,所述第二多媒体数据为采用多个辅摄像头分别拍摄所述指定拍摄场景的局部场景,得到对应的多个中间多媒体数据以后,对所述多个中间多媒体数据进行拼合得到的数据;所述辅摄像头的光学变焦倍数大于所述主摄像头的光学变焦倍数。
上述本发明实施例揭示的方法可以应用于处理器1101中,或者由处理器1101实现。处理器1101可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器1101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1101可以是通用处理器、数字信号处理器(DigitalSignalProcessor,DSP)、专用集成电路(ApplicationSpecific IntegratedCircuit,ASIC)、现成可编程门阵列(FieldProgrammableGateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1102,处理器1101读取存储器1102中的信息,结合其硬件完成上述方法的步骤。
可以理解的是,本发明实施例描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(ApplicationSpecificIntegratedCircuits,ASIC)、数字信号处理器(DigitalSignalProcessing,DSP)、数字信号处理设备(DSPDevice,DSPD)、可编程逻辑设备(ProgrammableLogicDevice,PLD)、现场可编程门阵列(Field-ProgrammableGateArray,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现,可通过执行本发明实施例所述功能的模块(例如过程、函数等)来实现本发明实施例所述的技术。软件代码可存储在存储器中并通 过处理器执行。存储器可以在处理器中或在处理器外部实现。
可选地,处理器1101还用于:将所述主摄像头的焦距调整为1倍光学变焦,并分别将所述多个辅摄像头的焦距调整至预设的光学变焦倍数;对所述多个辅摄像头中每个辅摄像头进行角度偏转校准;控制所述主摄像头拍摄所述指定拍摄场景,获得第一多媒体数据;以及,控制所述多个辅摄像头分别拍摄所述指定拍摄场景的对应的局部场景,获得多个中间多媒体数据;将所述多个中间多媒体数据进行合成处理,生成所述第二多媒体数据。
可选地,处理器1101还用于:获取所述主摄像头针对所述指定拍摄场景采集的预览画面区域,以及,所述辅摄像头的数量;将所述预览画面区域划分为与所述辅摄像头的数量对应数量的指定大小的局部预览画面区域;分别为所述多个辅摄像头中每个辅摄像头分配一对应位置的所述局部预览画面区域;对于每个所述辅摄像头,基于分配的所述局部预览画面区域的中心位置,进行角度偏转校准。
可选地,处理器1101还用于:基于分配的所述局部预览画面区域的中心位置,判断所述辅摄像头是否需要进行角度偏转校准;若所述辅摄像头需要进行角度偏转校准,则获取所述矩形阵列的对角线交点,设定为O点;获取当前待校准的辅摄像头的镜头圆心,设定为P点;将所述辅摄像头的偏转方向确定为OP的有向线段的方向;将所述有向线段的方向相对于Z轴偏移的角度作为所述辅摄像头需要进行校准的角度。
可选地,处理器1101还用于:分别获取所述中间多媒体数据的背景图像;分别计算所述辅摄像头的全局对准参数;基于所述全局对准参数,完成所述中间多媒体数据的拼接,生成第二多媒体数据。
可选地,处理器1101还用于:当检测到用户对所述第一多媒体数据的指定区域的放大操作时,获取所述指定区域对应的位置信息;从所述第二多媒体数据中提取与所述位置信息对应的多媒体数据,作为目标多媒体数据。
可选地,所述第一多媒体数据或所述第二多媒体数据包括图像数据或视频数据。
电子设备1100能够实现前述实施例中电子设备实现的各个过程,为避 免重复,这里不再赘述。
在本发明实施例中,电子设备采用主摄像头拍摄第一多媒体数据,并采用多个变焦倍数比主摄像头的变焦倍数大的辅摄像头拍摄指定拍摄场景的局部场景得到对应的多个中间多媒体数据,随后,将多个中间多媒体数据拼合成第二多媒体数据,则在查看第一多媒体数据的过程中,当对第一多媒体数据的局部位置执行放大操作时,可以从分辨率更高的第二多媒体数据中获得该放大操作对应的目标多媒体数据进行显示,从而使得放大查看的多媒体数据是对焦倍数更大、分辨率更高的数据,避免了放大查看导致的像素损失,保证了放大查看数据的质量。
第五实施例
图12是本发明另一个实施例的电子设备的结构示意图。具体地,图12中的电子设备1200可以为监控系统、手机、平板电脑、个人数字助理(PersonalDigitalAssistant,PDA)、或车载电脑等。
图12中的电子设备1200包括射频(RadioFrequency,RF)电路1210、存储器1220、输入单元1230、显示单元1240、处理器1260、音频电路1270、WiFi(WirelessFidelity)模块1280、电源1290和摄像组件1212。
其中,输入单元1230可用于接收用户输入的数字或字符信息,以及产生与电子设备1200的用户设置以及功能控制有关的信号输入。具体地,本发明实施例中,该输入单元1230可以包括触控面板1231。触控面板1231,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1231上的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板1231可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给该处理器1260,并能接收处理器1260发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1231。除了触控面板1231,输入单元1230还可以包括其他输入设备1232,其他输入设备1232可以包括 但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
其中,显示单元1240可用于显示由用户输入的信息或提供给用户的信息以及电子设备1200的各种菜单界面。显示单元1240可包括显示面板1241,可选的,可以采用LCD或有机发光二极管(OrganicLight-EmittingDiode,OLED)等形式来配置显示面板1241。
应注意,触控面板1231可以覆盖显示面板1241,形成触摸显示屏,当该触摸显示屏检测到在其上或附近的触摸操作后,传送给处理器1260以确定触摸事件的类型,随后处理器1260根据触摸事件的类型在触摸显示屏上提供相应的视觉输出。
触摸显示屏包括应用程序界面显示区及常用控件显示区。该应用程序界面显示区及该常用控件显示区的排列方式并不限定,可以为上下排列、左右排列等可以区分两个显示区的排列方式。该应用程序界面显示区可以用于显示应用程序的界面。每一个界面可以包含至少一个应用程序的图标和/或widget桌面控件等界面元素。该应用程序界面显示区也可以为不包含任何内容的空界面。该常用控件显示区用于显示使用率较高的控件,例如,设置按钮、界面编号、滚动条、电话本图标等应用程序图标等。
摄像组件1212包括一个主摄像头和多个辅摄像头,其中,该多个辅摄像头排列成矩形阵列,所述第一摄像头在所述矩形阵列之外,并与所述矩形阵列相邻。并且,优选地,该主摄像头为一倍光学变焦摄像头,该多个辅摄像头为大于一倍光学变焦的摄像头。
其中处理器1260是电子设备1200的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在第一存储器1221内的软件程序和/或模块,以及调用存储在第二存储器522内的数据,执行电子设备1200的各种功能和处理数据,从而对电子设备1200进行整体监控。可选的,处理器1260可包括一个或多个处理单元。
在本发明实施例中,通过调用存储该第一存储器1221内的软件程序和/或模块和/或该第二存储器1222内的数据,处理器1260用于获取第一多媒体 数据以及第二多媒体数据;在多媒体播放界面中播放所述第一多媒体数据;当检测到用户对所述第一多媒体数据的指定区域的放大操作时,从所述第二多媒体数据中提取与所述指定区域对应的目标多媒体数据;显示所述目标多媒体数据,其中,所述第一多媒体数据为采用主摄像头针对指定拍摄场景拍摄的数据,所述第二多媒体数据为采用多个辅摄像头分别拍摄所述指定拍摄场景的局部场景,得到对应的多个中间多媒体数据以后,对所述多个中间多媒体数据进行拼合得到的数据;所述辅摄像头的光学变焦倍数大于所述主摄像头的光学变焦倍数。
可选地,处理器1260还用于:将所述主摄像头的焦距调整为1倍光学变焦,并分别将所述多个辅摄像头的焦距调整至预设的光学变焦倍数;对所述多个辅摄像头中每个辅摄像头进行角度偏转校准;控制所述主摄像头拍摄所述指定拍摄场景,获得第一多媒体数据;以及,控制所述多个辅摄像头分别拍摄所述指定拍摄场景的对应的局部场景,获得多个中间多媒体数据;将所述多个中间多媒体数据进行合成处理,生成所述第二多媒体数据。
可选地,处理器1260还用于:获取所述主摄像头针对所述指定拍摄场景采集的预览画面区域,以及,所述辅摄像头的数量;将所述预览画面区域划分为与所述辅摄像头的数量对应数量的指定大小的局部预览画面区域;分别为所述多个辅摄像头中每个辅摄像头分配一对应位置的所述局部预览画面区域;对于每个所述辅摄像头,基于分配的所述局部预览画面区域的中心位置,进行角度偏转校准。
可选地,处理器1260还用于:基于分配的所述局部预览画面区域的中心位置,判断所述辅摄像头是否需要进行角度偏转校准;若所述辅摄像头需要进行角度偏转校准,则获取所述矩形阵列的对角线交点,设定为O点;获取当前待校准的辅摄像头的镜头圆心,设定为P点;将所述辅摄像头的偏转方向确定为OP的有向线段的方向;将所述有向线段的方向相对于Z轴偏移的角度作为所述辅摄像头需要进行校准的角度。
可选地,处理器1260还用于:分别获取所述中间多媒体数据的背景图像;分别计算所述辅摄像头的全局对准参数;基于所述全局对准参数,完成 所述中间多媒体数据的拼接,生成第二多媒体数据。
可选地,处理器1260还用于:当检测到用户对所述第一多媒体数据的指定区域的放大操作时,获取所述指定区域对应的位置信息;从所述第二多媒体数据中提取与所述位置信息对应的多媒体数据,作为目标多媒体数据。
可选地,所述第一多媒体数据或所述第二多媒体数据包括图像数据或视频数据。
可见,在本发明实施例中,电子设备采用主摄像头拍摄第一多媒体数据,并采用多个变焦倍数比主摄像头的变焦倍数大的辅摄像头拍摄指定拍摄场景的局部场景得到对应的多个中间多媒体数据,随后,将多个中间多媒体数据拼合成第二多媒体数据,则在查看第一多媒体数据的过程中,当对第一多媒体数据的局部位置执行放大操作时,可以从分辨率更高的第二多媒体数据中获得该放大操作对应的目标多媒体数据进行显示,从而使得放大查看的多媒体数据是对焦倍数更大、分辨率更高的数据,避免了放大查看导致的像素损失,保证了放大查看数据的质量。
本领域普通技术人员可以意识到,结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直 接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。