多重成像设备和多重成像方法与流程

本发明涉及图像处理领域，更具体地说，涉及使用多个相机成像的多重成像设备和多重成像方法。

背景技术：

自古以来，人们就渴望着能够得到周围世界的图像。从手工描绘，到胶片相机，再到数码相机和各种专用相机，成像技术经历着漫长而越来越高速的演进。

近年来，随着电子科技的发展，使用单一相机来进行拍摄已经不再能满足人们的需求。

技术实现要素：

鉴于以上情形，期望提供能够满足更多拍摄和查看需求的多重成像设备和多重成像方法。

根据本发明的一个方面，提供了一种多重成像设备，包括：非全景相机，用于拍摄其视野范围内的图像；以及第一机械机构，用于支撑所述非全景相机，并且使得所述非全景相机能够分别绕两个不同的轴转动；全景相机，用于拍摄包含整个观测球的全景图像；以及第二机械机构，用于支撑所述全景相机；其中经由所述第一机械机构的转动，所述非全景相机能够拍摄所述观测球上的每一个位置处的图像。

优选地，在根据本发明实施例的多重成像设备中，所述第一机械机构包括：第一转动轴，第二转动轴，第一固定装置，用于放置并固定所述非全景相机，并且分别与所述第一转动轴和所述第二转动轴连接，其中当所述第一转动轴或所述第二转动轴转动时，所述第一固定装置也随之转动；第一电机，与所述第一转动轴连接；第一驱动单元，用于驱动所述第一电机以带动所述第一转动轴转动；第二电机，与所述第二转动轴连接；以及第二驱动单元，用于驱动所述第二电机以带动所述第二转动轴转动。

优选地，在根据本发明实施例的多重成像设备中，所述第二机械机构包括：第二固定装置，用于放置并固定所述全景相机；以及连接装置，用于连接所述第一固定装置和所述第二固定装置，使得当所述第一固定装置转动时，所述第二固定装置保持不动。

优选地，在根据本发明实施例的多重成像设备中，所述全景相机为两个鱼眼相机或两个折反射相机。

优选地，在根据本发明实施例的多重成像设备中，所述非全景相机包括如下相机中的至少之一：数码相机、红外相机和光场相机。

优选地，根据本发明实施例的多重成像设备可以进一步包括：处理装置，用于接收由所述非全景相机拍摄的非全景图像和由所述全景相机拍摄的全景图像，并执行所述非全景图像和所述全景图像的匹配和融合。

优选地，根据本发明实施例的多重成像设备可以进一步包括：通信装置，用于将由所述非全景相机拍摄的非全景图像和由所述全景相机拍摄的全景图像发送到外部设备，并接收来自所述外部设备的、已完成匹配和融合的所述非全景图像和所述全景图像。

优选地，根据本发明实施例的多重成像设备可以进一步包括：显示装置，用于向用户显示所述全景图像；输入接收装置，用于接收用户在所述全景图像上指定感兴趣区域的输入；以及控制单元，用于控制所述显示装置将所述感兴趣区域中的全景图像替换显示为与之相匹配的非全景图像。

根据本发明的另一方面，提供了一种多重成像方法，应用于一多重成像设备，所述多重成像设备包括全景相机和非全景相机，所述方法包括：通过所述全景相机，拍摄包含整个观测球的全景图像；通过使得所述非全景相机分别绕两个不同的轴转动，拍摄所述观测球上的每一个位置处的非全景图像。

优选地，根据本发明实施例的多重成像方法可以进一步包括：接收由所述非全景相机拍摄的非全景图像和由所述全景相机拍摄的全景图像；以及执行所述非全景图像和所述全景图像的匹配和融合。

优选地，根据本发明实施例的多重成像方法可以进一步包括：将由所述非全景相机拍摄的非全景图像和由所述全景相机拍摄的全景图像发送到外部设备；以及接收来自所述外部设备的、已完成匹配和融合的所述非全景图像和所述全景图像。

优选地，根据本发明实施例的多重成像方法可以进一步包括：向用户显示所述全景图像；接收用户在所述全景图像上指定感兴趣区域的输入；以及将所述感兴趣区域中的全景图像替换显示为与之相匹配的非全景图像。

在根据本发明实施例的多重成像设备和多重成像方法中，在全景相机的基础上，增加能够借助于机械机构绕两轴转动的非全景相机，从而可以在整个观测球上的每一个位置处实现多重成像所能达到的效果，极大地提高用户体验。另外，由于可以采用各种不同用途的非全景相机，能够适应不同拍摄环境，进而全面地增强全景相机的可视能力。

附图说明

图1是图示根据本发明实施例的多重成像设备的配置的功能性框图；

图2是示出了根据本发明的第一实施例的多重成像设备的外观视图；

图3是示出了根据本发明的第一实施例的、用于固定非全景相机的第一机械机构的示例具体配置的机械分解图；

图4是示出了固定全景相机的第二机械机构的示例具体配置的机械分解图；

图5a和图5b分别示出了根据本发明的第一实施例的、当非全景相机分别绕两轴旋转时所拍摄到的观测球的情况；

图6是示出了根据本发明的第二实施例的多重成像设备的外观视图；

图7是示出了根据本发明的第二实施例的、用于固定非全景相机的第一机械机构和用于固定全景相机的第二机械机构的示例具体配置的机械分解图；

图8示出了根据本发明的第二实施例的、当非全景相机分别绕两轴旋转时所拍摄到的观测球的情况；以及

图9是图示根据本发明实施例的多重成像方法的过程的流程图。

具体实施方式

下面将参照附图对本发明的各个优选的实施方式进行描述。提供以下参照附图的描述，以帮助对由权利要求及其等价物所限定的本发明的示例实施方式的理解。其包括帮助理解的各种具体细节，但它们只能被看作是示例性的。因此，本领域技术人员将认识到，可对这里描述的实施方式进行各种改变和修改，而不脱离本发明的范围和精神。而且，为了使说明书更加清楚简洁，将省略对本领域熟知功能和构造的详细描述。

首先，将参照图1描述根据本发明实施例的多重成像设备。如图1所示，多重成像设备100包括：非全景相机101、第一机械机构102、全景相机103和第二机械机构104。

非全景相机101用于拍摄其视野范围内的图像。

第一机械机构102用于支撑所述非全景相机101，并且使得所述非全景相机101能够分别绕两个不同的轴转动。例如，通过第一机械机构102，非全景相机101能够分别绕水平轴和垂直轴转动。

全景相机103用于拍摄包含整个观测球的全景图像。例如，全景相机103可以通过使用两个鱼眼相机来实现。其中，每个鱼眼相机能够覆盖180度的视角。或者，全景相机103也可以使用两个折反射相机来实现。其中，每个折反射相机由普通相机和一个反射镜组成，能够覆盖180度的视角。

第二机械机构104用于支撑所述全景相机。

其中，经由所述第一机械机构102的转动，所述非全景相机101能够拍摄所述观测球上的每一个位置处的图像，而不仅仅是某个感兴趣区域的图像。

全景相机能够拍摄周围世界的广角图像，如360度范围的图像。也就是说，全景相机能够覆盖很大的区域。但是，全景相机难于拍摄细节。因此，在本发明中，在全景相机的基础上，增加能够借助于机械机构绕两轴转动的非全景相机，从而可以在整个观测球上的每一个位置处实现多重成像所能达到的效果，极大地提高用户体验。

例如，非全景相机101可以是手机摄像头、变焦数码单反相机等。在这种实施方式下，多重成像设备不仅可以拍摄全景图像，而且可以拍摄某个目标的细节。

或者，非全景相机101也可以是红外相机。在这种实施方式下，多重成像设备不仅可以拍摄全景图像，而且在低光照、某些室外场景以及天气状况恶劣等不利拍摄条件下，也可以拍摄到清晰的某个目标的细节。

或者，非全景相机101也可以是光场相机。在这种实施方式下，多重成像设备不仅可以拍摄全景图像，而且还可以实现多视角、多深度以及三维结构的观察。

以上列举了全景相机可以分别与数码相机、红外相机和光场相机的组合使用。当然，本发明并不仅限于此。任何其他功能的非全景相机也可以类似地与全景相机组合以增强全景相机的可视能力。并且，全景相机也不限于仅与一种非全景相机组合使用。例如，全景相机可以与搭载了红外相机的手机摄像头组合使用。

接下来，将参照图2至图4描述根据本发明的第一实施例的多重成像设备的具体机械机构。

首先，图2是示出了根据本发明的第一实施例的多重成像设备的外观视图。从图2中可以看出，非全景相机101和全景相机103不需要物理连接在一起，而是分别通过第一机械机构102和第二机械机构104固定在三脚架的不同位置。也就是说，非全景相机101和全景相机103是相对独立的。

总的来说，第一机械机构102包括：第一转动轴、第一电机、第一固定装置、第一驱动单元、第二转动轴、第二电机和第二驱动单元。第一固定装置用于放置并固定所述非全景相机，并且分别与所述第一转动轴和所述第二转动轴连接，其中当所述第一转动轴或所述第二转动轴转动时，所述第一固定装置也随之转动。

接下来，参照图3的机械分解图来描述用于固定非全景相机101的第一机械机构102的示例具体配置。

在图3中，将第一固定装置示出为固定装置301。非全景相机可以从固定装置301的底部插入。另外，在非全景相机为手机摄像头的情况下，优选地，在固定装置301的一面开一个小窗口从而不会挡住手机后置摄像头的视野。

另外，在图3中，将第一电机示出为包括电机302和电机固定件303。电机302安装在电机固定件303中。另外，电机302与第一转动轴304连接。电机302、电机固定件303和第一转动轴304作为一个整体由第一驱动单元(例如，蓝牙低能耗ble)(图中未示出)控制绕着y轴(pitch)旋转。

将第二电机示出为包括电机305和电机固定件306。电机固定件303的侧面与电机305相连。电机305安装在电机固定件306中。另外，电机305与第二转动轴307连接。电机305、电机固定件306和第二转动轴307作为一个整体由第二驱动单元(蓝牙低能耗ble)(图中未示出)控制绕着z轴(yaw)旋转。

另外，整个第一机械机构102由三脚架固定，三脚架与电机固定件306相连。

当然，图3所示的具体结构只是一种示例。本领域的技术人员可以理解，只要两个电机可以绕着z轴(yaw)和y轴(pitch)旋转，以上结构也可以有其他形式。

图4示出了用于固定全景相机103的第二机械机构104的机械分解图。

如图4所示，全景相机支撑件401与402通过螺丝(虚线所示)相连，弧形部位相对卡住三脚架403，从而固定在上面。支撑件延长件404与405分别与全景相机支撑件401与402相连，并由部件406与407将连接部分加固。部件406从相机支撑件401和支撑件延长件404的一侧扣入，部件407从相机支撑件402和支撑件延长件405一侧通过4枚螺丝与部件406相连。全景相机固定件408和409通过4枚螺丝相连，全景相机可以从上端凹槽直接安装固定。

必要时可以设计额外的支撑件使全景相机不至于由于重力而使全景相机支撑件401与402，支撑件延长件404与405弯曲。

通过上文中所述的根据第一实施例的第一机械机构102，非全景相机101能够拍摄所述观测球上的每一个位置处的图像，而不仅仅是某个感兴趣区域的图像。这是通过第一机械机构102使得非全景相机101围绕两个轴：即yaw(z轴)和pitch(y轴)旋转而实现的。图5a和图5b分别示出了当非全景相机101分别绕两轴旋转时所拍摄到的观测球的情况。如图5a和5b所示，整个观测球可以被分成很多带状区域。每一个带状区域的大小是由非全景相机的水平和垂直视野角以及围绕pitch(y轴)旋转的角度决定。由于如图3所示，作为非全景相机的智能手机摄像头横向放置，因此经度方向的区域大小由相机的水平视野角和围绕pitch(y轴)旋转的角度决定，而纬度方向的区域大小是由相机的垂直视野角决定的。全景和非全景图像是在整个观测球的每一个位置拍摄的，而位置是由绕y和z轴的旋转角度决定的。

接下来，将参照图6和图7描述根据本发明的第二实施例的多重成像设备的具体机械机构。

首先，图6是示出了根据本发明的第二实施例的多重成像设备的外观视图。从图6中可以看出，与第一实施例不同，非全景相机101和全景相机103固定在三脚架的相同位置。

可以认为，在第二实施例中，第一机械机构102包括：第一转动轴、第一电机、第一固定装置、第一驱动单元、第二转动轴、第二电机和第二驱动单元。第一固定装置用于放置并固定所述非全景相机，并且分别与所述第一转动轴和所述第二转动轴连接，其中当所述第一转动轴或所述第二转动轴转动时，所述第一固定装置也随之转动。所述第二机械机构104包括：第二固定装置和连接装置。其中，第二固定装置用于放置并固定所述全景相机。并且连接装置用于连接所述第一固定装置和所述第二固定装置，使得当所述第一固定装置转动时，所述第二固定装置保持不动。或者，可替代地，当所述第一固定装置转动时，所述第二固定装置也可以随之转动。

接下来，参照图7的机械分解图来描述用于固定非全景相机101的第一机械机构102和用于固定全景相机103的第二机械机构104的示例具体配置。

在图7中，将第二机械机构示出为全景相机固定件701。三脚架与固定件701相连，全景相机从固定件701的上方插入。在某些情况下，全景相机可以反向(镜头朝下)插入固定件701以减小全景相机和非全景相机间的基线距离，从而减小拍摄的全景和非全景相机间的视差。

另外，以下将描述第一机械机构。将第一电机示出为包括电机702和电机固定件703。电机702安装在电机固定件703中，电机固定件703与全景相机固定件701的底部经由连接装置相连。例如，所述连接装置可以为螺丝。另外，电机702与第一转动轴704连接。电机702、电机固定件703和第一转动轴704作为一个整体由第一驱动单元(例如，蓝牙低能耗ble)(图中未示出)控制绕着z轴(yaw)旋转。电机702的第一转动轴与全景相机固定件1的底面垂直。

连接件705与电机702的第一转动轴704相连，并插入到连接件706里面。连接件705的下部有两处螺纹，与连接件707相连。在图7中，将第一固定装置示出为固定件708。两个连接接头709用来与第一固定装置相连。固定件708可以由下部向上插入一台智能手机。在固定件708的一面开一个小窗口从而不会挡住智能手机后摄像头的视野。

将第二电机示出为包括电机710和电机固定件711。连接接头709的一头与电机710的第二转动轴712相连，电机710安装在电机固定件711里面。电机710、电机固定件711和第二转动轴712作为一个整体是由电驱动装置(蓝牙低能耗ble)控制绕着y轴(pitch)旋转。

当然，图7所示的具体结构只是一种示例。本领域的技术人员可以理解，只要两个电机可以绕着z轴(yaw)和y轴(pitch)旋转，以上结构也可以有其他形式。

通过上文中所述的第一机械机构102，非全景相机101能够拍摄所述观测球上的每一个位置处的图像，而不仅仅是某个感兴趣区域的图像。这是通过第一机械机构102使得非全景相机101围绕两个轴：即yaw(z轴)和pitch(y轴)旋转而实现的。与第一实施例不同，如图6所示，作为非全景相机的智能手机摄像头纵向放置。因此，整个观测球可以被分成很多带状区域。每一个带状区域的大小是由非全景相机的水平和垂直视野角以及围绕pitch(y轴)旋转的角度决定。经度方向的区域大小由相机的垂直视野角和围绕pitch(y轴)旋转的角度决定，而纬度方向的区域大小是由相机的水平视野角决定的。全景和非全景图像是在整个观测球的每一个位置拍摄的，而位置是由绕y和z轴的旋转角度决定的。

图8示出了根据第二实施例的、在整个观测球上拍照的方法。如图所示，整个观测球可以被分为许多带状区域。深色和浅色区域代表一个带状区域，分别由前置和后置摄像头拍摄。在深色和浅色区域各有一个小窗口，代表观测球上某一个位置的视场角的一部分。观测球上的双向箭头代表沿经度和纬度方向的视场角。纬度方向是由智能手机摄像头的水平视场角决定的，而经度方向是由其垂直视场角和绕pitch(y轴)旋转的角度决定的。如要扫描另一个带状区域，只要将非全景相机绕着yaw(z轴)旋转且重复上述步骤即可。因此，通过绕pitch和yaw旋转非全景相机就可以实现在整个观测球上拍照了。

为了能够有效地利用非全景相机所拍摄的非全景图像，需要在全景相机拍摄的全景图像与非全景相机拍摄的非全景图像之间进行匹配融合。也就是说，需要将非全景图像对应至全景图像的相应区域，以便当用户希望查看某一区域的全景图像时，可以向用户显示该部分全景图像所对应的非全景图像的细节内容。

具体来说，多重成像设备可以进一步包括：显示装置，用于向用户显示所述全景图像；输入接收装置，用于接收用户在所述全景图像上指定感兴趣区域的输入；以及控制单元，用于控制所述显示装置将所述感兴趣区域中的全景图像替换显示为与之相匹配的非全景图像。

全景图像与非全景图像之间的匹配融合可以在多重成像设备中完成。在这种情况下，多重成像设备可以进一步包括：处理装置，用于接收由所述非全景相机拍摄的非全景图像和由所述全景相机拍摄的全景图像，并执行所述非全景图像和所述全景图像的匹配和融合。

或者，可替代地，全景图像与非全景图像之间的匹配融合也可以在外部设备(如，服务器)中完成。在这种情况下，多重成像设备可以进一步包括：通信装置，用于将由所述非全景相机拍摄的非全景图像和由所述全景相机拍摄的全景图像发送到外部设备，并接收来自所述外部设备的、已完成匹配和融合的所述非全景图像和所述全景图像。

作为一种全景和非全景图像匹配的方法，可以提取全景和非全景图像中的相互对应角点来实现图像匹配。首先，准备一个有可被检测到的点或角点的图样。对于rgb图像之间的匹配，图样可以是有角点的棋盘格。对于rgb和远红外(热成像)图像，图样可以是一个装有可以发热的光源，如led或者电灯泡的板子，从而远红外相机可以检测出发热点。其次，用全景和非全景相机拍摄此图样。然后，提取全景图像感兴趣区域和非全景图像中对应的角点来计算仿射矩阵。最后，利用此仿射矩阵把非全景图像映射到全景图像的感兴趣区域上。至此，匹配完成。

当然，上述方法仅为示例。任何其他的能够完成全景和非全景图像之间的匹配融合的方法也可以类似地应用于本发明，且应包括在本发明的范围内。例如，也可以通过基于特征点检测的方法来执行匹配融合。匹配结果由sift(scaleinvariantfeaturetransformation)算法完成。或者，也可以通过其它算法比如surf(speededuprobustfeatures)，fast(featuresfromacceleratedsegmenttest),orb(orientedfastandrotatedbrief)，或基于深度学习的算法等来完成匹配。此外，通过高通滤波法、主成分分析法、离散小波变换法或基于人功能智能的方法来实现全景和非全景图像之间的融合。

接下来，将参照图9描述根据本发明实施例的多重成像方法。该多重成像方法应用于一多重成像设备，所述多重成像设备包括全景相机和非全景相机。如图9所示，所述多重成像方法包括以下步骤。

首先，在步骤s901，通过所述全景相机，拍摄包含整个观测球的全景图像。

然后，在步骤s902，通过使得所述非全景相机分别绕两个不同的轴转动，拍摄所述观测球上的每一个位置处的非全景图像。

全景相机能够拍摄周围世界的广角图像，如360度范围的图像。也就是说，全景相机能够覆盖很大的区域。但是，全景相机难于拍摄细节。因此，在本发明中，在全景相机的基础上，增加能够借助于机械机构绕两轴转动的非全景相机，从而可以在整个观测球上的每一个位置处实现多重成像所能达到的效果，极大地提高用户体验。

为了能够有效地利用非全景相机所拍摄的非全景图像，需要在全景相机拍摄的全景图像与非全景相机拍摄的非全景图像之间进行匹配融合。也就是说，需要将非全景图像对应至全景图像的相应区域，以便当用户希望查看某一区域的全景图像时，可以向用户显示该部分全景图像所对应的非全景图像的细节内容。

具体来说，所述多重成像方法可以进一步包括：向用户显示所述全景图像；接收用户在所述全景图像上指定感兴趣区域的输入；以及将所述感兴趣区域中的全景图像替换显示为与之相匹配的非全景图像。

全景图像与非全景图像之间的匹配融合可以在多重成像设备中完成。在这种情况下，多重成像方法可以进一步包括：接收由所述非全景相机拍摄的非全景图像和由所述全景相机拍摄的全景图像，并执行所述非全景图像和所述全景图像的匹配和融合。

或者，可替代地，全景图像与非全景图像之间的匹配融合也可以在外部设备(如，服务器)中完成。在这种情况下，多重成像方法可以进一步包括：将由所述非全景相机拍摄的非全景图像和由所述全景相机拍摄的全景图像发送到外部设备，并接收来自所述外部设备的、已完成匹配和融合的所述非全景图像和所述全景图像。

作为一种全景和非全景图像匹配的方法，可以提取全景和非全景图像中的相互对应角点来实现图像匹配。首先，准备一个有可被检测到的点或角点的图样。对于rgb图像之间的匹配，图样可以是有角点的棋盘格。对于rgb和远红外(热成像)图像，图样可以是一个装有可以发热的光源，如led或者电灯泡的板子，从而远红外相机可以检测出发热点。其次，用全景和非全景相机拍摄此图样。然后，提取全景图像感兴趣区域和非全景图像中对应的角点来计算仿射矩阵。最后，利用此仿射矩阵把非全景图像映射到全景图像的感兴趣区域上。至此，匹配完成。

当然，上述方法仅为示例。任何其他的能够完成全景和非全景图像之间的匹配融合的方法也可以类似地应用于本发明，且应包括在本发明的范围内。例如，也可以通过基于特征点检测的方法来执行匹配融合。匹配结果由sift(scaleinvariantfeaturetransformation)算法完成。或者，也可以通过其它算法比如surf(speededuprobustfeatures)，fast(featuresfromacceleratedsegmenttest),orb(orientedfastandrotatedbrief)，或基于深度学习的算法等来完成匹配。此外，通过高通滤波法、主成分分析法、离散小波变换法或基于人功能智能的方法来实现全景和非全景图像之间的融合。

迄今为止，已经参照附图描述了根据本发明实施例的多重成像设备和多重成像方法。在根据本发明实施例的多重成像设备和多重成像方法中，在全景相机的基础上，增加能够借助于机械机构绕两轴转动的非全景相机，从而可以在整个观测球上的每一个位置处实现多重成像所能达到的效果，极大地提高用户体验。另外，由于可以采用各种不同用途的非全景相机，能够适应不同拍摄环境，进而全面地增强全景相机的可视能力。

需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

最后，还需要说明的是，上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过软件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。