带vr内容采集组件的智能手机或便携式电子通讯装置的制造方法
【专利摘要】本实用新型提供了一种具有虚拟现实内容采集组件的智能手机，其中该虚拟现实内容采集组件包括至少两个摄像头，该至少两个摄像头至少在智能手机长度、高度和宽度这三个维度中的其中之一上共同覆盖至少360度的总视角范围。还提供了一种带虚拟现实内容采集组件的便携式电子通讯装置，该虚拟现实内容采集组件包括至少两个摄像头，这至少两个摄像头至少在该便携式电子通讯装置的长度、高度、宽度这三个维度中的其中之一上共同覆盖至少360度的总视角范围。
【专利说明】
带VR内容采集组件的智能手机或便携式电子通讯装置
技术领域
[0001]本实用新型大体涉及便携式虚拟现实(VR)内容生成装置，更具体而言，涉及具有VR内容采集组件的智能手机。
【背景技术】
[0002]虚拟现实(VR)是一种沉浸式多媒体或者计算机仿真现实技术，其重现现实世界物理场景或者虚拟世界的环境，允许用户与该重现的现实世界或者虚拟世界进行交互。VR人工地创建感知体验，包括光、声、触觉甚至嗅觉体验。
[0003]一种典型的VR被称为沉浸式VR，其中，VR内容在被采集和处理之后，在特定的装置上回放，以重建该装置的佩戴者可沉浸在其中的场景。VR内容是多媒体内容(图像或者视频内容)，其覆盖采集装置周围的所有面的360度场景的整个视野(FOV)，并且可包含声音内容。VR内容可在不同的VR头戴设备上回放，现在市面上已经能获得多种VR头戴设备，例如OculusRift,GoogleCardboard,SonyHMZ-Tl，SiIicoMicroDisplaySTl080等等，这些设备都能用来实现使佩戴者感觉身处场景之中的沉浸效果。VR内容还可通过使用特定的用于回放的软件在非VR装置上回放。
[0004]目前已知许多种可用于采集VR内容的装置。然而，这些装置都是专用的VR采集装置，仅仅具有VR内容采集这一项单一功能，因此必须单独地携带，有些VR采集装置还需要单独的支架来进行操作;这些特点对于日常使用而言都是非常不便的;此外，现有的VR采集装置价格都较昂贵，某些装置仅支架的售价都达到数百美元甚至更高。
[0005]因此，希望获得一种能够以容易且经济成本低的方式采集/记录高质量的VR内容的装置。
【实用新型内容】
[0006]本实用新型的目的是要通过提供一种具有VR内容采集组件的智能手机或便携式电子通讯装置来解决上述问题。
[0007]具体而言，提供了一种具有VR内容采集组件的智能手机，其中所述虚拟现实内容采集组件包括:至少两个摄像头，所述至少两个摄像头至少在所述智能手机长度、高度和宽度这三个维度中的其中之一上共同覆盖至少360度的总视角范围。
[0008]在一种优选的变型中，在实现至少360度的总视角范围覆盖的维度上，每两个相邻摄像头的视角彼此交迭。
[0009]在一种优选的变型中，所述至少两个摄像头为分别位于所述智能手机的六个侧面其中之一上的六个摄像头。
[0010]在一种优选的变型中，所述智能手机包括三对侧面，每对侧面中的两个侧面彼此平行且相反，分别位于每对侧面中的各个上的两个摄像头在相应侧面上位于相同位置处。
[0011]在一种优选的变型中，在所述智能手机的正面、背面、左侧和右侧上的摄像头位于所述智能手机的相应各侧的上部。
[0012]在一种优选的变型中，所述至少两个摄像头为2，3，4或5个摄像头。
[0013]在一种优选的变型中，所述智能手机的侧面中的至少一个上设置有不止一个摄像头，或者不设置任何摄像头。
[0014]在一种优选的变型中，所述虚拟现实内容采集组件还包括与所述摄像头数量相同且与摄像头彼此一一对应地配对的麦克风，用来采集与配对的相应摄像头的视角范围对应的声音数据。
[0015]在一种优选的变型中，所述虚拟现实内容采集组件还包括与所述摄像头数量相同且与摄像头彼此一一对应地配对的麦克风，用来采集与配对的相应摄像头的视角范围对应的声音数据。
[0016]在一种优选的变型中，所述虚拟现实内容采集组件还包括陀螺仪和/或磁罗盘，用于补偿虚拟现实内容采集期间的智能手机方向变化。
[0017]在一种优选的变型中，所述虚拟现实内容采集组件还包括数据处理装置，所述数据处理装置与所述智能手机相集成，或者独立于所述智能手机。
[0018]本实用新型还提供了一种带虚拟现实内容采集组件的便携式电子通讯装置，所述虚拟现实内容采集组件包括:至少两个摄像头，所述至少两个摄像头至少在所述便携式电子通讯装置的长度、高度、宽度这三个维度中的其中之一上共同覆盖至少360度的总视角范围。
[0019]智能手机是一种常用的电子设备，且易于携带和操作;通过利用安装在智能手机上的VR内容采集组件，不再需要昂贵且难以携带的单独的VR采集装置或者专用支架，从而可以以容易且经济成本低的方式采集VR内容。此外，利用至少在所述智能手机长度、高度和宽度这三个维度中的其中之一上能够共同覆盖至少360度的总视角范围的至少两个摄像头，获得了高质量的VR内容。带有同样的VR内容采集组件的其它便携式电子通讯装置可实现同样有利的技术效果。
【附图说明】
[0020]在附图的辅助下，下文更详细地描述了该实用新型，其本质及其优点。参照附图:
[0021]图1示意性地显示了具有VR内容采集组件的智能手机的六个侧面视图，其中各个侧面设有一个摄像头以及与该摄像头配对的一个对应的麦克风；
[0022]图2A-2C分别显示了围绕智能手机在其高度、宽度和长度维度上的摄像头/麦克风覆盖区(CA)以及它们的交迭。
[0023]图3显示了根据本实用新型的一个实施例的VR内容生成技术方案的功能框图。
[0024]图4A-4C显示了围绕智能手机的摄像头/麦克风覆盖区以及它们的交迭，其中仅有4个摄像头。
【具体实施方式】
[0025]以下【具体实施方式】参照"智能手机"进行描述。当然，以下描述的所有构造和方案也可适用于其它便携式电子通讯装置，例如平板电脑，笔记本电脑或者其它类型的便携电话。
[0026]图1示出了具有VR内容采集组件的智能手机的一个实施例，其中该VR内容采集组件包括在智能手机的六个侧面中的每个侧面上设置的一个摄像头。摄像头位于其上的侧面(表面)应当满足以下要求(对于智能手机而言，这些要求事实上是普遍满足的):
[0027]1、正面和背面彼此平行，并且都垂直于左侧、右侧、顶侧和底侧；
[0028]2、左侧和右侧彼此平行，并且都垂直于正面、背面、顶侧和底侧；
[0029]3、顶侧和底侧彼此平行，并且都垂直于正面、背面、左侧和右侧。
[0030]图1中还例示了不同的摄像头在智能手机的各个侧面上的位置。为了便于阐述，智能手机的正面、顶侧、左侧、右侧、背面和底侧上的摄像头分别编号为摄像头I，摄像头2，摄像头3，摄像头4，摄像头5和摄像头6，它们分别位于各侧面上的相应的区域21、22、23、24、25和26中，如图1所示。如从图1中可见，摄像头I在智能手机的正面上的高度位置大致对应于摄像头5在背面上的高度位置。摄像头3在左侧上的位置与摄像头4在右侧上的位置基本对应，而摄像头2在顶侧上的位置与摄像头6在底侧上的位置基本彼此对应。这种布置形成了摄像头在三对侧面上的分别大致对称的分布。当然，摄像头I在正面上的位置也可与摄像头5在背面上的位置完全对应(例如两者分别位于区域21和25的几何中心处)。通过不同侧面上的摄像头的这种大致对称的分布，各个摄像头所产生的视觉数据(视频/图像)彼此更加互相适应，这有利于各个摄像头所产生的视觉数据(视频/图像)随后的拼接。为了获得完整的虚拟现实视觉数据，关键是这些摄像头至少在所述智能手机长度、高度和宽度这三个维度中的其中之一上共同覆盖至少360度的总视角(AOV)范围。
[0031]在一个实施例中，摄像头1、2、3、4、5和6并不会从它们设置于其上的智能手机侧面中突伸出来。这样可最小化刮擦以及损坏摄像头的风险，且各侧面都平整的智能手机使用起来更方便，造型也更加美观。摄像头1、2、3、4、5和6的镜头还可用平坦的保护性玻璃透镜覆盖起来，以确保各摄像头的镜头的安全，并且最小化镜头眩光以及其它不利的光学效应，这些不利效果在例如180度视野的摄像头中较为常见。
[0032]VR内容采集组件还可包括麦克风。在一个实施例中，麦克风和摄像头可成对地设置在智能手机的6个侧面中的各个上，如图1中所例示。在这样的布置中，各个摄像头1、2、3、
4、5和6都各自与一个对应的麦克风11、12、13、14、15和16配对，各个麦克风11、12、13、14、15和16可设置在相应的配对的摄像头附近。在麦克风与摄像头成对地设置在智能手机的各侧上的情况下，各个麦克风主要负责捕获对应于与其匹配的摄像头的视角范围的声音数据。因此，各麦克风的布置对应于与其配对的摄像头的布置，如图1所示。各对摄像头和麦克风根据其覆盖的范围记录场景的一部分(场景段)的图形和声音数据。在将各场景段的数据拼接在一起之后，则可记录完整的场景(所有空间面中总体360度的场景)，从而获得完整的VR内容。
[0033]由各对摄像头和麦克风记录的各个场景段应当包括由其它至少一对摄像头和麦克风记录的场景段的一部分(或者说相邻的摄像头的视角覆盖范围应当彼此交迭)，以便实现完整的场景的“无缝”记录。
[0034]图2A-2C显不了在用于虚拟现实内谷生成的智能手机周围的摄像头/麦克风覆盖区(CA)以及它们的交迭。利用如上所述的设置在智能手机的6个侧面上的摄像头，对智能手机的长度、宽度和高度这三个维度中的每一个而言，都有4个摄像头可用于采集视频/静态图像。各个摄像头的水平和竖直视角(AOV)都超过90度，以确保能够在各个维度上实现至少360度的总视角，且在各个维度上的相邻摄像头的视角之间存在恰当的交迭。各个摄像头的覆盖区的中心轴线优选垂直于该摄像头设于其上的表面。
[0035]如图2A所示，当从智能手机的正面或者背面观察时，围绕穿过该正面或者背面的中心点且与该正面或者背面垂直的中心轴线(未图示)的覆盖区由顶部摄像头2、左侧摄像头3、右侧摄像头4和底部摄像头6的覆盖区构成，其中，相邻的摄像头(即摄像头2和摄像头3，摄像头3和摄像头6，摄像头6和摄像头4，以及摄像头4和摄像头2)的覆盖区彼此交迭。为了便于阐述，将该总体覆盖区称为高度维度覆盖区(围绕沿着该智能手机的高度(厚度)维度的轴线)。
[0036]类似地，如图2B中所示，当从智能手机的右侧或者左侧观察时，围绕穿过该右侧或者左侧的中心点且与该右侧或者左侧垂直的中心轴线(未图示)的覆盖区由顶部摄像头2、正面摄像头1、背部摄像头5以及底部摄像头6的覆盖区构成，其中相邻的摄像头(即摄像头2与摄像头I，摄像头I与摄像头6，摄像头6与摄像头5以及摄像头5与摄像头2)的覆盖区彼此交迭。为了便于阐述，将该总体覆盖区称为宽度维度覆盖区(围绕沿着该智能手机的宽度维度的轴线)。
[0037]如图2C中所示，当从智能手机的顶部或底部观察时，围绕穿过该顶部或底部的中心点且与该顶部或底部垂直的中心轴线(未图示)的覆盖区由正面摄像头1、左侧摄像头3、背部摄像头5以及右侧摄像头4的覆盖区构成，其中相邻的摄像头(即摄像头I与摄像头3，摄像头3与摄像头5，摄像头5与摄像头4以及摄像头4与摄像头I)的覆盖区彼此交迭。为了便于阐述，将该总体覆盖区称为长度维度覆盖区(围绕沿着该智能手机的长度维度的轴线)。
[0038]为了便于抓握和使用，智能手机的正面、背面、左侧和右侧上的摄像头/麦克风分别位于该智能手机的相应侧面上的上部部分，而该智能手机的底面上的摄像头/麦克风则一顾名思义一位于底侧。具体而言，如图1中所示，摄像头1、2、3、4和5以及对应的麦克风
11、12、13、14和15分别位于智能手机的区域21、22、23、24和25中，而摄像头6和麦克风16位于底部区域26中。这种摄像头和麦克风布置允许覆盖所有维度上的360度场景来记录VR内容。除此之外，当手持该智能手机使用时，手不会出现在场景中，因为其不会覆盖在任何摄像头的覆盖区中，同样手也不会遮挡任何麦克风，因此几乎不会影响VR内容的采集。
[0039]当然，摄像头和/或麦克风的位置、数量和分布都可有所不同。
[0040]摄像头和麦克风的位置可在它们设置于其上的平面内有所变动。例如，当如上所述采用6个摄像头时，各个摄像头位于相应的智能手机侧面的几何中心处，这将容许实现视频/图像的最优的采集和拼接。在这种情况下，操作者可简单地使用杆在采集VR视频/图像期间握持智能手机，这样的杆可为常见的自拍杆。其它位置同样也是可行的，只要摄像头能够至少在该智能手机长度、高度和宽度这三个维度中的其中之一上共同覆盖360度的总视角范围即可。当然，摄像头或麦克风的不同的位置可能会影响最终获得的VR内容的沉浸效果O
[0041]另一方面，虽然图1和2A-2C中所示的实施例中采用了6个摄像头，但在一些方案中，至少2个摄像头可能就足够了。也即，可省略上述实施例中的摄像头中的一个或者多个(例如顶部摄像头和/或底部摄像头)。这可能会导致损失场景中的一部分(例如，可插入一些图片来代替该部分场景)，然而这仍然足以产生VR内容，只是沉浸感较弱。图4A-4C显示了省略了正面摄像头I和背面摄像头5的一个实施例，该实施例中的智能手机VR内容采集组件仅仅包括4个摄像头，即顶部摄像头2、底部摄像头6、左侧摄像头3和右侧摄像头4。在这种情况下，如图4A所示，所有顶部摄像头2，底部摄像头6，左侧摄像头3和右侧摄像头4共同围绕高度(厚度)方向轴线覆盖了360度的视角。在图4B中，顶部摄像头2和底部摄像头6共同围绕宽度方向轴线覆盖了360度的视角。在图4C中，左侧摄像头3和右侧摄像头4围绕长度方向轴线覆盖了 360度的视角。摄像头的数量也可不限于偶数个，奇数个摄像头一例如3个摄像头或5个摄像头也是可行的，只要它们能够至少在所述智能手机长度、高度和宽度这三个维度中的其中之一上共同覆盖至少360度的总视角范围。此外，即便仅仅有两个摄像头，例如智能手机的正面上的一个摄像头以及背面上的另一个摄像头，它们也可以产生VR内容，但是在这种情况下需要特殊的180度视角的镜头。摄像头的最小视角要求取决于所使用的摄像头的数量，且应当足以使得摄像头至少在一个维度上能够共同覆盖360度视角，优选还使得在该维度上的相邻摄像头的覆盖范围能够彼此交迭。
[0042]此外，对于智能手机的各个侧面而言，可在其上设置不止一个摄像头。这可有助于为VR内容增强立体效果。
[0043]麦克风数量也可为一个或者多个，并且可以不与摄像头配对。麦克风的具体数量并不会影响VR内容的生成，但是可能会影响最终VR内容的沉浸效果。
[0044]在一种变型中，摄像头也可突伸出来，这同样不会影响VR内容的记录或采集。
[0045]在另外的一个实施例中，除了摄像头和麦克风，VR内容采集组件还可包括数据处理单元(DPU)或数据处理装置40 APU40可对从摄像头传送的视频或者图像数据以及从麦克风传送的声音数据进行初始处理，并且将数据传送到智能手机的内存以便进行存储以及进一步处理。DPU40还可以各种方式来处理来自摄像头和麦克风的数据，例如，传送原始数据或者经过部分处理的数据来进行存储，仅仅存储所述数据以及将它们传送到另外的处理装置，拼接不同的视频/图像以及将拼接的产物发送到VR回放装置(例如VR头戴设备)，等等。
[0046]DPU40可以是智能手机的芯片的一个一体的部分。然而，在一些情况下，智能手机的芯片可能不够强大来处理来自不同的摄像头/麦克风的视频/图像或者声音数据;在这种情况下，DPU40也可为安装在智能手机上的单独的芯片。此外，DPU40可为纯软件解决方案。
[0047]在另外的一个实施例中，为了补偿记录VR内容期间的智能手机定向变化，VR内容采集组件还包括陀螺仪20和/或磁罗盘30，且在记录VR内容期间，来自陀螺仪20和/或磁罗盘30的数据也应当被记录。这允许将VR内容的定向设置为与真实场景中相同，以及补偿记录与回放期间的智能手机角度偏移。为了在记录VR内容的同时固定场景定向，陀螺仪20和/或磁罗盘30的数据应当同时被记录。这允许在进一步处理或者回放期间调节VR内容定向，且使得其定向类似于真实场景的定向，而不受场景中智能手机的定向的影响。
[0048]图3显示了VR内容生成技术方案的功能框图。如图所示，由若干摄像头采集的视频/图像数据，由若干麦克风采集的声音数据，以及关于陀螺仪20/磁罗盘30(如果存在的话)的数据可传送到DPU40。在所述DPU40中，可对各种数据进行处理，例如可拼接这些数据。备选地，数据一包括来自陀螺仪20/磁罗盘30的数据，可传送到CPU(中央处理单元)或者智能手机的其它功能硬件来进行进一步处理。
[0049]通过上述具有VR内容采集组件的智能手机，VR内容可以通过在所有方向上记录完整的场景而舒适地生成。使用者可以容易地通过在智能手机的合适部位手持该手机来进行VR内容的采集;例如在图1所示的实施例中，使用者可以通常的方式在左侧或者右侧抓握智能手机的下部。此外，利用陀螺仪20，所生成的VR内容通过定向数据而完成，从而允许在回放或者处理过程中将VR内容的定向调节为真实场景的定向。所生成的VR内容可在不同的VR设备上或者以合适的软件解决方案正确地观察和/或处理，且所生成的VR内容具有较高的质量水平。
[0050]本书面描述使用示例公开了本实用新型，包括其最佳模式，并且还使本领域任何技术人员能够实践本发明，包括制造和使用任何装置或系统以及执行任何相结合的方法。本发明的可得到专利保护的范围由权利要求限定，并且可包括本领域技术人员想到的其它示例。如果这样的其它示例包括与权利要求的文字语言无差别的结构元素，或如果它们包括与权利要求的文字语言无实质差别的等效的结构元素，则这样的其它示例意图在权利要求的范围内。
【主权项】
1.一种带虚拟现实内容采集组件的智能手机，所述虚拟现实内容采集组件包括: 至少两个摄像头，所述至少两个摄像头至少在所述智能手机长度、高度和宽度这三个维度中的其中之一上共同覆盖至少360度的总视角范围。2.根据权利要求1所述的智能手机，其特征在于，在实现至少360度的总视角范围覆盖的维度上，每两个相邻摄像头的视角彼此交迭。3.根据权利要求1或2所述的智能手机，其特征在于，所述至少两个摄像头为分别位于所述智能手机的六个侧面其中之一上的六个摄像头。4.根据权利要求3所述的智能手机，其特征在于，所述智能手机包括三对侧面，每对侧面中的两个侧面彼此平行且相反，分别位于每对侧面中的各个上的两个摄像头在相应侧面上位于相同位置处。5.根据权利要求4所述的智能手机，其特征在于，在所述智能手机的正面、背面、左侧和右侧上的摄像头位于所述智能手机的相应各侧的上部。6.根据权利要求1或2所述的智能手机，其特征在于，所述至少两个摄像头为2，3，4或5个摄像头。7.根据权利要求1或2所述的智能手机，其特征在于，所述智能手机的侧面中的至少一个上设置有不止一个摄像头，或者不设置任何摄像头。8.根据权利要求1或2所述的智能手机，其特征在于，所述虚拟现实内容采集组件还包括与所述摄像头数量相同且与摄像头彼此一一对应地配对的麦克风，用来采集与配对的相应摄像头的视角范围对应的声音数据。9.根据权利要求3所述的智能手机，其特征在于，所述虚拟现实内容采集组件还包括与所述摄像头数量相同且与摄像头彼此一一对应地配对的麦克风，用来采集与配对的相应摄像头的视角范围对应的声音数据。10.根据权利要求1或2所述的智能手机，其特征在于，所述虚拟现实内容采集组件还包括陀螺仪和/或磁罗盘，用于补偿虚拟现实内容采集期间的智能手机方向变化。11.根据权利要求1或2所述的智能手机，其特征在于，所述虚拟现实内容采集组件还包括数据处理装置，所述数据处理装置与所述智能手机相集成，或者独立于所述智能手机。12.—种带虚拟现实内容采集组件的便携式电子通讯装置，所述虚拟现实内容采集组件包括: 至少两个摄像头，所述至少两个摄像头至少在所述便携式电子通讯装置的长度、高度、宽度这三个维度中的其中之一上共同覆盖至少360度的总视角范围。
【文档编号】H04M1/02GK205430338SQ201620186549
【公开日】2016年8月3日
【申请日】2016年3月11日
【发明人】I.乌多多夫
【申请人】依法儿环球有限公司