分离的计算机视觉位置及方向与惯性传感器位置及方向的显示的制作方法
【专利说明】分离的计算机视觉位置及方向与惯性传感器位置及方向的显示
技术领域
[0001]本文中所描述的主题的实施例大体而言是关于将计算机视觉位置及方向及惯性传感器位置及方向分离地用在可视化应用程序中，且更特定言的，是关于显示针对计算机视觉位置及方向及惯性传感器位置及方向的分别的图形以提示用户运动器件的移动。
【背景技术】
[0002]智能型手机、平板型计算机、摄影机等等的愈来愈多，运动器件除了摄影机以外也包括各种类型的惯性传感器。如加速计及回转仪的惯性传感器，因其在高采样率下量测加速度及角速度的能力而被用在追踪运动器件的移动。如扩增实境、室内导航等等的许多应用程序使用惯性传感器与计算机视觉的组合以用在判定运动器件的位置及方向(位置及定向)及追踪运动器件。
[0003]为了将惯性传感器用在准确位置判定，特别在将惯性传感器与计算机视觉技术组合时，需要对惯性传感器的准确校准。惯性传感器的校准包括将惯性传感器相对在摄影机对准，以及校准惯性传感器的尺度及非正交性参数。然而，惯性传感器的校准当前为耗时的工厂制造，每一个别运动器件皆需要惯性传感器的校准。在惯性传感器的工厂校准期间，执行运动器件的是列精确移动且使该精确移动与惯性传感器的响应相关。虽然用于使用者运动校准传感器的一些途径，但此等途径的效能严重地取决在供应与工厂运动质量相似的用户运动。指示使用者提供复杂且又高度准确的运动是困难的。然而，在无此等充足运动的情况下，工厂校准(其带来成本增加)为用以可靠地获得准确校准参数的唯一方式。
【发明内容】
[0004]运动器件使用由摄影机采集的影像判定视觉位置及方向，且使用来自诸如加速计及回转仪的惯性传感器的数据判定感测器式位置及方向。该视觉位置及方向及该传感器位置及方向是分离地用在可视化应用程序中，该可视化应用程序显示针对该不同位置及方向的分别的图形。举例而言，该可视化应用程序可用以校准该惯性传感器，其中该可视化应用程序基于该视觉位置及方向显示图形且基于该传感器位置及方向显示图形，且提示用户随该所显示图形在特定方向上移动该运动器件以加速对该惯性传感器的校准的收敛。或者，该可视化应用程序可为使用该视觉位置及方向及该传感器位置及方向显示分别的图形的基于运动的游戏或摄影应用程序。
[0005]在实施中，一种方法包括:使用经采集影像判定运动器件的视觉位置及方向；使用惯性传感器判定该运动器件的传感器位置及方向；及将该视觉位置及方向及该传感器位置及方向分离地用在可视化应用程序中。
[0006]在实施中，一种运动器件包括:摄影机，其采集环境的影像;惯性传感器，其响应在该运动器件的移动而产生数据；显示器;及处理器，其连接到该显示器、连接到该摄影机以接收该环境的经采集影像且连接到该惯性传感器以接收响应在该运动器件的该移动的该数据，该处理器经组态以使用该经采集影像判定该运动器件的视觉位置及方向；使用来自该惯性传感器的该数据判定该运动器件的传感器位置及方向；且使该显示器基于该视觉位置及方向展示第一图形且基于该传感器位置及方向展示第二图形。
[0007]在实施中，一种运动器件包括:用在使用经采集影像判定该运动器件的视觉位置及方向的构件；用在使用惯性传感器判定该运动器件的传感器位置及方向的构件;及用在将该视觉位置及方向及该传感器位置及方向分离地用在可视化应用程序中的构件。
[0008]在实施中，一种储存媒体(包括储存在其上的程序代码)包括:用以使用经采集影像判定运动器件的视觉位置及方向的程序代码;用以使用惯性传感器判定该运动器件的传感器位置及方向的程序码;及用以将该视觉位置及方向及该传感器位置及方向分离地用在可视化应用程序中的程序代码。
【附图说明】
[0009]图1说明能够自经采集影像判定视觉位置及方向及自惯性感测器判定传感器位置及方向且将该视觉位置及方向及该传感器位置及方向分离地用在可视化应用程序中的运动器件。
[0010]图2说明可由运动器件用在可视化应用程序中的图形的一个可能实施。
[0011]图3说明可由运动器件用在可视化应用程序中的图形的另可能实施。
[0012]图4说明可由运动器件用在可视化应用程序中的图形的另可能实施。
[0013]图5为说明将视觉图形及传感器图形分离地用在可视化应用程序中的处理程序的流程图。
[0014]图6为说明将视觉图形、传感器图形及混合图形用在可视化应用程序中的处理程序的流程图。
[0015]图7为说明用在校准惯性传感器的可视化应用程序的特定实施例的流程图。
[0016]图8为能够判定视觉位置及方向及传感器位置及方向且将视觉图形及传感器图形分离地用在可视化应用程序中的运动器件的方块图。
【具体实施方式】
[0017]图1说明能够自经采集影像判定视觉位置及方向及自惯性感测器判定传感器位置及方向，且将该视觉位置及方向及该传感器位置及方向分离地用在可视化应用程序中的运动器件100。可视化应用程序针对视觉位置及方向及传感器位置及方向显示分别的图形，该图形有时在本文中分别被称作视觉图形及传感器图形。由实例，可视化应用程序可用以校准惯性传感器、游戏、摄影等等。举例而言，可基于用户响应在所显示图形对运动器件的操控而校准惯性传感器。运动器件100被说明为包括显示器102，该显示器102可为(但未必为)触控屏幕显示器。运动器件100包括用以使诸如目标101的环境成像的前向摄影机108，该目标101被说明为展示在显示器102上。运动器件100也包括惯性传感器110，诸如，加速计、回转仪或其类似者。运动器件100也可包括与本发明不相关的其他特征，诸如扬声器104及麦克风106(例如，在运动器件100为蜂巢式电话的情况下)。
[0018]如本文中所使用，运动器件是指能够根据经采集影像或视讯串流进行视觉位置侦测及追踪且包括惯性传感器的任何携带型电子器件，且可包括(例如)蜂巢式或其他无线通信器件、个人通信系统(PCS)器件、个人导航器件(PND)、个人信息管理器(ΡΠΟ、个人数字助理(PDA)，或包括摄影机、无线通信器件、计算机、膝上型计算机、平板型计算机，等等的其他合适运动器件。运动器件可(但未必需要)能够接收无线通信及/或导航信号(诸如，导航定位信号)。术语运动器件也意欲包括(诸如)由短程无线、红外线、有线连接或其他连接而与个人导航器件(PND)通信的器件而不管在器件处或在PND处是否会发生卫星信号接收、辅助数据接收及/或位置相关的处理。
[0019]运动器件100包括视觉位置及方向模块112，视觉位置及方向模块112使用由摄影机108采集的影像(例如，由摄影机108产生的是列视讯图框)以产生视觉位置及方向。视觉位置及方向为使用计算机视觉技术而判定的运动器件的位置及定向。应理解，摄影机108可采集视讯影像及/或图框，且术语影像及图框在本文中可互换地使用。运动器件100进一步包括惯性感测系统(INS)114，该惯性感测系统114使用惯性传感器110的输出以产生传感器位置及方向。应理解，视觉位置及方向及传感器位置及方向中的者或两者可基于另者而予以初始化，但在其他情况下(如本文中所使用)，视觉位置及方向独立在传感器位置及方向，且传感器位置及方向独立在视觉位置及方向。因此，在当前时刻，当呈现当前扩增集合时视觉位置及方向及传感器位置及方向是独立的;但其可能在过去时刻融合在起。
[0020]运动器件100使用可视化应用程序，该可视化应用程序基于自经采集影像产生的视觉位置及方向及自惯性传感器数据产生的传感器位置及方向而在显示器102上显示分别的图形。举例而言，如图1中所说明，运动器件100可基于由视觉位置及方向模块112产生的视觉位置及方向而呈现第一图形120，且基于由INS114产生的传感器位置及方向而呈现第二图形122。视需要，视觉图形120及传感器图形122可为同所呈现对象的不同色彩信道，或其可为不同物件。图1将图形120及122说明为球状，但应理解，可使用任何类型的图形。此夕卜，视需要，可将多个图形用在视觉位置及方向，且可将多个图形用在传感器