轨道计算装置、轨道计算方法、计算机可读记录介质与流程

1.本发明涉及轨道计算装置、轨道计算方法、计算机可读记录介质。


背景技术：

2.在花样滑冰等伴随跳跃的运动比赛中，存在根据拍摄到的动态图像计算出运动物体的轨道来测量跳跃的高度、飞行距离的需求。
3.在场地中进行的运动比赛中，已知基于由设置在适合于跳跃的高度、飞行距离的测量的比赛场内的位置的照相机拍摄到的图像数据来计算出运动物体的三维空间的位置的技术。例如，有专利文献1记载的技术等。
4.另外，一般情况下，根据多个照相机取得同步而拍摄到的立体图像数据求出运动物体的连续的三维位置，由此计算出运动物体的轨道。例如，有专利文献2记载的技术等。
5.另外，在非专利文献1中公开了根据图像数据推定二维的人的姿势的技术。关于非专利文献1，在用于实施发明的方式中提及。
6.然而，在花样滑冰这样无法在冰场内设置照相机的运动比赛中，无法利用专利文献1所记载的技术等。另外，在专利文献2所记载的立体匹配中，需要多个照相机取得同步来进行拍摄，但如果能够根据由单眼照相机拍摄到的动态图像高精度地算出运动物体的轨道，则也能够简化用于测量跳跃的高度、飞行距离的拍摄器材。
7.专利文献1：日本特开2001-336917号公报
8.专利文献2：日本特开2005-235104号公报
9.非专利文献1：zhe cao je，et al.，
‘
realtime multi-person 2d pose estimation using part affinity fields’arxiv:1611.08050v2[cs.cv]14apr 2017


技术实现要素：

[0010]
因此，本发明的目的在于，提供一种在花样滑冰等伴随跳跃的运动比赛等中，根据由单眼照相机拍摄到的动态图像高精度地计算出运动物体的轨道的装置、方法、程序。
[0011]
本发明的一个方式是一种轨道计算装置，其根据单眼照相机拍摄到的多个图像帧的信息计算出作为跳跃的目标的运动物体的三维轨道，其中，所述轨道计算装置具备：检测部，其根据图像帧的信息，检测出作为目标的运动物体的特定点；存在直线计算部，其计算出连结图像帧中所拍摄到的特定点的像的三维位置与单眼照相机的镜头的光学中心的三维位置而成的存在直线；起跳点计算部，其根据连续的多个图像帧的信息计算出与特定点的三维位置相关的变化量，并根据计算出的变化量来判定作为目标的运动物体起跳的起跳点，计算出起跳点处的特定点的三维位置；落地点计算部，其根据连续的多个图像帧的信息计算出与特定点的三维位置相关的变化量，并根据计算出的变化量来判定作为目标的运动物体落地的落地点，计算出落地点处的特定点的三维位置；以及轨道计算部，其根据曲线与存在直线之间的位置关系，计算出特定点的三维轨道，其中，曲线是能够记述通过起跳点计算部计算出的起跳点处的所述特定点的三维位置和落地点计算部计算出的落地点处的所
述特定点的三维位置的抛物线运动的曲线，存在直线与作为目标的运动物体起跳后且落地前的1个或多个图像帧中所拍摄到的特定点的像有关。
[0012]
在此，作为目标的运动物体的特定点是指为了根据图像帧的信息针对作为目标的运动物体计算出轨道而确定的点。例如，在作为后述的本发明的实施方式而说明的花样滑冰比赛中，将滑冰者所穿的滑冰鞋的边缘前端部设为特定点。关于特定点，在本技术的说明书中相同。
[0013]
另外，在本说明书中，如上所述，将连结图像帧中所拍摄的特定点的像的三维位置和单眼照相机的镜头的光学中心的三维位置而成的直线称为存在直线。
[0014]
这里，连续的图像帧是指在2个图像帧之间不存在其他图像帧的状态，不一定需要图像帧编号连续。例如，即使2个图像帧是连续的，也存在由于原本存在于其间的图像帧被丢帧处理而图像帧编号不连续的情况等。另外，设为连续的多个图像帧沿着相同的时间流按照时刻的顺序连续有多个图像帧。因此，在本发明中，在图像帧的信息中，除了所拍摄的图像信息以外，还作为信息而包含拍摄图像帧的时刻。这在本技术的说明书中是相同的。
[0015]
作为本发明的一个方式的轨道计算装置，起跳点计算部根据按拍摄时刻的正序连续的多个图像帧的信息，计算出与特定点的三维位置有关的变化量，在计算出的变化量大于阈值的情况下，认为作为所述目标的运动物体已起跳而判定起跳点，计算出起跳点处的特定点的三维位置。
[0016]
作为本发明的一个方式的轨道计算装置，落地点计算部根据按拍摄时刻的逆序连续的多个图像帧的信息，计算出与特定点的三维位置相关的变化量，在计算出的变化量大于阈值的情况下，认为作为目标的运动物体已落地而判定落地点，计算出落地点处的特定点的三维位置。
[0017]
作为本发明的一个方式的轨道计算装置，落地点计算部根据拍摄到起跳点的时刻以后且按拍摄时刻的正序连续的多个图像帧的信息，计算出与特定点的三维位置相关的变化量，在计算出的变化量的正负反转的情况下，判定作为目标的运动物体已到达跳跃的顶点而取得拍摄到顶点的时刻，根据从拍摄到起跳点的时刻起经过了一段时间的时刻起按拍摄时刻的逆序连续的多个图像帧的信息计算出与特定点的三维位置相关的变化量，并在计算出的变化量大于阈值的情况下，认为作为目标的运动物体已落地而判定落地点，计算出落地点处的特定点的三维位置，上述时间为从拍摄到顶点的时刻减去拍摄到起跳点的时刻而得的时间的2倍时间加上一定时间而得的时间。
[0018]
作为本发明的一个方式的轨道计算装置，轨道计算部计算出曲线而作为特定点的三维轨道，其中，曲线是能够记述通过起跳点计算部计算出的起跳点处的特定点的三维位置和落地点计算部计算出的落地点处的特定点的三维位置的抛物线运动的曲线，且曲线与作为目标的运动物体起跳后且落地前的1个或多个图像帧中所拍摄到的1个或多个特定点的像有关的存在直线的距离的合计最小。
[0019]
作为本发明的一个方式的轨道计算装置，轨道计算部计算出曲线而作为特定点的三维轨道，其中，曲线是能够记述通过起跳点计算部计算出的起跳点处的特定点的三维位置和落地点计算部计算出的落地点处的特定点的三维位置的抛物线运动的曲线，且曲线为针对作为目标的运动物体起跳后且落地前的1个或多个特定点计算出拍摄时刻的图像帧中所拍摄到的特定点的像有关的存在直线与拍摄到特定点的时刻的曲线上的预测位置的距
离，并使计算出的1个或多个与预测位置的距离的合计最小的曲线。
[0020]
本发明是一种轨道计算方法，根据单眼照相机拍摄到的多个图像帧的信息来计算出作为跳跃的目标的运动物体的三维轨道，其中，轨道计算方法具备如下步骤：检测步骤，根据图像帧的信息检测出作为目标的运动物体的特定点；存在直线计算步骤，计算出连结图像帧中所拍摄到的特定点的像的三维位置与单眼照相机的镜头的光学中心的三维位置而成的存在直线；起跳点计算步骤，根据连续的多个图像帧的信息计算出与特定点的三维位置有关的变化量，并根据计算出的变化量来判定作为目标的运动物体起跳后的起跳点，计算出起跳点处的特定点的三维位置；落地点计算步骤，根据连续的多个图像帧的信息计算出与特定点的三维位置相关的变化量，并根据计算出的变化量来判定作为目标的运动物体落地的落地点，计算出落地点处的特定点的三维位置；以及轨道计算步骤，根据曲线与存在直线之间的位置关系，计算出特定点的三维轨道，其中，曲线是能够记述通过起跳点计算步骤中计算出的起跳点处的特定点的三维位置和落地点计算步骤中计算出的落地点处的特定点的三维位置的抛物线运动的曲线，存在直线与作为目标的运动物体起跳后且落地前的1个或多个图像帧中所拍摄到的特定点的像有关。
[0021]
本发明是一种计算机可读记录介质，记录有轨道计算程序，该轨道计算程序使计算机根据单眼照相机拍摄到的多个图像帧的信息来计算出作为跳跃的目标的运动物体的三维轨道，其中，轨道计算程序使计算机执行如下步骤：检测步骤，根据图像帧的信息检测出作为目标的运动物体的特定点；存在直线计算步骤，计算出连结图像帧中所拍摄到的特定点的像的三维位置与单眼照相机的镜头的光学中心的三维位置而成的存在直线；起跳点计算步骤，根据连续的多个图像帧的信息计算出与特定点的三维位置有关的变化量，并根据计算出的变化量来判定作为目标的运动物体起跳后的起跳点，计算出起跳点处的特定点的三维位置；落地点计算步骤，根据连续的多个图像帧的信息计算出与特定点的三维位置相关的变化量，并根据计算出的变化量来判定作为目标的运动物体落地的落地点，计算出落地点处的特定点的三维位置；以及轨道计算步骤，根据曲线与存在直线之间的位置关系，计算出特定点的三维轨道，其中，曲线是能够记述通过起跳点计算步骤中计算出的起跳点处的特定点的三维位置和落地点计算步骤中计算出的落地点处的特定点的三维位置的抛物线运动的曲线，存在直线与作为目标的运动物体起跳后且落地前的1个或多个图像帧中所拍摄到的特定点的像有关。
[0022]
根据本发明，在花样滑冰等伴随跳跃的运动比赛等中，能够根据由单眼照相机拍摄到的动态图像高精度地计算出运动物体的轨道。
附图说明
[0023]
图1是轨道计算装置的框图。
[0024]
图2是轨道计算装置的硬件结构图。
[0025]
图3是示意性地描绘了在花样滑冰比赛中滑冰者跳跃的情形的图。
[0026]
图4是表示实施例的轨道计算装置的动作的流程图。
[0027]
图5是记述了在实施例的说明中所使用的坐标系的图。
[0028]
图6是表示在图5的坐标系中利用照相机拍摄了作为三维空间的目标的特定点的情形的图。
[0029]
图7是用于说明起跳点计算处理和落地点计算处理的图。
[0030]
图8是表示轨道计算处理的例子的图。
[0031]
图9是表示轨道计算处理的其他例子的图。
[0032]
符号说明
[0033]
1轨道计算装置、
[0034]
101检测部、
[0035]
102存在直线计算部、
[0036]
103起跳点计算部、
[0037]
104落地点计算部、
[0038]
105轨道计算部、
[0039]
201中央运算装置(cpu)、
[0040]
202输入装置、
[0041]
203输出装置、
[0042]
204主存储装置(ram/rom)、
[0043]
205辅助存储装置、
[0044]
301跳跃的滑冰者所穿的滑冰鞋的边缘前端部(起跳点处的特定点)、
[0045]
302跳跃的滑冰者所穿的滑冰鞋的边缘前端部(落地点处的特定点)、
[0046]
303跳跃的滑冰者所穿的滑冰鞋的边缘前端部(空中的特定点)、
[0047]
304跳跃的滑冰者所穿的滑冰鞋的边缘前端部(空中的特定点)、
[0048]
305跳跃的滑冰者所穿的滑冰鞋的边缘前端部(空中的特定点)、
[0049]
501三维正交坐标系∑xyz的原点、
[0050]
502照相机镜头的光学中心、
[0051]
503二维正交坐标系∑uv的原点、
[0052]
504图像帧(拍摄元件面)、
[0053]
505基准点、
[0054]
506基准点、
[0055]
507基准点、
[0056]
508基准点、
[0057]
509冰场的冰面、
[0058]
701滑冰者所穿的滑冰鞋的边缘前端部的点、
[0059]
702滑冰者所穿的滑冰鞋的边缘前端部的点的像、
[0060]
801关于特定点303的存在直线、
[0061]
802关于特定点304的存在直线、
[0062]
803曲线805与存在直线801的距离、
[0063]
804曲线805与存在直线802的距离、
[0064]
805可记述通过起跳点和落地点的抛物线运动的曲线、
[0065]
901拍摄到特定点303的时刻的曲线905上的特定点的预测位置、
[0066]
902拍摄到特定点304的时刻的曲线905上的特定点的预测位置、
[0067]
903曲线905上的特定点的预测位置901与存在直线801的距离、
[0068]
904曲线905上的特定点的预测位置902与存在直线802的距离、
[0069]
905可记述通过起跳点和落地点的抛物线运动的曲线。
具体实施方式
[0070]
参照附图对本发明的实施方式进行说明。此外，省略重复的说明，在各附图中对相同或相应的部分标注相同的符号。
[0071]
本实施方式所涉及的轨道计算装置、方法、程序，例如在花样滑冰(figure skating)等伴随跳跃的运动竞技等中，能够根据单眼照相机拍摄到的动态图像高精度地计算出运动物体的轨道。
[0072]
图1是轨道计算装置的框图。轨道计算装置1不仅可以是单独构成为装置的方式，也可以是组装于其他装置而使用的方式。组装有轨道计算装置1的其他装置例如也可以是智能手机、信息便携终端、数码照相机、游戏终端、电视机等电子产品。如图2所示，轨道计算装置1在物理上构成为包含中央运算装置(cpu)201、输入装置202、输出装置203、主存储装置(ram/rom)204、辅助存储装置205的计算机。
[0073]
轨道计算装置1的各功能通过以下方式来实现：使图2所示的中央运算装置(cpu)201、主存储装置(ram/rom)204等读取使计算机发挥功能的程序，以便根据单眼照相机拍摄到的动态图像来追踪作为目标的运动物体的特定点的位置变化，在追踪的作为目标的运动物体的特定点被遮挡的情况下也不会丢失而计算出三维位置的轨道，由此，通过中央运算装置(cpu)201的控制使输入装置202、输出装置203动作，并且与主存储装置(ram/rom)204、辅助存储装置205进行数据的读写。
[0074]
如图1所示，轨道计算装置1具备检测部101、存在直线计算部102、起跳点计算部103、落地点计算部104以及轨道计算部105。在轨道计算装置1中，作为来自外部的输入，提供与单眼照相机拍摄到的作为目标的运动物体的动态图像有关的图像帧的信息。在图像帧的信息中，除了所拍摄的图像信息以外，还作为信息而包括拍摄了图像帧的时刻。另外，轨道计算装置1将与作为目标的运动物体的特定点的轨道有关的信息输出至外部。
[0075]
根据图1的框图，对轨道计算装置1的各模块的功能进行说明。另外，关于各模块的详细动作，在实施例中予以后述。
[0076]
检测部101根据图像帧的信息，检测出作为目标的运动物体的特定点。
[0077]
存在直线计算部102计算出连结与图像帧中拍摄到的特定点的像有关的三维位置和单眼照相机的镜头的光学中心的三维位置而成的存在直线。关于具体的计算处理，在实施例中予以后述。
[0078]
起跳点计算部103根据连续的多个图像帧的信息计算出与特定点的三维位置相关的变化量，并根据计算出的变化量判定作为目标的运动物体起跳的起跳点，计算出起跳点处的特定点的三维位置。关于具体的计算处理，在实施例中予以后述。
[0079]
落地点计算部104根据连续的多个图像帧的信息计算出与特定点的三维位置相关的变化量，并根据计算出的变化量判定作为目标的运动物体落地的落地点，计算出落地点处的特定点的三维位置。关于具体的计算处理，在实施例中予以后述。
[0080]
轨道计算部105根据曲线与存在直线之间的位置关系计算出特定点的三维轨道，其中，所述曲线是能够记述通过起跳点计算部计算出的起跳点处的特定点的三维位置和落
地点计算部计算出的落地点处的特定点的三维位置的抛物线运动的曲线，所述存在直线是与作为目标的运动物体起跳后且落地前的1个或多个图像帧中所拍摄到的特定点的像有关的直线。关于具体的计算处理，在实施例中予以后述。
[0081]
接着，对本实施方式的轨道计算装置1的动作进行说明。考虑到说明理解的容易性，以根据单眼照相机拍摄到的花样滑冰比赛的图像计算出跳跃的滑冰者所穿的滑冰鞋的边缘前端部的轨道时的轨道计算装置1的动作为实施例进行说明。此外，这只是例示，并不限定本发明仅适用于花样滑冰比赛。
[0082]
[实施例]
[0083]
图3是示意性地描绘了在本实施例中作为优选例子而说明的花样滑冰比赛中滑冰者跳跃的情形的图。在图3中，301至305分别表示跳跃的滑冰者所穿的滑冰鞋的边缘前端部，在本实施例中，将滑冰鞋的边缘前端部作为特定点。301表示起跳点处的特定点，302表示落地点处的特定点，303至305表示跳跃途中的空中的特定点。特别是，304表示跳跃的轨道中的顶点处的特定点。
[0084]
在花样滑冰比赛中，跳跃的高度、飞行距离是决定表演的优劣的重要因素，从拍摄了花样滑冰比赛的图像得到滑冰者的跳跃轨道的需求较大。另一方面，近年来，内置于所谓的智能手机等设备中的照相机也高性能化，通过单眼照相机简便地拍摄动态图像也变得普遍。如果在花样滑冰等伴随跳跃的运动比赛等中能够根据单眼照相机拍摄到的动态图像高精度地计算出运动物体的轨道，则能够应对利用智能手机等简易的器材来测量跳跃的高度、飞行距离的需求。因此，本发明适合在花样滑冰比赛中采用。这只是例示，并不限定本发明仅适用于花样滑冰比赛。
[0085]
图4是表示实施例的轨道计算装置1的动作的流程图。根据图4的流程图对实施例中的轨道计算装置1的动作进行说明。
[0086]
向轨道计算装置1输入单眼照相机拍摄到的多个图像帧的信息。在本实施例中，在图像帧的信息中，除了所拍摄的图像信息以外，还作为信息而包括拍摄了图像帧的时刻。轨道计算装置1在要处理的图像帧的信息全部被输入后开始动作。动作的开始可以在图像帧的信息的输入后自动进行，也可以基于明示的命令而进行。轨道计算装置1对所输入的图像帧的信息进行图4的流程图的处理。
[0087]
轨道计算装置1开始动作时，检测部101执行检测处理(s401)。在检测处理(s401)中，从所输入的图像数据中检测拍摄到的作为目标的运动物体的特定点。在本实施例中，如上述那样，作为特定点而取滑冰者所穿的滑冰鞋的边缘前端部的点。
[0088]
关于从图像数据检测特定点，只要能够从图像数据检测出特定点在图像帧中的二维平面上的坐标，则方法不限。例如，根据在非专利文献1等中公开的根据图像数据推定二维的人的姿势的技术等。另外，也可以采用从图像数据中检测出作为拍摄对象的滑冰者预先附加在特定点上的标记的方法。当检测部101的检测处理(s401)结束时，存在直线计算部102开始存在直线计算处理(s402)。
[0089]
在此，在说明存在直线计算部102进行的存在直线计算处理(s402)之前，暂时脱离图4的流程图，对本实施例的说明中所使用的坐标系进行说明。图5是记述了在本实施例的说明中使用的坐标系的图。
[0090]
坐标系σxyz是实际三维空间中的三维正交坐标系。在本实施例中，坐标系σxyz
是将进行花样滑冰比赛的冰场的冰面509的形状设为在长轴方向、短轴方向分别对称的长圆形，将冰面509上的长轴与短轴的交点设为原点o(0，0，0)501，以x轴为长轴方向、y轴为短轴方向的三维正交坐标系。
[0091]
另外，在本实施例中，作为在坐标系σxyz中三维坐标已知的多个点(以下，称为基准点)，针对冰面509的外缘与x轴的2个交点(505和506)、冰面509的外缘与y轴的2个交点(507和508)如下这样设定三维坐标。在此，是以冰场的长轴方向的长度为2a、短轴方向的长度为2b的例子。a和b是常数。
[0092]
基准点505：(x，y，z)＝(a，0，0)
[0093]
基准点506：(x，y，z)＝(﹣a，0，0)
[0094]
基准点507：(x，y，z)＝(0，b，0)
[0095]
基准点508：(x，y，z)＝(0，﹣b，0)
[0096]
此外，这只是例示，三维坐标系和基准点的设定不限于此。三维坐标系和基准点的设定，优选与作为目标的运动物体的运动特性、环境条件等相匹配地适当设定。在本实施例中，如后所述，为了求出照相机的镜头的光学中心的三维位置坐标和镜头的外部参数，而利用三维位置坐标已知的基准点。
[0097]
坐标系σxyz是在照相机的镜头的光学中心具有原点502的三维正交坐标系。坐标系σuv是具有固定于图像帧(摄像元件面)504的原点503的二维正交坐标系。坐标系σuv是将坐标系σxyz平行移动后的坐标系，xy坐标轴与uv坐标轴平行。另外，坐标系σxyz的z轴与图像帧504的交点为坐标系σuv的原点503。坐标系σxyz的z轴与图像帧504正交。
[0098]
以上是针对在本实施例的说明中所使用的坐标系的说明。
[0099]
返回到图4，返回到存在直线计算部102进行的存在直线计算处理的说明。使用图6，对存在直线计算处理(s402)进行的将图像帧中的作为目标的特定点的像的三维位置与照相机的镜头的光学中心连结而构成的三维直线的计算进行说明。
[0100]
图6是表示在图5的坐标系中利用照相机拍摄三维空间的作为目标的特定点p的情形的图。将三维正交坐标系σxyz中的作为目标的特定点p的三维位置设为p(x，y，z)。通过在三维正交坐标系σxyz的原点602具有镜头的光学中心的照相机在图像帧504中将作为目标的特定点p拍摄为像p’。将图像帧504中的二维正交坐标系σuv中的像p’的二维位置设为p’(u，v)。
[0101]
在图6中，将镜头的光学中心(三维正交坐标系σxyz的原点502)在三维正交坐标系σxyz中的位置设为p0(x0，y0，z0)。以镜头的光学中心为原点502的三维正交坐标系σxyz的z轴相当于光轴。光轴与图像帧504正交，其交点成为图像帧中的二维正交坐标系σuv的原点503。将原点503的二维位置设为q(u0，v0)。三维正交坐标系σxyz的原点502与二维正交坐标系σuv的原点503的距离为焦距，将长度设为d。
[0102]
在图6中，从以镜头的光学中心为原点502的三维正交坐标系σxyz观察到的像p’的位置为p’(u-u0，v-v0，d)。在此，将比例常数设为k，将从以镜头的光学中心为原点502的三维正交坐标系σxyz向三维空间中的三维正交坐标系σxyz的坐标变换矩阵设为r。在本实施例中，如果提供三维空间中的三维正交坐标系σxyz中的照相机的位置坐标和旋转，则能够决定坐标变换矩阵r。
[0103]
旋转是所谓的镜头的外部参数，是在图6中从坐标系σxyz向坐标系σxyz进行坐
标变换时的三轴的旋转角度参数。通过确定旋转的值，确定镜头的光轴。在图6中，坐标系σxyz的z轴为光轴。
[0104]
另外，在实施例中，所谓的镜头的内部参数(焦距、镜头的畸变)是已知的。在图6中，照相机的镜头的光学中心(坐标系σxyz的原点502)与坐标系σuv的原点503的距离成为焦距。另外，在镜头的畸变对结果造成影响的情况下，生成去除了畸变的图像，对去除畸变后的图像进行以后的处理。在畸变去除中，例如能够使用在opencv中公开的畸变校正用函数。
[0105]
在以镜头的光学中心为原点502的三维正交坐标系σxyz中，镜头的光学中心(原点502)、像p’和作为目标的特定点p位于相同的直线上，因此下式(数学式1)成立。
[0106]
[数学式1]
[0107]
p(x，y，z)＝p0(x0，y0，z0)+k r p
′
(u-u0，v-v0，d)
[0108]
此外，在本实施例中，能够根据检测部101交给存在直线计算部102的二维位置的坐标求出作为p’的x要素以及y要素的u-u0以及v-v0，d是焦距，是已知的。
[0109]
上式(数学式1)是连结镜头的光学中心、像p’和作为目标的特定点p的三维正交坐标系σxyz中的直线的式子。利用在三维正交坐标系σxyz的原点502具备镜头的光学中心的照相机拍摄了特定点p时，如果能够决定图像帧504的像p’在二维正交坐标系σuv中的二维坐标，则能够计算出上式(数学式1)，在三维正交坐标系σxyz中，在上式(数学式1)所示的直线上存在作为目标的特定点p。
[0110]
未事先提供照相机的镜头的光学中心的三维位置坐标和旋转的情况下，利用三维位置坐标已知的基准点，求出照相机的镜头的光学中心的三维位置坐标和镜头的外部参数，决定坐标变换矩阵r。如上所述，在本实施例中，对于基准点505、506、507以及508这4个点，三维正交坐标系σxyz中的三维坐标如下所述是已知的，还能够测量出二维正交坐标系σuv中的各基准点的像的二维坐标。
[0111]
基准点505：(x，y，z)＝(a，0，0)
[0112]
基准点506：(x，y，z)＝(﹣a，0，0)
[0113]
基准点507：(x，y，z)＝(0，b，0)
[0114]
基准点508：(x，y，z)＝(0，﹣b，0)
[0115]
使用上述图6，在以镜头的光学中心为原点502的三维正交坐标系σxyz中，镜头的光学中心(原点502)、像p’和目标p位于相同的直线上，因此求出连接三维正交坐标系σxyz中的镜头的光学中心、像p’和作为目标的特定点p的三维正交坐标系σxyz中的直线的式子(数学式1)。在直线的式子(数学式1)中，将p(x，y，z)作为各个基准点，将p’(u，v)作为与各个基准点对应的图像帧的像，d是已知的，因此计算出三维正交坐标系σxyz中的照相机的镜头的光学中心p0(x0，y0，z0)以及构成坐标变换矩阵r的旋转。
[0116]
计算三维正交坐标系σxyz中的照相机的镜头的光学中心p0(x0，y0，z0)以及构成坐标变换矩阵r的旋转(从坐标系σxyz向坐标系σxyz进行坐标变换时的三轴的旋转角度参数)时，未知的要素的数量为6，通过二维正交坐标系σuv的要素提供图像帧的作为目标的运动物体的像，所以基准点的数量为3即可。然而，考虑到通过增加基准点来提高计算精度，在本实施例中，将基准点的数量设为4。基准点的数量优选为与想要测量的空间、可利用的基准点的配置相匹配的适当的数量，基准点的数量不限于4。
[0117]
在本实施方式中，通过非线性最小二乘法，进行照相机在三维坐标系中的位置坐标和旋转的计算处理。此外，这是例示，处理方法不限于此，只要能够高精度地计算出照相机在三维坐标系中的位置坐标和旋转，也可以通过其他处理方法来进行。例如，也可以考虑能够期待高精度的基于lm法(levenberg-marquardt method：麦夸尔特法)的计算、增加基准点的数量后基于dlt法(direct linear transformation method：直接线性变换法)的计算等。
[0118]
以上是存在直线计算部102进行的存在直线计算处理(s402)的说明。若存在直线计算部102的存在直线计算处理(s402)结束，则起跳点计算部103开始起跳点计算处理(s403)。
[0119]
在起跳点计算处理(s403)中，根据连续的多个图像帧的信息来计算出与特定点的三维位置有关的变化量，根据计算出的变化量来判定作为目标的运动物体起跳的起跳点，计算出起跳点处的特定点的三维位置。
[0120]
在本实施例中，在起跳点计算处理(s403)中，根据拍摄的时刻按正序连续的多个图像帧的信息，计算出与特定点的三维位置有关的变化量，在计算出的变化量大于阈值的情况下，作为目标的运动物体起跳而判定起跳点，计算出起跳点处的特定点的三维位置。
[0121]
使用图7，对起跳点计算部103进行的起跳点计算处理(s403)进行说明。在起跳点计算处理(s403)中，设为滑冰者未跳跃，而进行特定点的位置的计算。
[0122]
在图7中，从检测部101向存在直线计算部102交付图像帧504中的滑冰者所穿的滑冰鞋的边缘前端部的点701的像702在二维正交坐标系σuv中的二维位置的坐标，因此如使用了上述图6的说明那样，在存在直线计算处理(s402)中，通过上述的直线的式子(数学式1)求出将图7中的镜头的光学中心(502)与特定点701的像702连结的存在直线。
[0123]
接着，在起跳点计算处理(s403)中，设为滑冰者没有跳跃，而进行特定点的位置的计算。在滑冰者没有跳跃的情况下，特定点是滑冰者所穿的滑冰鞋的边缘前端部与冰场的接触点701。在冰场的冰面509上存在滑冰者所穿的滑冰鞋的边缘前端部与冰场的接触点701。此时，特定点(滑冰者所穿的滑冰鞋的边缘与冰场的接触点701)存在于通过存在直线计算处理(s402)计算出的存在直线上，且存在于冰场的冰面509，因此将两者的交点设为特定点来计算出三维位置的坐标。此外，计算出的特定点在三维正交坐标系σxyz中的z坐标的值为0。
[0124]
如上所述，在起跳点计算处理(s403)中，设为滑冰者没有跳跃，而进行特定点的位置的计算，但实际上滑冰者跳跃。在跳跃时，实际上由于滑冰者所穿的滑冰鞋的边缘前端部不与冰场的冰面509接触，因此若将冰场的冰面509与存在直线计算处理(s402)中计算出的直线的交点设为特定点，则在滑冰者起跳的瞬间，特定点的三维坐标的x要素、y要素的值向远离照相机的镜头的光学中心的方向急剧地变动。
[0125]
由此，作为一例，起跳点计算处理(s403)采取以下的处理。计算出特定点的三维坐标的x要素、y要素的值的基于多项式近似的预测值，该特定点的三维坐标的x要素、y要素的值是根据拍摄到特定点即滑冰者所穿的滑冰鞋的边缘前端部与冰场的接触点509的三维坐标的x要素、y要素的值的时刻连续的过去5帧求出的。针对按照拍摄时刻的正序相邻的两个特定点，求出三维坐标的x要素、y要素的值的上述预测值之差。根据三维坐标的x要素、y要素的值的预测值之差，计算出远离照相机的镜头的光学中心的方向的特定点的移动量，并
将其作为变化量。例如，将变化量在远离照相机的镜头的光学中心的方向上为50以上的变动的情况确定为超过阈值的变动等。在起跳点计算处理(s403)中，按照拍摄时刻的正序对特定点计算出变化量，在计算出的变化量大于预先决定的阈值的情况下，作为目标的运动物体起跳而判定起跳点，计算出起跳点处的特定点的三维位置并交给下一处理。此外，这是例示，起跳点计算处理(s403)、阈值的取得方法等不限于此。
[0126]
起跳点计算处理(s403)结束后，落地点计算部104开始落地点计算处理(s404)。在本实施例中，在落地点计算处理(s404)中，根据连续的多个图像帧的信息计算出与特定点的三维位置有关的变化量，并根据计算出的变化量判定作为目标的运动物体起跳的起跳点，计算出起跳点处的特定点的三维位置。
[0127]
落地点计算处理(s404)通过对按照拍摄时刻的逆序连续的多个图像帧的信息进行与上述的起跳点计算处理(s403)同样的处理，计算出落地点处的特定点的三维位置。起跳点计算处理(s403)和落地点计算处理(s404)不同点在于拍摄了连续的多个图像帧的时刻为正序和逆序，但在其他处理中相同，因此省略说明。
[0128]
另外，对于落地点计算处理(s404)，也可以通过接下来说明的处理来进行。利用滑冰者的跳跃是抛物线运动的特性，减轻落地点计算处理(s404)的处理。根据拍摄到起跳点的时刻以后且按拍摄的时刻的正序连续的多个图像帧的信息，计算出与特定点的三维位置有关的变化量。在此，如上所述，变化量是指根据三维坐标的x要素、y要素的值的预测值之差，计算出从照相机的镜头的光学中心远离的方向的特定点的移动量，并将其作为变化量。接着，取得拍摄到计算出的变化量的正负反转时的图像帧的时刻。将该时刻确定为拍摄到作为目标的运动物体跳跃的顶点的时刻。计算出将从拍摄到顶点的时刻减去拍摄到起跳点的时刻而得到的时间的2倍的时间加上一定的时间而得到的时间与拍摄到起跳点的时刻相加而得到的时刻。根据从计算出的时刻起按照拍摄时刻的逆序连续的多个图像帧的信息，计算出与特定点的位置的三维坐标相关的变化量。在计算出的变化量比预先确定的阈值大的情况下，作为目标的运动物体落地而判定落地点，计算出落地点处的特定点的三维位置。
[0129]
参照图3进行具体说明。如上所述，图3是示意性地描绘了在本实施例中作为优选的例子进行说明的花样滑冰比赛中滑冰者跳跃的情形的图。如图3示意性地所示，滑冰者的跳跃具有抛物线运动的特性。在图3中，301至305分别表示跳跃的滑冰者所穿的滑冰鞋的边缘前端部，在本实施例中，滑冰鞋的边缘前端部为特定点。301表示起跳点处的特定点，302表示落地点处的特定点，303至305表示跳跃途中的空中的特定点。特别是304表示跳跃的轨道中的顶点处的特定点。在落地点计算处理(s404)中，利用了基于抛物线运动的特征，起跳点处的特定点301和落地点处的特定点302以顶点处的特定点304为中心大致位于对称位置的情况。由于推测为特定点从起跳点301到顶点处的特定点304的时间与从顶点304到落地点处的特定点302的时间大致相同，所以如果将拍摄到起跳点处的特定点301的时刻加上特定点从起跳点处的特定点301到顶点处的特定点304的时间的2倍，则能够大致求出拍摄到落地点处的特定点302的时刻。从该时刻加上作为一定的缓冲的时间(例如1秒等)的时刻开始，根据按时刻的逆序连续的多个图像帧的信息计算出落地点。由此，能够从落地点处的特定点302的附近高效地进行落地点处的特定点302的搜索，因此减轻处理。另外，顶点处的特定点304通过特定点的三维坐标的x要素、y要素的值从远离照相机的镜头的光学中心的方向的变动变化为接近的方向的变动来判定。此外，这是例示，落地点计算处理(s404)、阈值
的取得方法等不限于此。
[0130]
当落地点计算处理(s404)结束时，轨道计算部105开始进行轨道计算处理(s405)。在轨道计算处理(s405)中，根据能够记述通过起跳点计算处理(s403)计算出的起跳点处的特定点的三维位置和落地点计算处理(s404)计算出的落地点处的特定点的三维位置的抛物线运动的曲线与作为目标的运动物体的起跳后且落地前的1个或多个图像帧中拍摄到的特定点的像有关的存在直线之间的位置关系，计算出特定点的三维轨道。
[0131]
图8是表示轨道计算处理(s405)的例子的图。使用图8对轨道计算处理(s405)的一例进行说明。在该例子中，轨道计算处理(s405)计算出曲线而作为特定点的三维轨道，其中，该曲线是能够记述通过起跳点计算处理(s403)计算出的起跳点处的特定点的三维位置和落地点计算处理(s404)计算出的落地点处的特定点的三维位置的抛物线运动的曲线，且该曲线使与作为目标的运动物体的起跳后且落地前的1个或多个图像帧中拍摄到的1个或多个特定点的像有关的存在直线的距离的合计最小。
[0132]
在图8中，考虑说明理解的容易性，将特定点设为起跳点301、落地点302、空中的特定点303以及304这4点。即使在空中的特定点的数量增加也是同样如此。801表示特定点303有关的存在直线，802表示特定点304有关的存在直线。另外，单点划线所示的曲线805是能够记述通过起跳点处的特定点301和落地点处的特定点302的抛物线运动的曲线。
[0133]
例如，能够通过以下的式子(数学式2)所示的3个式子来表示曲线805。在此，通过三维正交坐标系σxyz来表示式子(数学式2)。关于下面的标记的规定仅适用于式子(数学式2)的说明。t表示时刻，m表示质量，g表示重力加速度，v表示速度，k表示粘性系数。另外，通过下标x、y、z表示三维正交坐标系σxyz中的x要素、y要素、z要素。
[0134]
分别表示式子(数学式2)所示的三维正交坐标系σxyz中的x要素、y要素、z要素的式子分别具有3个参数。在表示x要素的第1式中为x0、v
x0
、k
x
/m这3个，在表示y要素的第2式中为y0、v
y0
、ky/m这3个，在表示z要素的第2式中为z0、v
z0
、kz/m这3个。通过将起跳点301的坐标值和起跳的时刻、落地点302的坐标值和落地的时刻代入式子(数学式2)，能够决定各式的3个参数中的2个。
[0135]
[数学式2]
[0136][0137][0138][0139]
在轨道计算处理(s405)中，利用上述的式子(数学式2)对各个式子计算剩余一个参数的值，以使图8所示的曲线805与存在直线801的距离803和曲线805与存在直线802的距离804的合计成为最小，并将计算出的曲线决定为特定点的三维轨道。
[0140]
另外，图9是表示轨道计算处理(s405)的另一例的图。使用图9对轨道计算处理(s405)的另一例进行说明。在该例子中，在轨道计算处理(s405)中，计算出曲线而作为特定点的三维的轨道，其中，所述曲线是能够记述通过起跳点计算处理(s403)计算出的起跳点
处的特定点的三维位置和落地点计算处理(s404)计算出的落地点处的特定点的三维位置的抛物线运动的曲线，且该曲线针对作为目标的运动物体的起跳后且落地前的1个或多个特定点，计算出关于拍摄时刻的图像帧中拍摄到的特定点的像的存在直线与特定点的拍摄时刻的曲线上的预测位置的距离，使计算出的1个或多个与预测位置的距离的合计最小。
[0141]
在图9中，考虑说明理解的容易性，将特定点设为起跳点301、落地点302、空中的特定点303以及304这4点。即使空中的特定点的数量增加也是同样如此。801表示关于特定点303的存在直线，802表示关于特定点304的存在直线。另外，单点划线所示的曲线905是能够记述通过起跳点处的特定点301和落地点处的特定点302的抛物线运动的曲线。与图8中的曲线805同样地，曲线905例如能够通过上述的式子(数学式2)来表示。
[0142]
在轨道计算处理(s405)中，根据拍摄到空中的特定点303的时刻，通过上述的式子(数学式2)来计算出该时刻的曲线905上的特定点的预测位置901。同样地，根据拍摄到空中的特定点304的时刻，通过上述的式子(数学式2)来计算出该时刻的曲线905上的特定点的预测位置902。
[0143]
在轨道计算处理(s405)中，利用上述的式子(数学式2)计算出各个式子的剩余的一个参数的值，以使曲线905上的特定点的预测位置901与存在直线801的距离903和曲线905上的特定点的预测位置902与存在直线802的距离904的合计成为最小，并将计算出的曲线决定为特定点的三维轨道。
[0144]
以上是关于实施例的说明。
[0145]
接着，对用于使计算机作为轨道计算装置发挥功能的轨道计算程序进行说明。计算机的结构如图2所示。
[0146]
轨道计算程序具备主模块、输入输出模块以及运算处理模块。主模块是统一控制处理的部分。输入输出模块使计算机取得图像数据等输入信息，并将计算出的轨道的信息以数值、图像的形式输出到计算机。运算处理模块具备检测模块、存在直线计算模块、起跳点计算模块、落地点计算模块以及轨道计算模块。通过执行主模块、输入模块以及运算处理模块而实现的功能分别与轨道计算装置1的检测部101、存在直线计算部102、起跳点计算部103、落地点计算部104以及轨道计算部105的功能相同。
[0147]
轨道计算程序例如由rom等存储介质或半导体存储器提供。另外，轨道计算程序也可以经由网络来提供。
[0148]
以上，根据本实施方式所涉及的轨道计算装置、轨道计算方法以及轨道计算程序，在花样滑冰等伴随跳跃的运动比赛等中，能够根据由单眼照相机拍摄到的动态图像来高精度地计算出运动物体的轨道。