提取系统、步行训练系统、提取方法以及记录介质与流程

1.本公开涉及一种提取系统、步行训练系统、提取方法以及提取程序，例如，涉及一种对拍摄在步行训练装置的跑步机的带上实施步行训练的训练者而得到的图像内的包括该训练者的腿部在内的区域进行提取的提取系统、步行训练系统、提取方法以及提取程序。


背景技术：

2.近年来，存在有为了偏瘫患者等的康复而使用步行训练装置的情况。一般性的步行训练装置如日本专利第6597275号公报所示那样，被设为从跑步机的主体部的上表面露出的带绕周旋转的结构，偏瘫患者等训练者在该带上实施步行训练。


技术实现要素：

3.本技术人发现了以下课题。当训练者在带上实施步行训练时，存在有为了对训练者有没有从带上脱离等进行确认而对该训练者的骨骼坐标进行推断的情况，此时将对步行训练过程中的训练者进行拍摄从而取得图像。
4.当以此方式训练者在带上实施步行训练的情况下，辅助者会在辅助者的脚放在主体部中的隔着带而位于左右两侧的区域中的状态下，扶着训练者。因此，在图像内，除了训练者之外，有时还存在有辅助者的脚，从而具有难以高精度地对训练者的骨骼坐标进行推断的情况。因此，期望有一种能够高精度地对图像内包含训练者的腿部的区域进行提取的技术。
5.本公开是鉴于这样的问题点而被完成的发明，实现了一种能够高精度地对图像内包含训练者的腿部的区域进行提取的提取系统、步行训练系统、提取方法以及提取程序。
6.本公开的一个方式所涉及的提取系统，其对拍摄在步行训练装置的跑步机的带上实施步行训练的训练者而得到的图像内的包含所述训练者的腿部的区域进行提取，所述提取系统具备：
7.图像取得部，其取得从所述训练者的前侧或者后侧对该训练者进行拍摄而得到的图像；
8.提取部，其将所述图像内的隔着所述跑步机的带而位于左右两侧的区域设定为不存在所述训练者的腿部的区域，从而与包含所述训练者的腿部的区域区别开来，并且对所述图像内的包含所述训练者的腿部的区域进行提取；
9.掩模处理部，其对所述图像内的不存在所述训练者的腿部的区域施加掩模。
10.在上述的提取系统中，优选为，具备骨骼取得部，所述骨骼取得部实时地取得所述训练者的腿部的骨骼坐标，
11.所述提取部基于所述训练者的腿部的骨骼坐标，从而以在所述图像内使不存在所述训练者的腿部的区域相对于该训练者的腿部而离开预定的距离的方式，使不存在所述训练者的腿部的区域实时地变化。
12.在上述的提取系统中，优选为，所述提取部以在所述图像内使不存在所述训练者
的腿部的区域相对于连结该训练者的股关节的位置和膝关节的位置的而得到直线而离开所述预定的距离的方式，使不存在所述训练者的腿部的区域实时地变化。
13.在上述的提取系统中，优选为，所述掩模处理部基于所述训练者所穿着的衣服或者鞋子，从而对所述掩模的颜色进行设定。
14.本公开的一个方式所涉及的步行训练系统具备：
15.上述的提取系统；
16.步行训练装置，其具有用于所述训练者实施步行训练的跑步机，
17.所述步行训练装置具有：
18.骨骼推断部，其基于被施加了所述掩模的图像来对所述训练者的腿部的骨骼坐标进行推断；
19.异常判断部，其基于所述训练者的腿部的骨骼坐标来对所述训练者的异常进行判断。
20.本公开的一个方式所涉及的提取方法为，对拍摄在步行训练装置的跑步机的带上实施步行训练的训练者而得到的图像内的包含所述训练者的腿部的区域进行提取的提取方法，所述提取方法具备如下工序，即：
21.取得从所述训练者的前侧或者后侧对该训练者进行拍摄而得到的图像的工序；
22.将所述图像内的隔着所述跑步机的带而位于左右两侧的区域设定为不存在所述训练者的腿部的区域，从而与包含所述训练者的腿部的区域区别开来，并且对所述图像内的包含所述训练者的腿部的区域进行提取的工序；
23.对所述图像内的不存在所述训练者的腿部的区域施加掩模的工序。
24.在上述的提取方法中，优选为，具备实时地对所述训练者的腿部的骨骼坐标进行推断的工序，
25.基于所述训练者的腿部的骨骼坐标，从而以在所述图像内使不存在所述训练者的腿部的区域相对于该训练者的腿部而离开预定的距离的方式，使不存在所述训练者的腿部的区域实时地变化。
26.在上述的提取方法中，优选为，以在所述图像内使不存在所述训练者的腿部的区域相对于连结该训练者的股关节的位置和膝关节的位置而得到的直线而离开所述预定的距离的方式，使不存在所述训练者的腿部的区域实时地变化。
27.在上述的提取方法中，优选为，基于所述训练者所穿着的衣服或者鞋子，从而对所述掩模的颜色进行设定。
28.本公开的一个方式所涉及的提取程序为，对拍摄在步行训练装置的跑步机的带上实施步行训练的训练者而得到的图像内的包含所述训练者的腿部的区域进行提取的提取程序，所述提取程序使计算机执行如下处理，即：
29.取得从所述训练者的前侧或者后侧对该训练者进行拍摄而得到的图像的处理；
30.将所述图像内的隔着所述跑步机的带而位于左右两侧的区域设定为不存在所述训练者的腿部的区域，从而与包含所述训练者的腿部的区域区别开来，并且对所述图像内的包含所述训练者的腿部的区域进行提取的处理；
31.对所述图像内的不存在所述训练者的腿部的区域施加掩模的处理。
32.根据本公开，能够实现可高精度地提取图像内包含训练者的腿部的区域的提取系
统、步行训练系统、提取方法以及提取程序。
33.本公开的上述和其他目的、特征和优点将通过下文给出的详细描述以及仅作为例示而给出的附图从而得到更充分地理解，因此不应被视为是对本公开的限制。
附图说明
34.图1为表示训练者使用步行训练系统来实施步行训练的情况的图。
35.图2为实施方式的步行训练系统的控制系统的框图。
36.图3为表示对步行训练过程中的训练者进行拍摄而得到的图像的图。
37.图4为表示训练者使用实施方式的步行训练系统来实施步行训练的流程的流程图。
38.图5为表示二维图像内的不存在训练者的腿部的区域以及包含训练者的腿部的区域的图。
39.图6为用于对二维图像内的不存在训练者的腿部的区域的设定方法进行说明的图。
40.图7为连续性地表示不存在训练者的腿部的区域根据训练者的位置而发生变形的情况的图。
41.图8为表示提取系统中所包含的硬件结构的一个示例的图。
具体实施方式
42.以下，关于应用了本公开的具体的实施方式，将在参照附图的同时进行详细地说明。但是，本公开并非被限定于以下的实施方式。此外，为了明确说明，以下的记载以及附图将被适当简化。
43.首先，对使用了本实施方式的提取系统的步行训练系统的结构进行说明。图1为，表示训练者使用步行训练系统来实施步行训练的情况的图。图2为，本实施方式的步行训练系统的控制系统的框图。在此，在以下的说明中，为了明确说明，而将训练者实施步行训练时该训练者的面部所朝向的一侧设为步行训练装置的前侧来进行说明。
44.如图1以及图2所示那样，步行训练系统1具备：步行辅助装置2、步行训练装置3、控制装置4和提取系统5。步行辅助装置2为，佩戴于训练者t的患病的腿上并对步行训练进行辅助的协助装置。
45.例如，步行辅助装置2具备被佩戴于训练者t的大腿部上的大腿链杆11、以相对于大腿链杆11而能够旋转的方式被连结且被佩戴于训练者t的小腿部上的小腿链杆12、以相对于小腿链杆12而能够旋转的方式被连结且被佩戴于脚上的脚链杆13、为了使大腿链杆11和小腿链杆12相对旋转而进行驱动的电机14。
46.步行训练装置3具备主体部21、带部22、框架部23、扶手部24、第一腿减负部25、第二腿减负部26、悬吊减负部27、显示器28和拍摄装置29，并且被构成作为跑步机。
47.主体部21以箱形形状为基本形态，并且在主体部21的内部收纳有带部22。在主体部21的上表面上，形成有供带部22的上表面露出的开口部21a。主体部21的开口部21a的左右两侧的区域能够作为供辅助者的脚放置的踏板而发挥功能。
48.带部22为，用于训练者t实施步行训练的训练部。带部22具备带22a和电机22b。带
22a由无接头带构成，并且以能够绕周旋转的方式被主体部21支承为，带22a的上表面朝向后侧而移动。电机22b为了使带22a进行绕周旋转而进行驱动。
49.框架部23为步行训练装置3的框体。框架部23具备第一拱形部23a、第二拱形部23b、第一横梁部23c和第二横梁部23d。第一拱形部23a在从步行训练装置3的左右方向进行观察时呈大致拱形形状，并且相对于主体部21中的带部22而被设置在右侧的区域中。第二拱形部23b在从步行训练装置3的左右方向进行观察时呈大致拱形形状，并且相对于主体部21中的带部22而被设置在左侧的区域中。
50.第一横梁部23c在步行训练装置3的左右方向上延伸，并对第一拱形部23a的前侧角部与第二拱形部23b的前侧角部进行连结。第二横梁部23d在步行训练装置3的左右方向上延伸，并对第一拱形部23a的后侧角部与第二拱形部23b的后侧角部进行连结。
51.扶手部24被踩在带部22的训练者t抓住。扶手部24在步行训练装置3的前后方向上延伸，例如被设置在佩戴步行辅助装置2的患者患病的腿一侧。扶手部24例如相对于主体部21中的带部22而被设置在右侧的区域中。但是，扶手部24也可以隔着主体部21中的带部22而被设置在左右两侧的区域中。
52.第一腿减负部25在训练者t迈出患病的腿时减轻患病的腿的负载。第一腿减负部25具备电机25a和金属线缆25b。电机25a被设置在第一横梁部23c上。电机25a为了对金属线缆25b进行收卷以及放卷而进行驱动。金属线缆25b的顶端部被连接在步行辅助装置2的任意位置上。
53.第二腿减负部26在训练者t收回患病的腿时减轻患病的腿的负载。第二腿减负部26具备电机26a和金属线缆26b。电机26a被设置在第二横梁部23d上。电机26a为了对金属线缆26b进行收卷以及放卷而进行驱动。金属线缆26b的顶端部被连接在步行辅助装置2的任意位置上。
54.悬吊减负部27减轻训练者t的体重。悬吊减负部27具备保护带27a、连接夹具27b和金属线缆27c。保护带27a由训练者t佩戴。连接夹具27b在框架部23的第一横梁部23c与第二横梁部23d之间以连结第一拱形部23a和第二拱形部23b的方式被设置在框架部23上。
55.金属线缆27c从连接夹具27b垂下，并且金属线缆27c的顶端部与保护带27a相连接。通过这种结构，从而当训练者t佩戴保护带27a时，训练者t的体重经由金属线缆27c以及连接夹具27b从而被框架部23所支承。
56.显示器28以使显示器28的显示部28a朝向步行训练装置3的后侧而被配置的方式被设置于框架部23的前侧。在显示器28的显示部28a上，显示有给训练者t的训练指示等。
57.拍摄装置29例如具备第一摄像机29a和第二摄像机29b。第一摄像机29a例如为rgb摄像机，且实时地对实施步行训练的训练者t的二维图像进行拍摄。第二摄像机29b例如为红外线摄像机，且实时地对实施步行训练的训练者t的深度图像进行拍摄。
58.这些第一摄像机29a以及第二摄像机29b例如以能够从前侧对实施步行训练的训练者t进行拍摄的方式被设置在框架部23等上。拍摄装置29例如被配置在显示器28的附近处。但是，拍摄装置29只需为能够对训练者t的二维图像以及深度图像进行拍摄的结构以及配置即可，例如也可以以能够从后侧对训练者t进行拍摄的方式被配置。总之，拍摄装置29只需以能够从隔着训练者t而与辅助者所在一侧相反侧对训练者t进行拍摄的方式配置即可。
59.控制装置4具备控制部31、骨骼推断部32和异常判断部33，并例如经由网络而与步行辅助装置2以及步行训练装置3相连接。但是，控制装置4也可以被装入步行训练装置3中。
60.控制部31例如为了基于根据训练者t的训练水平而被设定的训练内容而使显示器28的显示部28a显示训练指示等从而对该显示器28进行控制，并且为了使带22a进行绕周旋转从而对电机22b进行控制。
61.此时，控制部31为了基于训练内容而对训练者t的患病的腿的动作进行辅助，从而对步行辅助装置2的电机14进行控制。此外，控制部31基于训练内容，从而对第一腿减负部25的电机25a以及第二腿减负部26的电机26a进行控制。
62.也就是说，在训练者t迈出患病的腿时，控制部31对第一腿减负部25的电机25a进行控制从而将金属线缆25b收卷，并且对第二腿减负部26的电机26a进行控制从而将金属线缆26b放卷，由此对患病的腿的迈出进行减负。
63.另一方面，在训练者t收回患病的腿时，控制部31对第一腿减负部25的电机25a进行控制从而将金属线缆25b放卷，并且对第二腿减负部26的电机26a进行控制从而将金属线缆26b收卷，由此对患病的腿的收回进行减负。
64.骨骼推断部32基于拍摄装置29所拍摄到的二维图像以及深度图像，从而对训练者t的骨骼坐标进行推断。作为训练者t的骨骼坐标，例如至少对股关节的二维坐标及深度、膝关节的二维坐标及深度、以及踝关节的二维坐标及深度进行推断。
65.此时，对训练者t的骨骼坐标进行推断方法能够使用一般的方法，例如能够使用视觉姿势(vision pose)等。在此，二维坐标为，以二维图像内的预定的位置为原点的二维坐标。此外，深度为，深度图像内的与该二维坐标相对应的位置的深度、或者该位置周围的深度的平均值。
66.异常判断部33基于训练者t的骨骼坐标，从而对是否在训练者t的步行中发生了异常进行判断。异常判断部33例如对训练者t是否快要从带22a向左右或者后侧脱离了进行判断。
67.在训练者t快要从带22a上向左右或者后侧脱离的情况下，异常判断部33判断为训练者t处于异常步行的状态。另一方面，在训练者t并没有要从带22a上向左右或者后侧脱离的情况下，异常判断部33判断为训练者t处于正常步行的状态。
68.在训练者t使用这样的步行训练系统1来实施步行训练的情况下，在辅助者的脚放在了步行训练装置3的主体部21中的带22a的左右两侧的区域中的状态下，辅助者对训练者t进行搀扶。
69.在此，图3为，表示对步行训练过程中的训练者进行拍摄而得到的图像的图。虽然如上文所述那样，骨骼推断部32基于拍摄装置29所拍摄到的二维图像以及深度图像来对训练者t的骨骼坐标进行推断，但是如图3所示那样，在二维图像内，除了训练者t之外有时还存在有辅助者a的脚，从而存在难以高精度地取得训练者t的骨骼信息的情况。
70.因此，本实施方式的步行训练系统1具备提取系统5。提取系统5例如被装入控制装置4中，并且具备图像取得部41、骨骼取得部42、提取部43和掩模处理部44。但是，虽然在本实施方式中将提取系统5装到了控制装置4中，但是也可以设为单独的结构。
71.图像取得部41取得第一摄像机29a所拍摄到的二维图像。此时，图像取得部41最好实时地取得二维图像。但是，图像取得部41也能够由第一摄像机29a构成，或者也能够由可
对训练者t的二维图像进行拍摄而其他摄像机构成。此外，也可以取得由其他摄像机所拍摄到的训练者t的二维图像。
72.骨骼取得部42取得训练者t的骨骼坐标。骨骼取得部42例如从骨骼取得部42取得上次推断的训练者t的骨骼坐标。但是，骨骼取得部42也能够由骨骼推断部32构成，或者也能够由其他骨骼推断部构成。此外，也可以取得由其他骨骼推断部在上次推断出的训练者t的骨骼坐标。
73.虽然详细内容将在后文叙述，但是提取部43对二维图像内的不存在训练者t的腿部的区域进行设定，从而对不存在训练者t的腿部的区域与包含该训练者t的腿部的区域进行区分，进而提取包含训练者t的腿部的区域。掩模处理部44对二维图像内的不存在训练者t的腿部的区域施加掩模。
74.接下来，对训练者t使用本实施方式的步行训练系统1来实施步行训练的流程进行说明。图4为表示训练者使用本实施方式的步行训练系统来实施步行训练的流程的流程图。图5为表示二维图像内的不存在训练者的腿部的区域以及包含训练者的腿部的区域的图。图6为用于对二维图像内的不存在训练者的腿部的区域的设定方法进行说明的图。图7为连续地表示不存在训练者的腿部的区域根据训练者的位置而发生变形的情况的图，从左侧的图向右侧的图而依次表示训练者在步行训练装置的带上从中央向左侧移动时的该区域的变形。另外，在图7中，以省略辅助者的方式进行图示。
75.在此，假设训练者t在带22a上实施步行训练，并且在拍摄装置29拍摄其情况而取得图像的同时，骨骼推断部32基于所取得的图像而对训练者t的骨骼坐标进行推断，异常判断部33基于所推断出的训练者t的骨骼坐标从而对训练者t的异常进行判断。
76.在这样的状态下，首先，提取系统5的图像取得部41取得第一摄像机29a本次所拍摄到的二维图像，并将表示本次所拍摄到的二维图像的信息输出至提取部43以及掩模处理部44(s1)。接下来，提取系统5的骨骼取得部42对是否能够取得上次所推断出的训练者t的骨骼坐标进行判断(s2)。
77.在能够取得上次推断出的训练者t的骨骼坐标的情况下(s2的“是”)，提取系统5的骨骼取得部42将表示能够取得训练者t的骨骼坐标的主旨的判断结果的信息输出至提取部43。提取系统5的提取部43在被输入了表示能够取得训练者t的骨骼坐标的主旨的判断结果的信息的情况下，首先，如图5所示那样，将二维图像中的隔着带22a而位于左右两侧的区域设定为不存在训练者t的腿部的第一区域r1。
78.如上文所述，在训练者t实施步行训练的情况下，辅助者a在辅助者a的脚放在主体部21中的带22a的左右两侧的区域中的状态下，例如从训练者t的后侧对该训练者t进行搀扶，并且训练者t在带22a上实施步行训练。
79.因此，提取部43将二维图像内的隔着带22a而位于左右两侧的区域设定为第一区域r1。在本实施方式中，如图5所示那样，将隔着带22a而位于左右两侧且直到扶手部24附近(换而言之，为训练者t的腰)的高度为止的区域设定为第一区域r1。此时，第一区域r1最好为将设想了训练者t握住扶手部24的区域切除后的形状。
80.例如，右侧的第一区域r1为由如下直线包围而成的区域，所述直线为，沿着带22a的右端缘的第一直线l1、连结第一直线l1的前端部与二维图像的右角部的第二直线l2、直到二维图像的右边的扶手部24的高度为止的第三直线l3、切口线l4、连结第三直线l3的上
端部与切口线l4中的铅直线l4a的上端部的第四直线l5、连结第一直线l1的后端部与切口线l4中的水平线l4b的端部的第五直线l6。
81.另一方面，由于左侧的第一区域r1为将穿过带22a的左右方向的中央并且在前后方向上延伸的轴作为对称轴而与右侧的第一区域r1线对称的形状，因此省略详细的说明。另外，在二维图像内存在带22a和扶手部24等的区域能够通过对二维图像进行图像处理从而识别出来。但是，也可以通过来自外部的输入来对上述的形状的第一区域r1进行设定。
82.在此，由于对于步行训练过程中的训练者t而言，包含有训练者t的腿部的第二区域r2会根据步行状况而发生变化，因此提取系统5的提取部43最好是，从骨骼取得部42取得表示上次推断出的训练者t的骨骼坐标的信息，并基于该上次推断出的训练者t的骨骼坐标从而在本次所取得的二维图像内以使第一区域r1相对于训练者t的腿部而离开预定的距离的方式而使第一区域r1变化。
83.例如，如图6所示那样，提取系统5的提取部43能够以如下方式使第一区域r1变化，即，使第一区域r1相对于连结上次所推断出的训练者t的股关节h的二维坐标与膝关节k的二维坐标而得到的直线l7而离开预定的距离d。
84.也就是说，如图6所示那样，提取系统5的提取部43以与直线l7拉开距离d而大致平行地配置第一区域r1的第五直线l6的方式，并在使第一区域r1的第一直线l1以及切口线l4的水平线l4b延长的同时使第五直线l6缩短，或者在使第一区域r1的第一直线l1以及切口线l4的水平线l4b缩短的同时使第五直线l6延长，从而使第一区域r1变化。
85.详细而言，如从图7的左侧的图到右侧的图所示那样，在训练者t于带22a上向左右进行移动的情况下，提取系统5的提取部43在维持第一区域r1的第五直线l6与直线l7离开距离d而大致平行地配置的状态的同时，使第一区域r1的第一直线l1以及切口线l4的水平线l4b缩短，并且使第五直线l6延长，从而使第一区域r1变形，以免训练者t向左侧或者右侧进行移动的一侧(在图7中为左侧)的第一区域r1与训练者t发生干涉。
86.另一方面，提取系统5的提取部43在维持训练者t所移动的另一侧(在图7中为右侧)的第一区域r1的第五直线l6与直线l7离开距离d而大致平行地配置的状态的同时，使第一区域r1的第一直线l1以及切口线l4的水平线l4b延长，并且使第五直线l6缩短，从而使第一区域r1变形。
87.由此，能够根据训练者t的步行状况，从而使第一区域r1实时地变化，进而准确地进行设定。换而言之，提取部43能够使第二区域r2实时地变化，从而准确地进行提取。提取部43将表示第一区域r1的二维坐标的信息(例如，第一区域r1的各个直线相交的位置的二维坐标信息)输出至掩模处理部44。
88.接下来，提取系统5的掩模处理部44基于本次取得的二维图像以及第一区域r1的二维坐标，从而对本次取得的二维图像内的第一区域r1施加掩模(s3)。由此，能够通过掩模而将存在辅助者a的脚的第一区域r1隐藏起来。掩模处理部44将表示被施加了掩模的二维图像的信息输出至骨骼推断部32。
89.在此，虽然二维图像上被施加的掩模的颜色能够根据训练者t或辅助者a所穿着的衣服、鞋的颜色或材质而适当设定，但是为了防止与第二区域r2的误识别，而优选例如作为衣服或鞋的颜色而不存在的纯白色。但是，提取系统5的掩模处理部44也可以基于二维图像来对训练者t或辅助者a所穿着的衣服、鞋的颜色进行识别，并将掩模的颜色设定为与该训
练者t或辅助者a所装着的衣服、鞋的颜色不同的颜色。此外，也可以通过来自外部的输入而对掩模的颜色进行设定。
90.接下来，骨骼推断部32基于被施加了掩模的二维图像、以及本次所取得的深度图像，从而对训练者t的骨骼坐标进行推断(s4)。此时，由于对不存在训练者t的腿部且放有辅助者a的脚的包含隔着步行训练装置3的带22a而位于左右两侧的区域在内的第一区域r1施加了掩模，并且提取了包含训练者t的腿部的第二区域r2，因此能够对将辅助者a的脚误识别为训练者t的脚的情况进行抑制。因此，能够良好地对训练者t的骨骼坐标进行推断。骨骼推断部32将表示推断出的训练者t的骨骼坐标的信息输出至异常判断部33。
91.另一方面，在不能够取得上次推断出的训练者t的骨骼坐标的情况下(s2的“否”)，提取系统5的骨骼取得部42将表示不能够取得上次推断出的训练者t的骨骼坐标的主旨的判断结果的信息输出至骨骼推断部32。
92.骨骼推断部32在被输入了表示不能够取得上次推断出的训练者t的骨骼坐标的主旨的判断结果的信息的情况下，基于本次拍摄到的训练者t的二维图像以及深度图像来对训练者t的骨骼坐标进行推断，并将表示所推断出的训练者t的骨骼坐标的信息输出至异常判断部33(s5)。但是，如上文所述那样，在使用未被施加掩模的二维图像来对训练者t的骨骼坐标进行推断的情况下，有时难以进行训练者t的骨骼坐标的推断，在该情况下，将转移至后述的s6的工序。
93.接下来，异常判断部33基于训练者t的骨骼坐标，从而对训练者t是否没有要从带22a上脱离进行判断。异常判断部33例如基于二维图像以及深度图像，从而对带22a存在的区域进行识别，并在训练者t的脚进入到该区域的被预先设定的范围外的情况下，推断为训练者t快要从带22a上脱离了，并且判断为训练者t处于异常步行的状态。
94.另一方面，异常判断部33在训练者t的脚存在于带22a存在的区域的被预先设定的范围内的情况下，推断为训练者t没有要从带22a上脱离，并且判断为训练者t处于正常步行的状态。异常判断部33例如最好将表示这些判断结果的信息输出至控制部31。
95.之后，异常判断部33对是否结束训练者t的异常步行判断进行判断(s6)。在使训练者t的异常步行判断结束的情况下(s6的“是”)，异常判断部33将使异常步行判断结束的主旨的信息输出至控制部31。控制部31在被输入有使异常步行判断结束的主旨的信息时，为了中止步行训练，从而对步行辅助装置2的电机14、以及步行训练装置3的电机22b、25a、26a进行控制。
96.另一方面，在使训练者t的异常步行判断继续的情况下(s6的“否”)，异常判断部33将使异常步行判断继续的主旨的信息输出至控制部31。控部31在被输入有使异常步行判断继续的主旨的信息时，为了继续实施步行训练，从而对步行辅助装置2的电机14、以及步行训练装置3的电机22b、25a、26a进行控制。
97.以此方式，在本实施方式的提取系统5、步行训练系统1以及提取方法中，将二维图像中的放有辅助者a的脚的隔着带22a而位于左右两侧的区域设定为不存在训练者t的腿部的第一区域r1，从而与包含训练者t的腿部的第二区域r2区别开来，并对第二区域r2进行提取。
98.由此，在骨骼推断部32基于二维图像来对训练者t的骨骼坐标进行推断时，能够对将辅助者a的脚被误识别为训练者t的脚的情况进行抑制，其结果为，能够高精度地提取包
含训练者t的腿部的第二区域r2。因此，能够良好地对训练者t的骨骼坐标进行推断。
99.而且，在本实施方式的提取系统5、步行训练系统1以及提取方法中，以使不存在训练者t的腿部的第一区域r1离开二维图像内的训练者t的腿部预定的距离d的方式而使第一区域r1实时地变化。由此，能够伴随着训练者t的动作而使第一区域r1实时地变化，其结果为，能够高精度地对存在训练者t的第二区域r2进行提取。
100.此外，在本实施方式的提取系统5、步行训练系统1以及提取方法中，根据训练者t或辅助者a的衣服、鞋的颜色或材质来对向二维图像施加的掩模的颜色进行设定。因此，能够防止与存在训练者t的第二区域r2的误识别。
101.＜其他实施方式＞
102.虽然在上述实施方式中，将本公开作为硬件的结构而进行了说明，但是本公开并未被限定于此。本公开也能够通过使cpu(central processing unit：中央处理器)执行计算机程序从而实现各个结构要素的处理。
103.例如，上述实施方式的提取系统5能够具备如下这样的硬件结构。图8为，表示提取系统5中所包含的硬件结构的一个示例的图。
104.在图8所示的装置51中，具备接口52，并且还具备处理器53以及存储器54。上述实施方式中所说明的提取系统5通过处理器53读取并执行被存储于存储器54中的程序从而被实现。也就是说，该程序为，用于使处理器53作为上述实施方式的提取系统5而发挥功能的程序。
105.上述的程序能够使用各种各样的类型的非暂时性的计算机可读介质(non-transitory computer readable medium)而被存储，并提供给计算机(包括信息通知装置在内的计算机)。非暂时性的计算机可读介质包括各种各样的类型的具有实体的记录介质(tangible storage medium)。非暂时性的计算机可读介质的示例包括：磁记录介质(例如软盘、磁盘、硬盘驱动器)、磁光记录介质(例如磁光盘)。另外，该示例包括cd-rom(read only memory：只读存储器)、cd-r、cd-r/w。进一步地，该示例包括半导体存储器(例如，掩模rom、prom(programmable rom、可编程只读存储器)、eprom(erasable prom、可擦可编程只读存储器)、快闪rom、ram(random access memory、随机存取存储器))。此外，程序也可以通过各种各样的类型的暂时性的计算机可读介质(transitory computer readable medium)而被提供给计算机。暂时性的计算机可读介质的示例包括电信号、光信号以及电磁波。暂时性的计算机可读介质能够经由电线以及光纤等有线通信线路、或者无线通信线路而将程序提供给计算机。
106.本公开并不限于上述实施方式，能够在不脱离主旨的范围内进行适当变更。
107.例如，虽然在上述实施方式中，基于训练者t的动作而使不存在训练者t的腿部的第一区域r1变形，但是也可以在将图5所示的第一区域r1固定的状态下，实施步行训练。
108.例如，也可以预先对表示上次输出至掩模处理部44的第一区域r1的信息进行存储，并在本次在所取得的二维图像中设定该信息所表示的第一区域r1，进而基于上次所推断的训练者t的骨骼坐标而使该第一区域r1变形。由此，能够提高训练者t的脚所存在的第二区域r2的提取精度。
109.从这样描述的公开中，显而易见的是，公开的实施例可以以许多方式改变。此类改变不应被视为脱离本发明的精神和范围，并且对于本领域技术人员而言，所有此类改变均
被包含在所附的权利要求书中，这是不言而喻的。