专利名称：动作解析装置以及动作解析方法
技术领域：
本发明涉及通过与标准动作的比较来对比较对象动作进行解析的动作解析装置以及动作解析方法。
背景技术：
以往提出了通过与标准动作的比较来对比较对象动作进行解析的装置和方法 (例如参照非专利文献1以及非专利文献2)。非专利文献1中记载的装置是进行使用了在驾驶员的身体各部位上安装的加速度传感器的行动测量，使用独立分量分析和一类SVM(支持向量机)进行动作解析的装置。 更具体而言，非专利文献1中记载的装置从代表性的驾驶动作中提取特征量向量(33维)， 对提取的特征量向量集合适用主分量分析，进行无相关化后使用一类SVM。也就是说，非专利文献1中记载的装置使用SVM的特征量提取比较对象动作与标准动作的差异。非专利文献2中记载的方法是在影像数据的立体高次局部自相关(CHLAC :cubic higher-order local autocorrelation)特征中导入时间权重的动作评价方法。非专利文献2中记载的方法是导入时间权重作为使用了傅立叶级数展开的连续函数的方法。更具体而言，非专利文献2中记载的方法为使用外在效标(external criterion)对傅立叶级数进行最优化，在此基础上，使用得到的时间权重计算影像特征，通过判别分析或者多元回归分析进行动作评价。另外，非专利文献2中记载的方法为使用影像特征的时间权重，提取标准动作与比较对象动作的差异。通过使用上述装置以及方法，能够提取比较对象动作与标准动作的差异，并且提示满足差异程度超过阈值等规定条件的位置。由此，用户能够高效率地确认提示的位置。专利文献1 特开2006-79272号公报专利文献2 特开2007-3；34756号公报非专利文献1 多田昌裕等五人「無線加速度七 > 寸f用^ &運転者行動計測 (二基^〈模範運転動作力O逸脱検出」、電子情報通信学会技術研究報告、Vol. 107、 No. 114、pp.117-122,2007非专利文献2 森下雄介等三人，「時間重 i外的規準&用^ &動作評価手法」、 電子情報通信学会技術研究報告、Vol. 107、No. 539、pp. 47-52,2008非专利文献3 篠原雄介、大津展之、「74 7 * Y —重 7 7 :/ f用0 t顔画像如b O表情認識」、電子情報通信学会研究報告、Vol. 103, No. 737, pp. 79-84,2004然而，根据作为解析对象的动作的种类或时间长度、确认解析结果的用户的状况或者解析要求的精度等，适当的解析结果的提示量不同。在提示的位置的个数或者作为提示对象的时间过多的情况下，提示内容变得烦杂，确认需要花费时间和精力。另一方面，在提示的位置的个数或者作为提示对象的时间过少的情况下，无法充分得到必需的解析结果。另外，适当的解析结果的提示量在解析对象和用户相同时，有时也会根据情况而不同。 因此，较为理想的是用户能够容易地调整解析结果的提示量。
发明内容
本发明的目的在于提供能够容易地调整解析结果的提示量的动作解析装置以及动作解析方法。本发明的动作解析装置是通过与标准动作的比较来对比较对象动作进行解析的动作解析装置，其包括动作差异提取单元，判定所述比较对象动作与所述标准动作的差异程度满足规定条件的位置；提示量输入单元，接受对满足所述规定条件的位置的提示量的指定；以及动作提取度调整单元，调整所述规定条件，以使满足所述规定条件的位置的量为所述指定的提示量。本发明的动作解析方法是通过与标准动作的比较来对比较对象动作进行解析的动作解析方法，其包括接受所述解析的结果的提示量的指定的步骤；判定所述比较对象动作与所述标准动作的差异程度满足规定条件的位置的步骤；以及在满足所述规定条件的位置的量与指定的提示量不同时调整所述规定条件的步骤。根据本发明，能够容易地调整解析结果的提示量。
图1是表示一例本发明的实施方式1的动作解析系统的结构的系统结构图。图2是表示一例本实施方式1的动作解析装置的结构的方框图。图3是表示一例本实施方式1的动作解析装置的动作的流程图。图4是表示一例本实施方式1的动作解析装置中的信息流程的图。图5是表示一例本实施方式1中的结果显示画面的图。图6是表示一例本实施方式1的变形例1的动作解析装置的动作的流程图。图7是表示一例本实施方式1的变形例1的动作解析装置中的信息流程的的图。图8是表示一例本发明的实施方式2的动作解析装置的结构的方框图。图9是表示一例本实施方式2的动作解析装置的动作的流程图。图10是表示一例本实施方式2的动作解析装置中的信息流程的图。图11是表示一例本实施方式2中的动作提取结果显示画面的图。图12是表示一例本发明的实施方式3的动作解析装置的结构的方框图。图13是表示本实施方式3的动作解析装置的动作的一例的流程图。图14是表示一例本发明的实施方式4的动作解析装置的结构的方框图。图15是表示一例本实施方式4的动作解析装置的动作的流程图。图16是表示一例本实施方式4的动作解析装置中的信息流程的图。图17是表示一例包含本发明的实施方式5的动作解析装置的动作解析系统的结构的系统结构图。图18是表示一例本实施方式5中的图像特征量的计算方法的图。图19是表示一例本实施方式5的动作解析装置的结构的方框图。图20是表示一例本实施方式5的动作解析装置的动作的流程图。图21是表示本实施方式5中设想的标准动作的影像以及比较对象动作的影像的图。
图22是表示一例本实施方式5中设想的标准动作以及比较对象动作的内容、以及该情况下的时间权重图的图。图23是表示一例本实施方式5中各时刻的时间权重的图。图M是表示一例本实施方式5中位置权重的分布(位置权重图)的图。图25是表示一例本实施方式5中结果显示画面的图。图沈是表示一例本实施方式5中结果显示画面中包含的三维曲线的图。图27是表示一例包含本发明的实施方式6的动作解析装置的动作解析系统的结构的系统结构图。图观是表示一例本实施方式6的动作解析装置的结构的方框图。图四是表示一例本实施方式6的动作解析装置的动作的流程图。图30是表示本实施方式6中设想的标准动作的影像以及比较对象动作的影像的图。图31是表示一例本实施方式6中设想的标准动作以及比较对象动作的内容、以及该情况下的时间权重图的图。图32是表示一例本实施方式6中各时刻的位置权重的分布(位置权重图)的图。图33是表示一例本实施方式6中结果显示画面的图。图34是表示一例本实施方式6中结果显示画面中包含的三维曲线的图。图35是表示一例本实施方式7的动作解析装置的结构的方框图。标号说明100、100e、100f 动作解析系统200传感器装置300、300b、300c、300d、300e、300f 动作解析装置310动作数据输入单元321、321c、321d动作特征提取单元322、322b、322c 动作提取单元323、323d提示量输入单元3M、3Mb、324d动作提取度调整单元325动作提取结果提示单元32 提取类别输入单元327d动作解析初始值设定单元331e时间权重提取单元332e加权位置特征量提取单元333e位置权重提取单元!Mlf位置权重提取单元342f加权时间特征量提取单元343f时间权重提取单元400输出装置500输入装置
具体实施例方式以下，参照附图详细说明本发明的各实施方式。另外，在各实施方式中，对相同的部分附加相同的标号，对相对应的部分附加下标不同的标号。(实施方式1)图1是表示一例本发明的实施方式1的动作解析系统的结构的系统结构图。本实施方式将本发明作为适用于在熟练作业员和一般作业员工作的工厂中用于解析各一般作业员的动作的动作解析系统的例子进行说明。作业员的动作是由例如将部件取到手中、放到产品主体上、进行螺接固定、粘贴封条等多个单位动作构成的一连串的动作。更具体而言，本实施方式的动作解析系统是对从事某个作业工序的熟练作业员的姿态进行摄影，以相同的摄影角度对从事相同作业工序时的各一般作业员的姿态进行摄影，并对各一般作业员的动作进行解析。以下，将上述一般的单位动作和由动作解析系统100作为一个偏离动作提取的单位总称为“动作”。图1中，动作解析系统100具有传感器装置200、本实施方式的动作解析装置 300、输出装置400、以及输入装置500。传感器装置200是检测人的动作的装置。传感器装置200将测量了作业员的动作得到的数据向动作解析装置300输出。这里，传感器装置200是将摄影到的图像的图像帧数据(活动图像数据)实时输出的摄像机，采用能够对工厂的组装流水线上并排作业的各作业员分别摄影的装置。以下，将对熟练作业员的一连串标准动作进行摄影得到的动作数据称为“标准动作数据”，将对一般对象者的一连串比较对象动作进行摄影得到的动作数据称为“比较对象动作数据”。另外，标准动作数据以及解析对象数据适当地总称为“动作数据”。动作解析装置300是通过与标准动作的比较来对比较对象动作进行解析的装置。 动作解析装置300提取比较对象动作与标准动作的差异程度满足规定条件的位置，生成用于提示提取出的位置的画面(以下称为“结果显示画面”)，并将生成了的结果显示画面向输出装置400输出。本实施方式的动作解析装置300提示比较对象动作与标准动作存在较大差异的动作(以下称为“偏离动作”)的位置(以下称为“偏离动作位置”)。这里，动作解析装置300是具有CPU (central processing unit，中央处理单元) 以及RAM (random access memory，随机存取存储器)等存储介质、以及用于获取活动图像数据的视频捕获电路的计算机。也就是说，动作解析装置300通过由CPU执行存储的控制程序来工作。输出装置400输出从动作解析装置300输入的结果显示画面的数据。这里，输出装置400是具有液晶显示器的监视器。另外，输出装置400也可以是远程配置的装置(远程监视装置、移动电话等)。在此情况下，输出装置400例如经由因特网等网络与动作解析装置300连接。输入装置500是用于由用户操作动作解析装置300的接口。这里，输入装置500 例如是作为定点设备(pointing device)的鼠标、以及键盘。这样的动作解析系统100能够将从比较对象动作中作为偏离动作检测出的位置经由结果显示画面对用户进行提示。因此，用户能够仅确认提示出的位置，高效率地解析比较对象动作。
接着，对动作解析装置300的结构进行说明。图2是表示一例动作解析装置300的结构的方框图。图2中，动作解析装置300具有动作数据输入单元310、动作特征提取单元321、动作提取单元322、提示量输入单元323、 动作提取度调整单元324、以及动作提取结果提示单元325。动作特征提取单元321以及动作提取单元322对应于本发明的动作差异提取单元。动作数据输入单元310根据来自动作特征提取单元321的要求，从传感器装置200 取得动作数据，并向动作特征提取单元321传送。动作数据的传送可以实时进行，也可以在存储动作数据后进行。另外，动作数据输入单元310接受输入装置500的用户操作，将从传感器装置200输入的动作数据在输入时或者输入后分类为标准动作数据与比较对象动作数据中的任一种。动作数据输入单元310也可以为了再次使用而存储一度输入的标准动作数据。动作特征提取单元321根据从动作数据输入单元310输入的动作数据，使用规定的参数(第一参数)，从动作数据中提取表示动作特征的特征量(以下简称为“特征量”)。 然后，动作特征提取单元321将计算出的特征量输出到动作提取单元322。以下，将从标准动作数据中提取出的特征量适当地称为“标准动作特征量”，将从比较对象动作数据中提取的特征量适当地称为“比较对象动作特征量”。这里，特征量为非专利文献2中公开的CHLAC特征。CHLAC特征是将作为来自二维图像数据的特征提取的高次局部自相关(HLAC)特征加上时间轴而扩展为三维的特征，并且是表示在图像的平面空间上加上了时间轴的三维坐标系中的运动特征的特征向量。特征量提取中使用的参数的值在初始状态下设定为预先确定的初始值，随后通过动作提取度调整单元3M进行适当调整。动作提取单元322根据从动作特征提取单元321输入的标准动作特征量以及比较对象动作特征量，使用规定的参数(第二参数)，提取比较对象动作与标准动作的差异。然后，动作提取单元322对提取出的差异满足由规定的参数(第三参数)确定的条件的位置进行提取，并将提取结果输出到动作输出度调整单元324。提取结果包含提取出的位置(以下称为“提取位置”)、以及基于规定的计数标准的提取位置的个数(以下称为“提取数”)。 在提取位置为区间的情况下，提取结果包含该区间的开始时刻以及结束时刻。这里，以下，将动作特征提取单元321在特征量提取中使用的参数适当地总称为 “特征提取参数”。另外，将动作提取单元322在动作提取中使用的参数适当地总称为“动作提取参数”。在特征提取参数的种类中，包含用于CHLAC特征提取的图像大小或帧速率或窗口大小、主分量分析的主分量分析累计贡献度、傅立叶级数的基底函数的数量、最小二乘标准的变回归系数、以及k-nn法(k邻近法，k-nearest neighbor algorithm)的k的值。另外，动作提取参数的种类中包含动作的持续时间或后述的距离阈值。提示量输入单元323经由输入装置500接受向用户进行提示的提取位置的个数 (提取结果的提示量)的指定，将指定的个数(以下称为“目标提取数”)输出到动作提取度调整单元324。在提取数与目标提取数不一致时，动作提取度调整单元3M调整动作特征提取单元321的特征提取参数并指示动作特征提取单元321重新提取特征量，以使提取数与目标提取数一致。然后，动作提取度调整单元3M在提取数与目标提取数一致时，将提取结果输出到动作提取结果提示单元325。也就是说，动作提取度调整单元3M改变特征提取参数并且使动作特征提取单元321以及动作提取单元322反复进行处理，直至提取数与目标提取
数一致。动作提取结果提示单元325生成用于提示从动作提取度调整单元3M输入的提取结果的结果显示画面，并且经由输出装置400进行显示。具有这样的结构的动作解析装置300能够以用户指定的目标提取数，对用户提示偏离动作位置作为解析结果。因此，用户不用分别调整特征量提取或动作提取中使用的各个参数，而能够通过输入目标提取数这样的简单方法，调整偏离动作位置的提示量。以下，对动作解析装置300的动作进行说明。图3是表示一例动作解析装置300的动作的流程图。图4是表示一例动作解析装置300中的信息流程的图。首先，用户例如安排熟练作业员和一般作业员隔着休息时间轮流负责包含对象动作的作业，并对动作解析装置300进行操作以对熟练作业员和一般作业员的动作分别进行摄影。通过采用这种方式，无需专门用于动作评价的时间，不会给作业员增加负担，因此能够在不影响工厂的生产性的情况下获取用于动作解析的数据。其结果是，动作数据输入单元310输入标准动作数据和比较对象动作数据，并将输入的标准动作数据以及比较对象动作数据输出到动作特征提取单元321。动作数据输入单元310在每一次解析处理中，可以从一人或者多人取得多个标准动作数据，也可以从一人或者多人取得多个比较对象动作数据。另外，动作数据输入单元310在存储有过去输入了的标准动作数据的情况下，也可以将该标准动作数据输出到动作特征提取单元321。首先，在步骤Sl 100中，动作提取度调整单元3 经由提示量输入单元323输入目标提取数(以下适当地使用记号B)。具体而言，例如，从动作提取度调整单元3M接受了指示的提示量输入单元323在输出装置400上显示用于催促进行目标提取数的输入的画面。 然后，提示量输入单元323将对应地经由输入装置500输入的数值作为目标提取数B返送到动作提取度调整单元324。另外，在动作提取度调整单元3M使用上次的目标提取数的情况下，也可以不必进行经由提示量输入单元323的目标提取数的输入。另外，在此情况下， 动作提取度调整单元3M可以经由提示量输入单元323向用户询问是否使用上次的目标提取数，或者基于是否以相同的目标提取数反复处理了设定的次数来进行判断。然后，在步骤S1200中，动作特征提取单元321从一个或多个标准动作数据中，每帧地提取标准动作特征量，根据提取出的一连串标准动作特征量，求标准动作部分空间。标准动作特征量如上所述这里为CHLAC特征。所谓标准动作部分空间是指定义标准动作的空间。动作特征提取单元321例如使用下式(1)所示的N次自相关函数，计算CHLAC特
征Xo
权利要求
1.动作解析装置，通过与标准动作的比较来进行比较对象动作的解析，包括动作差异提取单元，判定所述比较对象动作与所述标准动作的差异程度满足规定条件的位置；提示量输入单元，接受对满足所述规定条件的位置的提示量的指定；以及动作提取度调整单元，调整所述规定条件，以使满足所述规定条件的位置的数量为所述指定了的提示量。
2.如权利要求1所述的动作解析装置，还包括动作数据输入单元，输入作为一连串所述标准动作的动作数据的标准动作数据和作为一连串所述比较对象动作的动作数据的比较对象动作数据，所述动作差异提取单元使用第一参数从所述标准动作数据以及所述比较对象动作数据的各个动作数据中提取特征量，使用第二参数提取所述比较对象动作数据的特征量与所述标准动作数据的特征量的差异，并对提取出的差异满足由第三参数确定的条件的位置进行提取，所述动作提取度调整单元调整所述第一参数、所述第二参数、以及所述第三参数中的至少一个参数。
3.如权利要求2所述的动作解析装置，所述动作数据为活动图像数据，所述特征量为立体高次局部自相关特征。
4.如权利要求2所述的动作解析装置，由所述第三参数确定的条件是所述差异大于所述第三参数。
5.如权利要求2所述的动作解析装置，所述提示量是满足由所述第三参数确定的条件的位置的个数。
6.如权利要求2所述的动作解析装置，所述提示量是满足由所述第三参数确定的条件的位置的时间长度的合计。
7.如权利要求2所述的动作解析装置，由所述第三参数确定的条件是所述差异小于所述第三参数。
8.如权利要求1所述的动作解析装置，还包括动作数据输入单元，输入作为一连串所述标准动作的活动图像数据的标准动作数据和作为一连串所述比较对象动作的活动图像数据的比较对象动作数据，所述动作差异提取单元使用第四参数，将在立体高次局部自相关特征中导入时间权重并计算影像特征时的时间权重，作为表示所述比较对象动作与所述标准动作的差异的特征量进行提取，并且提取所述特征量满足由第五参数确定的条件的位置，所述动作提取度调整单元调整所述第四参数以及所述第五参数中的至少一个参数。
9.如权利要求1所述的动作解析装置，还包括动作解析初始值设定单元，与多个不同的提示量等级中的各个等级对应，基于所述标准动作数据，设定所述规定条件的初始值以及所述提示量的目标值，所述动作提取度调整单元根据所述等级的指定，接受所述规定条件的初始值以及所述提示量的指定。
10.动作解析方法，用于通过与标准动作的比较来进行比较对象动作的解析，包括接受对所述解析的结果的提示量的指定的步骤；判定所述比较对象动作与所述标准动作的差异程度满足规定条件的位置的步骤；以及在满足所述规定条件的位置的数量与指定的提示量不同时调整所述规定条件的步骤。
11.如权利要求1所述的动作解析装置，所述动作差异提取单元包括第一权重提取单元，从作为所述比较对象动作的图像特征量的数据的比较对象特征量数据和作为所述标准动作的图像特征量的数据的标准特征量数据中，提取第一权重，该第一权重表示对于所述图像特征量的时间分量以及位置分量中的一方即第一分量的每个值， 所述比较对象动作与所述标准动作的差异大小；加权特征量提取单元，对于所述比较对象特征量数据以及所述标准特征量数据中的各个特征量数据，计算适用了所述第一权重的值的所述第一分量的值的积分值；以及第二权重提取单元，从根据所述比较对象特征量数据计算出的所述积分值和根据所述标准特征量数据计算出的所述积分值中，提取第二权重，该第二权重表示对于所述图像特征量的时间分量以及位置分量中的另一方即第二分量的每个值，所述比较对象动作与所述标准动作的差异大小。
12.如权利要求11所述的动作解析装置，所述第一分量是所述时间分量，所述第一权重是表示所述比较对象动作与所述标准动作的每个时间的差异大小的时间权重，所述第二分量是所述位置分量，所述第二权重是表示所述比较对象动作与所述标准动作的每个位置的差异大小的位置权重。
13.如权利要求12所述的动作解析装置，还包括显示信息生成单元，基于所述位置权重，生成表示所述比较对象动作的影像中的各位置的重要度的信息。
14.如权利要求12所述的动作解析装置，还包括显示信息生成单元，基于所述位置权重以及所述时间权重，生成用于表示所述比较对象动作的影像中的各位置的重要度和各时间的重要度的信息。
15.如权利要求12所述的动作解析装置，所述图像特征量是立体高次局部自相关特征量。
16.如权利要求11所述的动作解析装置，所述第一分量是所述位置分量，所述第一权重是表示所述比较对象动作与所述标准动作的每个位置的差异大小的位置权重，所述第二分量是所述时间分量，所述第二权重是表示所述比较对象动作与所述标准动作的每个时间的差异大小的时间权重。
17.如权利要求16所述的动作解析装置，还包括显示信息生成单元，基于所述时间权重，生成表示所述比较对象动作的影像中的各时间的重要度的信息。
18.如权利要求16所述的动作解析装置，还包括显示信息生成单元，基于所述时间权重以及所述位置权重，生成表示所述比较对象动作的影像中的各时间的重要度和各位置的重要度的信息。
19.如权利要求16所述的动作解析装置，所述图像特征量是立体高次局部自相关特征量。
全文摘要
本发明公开了能够容易地调整解析结果的提示量的动作解析装置。动作解析装置(300)是通过与标准动作的比较来进行比较对象动作的解析的装置，包括动作特征提取单元(321)以及动作提取单元(322)，判定比较对象动作与标准动作的差异程度满足规定条件的位置；提示量输入单元(323)，接受对满足规定条件的位置的提示量的指定；以及动作提取度调整单元(324)，调整规定条件，以使满足规定条件的位置的数量为指定了的提示量。
文档编号G06T7/20GK102317978SQ20108000808
公开日2012年1月11日 申请日期2010年12月20日 优先权日2009年12月22日
发明者川口京子, 田靡雅基 申请人:松下电器产业株式会社