专利名称：一种利用移动设备内置传感器进行行为识别的方法
技术领域：
本发明涉及动作姿态识别和人机交互技木，特别涉及ー种利用个人手持移动设备如智能手机、PDA等的内置传感器进行动作姿态识别的方法。
背景技术：
目前，用户行为姿态识别已经在身份鉴别、生产控制、人机交互等方面得到了广泛应用。而行为姿态识别的效果严重依赖于硬件的数据采集技木，当前的行为姿态识别的硬件设备可以分为两类基于影像技术的和基于特定输入设备的。前者如高速摄像机，这类设备对硬件设备要求高，识别系统往往占用大量的资源，并且容易收到背景光线的影响。基于特定输入设备的硬件如可穿戴的生物静电传感设备，这类特定输入设备往往造价高昂，不具备普遍适用性。·
而具有无线接入、信息管理并装载开放性操作系统的手持移动设备，如智能手机近年来得到了极大的发展。特别是，大部分移动设备除了能够进行声音、图像信息的采集(如智能手机能够进行通话、拍摄)之外，还能够采集如重力加速度、光线强弱、距离、方向、磁场和温度等多种类型的信息。因此需要一种综合利用这些传感器收集的数据，对人的行为姿态进行识别的方法。
发明内容
发明目的目前的动作姿态识别技术往往依赖于特定的硬件设备，或者占用大量资源或者不具备普适性，针对上述问题，本发明提供ー种利用移动设备内置传感器进行行为识别的方法，具体来说，首先对于特定的行为动作利用移动设备内置传感器进行数据收集，然后采用能够利用多种不同类型数据的学习方法对这些数据进行融合处理，并且进行分类学习，最后在实际使用中利用训练完毕的分类器对采集到的多种传感数据进行分类和识别。技术方案ー种利用移动设备内置传感器进行行为识别的方法，包括识别装置训练步骤和识别装置识别步骤；
所述识别装置训练步骤具体为
步骤100，初始化移动设备；
步骤101，通过移动设备内置传感器离线采集信息作为行为姿态样本用于训练；
步骤102，将移动设备内置传感器离线采集的信息进行数据预处理；
步骤103，判断是否将经数据预处理后的信息作为未标记样本加以接受，如果否，则人エ对行为姿态进行标记；如果是，则判断是否已经取得预设数量的行为姿态样本；如果否，则转入步骤101 ;如果已经取得足够多的行为姿态样本用于训练，则进行学习器训练取得识别模型M ；
识别装置的识别步骤具体为
步骤200，初始化移动设备；步骤201，通过移动设备内置传感器在线采集信息；
步骤202，将移动设备内置传感器在线采集的信息进行数据预处理；
步骤203，使用识别模型M对进行数据预处理后的信息加以识别，判断后输出目前进行的动作姿态。所述移动设备内置传感器包括加速度传感器、方向传感器、光线传感器。所述在移动设备内置传感器离线或者在线采集信息之前，还包括检测移动设备内置传感器是否能正常工作的步骤，如果正常工作，则采集信息；如果出现故障，则提示用户。所述数据预处理，包括对采集到的信息进行信号滤波、去噪、缺失传感器数据填补的处理。 所述识别模型M训练工作流程为首先使用利用标记的行为姿态样本各种传感器返回的信息训练η个分类器Hi1, m2, m3,…，mn ;然后分别使用这些分类器对未标记行为姿态样本池U中的部分行为姿态样本进行标记，并将标记后的行为姿态样本从未标记行为姿态样本池U中移至标记行为姿态样本L，利用新的记行为姿态样本L更新分类器Hi1, m2,m3,…，mn，重复上述步骤直至未标记行为姿态样本池为空或者达到预设的次数；将这η个面向各种传感信息的分类器集成为识别模型M并输出。有益效果与现有技术相比，本发明所提供的利用移动设备内置传感器进行行为识别的方法，实施过程中占用资源少，适用性强。
图I为本发明实施例的行为识别装置训练工作流程 图2为本发明实施例的行为识别装置识别工作流程 图3为本发明实施例的行为识别模型M训练工作流程图。
具体实施例方式下面结合具体实施例，进ー步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。行为姿态识别装置的训练阶段工作流程如图I所示。行为姿态识别装置在训练阶段需要收集一定数量的带标记(也可以附加一部分不带标记)的行为姿态样本用于训练，具体来说，首先初始化移动设备(步骤10);然后携帯移动设备改变动作和姿态(步骤11)，其中初始化指的是移动设备加电至加载操作系统和后台系统服务完成的全部过程；判断移动设备内置传感器是否正常(步骤12a，12c, 12d);如果工作正常，则分别提取重力加速度、光线强弱、距离、方向、磁场和温度等多种类型的信息(步骤13a，13b, 13c, 13d);使用有线或者无线(例如WIFI、蓝牙)将移动设备内置传感器获取的信息导出并进行数据预处理(信号滤波，去噪，缺失传感器数据填补，步骤14)，判断是否将提取的多种类型信息作为未标记样本加以接受(步骤15)，如果否，则人工对行为姿态进行标记(步骤16);判断是否已经取得足够多的训练样本(步骤17);如果否，则转入步骤11 ;如果已经取得足够多的行为姿态样本则进行学习器训练取得识别模型M (步骤18)。注识别模型M的训练过程会消耗大量的计算资源，本发明中可以在高性能计算机上使用导出的多种内置传感器信号数据对模型M加以训练。行为姿态识别装置的识别阶段工作流程如图2所示。首先初始化移动设备(步骤20);然后在进行特定动作和姿态时携帯移动设备(步骤21);判断移动设备内置传感器工作是否正常(步骤22a，22c, 22d);如果工作正常，则分别提取重力加速度、光线强弱、距离、方向、磁场和温度等多种传感器信息(步骤23a，23b, 23c, 23d);对收集的数据进行预处理(步骤24)，使用识别模型M对多类传感器信息加以识别(步骤25)，判断后输出目前进行的动作姿态(步骤26)。注行为姿态识别阶段，识别模型M可以选择内置在移动设备或者存放在高性能计算机内。行为识别模型M训练工作流程如图3所示。首先使用利用标记行为姿态样本L各种传感器返回的信息训练η个分类器叫，m2, m3,…，mn(步骤180)，分别使用这些分类器对未标记行为姿态样本池U中的部分行为姿态样本进行标记(步骤184)，并将标记后的行 为姿态样本从未标记样本池U中移至标记行为姿态样本L(步骤185)，利用新的行为姿态样本L更新分类器Iii1, m2, m3, ···，mn (步骤186),重复上述步骤直至未标记样本池为空(步骤183)或者达到预设的次数(步骤187)。将这η个面向各种传感信息的分类器集成为M并输出(步骤188)。
权利要求
1.ー种利用移动设备内置传感器进行行为识别的方法，其特征在于包括识别装置训练步骤和识别装置识别步骤； 所述识别装置训练步骤具体为 步骤100，初始化移动设备； 步骤101，通过移动设备内置传感器离线采集信息作为行为姿态样本用于训练； 步骤102，将移动设备内置传感器离线采集的信息进行数据预处理； 步骤103，判断是否将经数据预处理后的信息作为未标记样本加以接受，如果否，则人エ对行为姿态进行标记；如果是，则判断是否已经取得预设数量的行为姿态样本；如果否，则转入步骤101 ;如果已经取得足够多的行为姿态样本用于训练，则进行学习器训练取得识别模型M ; 识别装置的识别步骤具体为 步骤200，初始化移动设备； 步骤201，通过移动设备内置传感器在线采集信息； 步骤202，将移动设备内置传感器在线采集的信息进行数据预处理； 步骤203，使用识别模型M对进行数据预处理后的信息加以识别，判断后输出目前进行的动作姿态。
2.如权利要求I所述的利用移动设备内置传感器进行行为识别的方法，其特征在于所述移动设备内置传感器包括加速度传感器、方向传感器、光线传感器。
3.如权利要求I所述的利用移动设备内置传感器进行行为识别的方法，其特征在于所述在移动设备内置传感器离线或者在线采集信息之前，还包括检测移动设备内置传感器是否能正常工作的步骤，如果正常工作，则采集信息；如果出现故障，则提示用户。
4.如权利要求I所述的利用移动设备内置传感器进行行为识别的方法，其特征在于所述数据预处理，包括对采集到的信息进行信号滤波、去噪、缺失传感器数据填补的处理。
5.如权利要求I所述的利用移动设备内置传感器进行行为识别的方法，其特征在于所述识别模型M训练工作流程为首先使用利用标记的行为姿态样本各种传感器返回的信息训练η个分类器Hi1, m2, m3,…，mn ;然后分别使用这些分类器对未标记行为姿态样本池U中的部分行为姿态样本进行标记，并将标记后的行为姿态样本从未标记行为姿态样本池U中移至标记行为姿态样本L，利用新的记行为姿态样本L更新分类器Hi1, m2, m3,…，mn,重复上述步骤直至未标记行为姿态样本池为空或者达到预设的次数；将这η个面向各种传感信息的分类器集成为识别模型M并输出。
全文摘要
本发明公开一种利用移动设备内置传感器进行行为识别的方法，包括识别装置训练步骤和识别装置识别步骤；首先对于特定的行为动作利用移动设备内置传感器进行数据收集，然后采用能够利用多种不同类型数据的学习方法对这些数据进行融合处理，并且进行分类学习，最后在实际使用中利用训练完毕的分类器对采集到的多种传感数据进行分类和识别。本发明的方法实施过程中占用资源少，适用性强。
文档编号G06K9/62GK102867190SQ20121031500
公开日2013年1月9日 申请日期2012年8月30日 优先权日2012年8月30日
发明者詹德川, 周志华 申请人:南京大学