基于手势识别的辅助语义识别方法与流程

本发明涉及人机交互技术领域，特别涉及基于手势识别的辅助语义识别方法。

背景技术：

由于法律具有较高的专业性，非专业人才很难掌握和灵活运用。因此，人们在遇到法律问题时往往需要求助律师进行相关法律问题的咨询。然而，因为律师的从业人数相对较少，咨询费用相对较贵，律师的咨询服务并不能够满足所有人的咨询要求。为了解决普通大众的法律咨询问题，能提供自助服务的法律咨询机器人应运而生。

人们通过法律咨询机器人进行法律问题咨询时，需要被咨询者输入咨询问题，系统可以根据咨询问题自动匹配对应的解答发送给咨询者。

目前咨询者输入咨询问题的方式主要有键盘输入和语音进行输入。但是对于某些特殊人群来说，还是存在着不会使用键盘输入或者不能使用语音输入的问题；例如对于文化程度较低的聋哑人来说，就难以进行键盘输入，也不能进行语音输入。为了让所有人都能顺利的进行线上咨询，需要引入额外的输入方式，例如手势识别。

然而由于手势识别的计算过程比较复杂，对实时性要求比较高，如果进行手势输入的用户输入的速度过快时，如果法律咨询机器人的计算能力不足，可能会导致每一帧图像的处理时间太长，因此无法解决对咨询者的手势输入进行实时识别的问题。而且，总体上手势识别的使用频率远低于键盘输入和语音输入等传统输入方式，如果一味的升级法律咨询机器人的硬件来提升计算能力，会增加额外的成本。

为此，需要一种成本低且能实时识别的方法。

技术实现要素：

本发明提供了基于手势识别的辅助语义识别方法，能够在低成本下保证实时识别。

为了解决上述技术问题，本申请提供如下技术方案：

基于手势识别的辅助语义识别方法，包括如下步骤：

s1、手势演示步骤：在输入前播放手势演示视频；

s2、图像采集步骤：实时采集图像数据；

s3、图像处理步骤：对图像数据进行预处理并划分手势识别区；

s4、手势识别步骤：识别手势识别区的手势并记录手势的运动轨迹信息；将手势及手势的运动轨迹信息输入预设的手势识别模型中并获取识别结果；识别结果为文字文本；

s5、手势判断步骤：判断运动轨迹信息是否符合标准，如果不符合，发出提醒；

s6、语义识别步骤：获取文字文本并提取咨询关键词，将咨询关键词与预存的法律词库中的法律关键词进匹配，并获取匹配成功的法律关键词对应的法律条文；将法律条文输出。

基础方案原理及有益效果如下：

本方案中，通过让用户观看手势演示视频，能使用户了解如何进行标准的手势输入，降低用户过快进行手势输入的几率。在用户的手势不符合标准时，进行提醒，能进一步引导用户调整当前的手势输入速度等。通过对用户进行有效的引导，能让用户的手势输入与当前的处理能力相匹配，避免因计算能力不足，无法对实时的手势输入进行识别的问题。而且，不需要提升硬件的处理能力，降低了成本。

进一步，还包括s0、信息采集步骤，采集用户的个人资料信息，个人资料信息包括姓名和残疾类型，残疾类型包括听力和言语。

通过采集用户的个人资料信息，能知晓用户的残疾类型。

进一步，所述s5中，还包括如下子步骤：

s501、基于运动轨迹信息判断运动速度是否超过第一阈值；

s502、如果超过第一阈值，播放手势速度过快提醒；

通过设定第一阈值，能有效区分用户打手势的速度是否过快，在过快时播放手势速度过快提醒，能提醒用户降低速度。

进一步，所述s501中，还基于运动轨迹信息判断运动幅度是否低于第二阈值，

s502中，如果低于第二阈值，还播放手势幅度过小提醒。

通过第二阈值，能有效区分用户打手势的幅度是否过小，在过小时播放手势幅度过小提醒，能提醒用户增大手势幅度。

进一步，还包括：

s503、播放手势速度过快提醒后，继续基于运动轨迹信息判断运动速度是否超过第一阈值；

s504、如果超过第一阈值，播放速度引导文件。

用户在收到手势速度过快提醒之后，手势的输入速度仍然过快，可能是不清楚何种速度比较合适，通过播放速度引导文件，能帮助用户找到合适的速度。

进一步，所述s504中，速度引导文件为速度引导音乐或速度引导视频。

通过聆听引导音乐或观看引导视频，能帮助用户找到合适的节奏，从而降低打手势的速度。

进一步，还包括s500，基于用户的个人资料判断用户是否为听力残疾；

s504中，播放引导文件时，如果是听力残疾，播放速度引导视频；如果不是听力残疾，播放速度引导音乐。

听力残疾的用户不能听见速度引导音乐，为其播放速度引导视频，能让听力残疾的用户也能找到合适的节奏。

进一步，所述s0包括如下子步骤：

s001、采集残疾证图像；

s002、识别残疾证图像中的文字；

s003、从已识别的文字中提取个人资料信息。

残疾人输入不便，通过图像识别的方式直接从残疾证中提取个人资料信息，进一步为残疾人的使用提供便利。

进一步，还包括s505，播放手势幅度过小提醒后，继续基于运动轨迹信息判断运动幅度是否低于第二阈值；

s504、如果低于第二阈值，播放幅度引导文件；幅度引导文件为幅度引导音乐或幅度引导视频；如果是听力残疾，播放幅度引导视频；如果不是听力残疾，播放幅度引导音乐。

听力残疾的用户不能听见幅度引导音乐，为其播放幅度引导视频，能让听力残疾的用户也能通过观看幅度引导视频找到合适的手势幅度。

进一步，所述幅度引导音乐的音量与运动幅度成反比，幅度引导视频的亮度与运动幅度成反比。

通过反向激励的方式，能有效引导用户扩大打手势的幅度。

附图说明

图1为基于手势识别的辅助语义识别方法实施例一的流程图。

具体实施方式

下面通过具体实施方式进一步详细说明：

实施例一

如图1所示，本实施例的基于手势识别的辅助语义识别方法，包括如下步骤：

s0、信息采集步骤，采集用户的个人资料信息，个人资料信息包括姓名、性别、年龄和残疾类型等，残疾类型包括听力、言语、肢体、智力和多重等。

本实施例中，具体包括如下子步骤：

s001、采集残疾证图像；

s002、识别残疾证图像中的文字；

s003、从已识别的文字中提取个人资料信息。

s1、手势演示步骤：在用户输入前播放手势演示视频；本实施例中，手势演示视频为事先录制的手势的幅度和手势的速度都符合标准的演示视频。便于用户以此视频为参照。

s2、图像采集步骤：实时采集图像数据；

s3、图像处理步骤：对图像数据进行预处理并划分手势识别区；

s4、手势识别步骤：识别手势识别区的手势并记录手势的运动轨迹信息；将手势及手势的运动轨迹信息输入预设的手势识别模型中并获取识别结果；识别结果为文字文本；本实施例中，运动轨迹信息包括运动方向、运动速度和运动轨迹坐标。

s5、手势判断步骤：判断运动轨迹信息是否符合标准，如果不符合，发出提醒。

本实施例中，具体包括如下子步骤：

s500，基于用户的个人资料判断用户是否为听力残疾；

s501、基于运动轨迹信息判断运动速度是否超过第一阈值以及基于运动轨迹信息判断运动幅度是否低于第二阈值；

s502、如果超过第一阈值，播放手势速度过快提醒；如果低于第二阈值，还播放手势幅度过小提醒。本实施例中，手势速度过快提醒和手势幅度过小提醒均包括语音版和文字版。例如，手势速度过快提醒的文字版为“您的手势速度过快，请降低速度”。如果用户是听力残疾，播放手势速度过快提醒和手势幅度过小提醒时均播放文字版；如果不是听力残疾，均播放语音版。

s503、播放手势速度过快提醒后，继续基于运动轨迹信息判断运动速度是否超过第一阈值；

s504、如果超过第一阈值，播放速度引导文件。速度引导文件为速度引导音乐或速度引导视频。播放引导文件时，如果是听力残疾，播放速度引导视频；如果不是听力残疾，播放速度引导音乐。本实施例中，速度引导音乐为带有鼓点的音乐，速度引导视频为敲击乐器的视频，其中鼓点的节奏以及敲击的节奏与符合标准的手势的速度一致。例如速度引导音乐中，在每个词的手势输入间隔会伴随一个重低音；速度引导视频中，在每个词的手势输入间隔会伴随一个敲鼓的画面。在其他实施例中，也可以采用其他的方式，例如速度引导音乐为不断重复“1、2、3、4”的音乐；速度引导视频为音乐波形的视频。

s6、语义识别步骤：获取文字文本并提取咨询关键词，将咨询关键词与预存的法律词库中的法律关键词进匹配，并获取匹配成功的法律关键词对应的法律条文；将法律条文输出。

基于手势识别的辅助语义识别方法，本实施例还提供基于手势识别的辅助语义识别系统，包括文字识别模块、图像采集模块、手势识别模块、语义识别模块和演示模块。

图像采集模块用于采集残疾证图像，文字识别模块用于识别残疾证图像中的文字，并从已识别的文字中提取个人资料信息。本实施例中，个人资料信息包括姓名、性别、年龄和残疾类型等，残疾类型包括听力、言语、肢体、智力和多重等。

图像采集模块还用于实时采集图像数据。演示模块用于在图像采集模块实时采集图像数据前播放手势演示视频。本实施例中，手势演示视频为事先录制的手势的幅度和手势的速度都符合标准的演示视频。便于用户以此为参照。

图像处理模块用于获取图像数据并对图像数据进行预处理。预处理包括灰度转换，降噪和锐化。本实施例中，降噪时采用中值滤波。中值滤波能够将图像数据中的斑点椒盐等噪声滤除，它是典型的非线性数字滤波。中值滤波的原理是先确定一个领域窗w，它以像素点p(i，j)为中心，将窗口中所有的像素灰度值按照由小到大的顺序排列，选择中间值作为像素中心点的灰度新值，当移动窗口时，就可以对图像进行滤波处理。

图像处理模块用于在预处理后从图像数据中划分手势识别区。图像处理模块划分手势识别区时，还用于识别人体颈部、头顶部和腰部；图像处理模块还用于将颈部左右分别延伸65-70cm作为横向边界(本实施例中具体为65cm)；图像处理模块还用于将头顶部和腰部作为纵向边界。

手势识别模块用于识别手势识别区的手势并记录手势的运动轨迹信息；本实施例中，运动轨迹信息包括运动方向、运动速度和运动轨迹坐标。

手势识别模块基于运动轨迹信息判断运动速度是否超过第一阈值，如果超过第一阈值，手势识别模块还用于向演示模块发送速度提醒指令；手势识别模块还基于运动轨迹信息判断运动幅度是否低于第二阈值，如果低于第二阈值，手势识别模块还用于向演示模块发送幅度提醒指令；本实施例中，运动幅度是通过计算两次运动轨迹坐标之间的运动距离得到的。

演示模块还用于根据速度提醒指令播放手势速度过快提醒以及根据幅度提醒指令播放手势幅度过小提醒。本实施例中，手势速度过快提醒和手势幅度过小提醒均包括语音版和文字版。例如，手势速度过快提醒的文字版为“您的手势速度过快，请降低速度”。

演示模块播放手势速度过快提醒和手势幅度过小提醒前还用于获取个人资料信息，基于个人资料信息判断用户是否为听力残疾，如果是听力残疾，演示模块播放手势速度过快提醒和手势幅度过小提醒时均播放文字版；如果不是听力残疾，均播放语音版。

当演示模块播放手势速度过快提醒后，手势识别模块还用于继续判断运动速度是否超过第一阈值，如果超过第一阈值；手势识别模块还用于向演示模块发送速度引导指令，演示模块还用于根据速度引导指令播放速度引导文件。本实施例中，速度引导文件为速度引导音乐和速度引导视频。具体的，如果用户是听力残疾，演示模块播放速度引导视频；如果不是听力残疾，演示模块播放速度引导音乐。本实施例中，速度引导音乐为带有鼓点的音乐，速度引导视频为敲击乐器的视频，其中鼓点的节奏以及敲击的节奏与符合标准的手势的速度一致。例如速度引导音乐中，在每个词的手势输入间隔会伴随一个重低音；速度引导视频中，在每个词的手势输入间隔会伴随一个敲鼓的画面。在其他实施例中，也可以采用其他的方式，例如速度引导音乐为不断重复“1、2、3、4”的音乐；速度引导视频为音乐波形的视频。

本实施例中，符合标准的手势的速度需要根据手势识别模块的处理能力确定，如果手势识别模块硬件配置高，处理能力强，就可以适当提高手势的速度，如果手势识别模块硬件配置较低，处理能力弱，就可以适当降低手势的速度。

手势识别模块还用于将手势及手势的运动轨迹信息输入预设的手势识别模型中并获取识别结果；识别结果为文字文本。本实施例中预设的手势识别模块采用训练完成的卷积神经网络模型。

语义识别模块用于获取文字文本并提取咨询关键词，语义识别模块还预存有法律词库，法律词库包括若干法律关键词，以及与法律关键词对应的法律条文；语义识别模块还用于将咨询关键词与法律词库中的法律关键词进匹配，并获取匹配成功的法律关键词对应的法律条文；语义识别模块还用于将法律条文输出。后续可以根据输出的法律条文进一步匹配问题的解答并发送给用户，后续的处理不属于本方案的内容，这里不做讨论。

实施例二

本实施例和实施例一的区别在于，本实施例中还包括：

s505、播放手势幅度过小提醒后，继续基于运动轨迹信息判断运动幅度是否低于第二阈值；

s504、如果低于第二阈值，播放幅度引导文件；幅度引导文件为幅度引导音乐或幅度引导视频；如果是听力残疾，播放幅度引导视频；如果不是听力残疾，播放幅度引导音乐。幅度引导音乐的音量与运动幅度成反比，幅度引导视频的亮度与运动幅度成反比。具体的，运动幅度越小于第二阈值，幅度引导音乐的音量越大，运动幅度越小于第二阈值，幅度引导视频的亮度越大。当用户的打手势的速度过快时，引导音乐的音量大，此时大音量会比较吵，为了更好的体验，用户会想着降低音量，为了降低音量，就需要降低打手势的速度，也就达到了引导用户降低手势速度的目的，幅度引导视频同理。

实施例三

本实施例和实施例二的区别在于，本实施例中幅度引导音乐和速度引导音乐为同一种音乐，区别在于，作为幅度引导音乐时音量会变化。幅度引导视频和速度引导视频为同一种视频，区别在于作为幅度引导视频时亮度会变化。在用户同时出现运动速度超过第一阈值且运动幅度低于第二阈值时，不用播放两种不同的音乐或者视频，不会造成冲突。

以上的仅是本发明的实施例，该发明不限于此实施案例涉及的领域，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。