一种手指运动状态检测方法及检测系统与流程

1.本发明涉及图像处理技术领域，具体涉及一种手指运动状态检测方法及检测系统。


背景技术：

2.随着人工智能技术的发展，具有人机交互功能的智能产品也越来越多，其中，教育机器人点读产品在教育行业有着越来越多的应用，这类产品通过自动检测用户手指的运动状态，在手指移动时确定手指为移动状态，在指向产品界面的相应位置时，确定手指为静止状态，进而将手指在静止状态所指向的内容如：文字或图案等通过语音的方式读出。
3.而现有技术中针对手指的运动状态检测方法普遍存在实时性不高的问题，因此，难以在用户与教育机器人点读产品进行人机交互的过程中，实时准确完成手指运动状态的检测，影响用户的使用体验。


技术实现要素：

4.有鉴于此，本发明实施例提供了一种手指运动状态检测方法及检测系统，以克服现有技术中教育机器人点读产品难以实时准确完成手指运动状态的检测，造成用户的使用体验差的问题。
5.本发明实施例提供了一种手指运动状态检测方法，其特征在于，包括：
6.获取包含待检测手指的当前帧手指图像及上一帧手指图像；
7.对所述当前帧手指图像和所述上一帧手指图像作差，得到差异图像；
8.基于所述差异图像的像素值确定所述当前帧手指图像和所述上一帧手指图像的相似度；
9.基于所述相似度与预设相似度阈值的关系确定所述待检测手指的运动状态。
10.可选地，所述获取包含待检测手指的当前帧手指图像，包括：
11.获取包含所述待检测手指的当前视频数据；
12.对所述当前视频数据进行抽帧，得到当前帧手指图像。
13.可选地，在对所述当前帧手指图像和所述上一帧手指图像作差，得到差异图像之前，所述方法还包括：
14.采用最近邻插值方式将所述当前帧手指图像的分辨率调整至预设分辨率；
15.将调整后的当前帧手指图像转换为灰度图像；
16.对所述灰度图像进行滤波处理，得到滤波后的当前帧手指图像。
17.可选地，所述基于所述差异图像的像素值确定所述当前帧手指图像和所述上一帧手指图像的相似度，包括：
18.对所述差异图像的像素值进行降序排序，并根据排序结果提取第一预设数量像素值；
19.计算所提取的第一预设数量像素值的像素均值；
20.将所述像素均值确定为所述相似度。
21.可选地，所述基于所述相似度与预设相似度阈值的关系确定所述待检测手指的运动状态，包括：
22.判断所述相似度是否小于所述预设相似度阈值；
23.当所述相似度小于所述预设相似度阈值时，判定所述待检测手指的当前状态为静止状态。
24.可选地，当所述相似度不小于所述预设相似度阈值时，判定所述待检测手指的当前状态为移动状态。
25.可选地，在判定所述待检测手指的当前状态为静止状态之前，所述方法还包括：
26.获取当前帧手指图像之前的第二预设数量的手指图像对应的当前状态；
27.当第二预设数量的手指图像对应的当前状态均为静止状态时，判定所述待检测手指的当前状态为静止状态；
28.当第二预设数量的手指图像中存在至少一手指图像对应的当前状态为运动状态时，判定所述待检测手指的当前状态为移动状态。
29.本发明实施例还提供了一种手指运动状态检测系统，包括：
30.获取模块，用于获取包含待检测手指的当前帧手指图像及上一帧手指图像；
31.第一处理模块，用于对所述当前帧手指图像和所述上一帧手指图像作差，得到差异图像；
32.第二处理模块，用于基于所述差异图像的像素值确定所述当前帧手指图像和所述上一帧手指图像的相似度；
33.第三处理模块，用于基于所相似度与预设相似度的关系确定所述待检测手指的运动状态。
34.本发明实施例还提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明实施例提供的方法。
35.本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行本发明实施例提供的方法。
36.本发明技术方案，具有如下优点：
37.本发明实施例提供了一种手指运动状态检测方法及检测系统，通过获取包含待检测手指的当前帧手指图像及上一帧手指图像；对当前帧手指图像和上一帧手指图像作差，得到差异图像；基于差异图像的像素值确定当前帧手指图像和上一帧手指图像的相似度；基于相似度与预设相似度阈值的关系确定待检测手指的运动状态。从而通过实时得到连续两帧保护待检测手指图像的差异图像，并利用差异图像的像素值确定连续两帧图像间的相似度，进而基于该相似度确定手指的运动状态，从而实现了手指运动状态的实时检测，提高了用户使用手指点读类产品的用户体验。
附图说明
38.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的
附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
39.图1为本发明实施例中的手指运动状态检测方法的流程图；
40.图2为本发明实施例中的手指运动状态检测完整工作过程示意图；
41.图3为本发明实施例中的手指运动状态检测系统的结构示意图；
42.图4为本发明实施例中的电子设备的结构示意图。
具体实施方式
43.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
44.下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
45.随着人工智能技术的发展，具有人机交互功能的智能产品也越来越多，其中，教育机器人点读产品在教育行业有着越来越多的应用，这类产品通过自动检测用户手指的运动状态，在手指移动时确定手指为移动状态，在指向产品界面的相应位置时，确定手指为静止状态，进而将手指在静止状态所指向的内容如：文字或图案等通过语音的方式读出。
46.而现有技术中针对手指的运动状态检测方法普遍存在实时性不高的问题，因此，难以在用户与教育机器人点读产品进行人机交互的过程中，实时准确完成手指运动状态的检测，影响用户的使用体验。
47.基于上述问题，本发明实施例提供了一种手指运动状态检测方法，应用于辅学教育机器人，该机器人配备有摄像头，摄像头对准学生正在学习使用的书本，并实时获取当前的画面，当学生需要使用点读功能时，将手指移动到相应的位置，如单词，或者句子行等，机器人对手指进行实时运动检测，在检测到手指移动到相应的位置静止时，将静止的画面传输给点读系统，完成点读交互功能，系统对手指指向位置处的单词或句子等内容进行识别，并通过语音播放的方式提供给用户。
48.如图1所示，本发明实施例提供的手指运动状态检测方法，具体包括如下步骤：
49.步骤s101：获取包含待检测手指的当前帧手指图像及上一帧手指图像。
50.其中，获取当前帧手指图像可通过辅助教育机器人上设置的摄像头获取包含待检测手指的当前视频数据；对当前视频数据进行抽帧，得到当前帧手指图像。具体地，可以根据辅助教育机器人识别精度的要求，设置视频数据的抽帧频率，以满足机器人要求。
51.步骤s102：对当前帧手指图像和上一帧手指图像作差，得到差异图像。
52.其中，该差异图像可按照如下公式(1)构建：
53.d＝abs(gn－gn－1)/255，
54.其中，d表示差异图像，gn表示当前帧手指图像，gn－1表示上一帧手指图像，abs(gn－gn－1)表示当前帧手指图像与上一帧手指图像对应像素点的像素值作差的绝对值。
55.步骤s103：基于差异图像的像素值确定当前帧手指图像和上一帧手指图像的相似度。
56.其中，如果差异图像中各个像素点的像素值越高，则相似度值越大，说明相邻两帧间的差异越大，即二者的相似程度越低，反之，如果差异图像中各个像素点的像素值越低，则相似度值越小，说明相邻两帧间的差异越小，即二者的相似程度越高，从而通过利用差异图像的像素值作为相似度值可以直观反映当前视频数据中相邻两帧图像间的相似程度。
57.步骤s104：基于相似度与预设相似度阈值的关系确定待检测手指的运动状态。
58.其中，手指的运动状态包括：静止状态和移动状态。上述的预设相似度阈值可以根据经验选取，也可以根据历史手指运动状态检测数据通过机器学习等方式得到，以提高手指运动状态检测的准确性。
59.通过执行上述步骤，本发明实施例提供的手指运动状态检测方法，通过实时得到连续两帧保护待检测手指图像的差异图像，并利用差异图像的像素值确定连续两帧图像间的相似度，进而基于该相似度确定手指的运动状态，从而实现了手指运动状态的实时检测，提高了用户使用手指点读类产品的用户体验。
60.具体地，在一实施例中，在上述步骤s102之前，方法还包括：
61.步骤s105：采用最近邻插值方式将当前帧手指图像的分辨率调整至预设分辨率。
62.具体地，在实际应用中，为了进一步提高手指运动状态检测的实时性，可以将原当前帧手指图像的分辨率降低至如96＊96的分辨率，并且分辨率的降低并不会对检测结果的准确性产生明显影响，满足机器人产品的精度要求。
63.步骤s106：将调整后的当前帧手指图像转换为灰度图像。
64.具体地，在实际应用中，为了提高图像处理速率，通过将上述当前帧手指图像的rgb图像转换为灰度图像。
65.步骤s107：对灰度图像进行滤波处理，得到滤波后的当前帧手指图像。
66.具体地，为了降低噪声干扰，通过对灰度图像进行滤波处理，以提高后续检测结果的准确性。
67.具体地，在一实施例中，上述的步骤s103，具体包括如下步骤：
68.步骤s301：对差异图像的像素值进行降序排序，并根据排序结果提取第一预设数量像素值。
69.其中，在本发明实施例中，该第一预设数量的取值范围为20－60，具体可以根据图像的分辨率、图像的大小以及图像噪声的影响来综合确定，以排除噪声造成相邻两帧图像的差异，本发明并不以此为限。
70.步骤s302：计算所提取的第一预设数量像素值的像素均值。
71.步骤s303：将像素均值确定为相似度。
72.通过利用第一数量像素值的像素均值作为评价两个相邻帧图像的相似程度，可以更为准确的反映手指在这两帧图像中的运动情况，为后续提高手指运动状态检测结果的准确性提供了数据基础。通过使用基于top－k的平均绝对误差作为度量两张图像相似性：使用top－k的平均绝对误差可以去除光照，环境变化等引入的噪声干扰，提高检测结果的稳定性。
73.具体地，在一实施例中，上述的步骤s104，具体包括如下步骤：
74.步骤s401：判断相似度是否小于预设相似度阈值。
75.其中，该预设相似度阈值可以根据经验选取，也可以根据历史手指运动状态检测
数据通过机器学习等方式得到，以提高手指运动状态检测的准确性。
76.步骤s402：当相似度小于预设相似度阈值时，判定待检测手指的当前状态为静止状态。
77.步骤s403：当相似度不小于预设相似度阈值时，判定待检测手指的当前状态为移动状态。
78.具体地，在手指移动过程中，所拍摄得到的相邻两帧图像的会由于手指的移动产生图像差异，进而得到的差异图像中的手指移动过程所在位置图像的像素值会增大，即二者间的图像差异会增大，相应地相似度会降低，如果相似度低于某一预设相似度阈值时，则说明手指没有发生移动，判定手指当前的运动状态为静止状态，反之则判定手指当前的运动状态为移动状态。
79.具体地，在一实施例中，在上述步骤s402中判定待检测手指的当前状态为静止状态之前，还包括如下步骤：
80.步骤s404：获取当前帧手指图像之前的第二预设数量的手指图像对应的当前状态。
81.其中，第二预设数量可以根据实际机器人的检测精度要求进行设置，在本发明实施例中以第二预设数量为3为例进行说明，仅以此为例，并不以此为限。
82.步骤s405：当第二预设数量的手指图像对应的当前状态均为静止状态时，判定待检测手指的当前状态为静止状态。
83.其中，该第二预设数量的手指图像对应的当前状态可以从记录的历史状态信息中直接获取，在对每一帧图像中手指的当前状态进行检测后，对应地更新历史状态信息，以便于后续帧图像手指当前运动状态的检测。需要说明的是，在历史状态信息中手指图像的数量不满足第二预设数量时，则直接将上述步骤s402及s403的判定结果作为当前帧图像的手指当前状态检测结果即可。
84.步骤s406：当第二预设数量的手指图像中存在至少一手指图像对应的当前状态为运动状态时，判定待检测手指的当前状态为移动状态。
85.在实际应用中，由于手指在运动过程中，其移动和静止状态并非绝对连续性的，其过程存在1秒左右的延迟和抖动过程，因此，为了避免由于手指抖动对手指当前运动状态检测结果的影响，在本发明实施例中，创建一个队列，用于记录手指的历史状态信息；当且仅当前帧图片处于静止状态，且先前历史状态出现1帧图片状态为移动状态，然后连续3帧图像为静止状态，则认为手指当前状态处于静止状态，否则认为手指是处于移动状态，从而来避免手指抖动的问题，提高了手指运动状态检测结果的准确性，通过采用上述校准的机制，可有效去除手指由移动到静止的抖动过程。
86.下面将结合具体应用示例，对本发明实施例提供的手指运动状态检测方法进行详细的说明。
87.首先，介绍具体应用场景：1.辅学教育机器人需要配备摄像头，摄像头对准学生正在学习使用的书本，实时获取当前的画面，如图2所示，为手指运动状态检测的完整工作过程示意图。当学生需要使用点读功能时，将手指移动到相应的位置，如单词，或者句子行；手指在移动过程中，是移动状态；在相应位置停止，是静止状态；在移动和静止的过程中，存在抖动，使用该方法，实时检测手指移动和静止的状态，并去除抖动。将静止的图片，传给点读
系统，系统自动识别静止图片中手指所指向的内容并通过语音向用户播放该内容，完成点读的交互功能。
88.通过执行上述步骤，本发明实施例提供的手指运动状态检测方法，通过实时得到连续两帧保护待检测手指图像的差异图像，并利用差异图像的像素值确定连续两帧图像间的相似度，进而基于该相似度确定手指的运动状态，从而实现了手指运动状态的实时检测，提高了用户使用手指点读类产品的用户体验。
89.本发明实施例还提供了手指运动状态检测系统，如图3所示，该手指运动状态检测系统包括：
90.获取模块101，用于获取包含待检测手指的当前帧手指图像及上一帧手指图像。详细内容参见上述方法实施例中步骤s101的相关描述，在此不再进行赘述。
91.第一处理模块102，用于对当前帧手指图像和上一帧手指图像作差，得到差异图像。详细内容参见上述方法实施例中步骤s102的相关描述，在此不再进行赘述。
92.第二处理模块103，用于基于差异图像的像素值确定当前帧手指图像和上一帧手指图像的相似度。详细内容参见上述方法实施例中步骤s103的相关描述，在此不再进行赘述。
93.第三处理模块104，用于基于所相似度与预设相似度的关系确定待检测手指的运动状态。详细内容参见上述方法实施例中步骤s104的相关描述，在此不再进行赘述。
94.本发明实施例提供的手指运动状态检测系统，用于执行上述实施例提供的手指运动状态检测方法，其实现方式与原理相同，详细内容参见上述方法实施例的相关描述，不再赘述。
95.通过上述各个组成部分的协同合作，本发明实施例提供的手指运动状态检测系统，通过实时得到连续两帧保护待检测手指图像的差异图像，并利用差异图像的像素值确定连续两帧图像间的相似度，进而基于该相似度确定手指的运动状态，从而实现了手指运动状态的实时检测，提高了用户使用手指点读类产品的用户体验。
96.根据本发明实施例还提供了一种电子设备，如图4所示，该电子设备可以包括处理器901和存储器902，其中处理器901和存储器902可以通过总线或者其他方式连接，图4中以通过总线连接为例。
97.处理器901可以为中央处理器(central processing unit，cpu)。处理器901还可以为其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
98.存储器902作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明方法实施例中的方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。
99.存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器901所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存
储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
100.一个或者多个模块存储在存储器902中，当被处理器901执行时，执行上述方法实施例中的方法。
101.上述电子设备具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解，此处不再赘述。
102.本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(read－only memory，rom)、随机存储记忆体(random access memory，ram)、快闪存储器(flash memory)、硬盘(hard disk drive，缩写：hdd)或固态硬盘(solid－state drive，ssd)等；存储介质还可以包括上述种类的存储器的组合。
103.虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。