用于学习手势的远距离识别和个性化的系统和方法与流程

本公开总体上涉及计算机视觉，并且更具体地涉及利用手势识别的数字图像处理。

背景技术：

1、手势识别系统为消费者提供直观的用户界面以与各种设备进行通信。例如，微软的kinect就是使用手势识别的设备的一个示例。然而，一些设备可能需要从相对较长的距离(例如超过一米的距离)执行手势识别。例如，吸尘机器人典型地将其机载相机定位在相对较低的高度，使得仅当它们的对象超过一米远时才能看到这些对象。不幸的是，有许多手势识别系统在对象相对较远(例如，大于一米远)时无法准确识别手势。这些手势识别系统难以执行手势识别，因为当对象超过一米远时，手势仅占据这些手势识别系统的传感器的视野(fov)的很小空间区域。此外，这样的手势识别系统可能仅限于识别它们在训练期间学到的那些手势，并且可能无法适配于由不同用户执行时那些手势的变化。

技术实现思路

1、下面是下面详细描述的特定实施例的总结。所描述的方面仅被呈现为向读者提供这些特定实施例的简要概述，并且这些方面的描述并不旨在限制本公开的范围。事实上，本公开可以涵盖下面可能未明确阐述的各个方面。

2、根据至少一个方面，一种计算机实现的方法涉及手势识别。该方法包括使用包括手势集的传感器数据的训练数据集来训练机器学习系统。所述训练数据集至少包括显示第一手势的第一子集和显示第二手势的第二子集。该方法包括基于第一损失函数生成损失数据，所述第一损失函数包括第一交叉熵损失和第二交叉熵损失。该方法包括基于损失数据更新所述机器学习系统的参数。该方法包括输出机器学习系统以用于该手势集的手势识别。所述机器学习系统包括(i)第一子网，用于基于所述传感器数据生成特征数据，(ii)第二子网，用于提取特征数据的所选择的面片，以及(iii)第三子网，用于基于所选择的面片的对应特征数据的分类来生成手势数据。所述第一交叉熵损失基于所述第二子网涉及所述训练数据集的第一性能。所述第二交叉熵损失基于第三子网涉及所述训练数据集的第二性能。

3、根据至少一个方面，一种用于手势识别的系统至少包括处理器和非暂时性计算机可读介质。所述非暂时性计算机可读介质与所述处理器进行数据通信。所述非暂时性计算机可读介质具有包括存储在其上的指令的计算机可读数据，当由处理器执行时，所述计算机可读数据被配置为使得所述处理器执行方法。该方法包括使用包括手势集的传感器数据的训练数据集来训练机器学习系统。所述训练数据集至少包括显示第一手势的第一子集和显示第二手势的第二子集。该方法包括基于第一损失函数生成损失数据，所述第一损失函数包括第一交叉熵损失和第二交叉熵损失。该方法包括基于损失数据更新所述机器学习系统的参数。该方法包括输出机器学习系统以用于该手势集的手势识别。所述机器学习系统包括(i)第一子网，用于基于所述传感器数据生成特征数据，(ii)第二子网，用于提取特征数据的所选择的面片，以及(iii)第三子网，用于基于所选择的面片的对应特征数据的分类来生成手势数据。所述第一交叉熵损失基于所述第二子网涉及所述训练数据集的第一性能。所述第二交叉熵损失基于第三子网涉及所述训练数据集的第二性能。

4、根据至少一个方面，一种非暂时性计算机可读介质具有包括存储在其上的指令的计算机可读数据，当由处理器执行时，所述计算机可读数据被配置为使得所述处理器执行方法。该方法包括使用包括手势集的传感器数据的训练数据集来训练机器学习系统。所述训练数据集至少包括显示第一手势的第一子集。该方法包括基于第一损失函数生成损失数据，所述第一损失函数包括第一交叉熵损失和第二交叉熵损失。该方法包括基于损失数据更新所述机器学习系统的参数。该方法包括输出机器学习系统以用于该手势集的手势识别。所述机器学习系统包括(i)第一子网，用于基于所述传感器数据生成特征数据，(ii)第二子网，用于提取特征数据的所选择的面片，以及(iii)第三子网，用于基于所选择的面片的对应特征数据的分类来生成手势数据。所述第一交叉熵损失基于所述第二子网涉及所述训练数据集的第一性能。所述第二交叉熵损失基于第三子网涉及所述训练数据集的第二性能。

5、本发明的这些和其他特征、方面和优点将在下面根据附图的详细描述中讨论，附图中相似的字符表示类似或相似的部分。

技术特征：

1.一种用于机器学习系统学习识别手势的计算机实现的方法，所述计算机实现的方法包括：

2.根据权利要求1所述的计算机实现的方法，其中所述第一子网、所述第二子网和所述第三子网形成被端到端训练的人工神经网络模型。

3.根据权利要求1所述的计算机实现的方法，还包括：

4.根据权利要求3所述的计算机实现的方法，其中所述第二损失函数被优化，使得所述新手势与在嵌入空间中形成新集群的新嵌入相关联。

5.根据权利要求4所述的计算机实现的方法，其中所述第二损失函数被优化，使得所述新手势的新集群至少与(i)第一手势的嵌入的第一集群和(ii)第二手势的嵌入的第二集群间隔开。

6.根据权利要求1所述的计算机实现的方法，还包括：

7.根据权利要求6所述的计算机实现的方法，还包括：

8.一种用于手势识别的系统，所述系统包括：

9.根据权利要求8所述的系统，其中所述第一子网、所述第二子网和所述第三子网形成被端到端训练的人工神经网络模型。

10.根据权利要求8所述的系统，其中所述方法还包括：

11.根据权利要求10所述的系统，其中所述第二损失函数被优化，使得所述新手势与在嵌入空间中形成新集群的新嵌入相关联。

12.根据权利要求11所述的系统，其中所述第二损失函数被优化，使得所述新手势的新嵌入的新集群至少与(i)第一手势的嵌入的第一集群和(ii)第二手势的嵌入的第二集群间隔开。

13.根据权利要求10所述的系统，还包括：

14.根据权利要求13所述的系统，还包括：

15.一种非暂时性计算机可读介质，具有包括存储在其上的指令的计算机可读数据，所述计算机可读数据在由处理器执行时被配置为使得所述处理器执行包括以下步骤的方法：

16.根据权利要求15所述的非暂时性计算机可读介质，其中所述第一子网、所述第二子网和所述第三子网形成被端到端训练的人工神经网络模型。

17.根据权利要求15所述的非暂时性计算机可读介质，还包括：

18.根据权利要求17所述的非暂时性计算机可读介质，其中所述第二损失函数被优化，使得所述新手势与在嵌入空间中形成新集群的新嵌入相关联，所述嵌入空间至少与第一手势的嵌入的第一集群间隔开。

19.根据权利要求15所述的非暂时性计算机可读介质，还包括：

20.根据权利要求19所述的非暂时性计算机可读介质，还包括：

技术总结
学习手势的远距离识别和个性化的系统和方法。使用包括手势集的传感器数据的训练数据集来训练机器学习系统。所述训练数据集至少包括显示第一手势的第一子集。基于第一损失函数生成损失数据，所述第一损失函数包括第一交叉熵损失和第二交叉熵损失。基于损失数据更新所述机器学习系统的参数。机器学习系统被输出并且被配置用于该手势集的手势识别。所述机器学习系统包括(i)第一子网，(ii)第二子网，以及(iii)第三子网。所述第一交叉熵损失基于所述第二子网涉及所述训练数据集的第一性能。所述第二交叉熵损失基于第三子网涉及所述训练数据集的第二性能。

技术研发人员：S·高帕尔,S·巴特纳加尔,任骝
受保护的技术使用者：罗伯特·博世有限公司
技术研发日：
技术公布日：2024/6/23