一种交互方法、装置、控制设备及存储介质与流程

文档序号:36656703发布日期:2024-01-06 23:44阅读:来源:国知局

技术特征:

1.一种交互方法,其特征在于,包括:

2.根据权利要求1所述的交互方法,其特征在于,所述根据所述手部图像序列以及所述指令词对应的时间,确定所述目标用户发出所述指令词时的手部指向区域,包括:

3.根据权利要求1所述的交互方法,其特征在于,所述根据所述手部图像序列以及所述指令词对应的时间,确定所述目标用户发出所述指令词时的手部指向区域,包括:

4.根据权利要求2或3所述的交互方法,其特征在于,所述根据该帧图像确定所述目标用户的手部关键点和手部指向区域,包括:

5.根据权利要求4所述的交互方法,其特征在于,所述手部图像序列包含的每帧图像包含rgb图像和对应的深度图像;

6.根据权利要求2或3所述的交互方法,其特征在于,所述根据该帧图像确定所述目标用户的手部关键点和手部指向区域,包括:

7.根据权利要求2所述的交互方法,其特征在于,所述根据所述指令词对应的时间以及所述手部图像序列包含的各帧图像分别对应的手部信息,确定所述目标用户发出所述指令词时的手部指向区域,包括:

8.根据权利要求7所述的交互方法,其特征在于,所述从所述手部图像序列中的所述目标图像开始,寻找首个满足预设条件的图像序列,包括:

9.根据权利要求7所述的交互方法,其特征在于,所述将所述首个满足预设条件的图像序列中的一帧图像对应的手部信息中的手部指向区域,确定为所述目标用户发出所述指令词时的手部指向区域,包括:

10.一种交互装置,其特征在于,包括:多模态数据获取模块、语音信息获取模块、手部指向区域确定模块、交互设备确定模块和控制模块;

11.一种控制设备,其特征在于,包括:存储器和处理器;

12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1~9中任一项所述的交互方法的各个步骤。


技术总结
本发明提供了一种交互方法、装置、控制设备及存储介质,交互方法包括:获取目标用户的手部图像序列和语音序列;识别语音序列中的指令词,并获取指令词对应的时间;根据手部图像序列以及指令词对应的时间,确定目标用户发出指令词时的手部指向区域;根据目标用户发出指令词时的手部指向区域,确定交互设备;控制交互设备执行指令词对应的操作。本发明提供的交互方法为结合语音的指向交互方法,该交互方法有效利用了不同模态信息的互补性,其不但能够实现丰富的交互功能,而且具有较好的交互稳定性,用户体验较好。

技术研发人员:叶润春,于振华,刘丹,林垠,殷保才,殷兵
受保护的技术使用者:科大讯飞股份有限公司
技术研发日:
技术公布日:2024/1/15
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1