一种基于投影的人形机器人及人机交互方法

本公开涉及人形机器人，具体地，涉及一种基于投影的人形机器人及人机交互方法。

背景技术：

1、人形机器人具有较高的运动自由度与灵活性，随着近几年大语言模型的发展，人形机器人的应用领域也越来越广泛。然而，目前人形机器人的人机交互(human robotinteraction，hri)模式依然停留在基于语音、动作、表情的方式进行识别与交互，这些交互形式信息密度小，信息传递效率较低，未能完全发挥人形机器人超越人类的功能。

2、在传统的人机交互系统中，信息传递主要依靠声音、图像和文字。然而，语音交互受限于环境噪音和语言理解能力，动作和表情交互则需要高精度的传感器和复杂的算法支持，信息传递的效率和准确性往往受到限制。而投影技术作为一种新兴的显示手段，能够将信息直接投射到任何可视的表面，实现信息的可视化、直观化和多样化。通过将投影技术应用于人形机器人，能够实现信息传递的创新突破，使人形机器人能够更加灵活、高效地与人类互动。

技术实现思路

1、针对现有技术中的缺陷，本公开的目的是提供一种基于投影的人形机器人及人机交互方法。

2、根据本公开的一个方面，提供一种基于投影的人形机器人，包括：

3、多媒体输入模块，用于采集音视频信息和/或指令信息；

4、生成式大语言模型处理模块，所述生成式大语言模型处理模块与所述多媒体输入模块连接，所述生成式大语言模型处理模块包括预训练的大语言模型，用于根据多媒体输入模块采集的音视频信息和/或指令信息生成多媒体反馈信息，所述多媒体反馈信息包括音频信息、视觉信息以及肢体指令信息；

5、多媒体输出模块，所述多媒体输出模块与所述生成式大语言模型处理模块连接，所述多媒体输出模块用于输出多媒体反馈信息，所述多媒体输出模块包括平面投影系统，所述平面投影系统用于将所述多媒体反馈信息的视觉信息投影进行可视化展示，所述多媒体输出模块用于输出多媒体反馈信息。

6、可选地，所述多媒体输出模块还包括扩音装置，所述扩音装置用于输出所述多媒体反馈信息的音频信息。

7、可选地，还包括人形机器人，所述人形机器人用于根据所述多媒体反馈信息的肢体指令信息执行对应的动作。

8、可选地，所述平面投影系统设置在所述人形机器人上的任意位置处。

9、可选地，所述多媒体输入模块、所述生成式大语言模型处理模块、所述扩音装置设置在所述人形机器人上。

10、根据本公开的第二方面，提供一种基于投影的人形机器人的人机交互方法，包括：

11、采用多媒体输入模块采集音视频信息和/或用户的指令信息，所述指令信息表示用户输入的指令信息；

12、对所述音视频信息和/或指令信息进行预处理，确定预处理信息；

13、将所述预处理信息输入所述生成式大语言模型处理模块的预训练的大语言模型，输出多媒体反馈信息，所述多媒体反馈信息包括音频信息、视觉信息以及肢体指令信息；

14、采用多媒体输出模块的平面投影系统将所述视觉信息进行平面投影，对所述多媒体反馈信息进行可视化展示。

15、可选地，所述方法还包括：

16、采用所述多媒体输出模块的扩音装置输出多媒体反馈信息中的音频信息。

17、可选地，所述方法还包括：

18、采用人形机器人执行所述多媒体反馈信息中的肢体指令信息对应的动作。

19、可选地，所述视觉信息包括图片、视频、文字、符号以及指示。

20、可选地，所述方法还包括：

21、用户向所述人形机器人发送音视频信息和/或指令信息；

22、用户接收所述人形机器人输出的所述多媒体反馈信息。

23、与现有技术相比，本公开实施例具有如下至少一种有益效果：

24、通过上述技术方案，其采用预训练的大模型对采集的用户的音视频信息和/或指令信息作出反应，输出对应的多媒体反馈信息，理解用户的各项指令，能够协助用户完成多种场景下的工作任务，提高用户的使用体验；采用平面投影系统通过投影方式将多媒体反馈信息进行可视化展示，实现信息的可视化、直观化、多样化，能够突破音频和动作的限制，将语音和动作无法表达的信息投影至任意可显示位置，包括但不限于墙面、物体表面、路面、桌面，向用户直接展示多媒体反馈信息，实现更为直接、灵活、高效的多媒体人机交互。

技术特征：

1.一种基于投影的人形机器人，其特征在于，包括：

2.根据权利要求1所述的基于投影的人形机器人，其特征在于，所述多媒体输出模块还包括扩音装置，所述扩音装置用于输出所述多媒体反馈信息的音频信息。

3.根据权利要求2所述的基于投影的人形机器人，其特征在于，还包括人形机器人，所述人形机器人用于根据所述多媒体反馈信息的肢体指令信息执行对应的动作。

4.根据权利要求3所述的基于投影的人形机器人，其特征在于，所述平面投影系统设置在所述人形机器人上的任意位置处。

5.根据权利要求3所述的基于投影的人形机器人，其特征在于，所述多媒体输入模块、所述生成式大语言模型处理模块、所述扩音装置设置在所述人形机器人上。

6.一种基于投影的人形机器人的人机交互方法，其特征在于，包括：

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

8.根据权利要求6所述的方法，其特征在于，所述方法还包括：

9.根据权利要求6所述的方法，其特征在于，所述视觉信息包括图片、视频、文字、符号以及指示。

10.根据权利要求8所述的方法，其特征在于，所述方法还包括：

技术总结
本公开提供一种基于投影的人形机器人及人机交互方法，其中，基于投影的人形机机器人包括多媒体输入模块，用于采集音视频信息和/或指令信息；生成式大语言模型处理模块，生成式大语言模型处理模块与多媒体输入模块连接，用于生成多媒体反馈信息，多媒体反馈信息包括音频信息、视觉信息以及肢体指令信息；多媒体输出模块，多媒体输出模块与生成式大语言模型处理模块连接，多媒体输出模块用于输出多媒体反馈信息，多媒体输出模块包括平面投影系统，平面投影系统用于将多媒体反馈信息进行可视化展示，多媒体输出模块用于输出多媒体反馈信息。通过本公开，通过投影显示信息，实现更加灵活、高效的多媒体人机交互。

技术研发人员：刘亚男,杨治国
受保护的技术使用者：上海大学
技术研发日：
技术公布日：2024/10/10