基于语音内容控制网络直播助讲机器人动作的方法及系统

本发明涉及语音控制，尤其涉及一种基于语音内容控制网络直播助讲机器人动作的方法及系统。

背景技术：

1、在以电商直播为主导的网络直播中，为了提升网络直播中的流量、用户观看时长、主播上播时长，普遍认为以主播和助播形成的双人直播形式是一种解决方案，能够带来更多的效益。相比于单人直播，起到辅助作用的助播通过在话术气口中穿插内容，提升语言输出的频次，增加用户的沉浸感，一定程度上缓解主播长时间语言输出的压力和疲劳感，有助于主播内容输出的持续。

2、然而，助播的情绪也会影响主播的情绪，在双人的网络直播中，助播主要起到一定的辅助作用，语言内容相对来讲较为简单固定，具体内容也无需具备明确的含义，主要推动主播进行持续的内容输出。此外，考虑到雇佣成本，在人力成本逐步提高的今天，聘用助播需要承担一定的资金压力。双人的网络直播还需要协调统一时间，沟通成本较高，不利于建立长期合作。结合网络直播场景中用户对于直播内容多样性的需求，长期固定人物也容易造成审美疲劳。因此可以选用机器人作为助播与主播进行互动，辅助完成直播。但是机器人助播难以根据讲话内容做出对应的嘴部张合动作，使得观感体验不佳，不能起到吸引观众的效果。

技术实现思路

1、本发明提供一种基于语音内容控制网络直播助讲机器人动作的方法及系统，用以解决现有网络直播机器人与主播配合度差、观感体验不佳的问题。

2、本发明提供一种基于语音内容控制网络直播助讲机器人动作的方法，包括：

3、获取语音内容，根据所述语音内容进行音频分析，获取音频数据，所述音频数据包括声音的振幅、频率和相位信息；

4、将所述音频数据输入至预训练的音频转换模型，通过所述音频转换模型将音频数据的声音振幅、频率和相位信息转换为机器人的舵机控制信号；

5、所述舵机控制信号传送至舵机控制器，通过所述舵机控制器控制机器人的动作。

6、根据本发明提供的一种基于语音内容控制网络直播助讲机器人动作的方法，所述获取语音内容，根据所述语音内容进行音频分析，获取音频数据，具体包括：

7、从语料库中获取语音内容，对语音内容进行拆分；

8、所述语音内容拆分包括声音的振幅、频率和相位信息；

9、所述振幅为声音的大小和强度，用音量大小表示，所述频率为声音的频率，用赫兹表示，所述相位为声音开始的时刻，用时间表示。

10、根据本发明提供的一种基于语音内容控制网络直播助讲机器人动作的方法，将所述音频数据输入至预训练的音频转换模型，通过所述音频转换模型将音频数据的声音振幅、频率和相位信息转换为机器人的舵机控制信号，具体包括：

11、所述音频转换模型根据声音的振幅匹配舵机动作的幅度；

12、所述音频转换模型根据声音的频率匹配舵机动作的频次；

13、所述音频转换模型根据声音的相位匹配舵机动作的开始时刻。

14、根据本发明提供的一种基于语音内容控制网络直播助讲机器人动作的方法，所述音频转换模型根据音频的音波数据进行等距采样、降噪处理，生成可视化的折线图；

15、在所述折线图中的转折点即为机器人嘴部张合的定位点，每段折线的端点对应机器人张合的起始点；

16、当折线图呈上升趋势时，机器人嘴部进行张开动作；当折线图呈下降趋势时，机器人嘴部进行闭合动作。

17、根据本发明提供的一种基于语音内容控制网络直播助讲机器人动作的方法，所述语音内容对应的语料库中包含多条语音内容，

18、提前通过音频转换模型将每条语音内容匹配对应的舵机控制信号；

19、在接收到语音内容后直接反馈对应的舵机控制信号。

20、根据本发明提供的一种基于语音内容控制网络直播助讲机器人动作的方法，所述舵机控制信号传送至舵机控制器，通过所述舵机控制器控制机器人的动作，具体包括：

21、根据所述舵机控制信号的控制信息，舵机控制器生成动作指令；

22、舵机根据动作指令，与语音信息同步进行不同幅度和频率的动作。

23、本发明还提供一种基于语音内容控制网络直播助讲机器人动作的系统，所述系统包括：

24、音频分析模块，用于获取语音内容，根据所述语音内容进行音频分析，获取音频数据，所述音频数据包括声音的振幅、频率和相位信息；

25、转换模块，用于将所述音频数据输入至预训练的音频转换模型，通过所述音频转换模型将音频数据的声音振幅、频率和相位信息转换为机器人的舵机控制信号；

26、控制模块，用于所述舵机控制信号传送至舵机控制器，通过所述舵机控制器控制机器人的动作。本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于语音内容控制网络直播助讲机器人动作的方法。

27、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于语音内容控制网络直播助讲机器人动作的方法。

28、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于语音内容控制网络直播助讲机器人动作的方法。

29、本发明提供的基于语音内容控制网络直播助讲机器人动作的方法及系统，通过获取语音内容并进行解析，输入至音频转换模型，生成舵机的控制信号，根据声音的幅度、频率和相位信息能够准确控制机器的动作，提升网络直播机器人与主播配合度，使观众具有良好的观感体验，提升对观众的吸引力。

技术特征：

1.一种基于语音内容控制网络直播助讲机器人动作的方法，其特征在于，包括：

2.根据权利要求1所述的基于语音内容控制网络直播助讲机器人动作的方法，其特征在于，所述获取语音内容，根据所述语音内容进行音频分析，获取音频数据，具体包括：

3.根据权利要求1所述的基于语音内容控制网络直播助讲机器人动作的方法，其特征在于，将所述音频数据输入至预训练的音频转换模型，通过所述音频转换模型将音频数据的声音振幅、频率和相位信息转换为机器人的舵机控制信号，具体包括：

4.根据权利要求1所述的基于语音内容控制网络直播助讲机器人动作的方法，其特征在于，所述音频转换模型根据音频的音波数据进行等距采样、降噪处理，生成可视化的折线图；

5.根据权利要求1所述的基于语音内容控制网络直播助讲机器人动作的方法，其特征在于，所述语音内容对应的语料库中包含多条语音内容；

6.根据权利要求1所述的基于语音内容控制网络直播助讲机器人动作的方法，其特征在于，所述舵机控制信号传送至舵机控制器，通过所述舵机控制器控制机器人的动作，具体包括：

7.一种基于语音内容控制网络直播助讲机器人动作的系统，其特征在于，所述系统包括：

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于语音内容控制网络直播助讲机器人动作的方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于语音内容控制网络直播助讲机器人动作的方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于语音内容控制网络直播助讲机器人动作的方法。

技术总结
本发明提供一种基于语音内容控制网络直播助讲机器人动作的方法及系统，包括：获取语音内容，根据所述语音内容进行音频分析，获取音频数据；所述音频数据包括声音的振幅、频率和相位信息；将所述音频数据输入至预训练的音频转换模型，通过所述音频转换模型将音频数据的声音振幅、频率和相位信息转换为机器人的舵机控制信号；所述舵机控制信号传送至舵机控制器，通过所述舵机控制器控制机器人的动作。本发明解决了现有网络直播机器人与主播配合度差、观感体验不佳的问题。

技术研发人员：高明月,米海鹏
受保护的技术使用者：清华大学
技术研发日：
技术公布日：2024/1/15