一种全自动讲解调控系统、方法及其在机器人中的应用与流程

本发明涉及自动调控系统，具体为一种全自动讲解调控系统、方法及其在机器人中的应用。

背景技术：

1、随着社会经济的快速发展，人们对生活质量的要求越来越高，外出旅游的人越来越多。国内不少景区建设了电子讲解系统，但这些系统目前都是通过红外感应、扫码、触屏启动的广播式解说，缺乏人与人间的自然语音互动交流能力，游客参与感不强。

2、现有公开号为cn112558567a的专利申请文件，该发明通过触控面板接收用户的触摸指令或者通过语音采集模块采集用户的语音指令，并发送给所述核心控制主板；所述核心控制主板将所述触摸指令或者所述语音指令转化为控制设备命令；所述核心控制主板根据所述控制设备命令获取博物馆讲解员指令要求，根据博物馆讲解员指令要求选择对应区域的灯光或者设备；所述核心控制主板通过wifi模块或者zigbee模块搜索对应的设备或者灯具，控制相关设备或者灯具的状态变化，缺乏人与人间的自然语音互动交流能力，具有一定的局限性。

技术实现思路

1、（一）解决的技术问题

2、针对现有技术的不足，本发明提供了一种全自动讲解调控系统、方法及其在机器人中的应用，具备实时性、交互性等优点，解决了缺乏人与人间的自然语音互动交流能力，游客参与感不强的问题。

3、（二）技术方案

4、为解决上述缺乏人与人间的自然语音互动交流能力，游客参与感不强的技术问题，本发明提供如下技术方案：

5、本发明公开一种全自动讲解调控方法，具体包括以下步骤：

6、s1、实时采集展厅各个展示区域内所有藏品的讲解数据，并将采集到的讲解数据保存至数据库；

7、s2、采集语音训练数据，对采集到的语音训练数据进行提取，并基于采集到的讲解数据，建立语音对话模型；

8、s3、通过在展厅各个展示区域安装物联网传感器，并在数据库中建立安装的物联网传感器与讲解数据的联系；

9、s4、基于安装的物联网传感器，通过室内定位算法，实现对机器人的实时精准定位；

10、s5、基于机器人的实时精准定位和物联网传感器与讲解数据的联系，实现全自动讲解调控。

11、本发明通过实时采集展厅各个展示区域内所有藏品的讲解数据，并将采集到的讲解数据保存至数据库和采集语音训练数据，对采集到的语音训练数据进行提取，建立语音数据与讲解数据之间的联系；同时通过在展厅各个展示区域安装物联网传感器，并在数据库中建立安装的物联网传感器与讲解数据的联系，并基于安装的物联网传感器，通过室内定位算法，实现对机器人的实时精准定位，同时基于机器人的实时精准定位和物联网传感器与讲解数据的联系，实现全自动讲解调控，提高了机器人全自动讲解调控的实时性和交互性。

12、优选地，所述采集语音训练数据，对采集到的语音训练数据进行提取，并基于采集到的讲解数据，建立语音对话模型包括以下步骤：

13、s21、对采集到的语音训练数据进行分词和词性标注，记录每个词语的词频tf，并按照记录的词频tf数量降序排列；

14、记录语音训练数据中每个词的词频tf如下所示：

15、

16、

17、其中，为特征向量，表示采集到的第组的语音训练数据，为特征向量，表示采集到的第组的语音训练数据，表示词频数量排列第一的词语，表示词频数量排列第的词语，表示词频数量排列第的词语，设定tf值为词频tf数量，表示词语出现的次数，基于语音训练数据中各词语出现的次数将特征向量映射成有向图；

18、s22、选择采集到的语音训练数据中的名词、动词，...作为词汇集，其中，表示词频数量排列第n的词语，取作为初始词汇链l；

19、s23、选择词汇链集中tf值大于2的词语基于语义相似度公式计算其与词汇链l中每个词语的语义相似度；

20、s24、设定语义相似度阈值，若语义相似度大于阈值，将插入词汇链l中，其中，表示词频数量排列第j的词语；

21、s25、若与链中的每个词语的语义相似度都小于阈值，则创建新的词汇链将插入；

22、s26、重复步骤s23至步骤s25，直至全部词语计算完毕；

23、s27、基于语义相似度公式计算创建的词汇链和采集到的讲解数据之间的语义相似度，并根据设定的语义相似度阈值将创建的词汇链和讲解数据进行匹配组合，设定汇总匹配组合后的每条创建的词汇链为一组语音对话模型。

24、优选地，所述语义相似度公式如下所示：

25、通过计算两个特征向量的最大余弦相似度来判断两个词语的语义相似度；

26、

27、其中，、表示词语和在有向图中的广度优先的遍历信息；表示词语映射在有向图中的最近公共根节点；、表示词语和在所映射的有向图中的深度信息，表示词语和之间的余弦相似度。

28、本发明通过对采集到的语音训练数据进行分词和词性标注，记录每个词语的词频，并选择词语构建词汇链，同时通过使用语义相似度公式计算词语和构建词汇链之间语义相似度的方式建立语音对话模型，提高了机器人全自动讲解调控的交互性。

29、优选地，所述通过在展厅各个展示区域安装物联网传感器，并在数据库中建立安装的物联网传感器与讲解数据的联系包括以下步骤：

30、s31、基于安装物联网传感器，对q个物联网传感器进行编号q1，q2，...qq，设定每个物联网传感器关联一个藏品；

31、s32、以物联网传感器q1为坐标原点，根据q1坐标建立三维坐标系，并基于物联网传感器q1确定其它各个物联网传感器的坐标；

32、s33、将各个物联网传感器的坐标保存在系统的数据库内；

33、s34、将数据库中保存的讲解数据与物联网传感器关联的藏品进行匹配，并将匹配后的讲解数据与各个物联网传感器的坐标合并，用g(v,e)表示，其中，v表示讲解数据，e表示物联网传感器的坐标，g表示组合数据。

34、本发明通过在展厅各个展示区域安装物联网传感器，并进行编号，同时通过建立三维坐标系方式确定各个物联网传感器的坐标；同时，通过将数据库中保存的讲解数据与物联网传感器关联的藏品进行匹配，提高了机器人全自动讲解调控的准确性。

35、优选地，所述基于安装的物联网传感器，通过室内定位算法，实现对机器人的实时精准定位包括以下步骤：

36、s41、通过离线采集方式对机器人进行初步定位；

37、s42、通过在线定位方式对机器人进行精准定位。

38、优选地，所述通过离线采集方式对机器人进行初步定位包括以下步骤：

39、s411、在需要检测或定位的区域全覆盖地划分出无数个采样点，并在一个采样点上多次采集物联网传感器的信号强度数据；

40、s412、基于采集到的物联网传感器的信号强度数据对机器人进行初步定位；

41、设定物联网传感器的信号强度在空间中的传播会随着距离的增加而均匀衰减；

42、信号强度在空间传播损耗函数公式如下所示：

43、；

44、其中，表示信号强度在空间传播损耗函数，表示物联网传感器的信号输出频率，表示机器人与物联网传感器之间的距离；

45、设定物联网传感器输出信号恒定，基于各采样点采集到的各物联网传感器的信号强度，确定采样点与各物联网传感器之间的距离；

46、s413、整合所有采样点采集到的物联网传感器的信号强度数据与各物联网传感器之间的距离构建位置指纹并保存至数据库；

47、采样点在接收到物联网传感器信号后，将采集点的位置坐标、物联网传感器信号强度以及物联网传感器的编号组成一组三元组数据存入数据库；

48、设定组成的一组三元组数据为一个位置指纹。

49、优选地，所述通过在线定位方式对机器人进行精准定位包括以下步骤：

50、在线定位阶段，当机器人接收到物联网传感器信号后，将接收到的物联网传感器信号强度以及物联网传感器的编号与数据库中的位置指纹进行对比，找出相同或相似的位置指纹，并将相同或相似的位置指纹中的采集点的位置坐标作为机器人的位置坐标。

51、本发明通过离线采集方式，设定出无数个采样点，并在一个采样点上多次采集物联网传感器的信号强度数据的方式，初步确定机器人的定位，并构建位置指纹，同时通过构建的位置指纹，实时在线确定机器人的实时精准定位，提高了机器人全自动讲解调控的准确性。

52、优选地，所述基于机器人的实时精准定位和物联网传感器与讲解数据的联系，实现全自动讲解调控包括以下步骤：

53、s51、语音调控；

54、实时采集用户语音数据，并对采集到的用户语音数据进行分词和词性标注，得到实时采集的用户语音词语；

55、通过语义相似度公式计算实时采集的用户语音词语和建立语音对话模型之间的相似度；

56、选择相似度最高的一组语音对话模型，并播放选择的语音对话模型对应的讲解数据；

57、s52、自动讲解调控；

58、实时确定机器人的位置坐标，并设置机器人与物联网传感器之间的距离阈值，当机器人的位置与物联网传感器之间的距离小于设定的距离阈值时，播放物联网传感器关联的讲解数据。

59、本发明通过划分语音调控和自动讲解调控的方式，分别使用语音识别控制方式和设定传感器距离阈值方式实现对机器人的全自动讲解调控，提高了机器人全自动讲解调控的交互性和实时性。

60、本发明公开一种全自动讲解调控系统，包括：数据库、物联网传感器、数据采集模块、机器人以及定位模块；

61、所述数据采集模块用于实时采集所有藏品的讲解数据；

62、所述数据库用于实时保存采集到的数据；

63、所述物联网传感器包括信号输出模块；

64、所述信号输出模块用于恒定输出无线信号；

65、所述机器人包括信号接收模块、语音接收模块和语音调控模块；

66、所述信号接收模块用于实时接收信号输出模块输出的无线信号；

67、所述语音接收模块用于实时接收用于输入的语音数据；

68、所述语音调控模块用于对接收到的语音数据进行识别、提取和调控；

69、所述定位模块用于根据采集到的信号强度对机器人进行实时定位。

70、本发明还公开一种机器人中的应用，该应用使用了上述的全自动讲解调控方法。

71、（三）有益效果

72、与现有技术相比，本发明具备以下有益效果：

73、1、本发明通过实时采集展厅各个展示区域内所有藏品的讲解数据，并将采集到的讲解数据保存至数据库和采集语音训练数据，对采集到的语音训练数据进行提取，建立语音数据与讲解数据之间的联系；同时通过在展厅各个展示区域安装物联网传感器，并在数据库中建立安装的物联网传感器与讲解数据的联系，并基于安装的物联网传感器，通过室内定位算法，实现对机器人的实时精准定位，同时基于机器人的实时精准定位和物联网传感器与讲解数据的联系，实现全自动讲解调控，提高了机器人全自动讲解调控的实时性和交互性。

74、2、本发明通过对采集到的语音训练数据进行分词和词性标注，记录每个词语的词频，并选择词语构建词汇链，同时通过使用语义相似度公式计算词语和构建词汇链之间语义相似度的方式建立语音对话模型，提高了机器人全自动讲解调控的交互性。

75、3、本发明通过在展厅各个展示区域安装物联网传感器，并进行编号，同时通过建立三维坐标系方式确定各个物联网传感器的坐标；同时，通过将数据库中保存的讲解数据与物联网传感器关联的藏品进行匹配，提高了机器人全自动讲解调控的准确性。

76、4、本发明通过离线采集方式，设定出无数个采样点，并在一个采样点上多次采集物联网传感器的信号强度数据的方式，初步确定机器人的定位，并构建位置指纹，同时通过构建的位置指纹，实时在线确定机器人的实时精准定位，提高了机器人全自动讲解调控的准确性。

77、5、本发明通过划分语音调控和自动讲解调控的方式，分别使用语音识别控制方式和设定传感器距离阈值方式实现对机器人的全自动讲解调控，提高了机器人全自动讲解调控的交互性和实时性。