一种VHF通信数据的意图识别与槽位填充方法及其系统

本发明涉及通信数据处理，尤其是涉及一种vhf通信数据的意图识别与槽位填充方法及其系统。

背景技术：

1、随着全球经济的迅猛发展和海洋运输业的兴盛，沿海港口水域的船舶作业数量急剧增加。在这些繁忙的水域中，船舶必须通过特定的甚高频信道与水上交通管理组织进行协调。然而，由于海事名词等特有的专业性和缺少意图标签与槽位标签的标注规则，通用的机器学习模型无法精准识别海事语料的特征信息。并且，在自然语言处理中常用的预训练模型，如以bert(bidirectional encoder representations from transformers)为代表的模型，采用了掩码标记[mask]来直接屏蔽输入文本进行训练，此训练方法能够提高模型对长文本的训练效果，但对于短文本的海事甚高频(very high frequency，vhf)通信文本的训练效果较差。

2、如公开号为cn115292463a的专利中，提供了一种基于信息抽取的联合多意图检测和重叠槽填充的方法，通过多意图识别和意图槽值交互模型，有效分配不同的意图信息去指导槽位填充，完成句子内部字符间信息的交互，以缓解不协调槽的问题。此外，不同的意图可以得到多组二元组，有效解决了解决重叠问题。

3、如公开号为cn115238027a的专利中，提供了一种文本数据的处理方法及装置，通过匹配文本向量与预设意图集合中各意图对应的意图向量，确定待处理文本所表达的意图以及所表达的意图对应的意图向量，然后融合所表达的意图对应的意图向量和文本向量，对待处理文本进行命名实体识别，从而提高了槽位填充的准确度。

4、但上述这两种方法均无法精准识别海事语料的特征信息，且对于短文本的海事vhf通信文本的训练效果较差。

技术实现思路

1、本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种vhf通信数据的意图识别与槽位填充方法及其系统。

2、本发明的目的可以通过以下技术方案来实现：

3、根据本发明的一个方面，提供了一种vhf通信数据的意图识别与槽位填充方法，将pert模型与bilstm-crf模型结合，利用结合后得到的pert-bilstm-crf模型对海事vhf语料数据进行意图识别与槽位填充，方法步骤包括：

4、s1、采集vhf通信数据，并对其识别、优化及转译；

5、s2、搭建并训练vhf通信语音识别模型，通过训练好的vhf通信语音识别模型将s1中获得的vhf通信语音数据转译为vhf通信语料文本数据；

6、s3、搭建并训练pert-bilstm-crf模型，并根据训练后的该模型从s2中得到的vhf通信语料文本数据中提取意图特征信息、确定槽位，并对提取的意图特征信息进行数据处理；

7、s4、通过训练后的pert-bilstm-crf模型对s3中数据处理后的意图特征信息进行分析，实现对s2中得到的通信语料文本数据的预测，进而得到槽位实体的位置信息，将槽位实体填充在目标槽位中。

8、作为优选的技术方案，s2中的vhf通信语音识别模型包括声学模型与语言模型；该模型通过输入s1采集的vhf通信语音数据结合海事专业词汇字典进行训练。

9、作为优选的技术方案，s2中转译得到的vhf通信语料文本数据包括：用户意图、出发地、目的地和主体名称。

10、作为优选的技术方案，s3中提取意图特征信息的过程为：

11、输入从s2中得到的vhf通信语料文本数据，进行分析该文本数据的结构，并提取其内含的特征信息；

12、对此特征信息进行转译处理，形成适用于意图识别与槽位填充的结构化数据；

13、该过程确保了vhf通信数据的意图识别的准确性和效率。

14、作为优选的技术方案，所述s3中确定槽位具体是由s2中转译得到的vhf通信语料文本数据特征联合国际海事组织对意图的分类所确定的意图来确定的；

15、确定的意图包括航向改变意图、速度改变意图和靠离泊意图；

16、其中航向改变意图包括穿越航道、划江、上下水、调头和掉头；

17、速度改变意图包括加车、减车和控制船速；

18、靠离泊意图包括起锚、抛锚、靠泊、离泊、进口和出口；

19、所述槽位至少包括出发地、目的地、主体名称；

20、根据意图的分类，航向改变意图的槽位还包括航向；速度改变意图的槽位还包括速度；靠离泊意图的槽位还包括时间。

21、作为优选的技术方案，s3中数据处理的步骤具体为：

22、利用确定槽位后的语料意图信息生成接收到数据中每个字符的嵌入向量，调用编码网络对vhf语料数据的嵌入向量进行编码，得到vhf语料数据中每个字符的隐层向量。

23、作为优选的技术方案，所述调用编码网络对接收数据句对的嵌入向量进行编码，得到语料数据中每个字符的隐层向量的处理过程为：

24、调用pert模型基于隐层向量进行所述槽位实体开始位置的预测，分别得到每个字符作为所述槽位实体开始位置的第一概率；

25、调用pert模型基于隐层向量进行所述槽位实体结束位置的预测，分别得到每个字符作为所述槽位实体结束位置的第二概率；

26、进一步地，以第一候选字符的第一概率和第二候选字符的第二概率确定候选槽位实体区间概率，所述第一候选字符的字符位置不晚于所述第二候选字符的字符位置；

27、进一步地，将概率在前k高的所述候选槽位实体区间中的第一候选字符确定为所述槽位的候选槽位实体开始位置；

28、进一步地，将概率在前k高的所述候选槽位实体区间中的第二候选字符确定为所述槽位的候选槽位实体结束位置；

29、作为优选的技术方案，将候选槽位实体开始位置与候选槽位实体结束位置一一进行拼接，并将第一概率和第二概率相加得到候选槽位实体区间概率，从候选槽位实体区间概率中选取概率最高的前t个不重叠的区间作为槽位区间；t、k均为不为0的正整数。

30、作为优选的技术方案，所述每个字符对应的嵌入向量包括：词嵌入向量、分段嵌入向量和位置嵌入向量；

31、进一步地，所述词嵌入向量包括所述转译后的vhf语料数据中每个字符所属的词信息；

32、进一步地，所述分段嵌入向量中包括所述转译后的vhf语料数据中每个字符所属的分段信息；

33、进一步地，所述位置嵌入向量中包括所述转译后的vhf语料数据中每个字符的位置信息。

34、作为优选的技术方案，s4中建立pert-bilstm-crf模型步骤具体为：

35、基于知识迁移的方法利用公共数据集对pert模型进行预训练，将训练后的pert模型与bilstm-crf模型进行编码组合，得到pert-bilstm-crf模型；

36、进一步地，将所述pert-bilstm-crf模型利用海事vhf语料数据进行再训练，得最终到训练后的pert-bilstm-crf模型。

37、根据本发明的另一个方面，提供了一种vhf通信数据的意图识别与槽位填充系统。

38、作为优选的技术方案，所述系统应用上述一种vhf通信数据的意图识别与槽位填充方法所工作，该系统包括数据采集与预处理模块、语音识别转译模块、意图信息提取模块和槽位填充模块；4

39、进一步地，所述数据采集与预处理模块负责实时采集vhf通信数据，并对其进行综合性清洗、切片、封装与修正处理，以获得优化后的vhf通信数据；

40、进一步地，所述语音识别转译模块对优化后的vhf通信数据进行高精度识别及转译，生成准确的vhf通信语料文本数据；

41、进一步地，所述意图信息提取模块从vhf通信语料文本数据中提取关键的意图特征信息；

42、进一步地，所述槽位填充模块内嵌pert-bilstm-crf模型，利用该模型实现vhf通信语料文本的意图识别与槽位填充。

43、与现有技术相比，本发明具有以下优点：

44、1、本发明提供了一种vhf通信数据的意图识别与槽位填充方法及系统，首先采集vhf通信数据，并对其识别、优化及转译；再搭建并训练vhf通信语音识别模型，通过训练好的vhf通信语音识别模型将获得的vhf通信语音数据转译为vhf通信语料文本数据；然后搭建并训练pert-bilstm-crf模型，并根据训练后的该模型从得到的vhf通信语料文本数据中提取意图特征信息、确定槽位，并对提取的意图特征信息进行数据处理；最后通过训练后的pert-bilstm-crf模型对数据处理后的意图特征信息进行分析，实现对得到的通信语料文本数据的预测，进而得到槽位实体的位置信息，将槽位实体填充在目标槽位中。使船舶间的通信更加智能化和自动化，减少人为因素带来的错误和延迟，船岸之间能够更准确地交换信息，避免碰撞和其他意外事件的发生，这对于提升海上交通的安全性、降低事故风险具有重要意义；

45、2、本发明将pert模型与bilstm-crf模型结合，利用结合后得到的pert-bilstm-crf模型对海事vhf语料数据进行意图识别与槽位填充，使用了pert-bilstm-crf模型对转译后的vhf数据进行训练，针对深度学习，使用无监督的预训练方法来学习通用的高层语义特征，减少模型对大量标注数据的依赖。在海事vhf通信语料这类短文本任务的处理上，pert模型相比于bert模型有更好的训练效果；

46、3、本发明中的vhf通信语音识别模型包括声学模型与语言模型；该模型通过输入采集的vhf通信语音数据结合海事专业词汇字典进行训练。本发明中的方法是针对海事领域的一种vhf通信数据的意图识别与槽位填充方法，海事领域相比其他领域，其术语的专业性更强，针对海事vhf数据训练的模型更适用于海事的任务和场景，能够更好地适应交管等需要对海上交通态势进行研判的人员的需求；

47、4、本发明中通过嵌入向量生成隐层向量可以将用户输入的自然语言句子转换为模型可以处理的、丰富且抽象的语义表示，帮助模型理解用户输入的整体语义，隐层向量通过整合句子的上下文和语义信息，为模型提供了一个高度抽象的句子表示，模型可以基于此表示来判断用户的真正意图；通过隐层向量，模型能够考虑到每个词在句子中的位置和周围的上下文，从而进行更加准确的槽位填充。这对于处理具有多义性或复杂结构的句子特别重要。例如，“我计划去靠宁波港”和“始发港宁波港，目的港无锡港”中，“宁波”的槽位填充会因上下文不同而变化，隐层向量帮助模型做出正确的判断；隐层向量的使用使得意图识别与槽位填充过程更加准确；

48、5、本发明提供了一种基于船舶报告类文本特点的船舶意图与槽位规则，该规则适用于船舶报告类文本的深度学习预训练过程中的意图与槽位标注，可提高模型的训练效果。