基于时空一致性和上下文一致性的流调问答可信度评测方法

本发明涉及自然语言处理，具体地说是一种基于对话与手机信令时空一致性和基于对话内部上下文一致性的流调问答可信度评测方法。

背景技术：

1、流调问答的目的是通过问答技术自动化地调研在过去一定的时间段，重点人群的行动轨迹、遇到的人和发生的事。在流调问答系统中一个关键问题是如何评估收集到的流调信息是否可信，并在低可信度情况下适时干预流调问答，使流调对象尽可能提供真实可靠的信息，为后期追踪溯源提供高质、可信的数据支撑。

2、目前还没有针对流调问答可信度的评价方法，根据流行病学调查专家的经验，流调问答中可能出现的不可信问题主要有两种：一是“对话与手机信令时空不一致”，二是“对话内部上下文不一致”。所以，如何针对流调问答中可能出现的不可信问题设计出一种流调问答可信度评测方法，是一个亟待研究的课题。

技术实现思路

1、本发明的目的是针对现有技术的不足而提供的一种基于时空一致性和上下文一致性的流调问答可信度评测方法。在对话与手机信令时空一致性的可信度评测中，通过调用高德地图api获取流调对象的回答地址与手机信令记录的地址的经纬度，准确计算两点间距离并进行判断，解决了基于分词技术的地理匹配容易发生误判的问题。在对话内部上下文一致性的可信度测评中，采用指令微调技术，充分激发大语言模型的能力，从而提高基于对话内部上下文一致性评测的准确率。本发明能够从对话与手机信令时空一致性和对话内部上下文一致性等角度对收集到的流调对话进行可信度进行评测，从而在低可信度情况下适时干预流调问答，使流调对象尽可能提供真实可靠的信息，为后期追踪溯源提供高质、可信的数据支撑，方法简便，实用性强，具有良好的应用前景。

2、实现本发明目的的具体技术方案是：一种基于时空一致性和上下文一致性的流调问答可信度评测方法，其特点是该方法包括：基于时空一致性的流调问答可信度评测和基于上下文一致性的流调问答可信度评测，所述基于时空一致性的流调问答可信度评测具体包括：

3、1)对话与手机信令时空一致性定义

4、手机信令记录了被调查对象在一天中不同时刻的活动地点和停留时长，如果在流调对话中，被调查者回答的某一时间段所在地点与手机信令记录的地点不一致或相距甚远，则该调查者存在“对话与手机信令时空不一致”的问题。

5、2)基于时空一致性的流调问答可信度评测

6、为了评估流调对象回答内容与手机信令中的时空一致性，本发明从对话中抽取出流调对象活动的（时间，地点）信息，然后将这些信息与手机信令中提供的（时间，地点）进行对比匹配，以此判断对话内容的可信度，具体操作如下：

7、1-1:对于时间匹配，本发明设置可信的时间误差范围为。如果在流调对象的对话中，流调对象在某个时间点曾去过某地，而手机信令记录显示该流调对象确实在[,<mi>t</mi><mi>+ε]</mi>时间内在该地点，则认为该信息是可信的。

8、1-2：对于地点匹配，本发明设置可信的距离误差范围为。其中距离的计算方法为，首先调用高德地图api分别获得病例所描述的地点与手机信令中提供的地点的经纬度，接着通过经纬度来计算两点间的距离，如果两个地点间的距离小于，就认为这两个地点是相同的。

9、总体来讲，通过上述时间和地点匹配方法，如果问答对中提到的（时间，地点）信息与该病例手机信令中的（时间，地点）数据吻合，那么本次问答被认为可信。具体地，基于对话与手机信令时空一致性的可信度评测准确率由下述（a）式计算：

10、     （a）。

11、其中，表示根据上述方法进行可信度预测正确的问答对数量，表示总的问答对数量。

12、所述基于上下文一致性的流调问答可信度评测具体包括：

13、2-1：对话内部上下文一致性定义:

14、如果流调对象对流调员提出的相同或相似的问题前后回答不一致，则认为存在“对话内部上下文不一致”的问题，进而影响流调对象回答的可信度。

15、2-2：基于上下文一致性的流调问答可信度评测

16、在处理对话内部上下文是否一致的问题时，本发明在大型语言模型的基础上，采用指令微调技术，结合部分标注数据进行进一步微调，从而判断对话中是否存在上下文不一致问题。然后，采用预测结果的准确率作为该可信度的评估标准。具体来说，对于输入的对话，如果模型预测的可信度标签与实际标签相同，那么就认为这次预测是正确的。具体地，基于对话内部上下文一致性的可信度评测准确率由下述（b）式计算：

17、    （b）。

18、其中，表示根据上下文语义进行可信度预测正确的问答对数量，表示总的问答对数量。

19、本发明与现有技术相比具有以下有益的技术效果和显著的技术进步：

20、1）在对话与手机信令时空一致性的可信度评测中，通过调用高德地图api获取流调对象的回答地址与手机信令记录的地址的经纬度，准确计算两点间距离并进行判断，解决了基于分词技术的地理匹配容易发生误判的问题；

21、2）在对话内部上下文一致性的可信度评测中，本发明在大型语言模型的基础上，采用指令微调技术，充分激发大语言模型的能力，从而提高基于对话内部上下文一致性评测的准确率。

技术特征：

1.一种基于时空一致性和上下文一致性的流调问答可信度评测方法，其特征在于，该方法包括：基于时空一致性的流调问答可信度评测和基于上下文一致性的流调问答可信度评测，所述基于时空一致性的流调问答可信度评测是从对话中抽取出流调对象活动的时间和地点信息与手机信令中提供的时间和地点进行对比匹配，以此判断对话内容的可信度，具体操作如下述步骤：

技术总结
本发明公开了一种基于时空一致性和上下文一致性的流调问答可信度评测方法，其特点是该方法包括：基于时空一致性的流调问答可信度评测和基于上下文一致性的流调问答可信度评测，所述基于时空一致性的流调问答可信度评测具体包括：时间和地点匹配和时空一致性的可信度的计算；所述基于上下文一致性的流调问答可信度评测在大型语言模型的基础上，采用指令微调技术进行对话内容上下文一致性的判断。本发明与现有技术相比具有从对话与手机信令时空一致性和对话内部上下文一致性等角度对收集到的流调对话进行可信度进行评测，从而在低可信度情况下适时干预流调问答，使流调对象尽可能提供真实可靠的信息，为后期追踪溯源提供高质、可信的数据支撑。

技术研发人员：陈琴,殷江灏,郑仁杰,雷智凯,程超,王佳镐,贺樑
受保护的技术使用者：华东师范大学
技术研发日：
技术公布日：2024/1/15