多模型协作下的查新点新颖性可信评估方法及装置与流程

本发明属于计算机技术的，具体涉及一种多模型协作下的查新点新颖性可信评估方法及装置。

背景技术：

1、科技查新，是以反映查新项目主题内容的查新点为依据，以计算机检索为主要手段，以获取密切相关文献为检索目标，运用综合分析和对比方法，对查新项目的新颖性作出评价。科技查新在避免科研项目重复立项、项目成果验收、科技成果评价等业务中起到了提供客观证明的作用，为支撑我国科技发展和推动科技进步做出了重要贡献。

2、随着科技查新系统的逐步完善，查新过程所产生的数字化资源不断增加，这为大模型技术辅助下的情报应用场景提供了充分的数据基础。利用大语言模型，可以帮助情报工作者在科技查新过程中提高文献检索、阅读、分析和对比等多个环节的工作效率。于是，需要一种基于大模型理解和语义相关性计算的查新点新颖性可信评估方法，辅助科技查新工作的高效实施。

技术实现思路

1、本发明的一个目的在于针对现有技术的不足之处，提供一种多模型协作下的查新点新颖性可信评估方法，该方法能够提高查新点新颖性评估结论的全面性、准确性和可读性，规避大模型幻觉风险。

2、为解决上述技术问题，本发明采用如下技术方案：

3、一种多模型协作下的查新点新颖性可信评估方法，包括如下步骤：

4、s1，根据查新点抽取查新关键词并构建检索式，根据检索式在查新数据库中筛选出相关文献；

5、s2，以查新点为参考模板，从步骤s1筛选的文献摘要中，抽取相关步骤并总结相关点；

6、s3，从查新点和相关步骤概述中，抽取结构化语义信息，并对齐相似表述；

7、s4，根据结构化语义信息，计算查新点与相关点间各维度相似距离，并计算查新点新颖性得分；

8、s5，采用大语言模型根据步骤4的得分结合查新点及相似片段的内容生成对比结果，并根据对比结果动态构建提示模板，生成汇总的查新结论，自动生成可读结果文本。

9、进一步地，步骤s1具体包括：

10、s11，输入查新点，利用大语言模型扩展主题及关键词，并结合检索条件生成的提示模板构建检索式；

11、s12，在查新数据库中，利用s11生成检索式查询得到候选文献集合；

12、s13，基于文本相似度，对查新点以及s12候选文献摘要部分进行比对，获得相似度高于设定阈值的相关文献摘要集合。

13、进一步地，步骤s2的具体实现方式为：

14、s21，根据查新点的内容特征，从s1相关文献摘要的各步骤中，利用大语言模型抽取相关步骤；

15、s22，根据查新点的表述方式特征，利用大语言模型以近似风格概述相关步骤，并总结相关点。

16、进一步地，s3的实现方式包括：

17、s31，利用大语言模型的文本抽取能力，从查新点、步骤s2的对比文献相关点中抽取短句粒度的结构化语义信息，其中，结构化语义信息包括研究对象、研究方法、研究问题；

18、s32，根据查新点的结构化语义维度，利用大语言模型按查新点结构化短句风格改写相关文献结构化短句。

19、进一步地，步骤4中多维度包括研究方法、研究问题、研究对象维度。

20、进一步地，步骤4计算查新点新颖性得分的方法为：

21、基于对齐的结构化语义信息，利用预训练的bert模型，将文本映射为高维向量表示，计算查新点与相关点向量各维度之间的余弦相似距离，计算时先判断各维度细粒度的相似程度，针对查新点每个维度的单个向量找到相关文献各维度向量与其最相关的向量，作为细粒度相似距离结果，再对各维度向量相似距离做平均，作为单个维度整体相似距离；

22、在获取各维度相似距离后，计算查新点新颖性得分，其中，查新点新颖性得分计算公式如下：

23、dc＝1-cosθ；

24、dc(rpi,j)＝wm*dc,m+wp*dc,p+wo*dc,o；

25、noveltyscore(p)＝max(dc(rpi,1),dc(rpi,2),…)；

26、其中，dc指向量间的相似距离；wm、wp、wo分别表示研究方法、研究问题、研究对象维度相似距离的权值，所有维度权值和为1，取平均值作为权值，或根据需要调整权值大小；noveltyscore(p)为最终的新颖性得分数值。

27、进一步地，s5中生成可读结果文本的方法包括：

28、s51，结合s4各维度结构化语义信息的相似距离计算结果，动态构建方法比较结果文本的提示模板，利用大语言模型自动生成方法比较可读结果文本；

29、s52，将各查新点与相关文献的方法比较结果作为输入，动态构建相关方法综述结果文本的提示模板，利用大语言模型自动生成相关方法综述可读结果文本；

30、s53，将各查新点与相关文献的方法比较结果、方法综述结果作为输入，动态构建查新点整体新颖性评估结果文本的提示模板，利用大语言模型自动生成查新点整体新颖性评估结果可读结果文本。

31、本发明的另一个目的是提供一种用于实现上述多模型协作下的查新点新颖性可信评估方法的装置，包括：

32、相关文献获取模块，用于根据查新点抽取查新关键词并构建检索式，根据检索式在查新数据库中筛选出相关文献；

33、相关步骤获取模块，用于以查新点为参考模板，从筛选的文献摘要中抽取相关步骤，并总结相关点；

34、结构化信息抽取模块，用于从查新点和相关步骤概述中，抽取结构化语义信息，并对齐相似表述；

35、查新点新颖性计算模块，用于根据结构化语义信息，计算查新点与相关点间各维度相似距离，并计算查新点新颖性得分；

36、可读结果生成模块，用于采用大语言模型根据得分结合查新点及相似片段的内容生成对比结果，并根据对比结果动态构建提示模板，生成汇总的查新结论，自动生成可读结果文本。

37、一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

38、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

39、与现有技术相比，本发明的有益效果为：本发明基于大语言模型，辅助科技查新中的文本理解、抽取、对比、总结等过程，提高查新点新颖性评估结论的全面性、准确性和可读性；基于结构化语义信息，推理查新点与相关文献在各维度的相似程度，再整体评估查新点和相关文献间的相关程度，从而评价查新点新颖性，提高结果可信性，规避大模型幻觉风险。

技术特征：

1.一种多模型协作下的查新点新颖性可信评估方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的多模型协作下的查新点新颖性可信评估方法，其特征在于，步骤s1具体包括：

3.根据权利要求1所述的多模型协作下的查新点新颖性可信评估方法，其特征在于，步骤s2的具体实现方式为：

4.根据权利要求1所述的多模型协作下的查新点新颖性可信评估方法，其特征在于，s3的实现方式包括：

5.根据权利要求1所述的多模型协作下的查新点新颖性可信评估方法，其特征在于，步骤4中多维度包括研究方法、研究问题、研究对象维度。

6.根据权利要求5所述的多模型协作下的查新点新颖性可信评估方法，其特征在于，步骤4计算查新点新颖性得分的方法为：

7.根据权利要求1所述的多模型协作下的查新点新颖性可信评估方法，其特征在于，s5中生成可读结果文本的方法包括：

8.一种用于实现权利要求1至7中任一项所述的多模型协作下的查新点新颖性可信评估方法的装置，其特征在于，包括：

9.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。

技术总结
本发明公开了一种大小模型语义理解下的查新点新颖性评估方法及装置，包括：利用根据查新点抽取查新关键词并构建检索式，根据检索式在查新数据库中筛选出相关文献；以查新点为参考模板，利用从筛选的文献摘要中，抽取相关步骤并总结相关点；采用从查新点和相关步骤概述中，抽取结构化语义信息，并对齐相似表述；根据结构化语义信息，计算查新点与相关点间各维度相似距离，并计算查新点新颖性得分；根据得分结合查新点及相似片段的内容采用大语言模型生成对比结果，并根据对比结果动态构建提示模板，生成汇总的查新结论，自动生成可读结果文本。本发明能够提高查新点新颖性评估的全面性、准确性和可读性，规避大模型幻觉风险。

技术研发人员：齐晓曼,陆伟,华珉,王琛,刘恋,程齐凯,黄永,魏家泽,胡经璇
受保护的技术使用者：国网上海市电力公司
技术研发日：
技术公布日：2024/12/23