用于羊类疾病诊断的大语言模型构建方法及装置

本发明涉及一种用于羊类疾病诊断的大语言模型构建方法及装置。

背景技术：

1、羊只养殖在农业中占有重要地位，但羊类疾病的诊断与防控一直是养殖者与兽医面临的重要挑战。传统羊类疾病的诊断方法存在兽医覆盖面小，就诊不及时；养殖者专业知识受限，诊断效率低等问题。并且虽然羊类疾病本身相对人类疾病的种类较少，但症状相似性较高，且常受季节、环境等因素的影响，导致诊断过程具有一定的复杂性。

2、传统羊类疾病诊断方法难以在紧急情况下及时提供准确的诊断结果，且大众对羊类疾病的认知有限，难以获取有效的疾病防控信息和技术。

技术实现思路

1、为克服上述现有技术的不足，本发明提供一种用于羊类疾病诊断的大语言模型构建方法及装置，通过构建基于预训练模型的羊类疾病诊断模型，并依次进行领域微调和知识图谱强化，实现具有较高准确率和召回率的大语言模型用于羊类疾病诊断。

2、根据本发明说明书的一方面，提供一种用于羊类疾病诊断的大语言模型构建方法，包括：

3、构建羊类疾病问答数据集与知识图谱；

4、基于llama2-13b-chinese预训练模型构建羊类疾病诊断模型，采用低秩适应方式结合构建的羊类疾病问答数据集，对所述羊类疾病诊断模型进行领域微调；

5、基于构建的知识图谱，对微调后的羊类疾病诊断模型进行回答能力强化；

6、对强化后的羊类疾病诊断模型进行评估，使模型召回率和精确度达到预设要求。

7、作为进一步的技术方案，构建羊类疾病问答数据集，包括：

8、获取数据集中的文本格式数据，并将其输入通用大语言模型，转换得到指令格式数据；

9、获取数据集中的流程图格式数据并基于其生成多轮问答数据，将生成的多轮问答数据输入通用大语言模型，转换得到文本格式数据，将所述文本格式数据再次输入通用大语言模型，转换得到指令格式数据。

10、作为进一步的技术方案，以三元组形式构建羊类疾病知识图谱，包含相互对应的若干组头实体、尾实体及两者之间的关系。

11、作为进一步的技术方案，对所述羊类疾病诊断模型进行领域微调，还包括：

12、根据中文指令集对构建的羊类疾病诊断模型进行对齐微调；

13、根据转换得到的指令格式数据，结合低秩适应方式将对齐微调后的模型进行领域数据微调。

14、作为进一步的技术方案，基于构建的知识图谱，对微调后的羊类疾病诊断模型进行回答能力强化，包括：

15、计算问题与知识图谱三元组之间的相似度，根据计算出的相似度检索与每个问题最相关的三元组。

16、作为进一步的技术方案，计算问题与知识图谱三元组之间的相似度，包括：

17、使用bert模型将输入的整个问题或三元组中的每个单词以向量形式表示；

18、通过取平均或取最后一层的cls token向量来表示整个句子或三元组的向量；

19、使用l2范数计算问题向量与三元组向量的长度，进而计算向量之间夹角的余弦相似度。

20、作为进一步的技术方案，计算出的余弦相似度值在之间，越接近1，表示问题与三元组越匹配。

21、根据本发明说明书的一方面，提供一种用于羊类疾病诊断的大语言模型构建装置，包括：

22、数据构建模块，用于构建羊类疾病问答数据集与知识图谱；

23、预训练模型微调模块，用于基于llama2-13b-chinese预训练模型构建羊类疾病诊断模型，采用低秩适应方式结合构建的羊类疾病问答数据集，对所述羊类疾病诊断模型进行领域微调；

24、模型强化模块，用于基于构建的知识图谱，对微调后的羊类疾病诊断模型进行回答能力强化；

25、模型评估模块，用于对强化后的羊类疾病诊断模型进行评估，使模型召回率和精确度达到预设要求。

26、根据本发明说明书的一方面，提供一种用于羊类疾病诊断的大语言模型，采用所述的用于羊类疾病诊断的大语言模型构建方法得到。

27、根据本发明说明书的一方面，提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行所述的用于羊类疾病诊断的大语言模型构建方法。

28、与现有技术相比，本发明的有益效果在于：

29、本发明首先构建羊类疾病问答数据集与羊类疾病相关的知识图谱；其次，基于llama2-13b-chinese预训练模型，采用lora技术进行领域微调，对领域微调后的模型，通过结合知识图谱强化模型的回答能力，提升模型回答的准确性和可靠性。最后，通过将本发明所提供模型与现有模型进行对比，验证本发明模型具有较高的准确率和召回率，能够用于提高羊类疾病诊疗的工作效率和智能化水平。

技术特征：

1.用于羊类疾病诊断的大语言模型构建方法，其特征在于，包括：

2.根据权利要求1所述用于羊类疾病诊断的大语言模型构建方法，其特征在于，构建羊类疾病问答数据集，包括：

3.根据权利要求1所述用于羊类疾病诊断的大语言模型构建方法，其特征在于，以三元组形式构建羊类疾病知识图谱，包含相互对应的若干组头实体、尾实体及两者之间的关系。

4.根据权利要求2所述用于羊类疾病诊断的大语言模型构建方法，其特征在于，对所述羊类疾病诊断模型进行领域微调，还包括：

5.根据权利要求1所述用于羊类疾病诊断的大语言模型构建方法，其特征在于，基于构建的知识图谱，对微调后的羊类疾病诊断模型进行回答能力强化，包括：

6.根据权利要求5所述用于羊类疾病诊断的大语言模型构建方法，其特征在于，计算问题与知识图谱三元组之间的相似度，包括：

7.根据权利要求6所述用于羊类疾病诊断的大语言模型构建方法，其特征在于，计算出的余弦相似度值在之间，越接近1，表示问题与三元组越匹配。

8.用于羊类疾病诊断的大语言模型构建装置，其特征在于，包括：

9.一种用于羊类疾病诊断的大语言模型，其特征在于，采用权利要求1至7任一项权利要求所述的用于羊类疾病诊断的大语言模型构建方法得到。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行权利要求1至7中任一项权利要求所述的用于羊类疾病诊断的大语言模型构建方法。

技术总结
本发明公开一种用于羊类疾病诊断的大语言模型构建方法及装置，方法包括：构建羊类疾病问答数据集与知识图谱；基于LLaMA2‑13B‑Chinese预训练模型构建羊类疾病诊断模型，采用低秩适应方式结合构建的羊类疾病问答数据集，对所述羊类疾病诊断模型进行领域微调；基于构建的知识图谱，对微调后的羊类疾病诊断模型进行回答能力强化；对强化后的羊类疾病诊断模型进行评估，使模型召回率和精确度达到预设要求。本发明通过构建基于预训练模型的羊类疾病诊断模型，并依次进行领域微调和知识图谱强化，实现具有较高准确率和召回率的大语言模型用于羊类疾病诊断。

技术研发人员：赵良,熊佳怡,周勇,田芳,倪福川
受保护的技术使用者：华中农业大学
技术研发日：
技术公布日：2025/1/20