一种基于视觉问答的口腔疾病诊断方法、系统及存储介质与流程

本申请涉及口腔医疗，尤其涉及一种基于视觉问答的口腔疾病诊断方法、系统及存储介质。

背景技术：

1、随着计算机视觉的发展，通过ai图像的方式来对医疗疾病进行诊断，已逐渐成为一项重要的辅助技术手段，例如在口腔领域，通过拍摄口腔照片，通过现有的口腔疾病诊断模型，便可判断出是否存在口腔疾病问题。

2、虽然借助这种方式，在家自行都可完成诊断，但是在缺乏与医生交互的情况下，很难对自己的问题有着全面或者更深度的认识。

技术实现思路

1、本申请的目的是提供一种基于视觉问答的口腔疾病诊断方法、系统及存储介质，通过视觉问答的方式来替代与医生的交互，可根据自己拍摄的口腔图像进行提问式诊断。

2、第一方面，本申请提供一种基于视觉问答的口腔疾病诊断方法，采用如下的技术方案：

3、获取预设的样本训练集，样本训练集中包含有多个样本，每类样本包含口腔图像和对应的问答文本；

4、基于样本训练集，通过预设的方法进行训练，以生成口腔视觉问答模型；

5、获取输入的口腔图像和提问信息；

6、基于口腔图像和提问信息，通过预设的口腔问答模型，获取感知答案集合；

7、基于感知答案集合，通过预设的口腔知识图谱，获取外部融合信息；

8、根据外部融合信息，通过预设的语言模型生成问题答复信息。

9、通过上述技术方案，通过以外部知识对视觉问答进行拓展，能进一步提升交互空间，提供更多的问答可能性，再借助语言模型可以帮助用户获取到更全面的诊断信息。

10、可选的，样本训练集中包含有多个样本，每个样本包含口腔图像和对应的问答文本，基于样本训练集进行视觉问答训练，以生成口腔视觉问答模型之前，包括：

11、对样本训练集中的口腔图像，通过预设的视觉检测模型，获取图像检测结果；

12、基于图像检测结果和问答文本，通过预设的文本问题模板，生成扩充问答集合；

13、将扩充问答集合添加到预设的样本训练集中。

14、可选的，问答文本包括文本问题和文本答案，基于样本训练集进行视觉问答训练，以生成口腔视觉问答模型，包括：

15、对样本训练集中的口腔图像，通过预设的图像特征提取器，获取图像特征信息；

16、对样本训练集中的文本问题，通过预设的文本特征提取器，获取文本特征信息；

17、基于图像特征信息和文本特征信息，通过预设融合感知网络获取预测答案；

18、以预测答案和样本中的文本答案构建目标函数，并对预设的融合感知网络进行更新；

19、通过预设轮次的迭代训练之后，将最后生成的网络模型记为口腔视觉问答模型。

20、可选的，基于口腔图像和提问信息，通过口腔视觉问答模型，获取感知答案集合，包括：

21、根据口腔图像和提问信息，通过口腔视觉问答模型，获取候选答案集合；

22、基于候选答案集合，通过预设的图像特征提取器，获取问题标定特征；

23、基于问题标定特征，通过口腔视觉问答模型，获取感知答案集合。

24、可选的，基于感知答案集合，通过预设的口腔知识图谱，获取外部融合信息，包括：

25、遍历感知答案集合，对感知答案通过预设的口腔知识图谱，生成关联答案信息；

26、遍历结束后对所有的关联答案信息均进行文本编码，以生成文本向量；

27、对所有的文本向量进行相似度计算，生成相似度关联图；

28、根据相似度关联图，选取相似度关联最高的文本向量，并将其对应的关联答案信息记为外部融合信息。

29、可选的，根据外部融合信息，通过预设的语言模型生成问题答复信息，包括：

30、基于外部融合信息，通过预设的文本编码器进行编码，以获取语言向量；

31、根据语言向量，通过预设的视觉语言模型生成问题答复信息。

32、可选的，根据外部融合信息，通过预设的语言模型生成问题答复信息之后，包括：

33、基于提问信息和答复信息，通过预设的文本校验方法进行校验，并获取校验结果；

34、若校验结果为文本匹配成功，则输出问题答复信息；

35、若校验结果为文本匹配失败，则将问题答复信息与提问信息一同关联存入到预设的数据库中。

36、可选的，输出问题答复信息之后，还包括：

37、基于问题提问信息和问题答复信息，获取口腔问题标签；

38、基于口腔问题标签，对口腔图像添加标注信息，以生成问题标注图像；

39、根据口腔问题标签，通过预设的语言模型，获取问题注意事项；

40、根据问题标注图像和问题注意事项，生成口腔疾病诊断报告。

41、第二方面，本申请提供一种基于视觉问答的口腔疾病诊断系统，包括：

42、数据获取模块101，用于获取预设的样本训练集；

43、问答模型生成模块102，用于基于样本训练集，通过预设的方法进行训练，以生成口腔视觉问答模型；

44、问题信息获取模块103，用于获取输入的口腔图像和提问信息；

45、外部知识融入模块104，用于基于口腔图像和提问信息，通过预设的口腔问答模型，获取感知答案集合，并基于感知答案集合，通过预设的口腔知识图谱，获取外部融合信息；

46、问题答案生成模块105，用于根据外部融合信息，通过预设的语言模型生成问题答案信息。

47、第三方面，本申请提供一种计算机可读存储介质，存储有能够被处理器加载并执行上述一种基于视觉问答的口腔疾病诊断方法的计算机程序。

48、综上所述，本申请首先通过以外部知识对视觉问答进行拓展，能进一步提升交互空间，提供更多的问答可能性，再借助知识图谱可以帮助用户获取到更全面的诊断信息；另外，还可根据用户的多层次提问对用户的口腔诊断进行综合评估，以此来对用户生成相应的注意事项，以更好地满足用户的实际需求。

技术特征：

1.一种基于视觉问答的口腔疾病诊断方法，其特征在于，包括：

2.根据权利要求1所述的一种基于视觉问答的口腔疾病诊断方法，其特征在于，样本训练集中包含有多个样本，每个样本包含口腔图像和对应的问答文本，基于样本训练集进行视觉问答训练，以生成口腔视觉问答模型之前，包括：

3.根据权利要求2所述的一种基于视觉问答的口腔疾病诊断方法，其特征在于，问答文本包括文本问题和文本答案，基于样本训练集进行视觉问答训练，以生成口腔视觉问答模型，包括：

4.根据权利要求1所述的一种基于视觉问答的口腔疾病诊断方法，其特征在于，基于口腔图像和提问信息，通过口腔视觉问答模型，获取感知答案集合，包括：

5.根据权利要求1所述的一种基于视觉问答的口腔疾病诊断方法，其特征在于，基于感知答案集合，通过预设的口腔知识图谱，获取外部融合信息，包括：

6.根据权利要求1所述的一种基于视觉问答的口腔疾病诊断方法，其特征在于，根据外部融合信息，通过预设的语言模型生成问题答复信息，包括：

7.根据权利要求1所述的一种基于视觉问答的口腔疾病诊断方法，其特征在于，根据外部融合信息，通过预设的语言模型生成问题答复信息之后，包括：

8.根据权利要求7所述的一种基于视觉问答的口腔疾病诊断方法，其特征在于，输出问题答复信息之后，还包括：

9.一种基于视觉问答的口腔疾病诊断系统，其特征在于，包括：

10.一种计算机可读存储介质，存储有能够被处理器加载并执行如权利要求1至8任一项所述的一种基于视觉问答的口腔疾病诊断方法的计算机程序。

技术总结
本申请涉及口腔医疗技术领域，具体公开了一种基于视觉问答的口腔疾病诊断方法、系统及存储介质，所述方法包括：获取预设的样本训练集；基于样本训练集进行视觉问答训练，以生成口腔视觉问答模型；获取口腔图像和提问信息；基于口腔图像和提问信息，通过预设的口腔问答模型，获取感知答案集合；基于感知答案集合，通过预设的口腔知识图谱，获取外部融合信息；根据外部融合信息，通过预设的语言模型生成问题答复信息。本申请通过借助发散思维和外部知识来实现视觉问答，从而在自我诊断时能有着更丰富的交互空间，以帮助用户获取到更全面的诊断信息。

技术研发人员：李宇,陈华全
受保护的技术使用者：白里挑一（杭州）医疗科技有限公司
技术研发日：
技术公布日：2024/2/19