基于文本和图片的双模态胃部疾病分类方法及装置与流程

文档序号:25023560发布日期:2021-05-11 16:48阅读:来源:国知局

技术特征:

1.一种基于文本和图片的双模态胃部疾病分类方法,其特征在于,所述方法包括:

将病历报告输入预先训练的文本提取网络,得到所述病历报告的文本特征向量;

将胃镜图片输入预先训练的图片提取网络,得到所述胃镜图片的图片特征向量,所述胃镜图片和所述病历报告对应同一对象;

将所述文本特征向量和所述图片特征向量进行特征融合,并将融合后的特征向量输入预先训练的分类器中,得到胃部疾病的分类结果。

2.根据权利要求1所述的方法,其特征在于,所述将病历报告输入预先训练的文本提取网络,得到所述病历报告的文本特征向量,包括:

从所述病历报告中提取主诉文本;

将所述主诉文本经过bert预训练模型进行编码,得到所述文本特征向量并存储。

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

使用bert预训练模型,将所述主诉文本输入transformer模型中进行编码,得到所述文本特征向量后,进行逻辑回归softmax分类,得到文本单模态的分类结果。

4.根据权利要求1所述的方法,其特征在于,所述将胃镜图片输入预先训练的图片提取网络,得到所述胃镜图片的图片特征向量,包括:

将所述胃镜图片输入预训练模型vgg19中,经过所述vgg19的表示得到最后一层的输出特征向量,得到所述图片特征向量并存储。

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

在得到所述图片特征向量后,再通过softmax进行分类,得到图片单模态的分类结果。

6.根据权利要求1所述的方法,其特征在于,所述将所述文本特征向量和所述图片特征向量进行特征融合,包括:

将所述文本特征向量和所述图片特征向量进行拼接,得到融合后的特征向量。

7.根据权利要求1所述的方法,其特征在于,所述将所述文本特征向量和所述图片特征向量进行特征融合,包括:

将所述文本特征向量和所述图片特征向量输入预先训练的张量融合网络tfn,得到融合后的特征向量。

8.根据权利要求1所述的方法,其特征在于,所述分类器包括长短期记忆人工神经网络lstm网络和softmax分类函数。

9.根据权利要求1所述的方法,其特征在于,所述胃部疾病的分类结果包括每种分类的概率,对于概率大于预设阈值的分类为最终的胃部疾病的诊断结果。

10.一种基于文本和图片的双模态胃部疾病分类装置,其特征在于,所述装置包括:

文本提取模块,用于将病历报告输入预先训练的文本提取网络,得到所述病历报告的文本特征向量;

图片提取模块,用于将胃镜图片输入预先训练的图片提取网络,得到所述胃镜图片的图片特征向量;

双模态分类模块,用于将所述文本特征向量和所述图片特征向量进行特征融合,并将融合后的特征向量输入预先训练的分类器中,得到胃部疾病的分类结果。


技术总结
本申请涉及一种基于文本和图片的双模态胃部疾病分类方法及装置,属于医学文本和图像双模态智能处理技术领域,该方法包括:将病历报告输入预先训练的文本提取网络,得到病历报告的文本特征向量;将胃镜图片输入预先训练的图片提取网络,得到胃镜图片的图片特征向量;将文本特征向量和图片特征向量进行特征融合,并将融合后的特征向量输入预先训练的分类器中,得到胃部疾病的分类结果;可以解决人工诊断胃部疾病的效率较低的问题;实现自动地对胃部疾病进行分类,提高胃部疾病诊断效果。另外,通过结合文本特征向量和图片特征向量进行胃部疾病分类,相较于单独使用文本或者图片来说,具有更高的分类准确性。

技术研发人员:李寿山;罗佳敏;王晶晶;周国栋;张民
受保护的技术使用者:紫东信息科技(苏州)有限公司
技术研发日:2021.02.03
技术公布日:2021.05.11
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1