一种基于人工智能的脂肪肝辅助诊断系统的实现方法

本发明涉及一种基于人工智能的脂肪肝辅助诊断系统的研究与实现的方法。

背景技术：

1、肝活检是肝组织标本直接定量肝脂肪病变的参考标准，且已经建立了一套完整有效地评分系统。但肝活检是一种侵入性检查，具有昂贵、住院时间长等局限性，同时还具有疼痛、出血等严重的并发症风险，在极少数情况下还有可能会导致患者的死亡，并未被患者广泛接受，且并不是所有患者均能使用肝活检的方法进行诊断。同时，研究表明通过早期筛查诊断并进行干预，能够有效缓解甚至实现脂肪病变的逆转。因此使用无创的影像学方法对早期预测和识别脂肪肝的严重程度并进行早期干预具有重要的意义。

2、深度学习技术是人工智能领域中的分支，能够被称为深度学习是因为该方法能够在数据量巨大的情况下学习到其关键和本质的特征，是一种最接近人脑的智能学习方法，实现了人工智能发展过程中的实质性突破，推动人工智能进入到全新的阶段，甚至深度学习技术成为了当前众多领域和整个社会科技进步的动力。

技术实现思路

1、本发明的目的是提供一种基于深度学习技术的脂肪肝辅助诊断系统的实现方法。

2、为了达到上述目的，本发明的技术方案是提供了一种基于人工智能的脂肪肝辅助诊断系统的实现方法，其特征在于，包括以下步骤：

3、步骤1、获取肝脏图像的超声数据，构建肝脏超声数据集；

4、步骤2、构建基于u-net的肝脏超声图像分割方法，该肝脏超声图像分割方法采用基于肝脏超声数据集训练的er-unet网络模型实现超声图像中肝脏区域分割，在er-unet网络模型中引入残差块结构，并使用注意力门控机制，选用lovasz-softmax作为er-unet网络模型的模型损失函数，采用swa优化器优化er-unet网络模型

5、步骤3、构建基于机器学习的脂肪肝多特征定量化分级方法，在该脂肪肝多特征定量化分级方法中，提出分级诊断依据后,制定分级标准，随后使用机器学习的方法进行后处理,实现定量化的分级；

6、步骤4、构建基于cbma-efficientnet模型的脂肪肝分类算法,构建脂肪肝分类数据集对cbma-efficientnet模型进行训练，其中，使用sk-net模块将efficientnet-b4模型原有的se-net模块进行替换构成sk-mbconv模块，并将其按照主干网络efficientnet-b4的结构进行堆叠，使用改进的efficientnet-b4模型进行肝脏超声图像的特征提取后，再使用cbma结构对网络当中提取的特征进行细化；

7、步骤5、设计并实现脂肪肝辅助诊断系统,实现超声诊断科对患者超声图像的采集、上传、筛查、统计的一站式管理。

8、优选地，所述步骤1中，使用图像语义分割技术将肝脏区域从肝脏超声图像和视频中分割出来，构建肝脏超声数据集，其中，图像语义分割技术所采用的语义分割评估指标dice公式如下：

9、

10、式中，x表示预测结果，y表示真实结果，dice表示预测结果和真实结果之间的相似程度。

11、优选地，所述步骤2包括以下步骤：

12、步骤2.1、对肝脏超声数据集内肝脏超声图像中的肝脏区域进行标注，将标注信息保存在json文件后，将json文件转化为掩膜图像，转化时，将掩膜保存为8位单通道的掩膜图像；

13、步骤2.2、构建er-unet网络模型，使用efficientnet-b4变体作为er-unet的主干，移动翻转瓶颈卷积，并在er-unet架构的解码器及瓶颈层中采用残差块来进行脂肪超声图像的分割，采用注意力门控来处理网络的跳跃连接路径，抑制无关特征来提高网络性能；

14、步骤2.3、设计lovasz-softmax损失函数：

15、使用lovasz拓展方法将离散的变得连续，从而可以直接求导，使其作为分割网络的损失函数，其中，表示真值标签向量，表示预测标签向量。

16、c的jaccard指数，也称iou分数定义为：

17、

18、其中，c为语义分割任务中给定图像的每个像素归入的对象类c∈c，其对应的损失函数为：

19、

20、步骤2.4、利用步骤2.1标注后的肝脏超声数据集对er-unet网络模型进行训练，训练时，使用随机权重平均法与余弦退火来训练模型，学习率的计算表示为：

21、

22、式中，α0是初始学习率，t是epoch，t是训练时的总epochs，，m为周期数。

23、优选地，步骤2.2中，所述残差块由两个3×3的卷积组成，其中，第一个3×3的卷积之后是批量归一化和leakyrelu激活函数；第二个3×3的卷积后只进行批量归一化，将其输出和恒等映射之间进行一个逐像素之间的添加融合操作，之后是leakyrelu激活函数。

24、优选地，所述步骤3包括以下步骤：

25、步骤3.1、由医生提出超声图像中脂肪肝的分级标准，制定完整的分级标准，根据标准综合考虑获取肝脏超声图像的分级结果，将肝脏的超声图像分为：正常、轻度、中度、重度四种等级；

26、步骤3.2、采用harris角点检测算法进行肝缘角检测，对分割后的肝脏区域进行操作，进行轮廓提取，获得轮廓顶点，对分割后的图像进行角点特征提取，确定右叶肝缘角位置，在提取到的角点位置间隔每20个像素点向进行分割轮廓点提取，并将提取后的轮廓点进行直线拟合，计算两条直线相交角度获得右叶肝缘角角度，并将处理结果在图像标注；

27、步骤3.3、对肝脏大小进行检测，使用opencv中cv函数cv2.moments()计算每个轮廓力矩，计算质心位置：

28、

29、

30、式中，为质心位置，m10表示y轴上质心的位置，m00表示图像中非零像素的总和，m01表示x轴上质心的位置；经过质心绘制直线获得与肝脏轮廓的交点，计算得到肝脏厚度所占像素点，得到肝脏大小；

31、步骤3.4、构建基于机器学习的实质回声检测方法,采用图像二值化的高效算法ostu阈值处理方法，检测相关的结果的准确性，实现对脂肪肝进行分级。

32、优选地，所述步骤4包括以下步骤：

33、步骤4.1、在视频中每间隔20帧提取一张肝脏超声图像，与静态图像构建实验数据集,对构建的肝脏超声数据集进行清洗，对于提取数据中肝脏结构不清晰、非肝脏诊断切面等进行剔除，最终构成肝脏超声分类数据集；

34、步骤4.2、按照超声表现将肝脏超声分类数据集分为正常、轻度、中度、重度四类,对数据进行处理将图像缩放至统一的380×380，并对图像进行归一化处理，按照3：1：1的比例将数据集划分为训练集、验证集和测试集进行实验；

35、步骤4.3、构建cbma-efficientnet模型，模型的输入为380×380大小的三通道肝脏图像，模型的分类识别结果作为输出；

36、步骤4.4、采用学习率衰减策略，设置初始实验参数，对cbma-efficientnet模型进行训练。

37、优选地，所述步骤5包括以下步骤：进行用户需求分析和可行性分析，完成脂肪肝辅助诊断系统详细设计，对系统功能进行实现，系统技术的实现。

38、优选地，所述的用户需求分析和可行性分析，具体包括：

39、经过用户需求分析后，系统包括患者管理模块，具有数据采集上传、图像自动筛查以及诊断报告模块的智能筛查模块，数据统计模块，系统设置模块；系统要满足安全性需求、可扩展需求、兼容性需求、可靠性需求、易用性需求；系统前端为web页面形式，使用vueframework来设计并实现前端页面，系统的后端使用asp.net core的框架进行服务器的搭建，使用深度学习技术。

40、优选地，所述的脂肪肝辅助诊断系统详细设计，具体包括：

41、先进行基本的平台架构设计，然后进行系统流程设计，用户进入系统后，需要用户输入账号密码进行权限验证，验证通过后登入脂肪肝辅助系统当中；登录完成后，系统进入首页，其中，首页主要包括两个功能模块——医生事务列表及今日患者列表，医生事务列表用于用户工作提醒，今日患者列表展示今日已登记的患者；点击某条患者信息，进入患者诊断界面，连接超声设备仪器后，自动读取设备中采集到的患者诊断影像，同时也支持通过图像上传的方式上传患者超声影像；获取患者超声成像信息后，点击使用筛查算法按钮，直接调用人工智能算法，分析图像，输出图像特征，生成超声诊断；根据人工智能生成的脂肪肝分级诊断，医生可根据准确性来判断是否需要进行报告编辑，可在人工智能生成的诊断后进一步编辑诊断报告，对诊断结果进行修正。在输出报告时，需要医生进行确认，由医生开具医生诊断，通过医生确认保证报告的准确性，最终生成完整的诊断报告。

42、优选地，所述的对系统功能、系统技术的实现，具体包括：

43、系统开发中使用的具体操作平台为windows10家庭中文版，厂家为美国微软公司，版本号为home edition；在开发过程中使用的开源平台包括：前端开发框架vue、后端开发框架net core 5、数据库的管理工具navicat premium、跨平台的javascript运行环境node.js、数据库mysql；使用到大量第三方的辅助开发工具，包括使用javascript实现的可视化库echarts和基于vue的组件库elementui；智能筛查模块提供基于深度学习的脂肪肝分级算法的智能筛查功能，图片筛查调用算法部署服务器中部署的er-unet定量化分级算法和cbmaefficientnet图像分类算法；系统前端采用vue框架，系统后端采用asp.net的mvc框架，即model、view和controller三层分层的ui端分层开发架构；本基于python的flask微服务器框架，将所使用的基于图像分割的脂肪肝定量化分级算法及基于图像分类的脂肪肝分级算法部署在服务器上。

44、本发明构建了肝脏超声数据集，提出了基于u-net的肝脏超声图像分割方法，提出了基于机器学习的脂肪肝多特征定量化分级方法，提出了基于efficientnet的脂肪肝分类算法，提出了基于机器学习的脂肪肝多特征定量化分级方法，设计并实现了脂肪肝辅助诊断系统。相对现有技术，本发明提出的基于人工智能的脂肪肝辅助诊断系统的研究与实现的方法在脂肪肝辅助诊断及预测方面有显著优越性。本脂肪肝辅助诊断系统前端采用的是vue框架，是一种在移动端进行用户界面构建时所使用的渐进式js框架，可以用简单的api来实现双向数据绑定和视图组件，同时还能够与第三方库进行整合，可拓展性强。该框架使用视图、数据、结构分离形式，不需要进行逻辑代码更改即可实现简单的数据更改。vue提供了一套新的开发框架，能够有效提升开发者的开发效率，且该框架相较于相比较react而言，具有较高的运行速度。

45、根据实验分析，在实验中构建的cbma-efficientnet算法在测试集中达到了0.9510的准确率，通过对比可知本发明的预测性能明显高于其他算法，并且本发明基于efficientnet-b4网络进行改进，同样高于主干网络0.9451的准确率。同时，使用了混淆矩阵、precision、recall、specificity、auc来对本发明构建的模型的预测结果进行综合分析和评估，证明了本发明构建的模型具有优秀的分类预测性能。通过以上实验分析证明了本发明的有效性。