引导式的改进神经网络踝关节骨折分类方法、系统及设备

本发明属于计算机图像处理领域，特别涉及一种引导式的改进神经网络踝关节骨折分类方法、系统及设备。

背景技术：

1、踝关节骨折是一种常见的骨科损伤，患病原因主要是由于足踝部分受到直接或间接暴力和扭转。对于踝关节损伤的诊断多采用对患者拍摄x射线照片的医学影像检查方法。损伤后踝关节处会出现剧烈疼痛、受伤部位肿胀、踝部畸形等症状，踝关节活动会受到明显限制。由于踝关节是人体的负重关节，发生骨折后若未经过及时和有效的处理，不但会影响患者的正常行走，而且会导致关节炎，断骨部位无法愈合等问题，对患者的生活造成极大影响。

2、近年来，随着深度学习(dl)中的分类技术在医学领域逐渐显现出了巨大潜力，相比于单纯依靠医生对骨折图像进行分析判断的传统方法，利用基于深度学习的卷积神经网络(cnn)技术自动识别骨折情况，在骨折类型判断方面更具优势。医生可以将此输出结果作为参考，减轻医生工作负担的同时也能提升工作效率。

3、虽然cnn驱动的人工智能(ai)方法取得了令人鼓舞的表现，但由于cnn的不透明学习和推理过程，在临床使用进行诊断时很容易受到图像中其他信息的干扰而做出错误判断，这成为了机器诊断在临床环境中应用的阻碍。对医学图像进行分析的任务往往受到图像干扰信息过大导致分类不准确的限制，使其在现实场景中的应用具有很大的挑战性。因此有必要设计一种基于原始病例图像引入先验知识引导cnn注意力判断踝关节骨折类型以辅助医生治疗的模型以更好的满足治疗需求。

技术实现思路

1、针对现有技术的不足，本发明提供一种引导式的改进神经网络踝关节骨折分类方法、系统及设备，该分类方法通过分割网络引导网络注意力然后使用改进的卷积神经网络在基于踝关节danis-weber分型的理论模型下对患者损伤类型进行准确划分，使用各类统计学指标评估模型性能，从而完成对踝关节骨折种类的判断。有效解决了传统卷积神经网络在进行分类时容易受到图像中其他信息的干扰而做出错误判断从而产生较低准确率的问题。

2、为实现上述目的，本发明公开了如下技术方案：

3、一方面，本发明提供一种引导式的改进神经网络踝关节骨折分类方法，其包括以下步骤：

4、s1、采集数据库中踝关节骨折x光片图像及已标注踝关节腓骨分割数据与骨折类型分类数据的图像并进行图像增强；将采集到的图像随机划分为训练集和验证集；

5、s2、使用标注腓骨区域的分割数据训练分割网络模型，使分割网络模型能准确识别腓骨在图像上的大小和位置；

6、训练分割网络模型时使用改进骰子系数损失函数评估模型的分割效果并指导参数的修改方向，损失函数计算公式为：

7、

8、

9、其中，ti为第i个像素的预测值，gi为第i个像素的真实值，ε为保证损失函数的稳定项，α为权重系数，根据前景所占比例自动调整大小，α越大则图像前景所占比例越大，h、w分别为图像的高和宽；

10、s3、将骨折类型分类数据输入训练好的分割网络模型，预测出腓骨区域，并将预测结果作为引导作用于改进神经网络分类模型；

11、s4、将骨折类型分类数据输入预测结果引导下的改进神经网络分类模型进行训练；改进的神经网络改进的卷积神经网络模型包括残差块的堆叠、全局平均池化以及多层感知机，残差块的堆叠包括直接映射部分和残差部分，直接映射将获取的特征传入两个大小为3*3的卷积层，残差部分为一个从输入到输出的连接结构；全局平均池化对整个特征图进行全局平均，减少特征图的空间维度，计算每个特征图中的所有像素值的平均值，生成一个全局特征表示；多层感知机包括输入层、两个隐藏层和输出层；

12、在分类模型训练时采用改进的交叉熵损失函数评估模型的预测结果与真实结果之间的误差程度并指导参数的修改方向，计算公式为：

13、

14、其中，nc为类别数量；pnc为模型输出类别加和运算；qnc为类别标签加和运算，wc为类别标签的权重，类别所占数据集比例越小，权重越大；

15、s5、利用测试集验证改进神经网络分类模型的分类结果，并使用统计学指标对改进神经网络分类模型进行评估。

16、优选地，步骤s1中获取踝关节腓骨分割数据时，将腓骨在图像上的区域进行划分。

17、优选地，步骤s1中获取骨折类型分类数据时，采用的分型方法为danis-weber分型方法，根据腓骨骨折的高度、腓骨骨折与踝穴水平间隙以及下胫腓联合之间的关系将踝关节骨折类型分为：a型骨折、b型骨折以及c型骨折三类并分文件夹储存，得到骨折类型分类数据。

18、优选地，步骤s2中分割网络模型使用u-net网络结构，包括编码器和解码器，并通过跳跃连接传递信息，实现对输入图像的精确分割；编码器和解码器均包括四个阶段，编码器的每个阶段包含两个3*3的卷积层和一个2*2的最大池化层；解码器的每个阶段通过2*2的反卷进行上采样操作将特征图的空间分辨率扩大一倍。

19、优选地，步骤s3中预测分类数据中的腓骨区域时，计算分割类别的真实标签和预测值的交集和并集的比值然后取平均即平均交并比，计算公式为：

20、

21、其中，t表示预测值，g表示真实值，k表示总类别个数。

22、优选地，步骤s4中交叉熵损失函数计算时用p的分布逼近q的分布，p、q越接近则损失越小；

23、

24、其中，s为踝关节图片数据样本；l为真实标签；

25、标签分布q相当于概率集合；样本中的真实标签l与nc属于同一数量级，q与l的数学数量级不同；若真实标签l与预测样本标签nc相同，则判断预测正确，即为1,反之则为0。

26、优选地，步骤s5中利用混淆矩阵显示分类器分类正确和错误的数据量，利用查准率、查全率、fβscore分数和准确率衡量模型的鲁棒性，利用受试者工作特征曲反映分类器的性能，横坐标为每个类别的假阳性率，纵坐标为真阳性率，计算roc曲线下与坐标轴围成的面积为auc的值表征分类性能。

27、优选地，步骤s1中将采集到的图像按照9：1的比例随机划分为训练集和验证集。

28、另一方面，本发明提供一种引导式的改进神经网络踝关节骨折分类系统，其包括数据采集单元、分割网络模型训练单元、改进神经网络分类模型引导单元、改进神经网络分类模型训练单元以及改进神经网络分类模型验证单元：

29、所述数据采集单元采集数据库中踝关节骨折x光片图像及已标注踝关节腓骨区域与骨折类型的图像并进行图像增强；将采集到的图像随机划分为训练集和验证集；

30、所述分割网络模型训练单元使用标注腓骨区域的分割数据训练分割网络模型，使分割网络模型能准确识别腓骨在图像上的大小和位置；

31、所述改进神经网络分类模型引导单元将骨折类型分类数据输入训练好的分割网络模型，预测出腓骨区域，并将预测结果作为引导作用于改进神经网络分类模型；

32、所述改进神经网络分类模型训练单元将骨折类型分类数据输入预测结果引导下的改进神经网络分类模型进行训练；

33、所述改进神经网络分类模型验证单元利用测试集验证分类结果，并使用统计学指标对模型进行评估。

34、第三方面，本发明提供一种引导式的改进神经网络踝关节骨折分类设备，该设备内部设置有引导式的改进神经网络踝关节骨折分类系统。

35、与现有技术相比，本发明具有以下有益效果：

36、(1)本发明提供一种引导式的改进神经网络踝关节骨折分类方法，该方法通过分割网络引导网络注意力然后使用改进的卷积神经网络在基于踝关节danis-weber分型的理论模型下对患者损伤类型进行准确划分，使用各类统计学指标评估模型性能，从而完成对踝关节骨折种类的判断。

37、(2)本发明的踝关节骨折分类方法有效解决了传统卷积神经网络在进行分类时容易受到图像中其他信息的干扰而做出错误判断从而产生较低准确率的问题，提高了踝关节骨折分类的准确度，从而能够辅助更好的对踝关节骨折进行分类。