一种甲状腺结节的分类方法、装置及计算机可读介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种甲状腺结节的分类方法、装置及计算机可读介质。


背景技术：

2.甲状腺癌的发病率在美国以惊人的速度增加，2019年诊断出52070例，其中2170例死亡。2019年加拿大癌症统计局统计有8200名加拿大人被诊断出患有甲状腺癌，其中230人死亡。甲状腺癌的发病率从1970年开始稳步上升，其中以中年女性的增幅最为显着。
3.超声是一种快速、安全且廉价的成像技术，可以实现甲状腺结节的可视化观测。超声通常是使用7-15mhz范围内的超声探头在横向和矢状方向进行成像。甲状腺结节在超声图像上有几个可区分的特征，例如形状、大小、回声性(亮度)和回声纹理等。当甲状腺结节出现微钙化或纵横比大于1等特征时，可以预测甲状腺结节为恶性肿瘤；而甲状腺结节为海绵状外观时，可以预测甲状腺结节为良性病例。对于图像辅助甲状腺结节诊断以及甲状腺结节报告，最关键的挑战是从超声图像中提取最佳特征集，以区分甲状腺结节是恶性或者良性。
4.为了规范甲状腺结节报告，美国放射学会推出了甲状腺影像报告和数据系统(thyroid imaging reporting and data system，缩写tirads)。随后韩国学者、法国学者等多国学者也相继建立了各自的tirads；目前使用较为广泛的是美国的acr-tirads和韩国的kwak-tirads。然而，由于目前tirads版本不统一，而且其中的分类系统与中国医疗现状存在不匹配的情况，因此导致国内超声界对于tirads的应用极其混乱；从而给相关学科医生解读甲状腺超声报告带来极大困扰。针对这一情况，2017年中华医学会的超声医学分会浅表器官和血管学组提出了建立适用于中国国情和医疗现状的c-tirads指南。c-tirads指南给出了甲状腺结节的9个征象特征，并结合征象的得分，给出了最终的等级。
5.传统的机器学习方法对于甲状腺结节的自动分类通常分为两步。首先对甲状腺超声图像进行手动特征提取，然后使用分类器模型进行分类。随着深度学习的发展，卷积神经网络在图像识别领域展现出优异的效果，但是深度学习模型往往是黑盒子模型，对于特征的提取无法给出可解释性。目前结合ai技术辅助诊断甲状腺结节的算法，大多是依赖图像的二维数据，数据比较单一，且没有具体的对于超声征象的分析，因此模型的准确率有待进一步提升。


技术实现要素：

6.为了解决上述现有技术存在的问题，本发明实施例提供一种甲状腺结节的分类方法、装置及计算机可读介质，能够结合临床诊断的相关征象特征进行有监督的训练，使得tirads预测更加准确且符合临床诊断步骤。
7.为实现上述目的，根据本发明实施例第一方面，提供一种甲状腺结节的分类方法，所述方法包括：将甲状腺结节的目标视频数据作为训练样本；其中，所述目标视频数据携带
有征象特征标签；对所述训练样本中征象特征进行有监督的分类学习，得到征象分类结果和第一损失函数；基于所述训练样本和所述征象分类结果，对征象特征的得分进行有监督的回归学习，得到第二损失函数；基于所述第一损失函数和所述第二损失函数，对模型进行优化，生成结节得分模型。
8.可选的，所述对所述训练样本中征象特征进行有监督分类学习，得到征象分类结果和第一损失函数，包括：对所述训练样本进行图像特征提取，得到结节图像特征；对所述结节图像特征中征象特征进行有监督的分类学习，生成征象分类模块，从而得到第一损失函数；利用所述征象分类模块对所述结节图像特征进行分类处理，得到征象分类结果。
9.可选的，所述基于所述训练样本和所述征象分类结果，对征象特征的得分进行有监督的回归学习，得到第二损失函数，包括：对所述训练样本进行多尺度特征提取，得到不同尺度图像特征；将所述不同尺度图像特征和所述征象分类结果进行融合处理，得到结节融合特征；对所述结节融合特征中征象特征的得分进行有监督的回归学习，得到第二损失函数。
10.可选的，将所述不同尺度图像特征和所述征象分类结果进行融合处理，得到结节融合特征；包括：将所述不同尺度图像特征拼接后做拉伸降维处理，得到一维融合特征；将所述一维融合特征与所述征象分类结果进行融合处理，得到结节融合特征。
11.可选的，所述基于所述第一损失函数和所述第二损失函数，对模型进行优化，生成结节得分模型，包括：对所述第一损失函数和所述第二损失函数进行加权处理，得到总损失函数；经过不断迭代训练，对模型参数进行调节，当所述总损失函数趋于最小时，得到结节得分模型。
12.可选的，获取甲状腺结节的待测视频数据；利用所述结节得分模型对所述待测视频数据进行预测，生成结节得分；基于数据库中的c-tirads分级标准表，选取与所述结节得分对应的结节等级，得到结节分类结果。
13.可选的，所述方法还包括：获取甲状腺结节的原始超声视频数据；基于征象分类表，对所述原始超声视频数据中每个原始超声视频标记征象特征标签；对具有标签的原始超声视频数据进行预处理，得到目标视频数据。
14.为实现上述目的，根据本发明实施例第二方面提供一种甲状腺结节的分类装置，所述装置包括：样本模块，用于将甲状腺结节的目标视频数据作为训练样本；其中，所述目标视频数据携带有征象特征标签；征象分类模块，用于对所述训练样本中征象特征进行有监督的分类学习，得到征象分类结果和第一损失函数；征象得分回归模块，用于基于所述训练样本和所述征象分类结果，对征象特征的得分进行有监督的回归学习，得到第二损失函数；模型优化模块，用于基于所述第一损失函数和所述第二损失函数，对模型进行优化，生成结节得分模型。
15.可选的，所述征象分类模块包括：图像特征提取单元，用于对所述训练样本进行图像特征提取，得到结节图像特征；分类训练单元，用于对所述结节图像特征中征象特征进行有监督的分类学习，生成征象分类模块，从而得到第一损失函数；分类处理单元，用于利用所述征象分类模块对所述结节图像特征进行分类处理，得到征象分类结果。
16.为实现上述目的，根据本发明实施例第三方面，还提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如第一方面所述的方法。
17.与现有技术相比，本发明实施例提供一种甲状腺结节的分类方法，该方法首先将甲状腺结节的目标视频数据作为训练样本；其中，所述目标视频数据携带有征象特征标签；其次，对所述训练样本中征象特征进行有监督的分类学习，得到征象分类结果和第一损失函数；之后，基于所述训练样本和所述征象分类结果，对征象特征的得分进行有监督的回归学习，得到第二损失函数；最后基于所述第一损失函数和所述第二损失函数，对模型进行优化，生成结节得分模型。由此，基于甲状腺结节的视频数据，对甲状腺结节的征象特征和征象得分进行监督学习，从而提高了结节得分模型训练的准确性，使得tirads预测更加准确且符合临床诊断步骤。
18.理解的是，本发明的教导并不需要实现上面所述的全部有益效果，而是特定的技术方案可以实现特定的技术效果，并且本发明的其他实施方式还能够实现上面未提到的有益效果。
附图说明
19.附图用于更好地理解本发明，不构成对本发明的不当限定。其中在附图中，相同或对应的标号表示相同或对应的部分。
20.图1为本发明一实施例甲状腺结节的分类方法的示意性流程图；
21.图2为本发明另一实施例甲状腺结节的分类方法的示意性流程图；
22.图3为本发明又一实施例中甲状腺结节的分类方法的示意性流程图；
23.图4为本发明一实施例中征象分类表的示意图；
24.图5为本发明另一实施例中c-tirads得分标准表的示意图；
25.图6为本发明又一实施例中c-tirads分级标准表的示意图；
26.图7为本发明另一实施例中结节得分模型的结构示意图；
27.图8本发明一实施例甲状腺结节的分类装置的结构示意图。
具体实施方式
28.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
29.如图1所示，本发明一实施例甲状腺结节的分类方法的示意性流程图。如图4所示，本发明一实施例中征象分类表的示意图。一种甲状腺结节的分类方法，至少包括如下操作流程：
30.s101，将甲状腺结节的目标视频数据作为训练样本；其中，目标视频数据携带有征象特征标签；
31.s102，对训练样本中征象特征进行有监督的分类学习，得到征象分类结果和第一损失函数；
32.s103，基于训练样本和征象分类结果，对征象特征的得分进行有监督的回归学习，得到第二损失函数；
33.s104，基于第一损失函数和第二损失函数，对模型进行优化，生成结节得分模型。
34.在s101中，甲状腺结节的征象特征有9个，征象特征例如：位置、形态、边缘、声晕、结构、回声、回声质地、局灶性强回声或者后方回声的特征。
35.甲状腺结节的目标视频数据可以是甲状腺结节的原始超声视频数据，也可以是对甲状腺结节的原始超声视频数据进行预处理后得的目标视频数据。
36.具体地，获取甲状腺结节的原始超声视频数据；基于征象分类表，对原始超声视频数据中每个原始超声视频标记征象特征标签；对具有标签的原始超声视频数据进行预处理，得到目标视频数据。更具体地，获取甲状腺结节的原始超声视频数据；并按照如图4所示的征象分类表，对原始超声视频数据中每个原始超声视频标记征象特征标签；之后按照预设步长帧从具有标签的原始超声视频数据中随机抽取特定数量帧图像，得到子超声视频数据；多次重复上述随机抽取操作，得到多个子超声视频数据。在这里，随机抽取是指可以将具有标签的原始超声视频中任一位置作为随机抽取的起始点。多次重复的随机抽取，每次随机抽取的起始点均不同。由此，采用随机抽取的方式从具有标签的原始超声视频数据中选取子超声视频数据，使得子超声视频数据不至于太长增加模型计算量，也不至于太短丢失信息。另外，需要根据合适的预设步长帧进行选取，一方面可以避免原始超声视频数据时间维信息的冗余，另一方面还能保证时间维信息的完整性和连续性。
37.一个具有标签的原始超声视频数据对应多个子超声视频数据。若干具有标签的原始超声视频数据对应若干子超声视频数据。从若干子超声视频数据中选取特定数量的子超声视频数据作为每次模块输入的目标视频数据。在这里，目标视频数据中特定数量的子超声视频数据可以是来自同一原始超声视频数据，也可以是来自不同原始超声视频数据。
38.例如：按照每2帧间隔选取1帧的方式，从具有标签的原始超声视频数据中随机抽取连续的10帧图像，得到子超声视频数据；重复10次上述的随机抽取操作，得到10个子超声视频数据。10个具有标签的原始超声视频数据对应100个子超声视频数据；从100个子超声视频数据中选取8个子超声视频数据作为目标视频数据。
39.在s102至s104中，针对任一征象特征：将训练样本作为分类模块的输入，基于一个或者多个神经网络算法对训练样本中征象特征进行有监督的分类学习，得到征象分类结果和对应的损失函数。对于9个征象特征进行有监督的分类学习后，得到9个征象分类结果和9个损失函数。将9个损失函数加和得到第一损失函数。
40.将训练样本和征象分类结果作为回归模块的输入，基于神经网络算法对征象特征的得分进行有监督的回归学习，得到第二损失函数；
41.将第一损失函数和第二损失函数加和得到总损失函数，经过不断迭代训练，对模型参数进行调节，当总损失函数趋于最小时，得到结节得分模型。
42.本实施例结合临床诊断的相关征象特征对超声视频数据进行标注，并对标注的超声视频数据进行有监督学习；由此，基于有征象特征标注的超声视频数据作为训练样本，不仅使得模型能够更好的提取时间维度的信息，而且能够对超声征象特征进行有效的学习，提高了模型训练的准确性；从而有利于模型基于征象特征准确预测甲状腺结节得分，并依赖于tirads的分类标准给出甲状腺结节的分类结果。
43.如图2所示，本发明另一实施例甲状腺结节的分类方法的示意性流程图。如图5所示，本发明另一实施例中c-tirads得分标准表的示意图；本实施例的方法是在前述实施例的基础上进一步优化得到的。一种甲状腺结节的分类方法，至少包括如下操作流程：
44.s201，将甲状腺结节的目标视频数据作为训练样本；其中，目标视频数据携带有征象特征标签；
45.s202，对训练样本进行图像特征提取，得到结节图像特征；
46.s203，对结节图像特征中征象特征进行有监督的分类学习，生成征象分类模块，从而得到第一损失函数；
47.s204，利用征象分类模块对结节图像特征进行分类处理，得到征象分类结果；
48.s205，对训练样本进行多尺度特征提取，得到不同尺度图像特征；
49.s206，将不同尺度图像特征和征象分类结果进行融合处理，得到结节融合特征；
50.s207，对结节融合特征中征象特征的得分进行有监督的回归学习，得到第二损失函数；
51.s208，基于第一损失函数和第二损失函数，对模型进行优化，生成结节得分模型。
52.其中，s201与s101的实现过程相似，在这里不做重复赘述。
53.在s202中，采用神经网络结构对训练样本进行高级图像特征提取，得到结节图像特征。神经网络结构例如：resnet50结构。
54.采用resent50结构，并将resnet50结构中的所有2d卷积替换成3d卷积用于提取结节时间维度的信息。3d卷积在结构上较2d卷积多了一个维度，2d卷积的尺寸可以表示k
×
kw，而3d卷积的尺寸可以表示为k
×
kw
×
kd，kd是卷积核的时间维。3d卷积的具体的计算方式与2d卷积类似，即每次滑动时与c个通道、尺寸大小为(dept,eig t,widt)的图像做乘加运算，其中dept是视频数据的时间维度，从而得到输出结节图像特征的一个值。
55.在s203和s204中，resnet50结构最后输出的结节图像特征分别经过9个全连接层对标注的9个征象进行有监督的分类学习，生成征象分类模块，计算分类的交叉熵损失loss
cls
；其中，第一损失函数loss
cls
用来评估当前训练得到的概率分布与真实分布的差异情况；每一个全连接层的输出与对应的9个征象之一标签计算交叉熵损失，将9个损失相加为分类损失loss
cls
。
56.最后，利用征象分类模块对结节图像特征进行分类处理，输出9个征象分类结果。
57.在s205至s207中，利用resnet50结构对训练样本进行多尺度特征提取；并将resnet50结构的stage2、stage3、stage4层输出的特征分别使用一层全连接层改变特征维度为1024*1，得到特征f2、f3、f4；之后将特征f2、f3、f4拼接为维度3072*1的特征，然后再经过一层全连接层得到维度为2048的特征f。最后将f与9个征象分类结果融合成一个2086维的特征，并进行后续有监督的回归学习。对征象特征得分按照图5给出征象得分值进行有监督的回归学习，计算回归的损失loss
reg
，回归的损失函数采用mse损失。由此，将多尺度的图像特征与所有征象特征拼接融合进行恶性征象得分的回归训练。
58.在s208中，对第一损失函数和第二损失函数进行加权处理，得到总损失函数；经过不断迭代训练，对模型参数进行调节，当所述总损失函数趋于最小时，得到结节得分模型。例如：将loss
cls
和loss
reg
对应按照0.7与0.3的比重相加作为最终的损失函数，并利用梯度优化算法训练模型。两种损失函数相加后通过反向传播来同时优化与分类和回归相关的参数。0.7与0.3的权重是根据经验选择的最优参数。
59.本发明实施例基于甲状腺结节的超声视频数据，并采用resnet50结构提取超声视频数据的图像特征，从而能够更好的提取了时间维度的信息；而且整个模型训练过程中不
仅只依赖resnet50结构提取的图像特征，还对临床诊断的相关征象进行标注和有监督的训练，从而融合了更丰富的信息，提高了模型训练的准确性，使得tirads预测更加准确且符合临床诊断步骤。
60.在甲状腺超声数据集上进行了测试，数据集共3000个病例，包含3000个超声视频，针对每个视频的每个病灶标注征象特征。按照6:1:3的比例把数据集随机划分成了训练集、验证集以及测试集。使用训练集训练模型，验证集选取参数，使用测试集测试最后训练出来模型的效果。指标选取的是平均准确率(accuracy)，敏感性(sensitivity)特异性(specificity)，实验结果见下表1。
61.表1为结节得分模型的评价指标
62.accuracysensitivityspecificity0.890.920.77
63.其中，这三个指标的统计是按照tirads小于等于3为良性，大于3为恶性的结果计算所得。
64.如图3所示，本发明又一实施例中甲状腺结节的分类方法的示意性流程图。本实施例的方法是在前述实施例的基础上进一步优化得到的。一种甲状腺结节的分类方法，至少包括如下操作流程：
65.s301，获取甲状腺结节的待测视频数据；
66.s302，利用结节得分模型对待测视频数据进行预测，生成结节得分；
67.s303，基于数据库中的c-tirads分级标准表，选取与结节得分对应的结节等级，得到结节分类结果。
68.甲状腺结节的待测视频数据可以是甲状腺结节的原始超声视频数据，还可以是对原始超声视频数据进行预处理后得到的视频数据。在这里，不做太多限定。
69.结节得分用于指示甲状腺结节的征象得分。将甲状腺结节的待测视频数据输入结节得分模型，输出甲状腺结节的征象得分。
70.基于如图6所示的c-tirads分级标准表，将结节征象得分与结节等级建立映射关系；将所述映射关系存储于数据库；基于所述数据库的映射关系，确定与甲状腺结节的征象得分对应的结节等级，得到甲状腺结节的分类结果。
71.将结节得分模型和c-tirads分级标准相结合进行甲状腺结节分类，由此实现了依据中国临床现状的c-tirads分级标准对甲状腺结节结节进行分级，从而提高了相关学科医生解读甲状腺超声报告效率和准确率。
72.如图7所示，本发明另一实施例中结节得分模型的结构示意图。
73.甲状腺结节的目标视频数据输入3d resent50结构，输出高级的结节图像特征，并分别从3dresnet50结构的stage2、stage3、stage4层输出对应的特征；得到不同尺度图像特征。不同尺度图像特征经过第一融合模块进行融合，得到一维融合特征；同时结节图像特征经过征象分类模块进行有监督的分类学习，生成第一损失函数和9个征象特征；之后将一维融合特征和9个征象特征经过第二融合模块进行拼接生成结节融合特征，最后将结节融合特征经过回归模块进行有监督的分类学习，得到第二损失函数。基于第一损失函数和第二损失函数，对模型进行优化，生成结节得分模型。
74.如图8所示，为本发明一实施例甲状腺结节的分类装置的结构示意图。一种甲状腺
结节的分类装置，该装置800包括：样本模块801，用于将甲状腺结节的目标视频数据作为训练样本；其中，所述目标视频数据携带有征象特征标签；征象分类模块802，用于对所述训练样本中征象特征进行有监督的分类学习，得到征象分类结果和第一损失函数；征象得分回归模块803，用于基于所述训练样本和所述征象分类结果，对征象特征的得分进行有监督的回归学习，得到第二损失函数；模型优化模块804，用于基于所述第一损失函数和所述第二损失函数，对模型进行优化，生成结节得分模型。
75.在可选的实施例中，所述征象分类模块包括：图像特征提取单元，用于对所述训练样本进行图像特征提取，得到结节图像特征；分类训练单元，用于对所述结节图像特征中征象特征进行有监督的分类学习，生成征象分类模块，从而得到第一损失函数；分类处理单元，用于利用所述征象分类模块对所述结节图像特征进行分类处理，得到征象分类结果。
76.在可选的实施例中，征象得分回归模块包括：特征提取单元，用于对所述训练样本进行多尺度特征提取，得到不同尺度图像特征；特征融合单元，用于将所述不同尺度图像特征和所述征象分类结果进行融合处理，得到结节融合特征；征象特征学习单元，用于对所述结节融合特征中征象特征的得分进行有监督的回归学习，得到第二损失函数。
77.在可选的实施例中，特征融合单元包括：降维处理单元，用于将所述不同尺度图像特征拼接后做拉伸降维处理，得到一维融合特征；融合单元，用于将所述一维融合特征与所述征象分类结果进行融合处理，得到结节融合特征。
78.在可选的实施例中，模型优化模块包括：加权单元，用于对所述第一损失函数和所述第二损失函数进行加权处理，得到总损失函数；模型优化单元，用于经过不断迭代训练，对模型参数进行调节，当所述总损失函数趋于最小时，得到结节得分模型。
79.在可选的实施例中，所述装置还包括：获取模块，用于获取甲状腺结节的待测视频数据；预测模块，用于利用所述结节得分模型对所述待测视频数据进行预测，生成结节得分；选取模块，用于基于数据库中的c-tirads分级标准表，选取与所述结节得分对应的结节等级，得到结节分类结果。
80.在可选的实施例中，所述装置还包括：获取模块进一步用于，获取甲状腺结节的原始超声视频数据；标记模块，用于基于征象分类表，对所述原始超声视频数据中每个原始超声视频标记征象特征标签；预处理模块，用于对具有标签的原始超声视频数据进行预处理，得到目标视频数据。
81.上述装置可执行本发明一实施例所提供的甲状腺结节的分类方法，具备执行甲状腺结节的分类方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的甲状腺结节的分类方法。
82.根据本发明再一实施例，还提供了一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当该一个或多个程序被该一个或多个处理器执行，使得该一个或多个处理器实现本发明上述实施例提供的甲状腺结节的分类方法。
83.本发明实施例另一方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，使得所述处理器至少执行如下所述的操作步骤：s101，将甲状腺结节的目标视频数据作为训练样本；其中，所述目标视频数据携带有征象特征标签；s102，对所述训练样本中征象特征进行有监督的分类学习，得到征象分类结果和第一损失函数；s103，基于所述训练样本和所述征象分类结果，对征象特征的得分进行有监督的回归
学习，得到第二损失函数；s104，基于所述第一损失函数和所述第二损失函数，对模型进行优化，生成结节得分模型。
84.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
85.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
86.以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。