肾细胞癌类型的计算机辅助诊断系统及设备

本发明涉及计算机辅助医疗，尤其涉及一种肾细胞癌类型的计算机辅助诊断系统及设备。

背景技术：

1、肾细胞癌在肾脏的恶性肿瘤中是最为常见的一种。肾细胞癌的常见类型（约占肾细胞癌的90%）有三种：肾透明细胞癌、肾乳头状细胞癌、肾嫌色细胞癌。目前在临床的常规诊断方法是：经验丰富的病理科医生在显微镜下观察处理好的肾脏组织切片图像，寻找癌细胞区域所在位置，根据癌细胞的结构等医学特征分析是哪一种类型。对于常见的三种类型，医生能较为容易地诊断。

2、但是，罕见类肾细胞癌（也包括多种细分类型）的病例极少，且有些罕见类在结构上和常见类比较相似，因此病理医生临床判断起来比较困难，且容易误判（特别对于经验不足的医生）。

3、罕见类肾癌的判定，需要医生让患者填报问卷，包括年龄、是否有遗传史、吸烟史或其他疾病史等信息。特别对于遗传性的罕见类肾癌，还需要结合昂贵的基因测序结果来判断。

4、目前已经有很多基于视觉的方法来做肾癌的分类。他们通过提出各种处理方法和分类模型，来检测肾细胞癌（识别有癌和无癌两种）或做亚型分类（上述常见三种亚型的分类，无罕见类），并且达到了不错的效果。例如，公开号为cn113222933a的中国专利文献公开了一种应用于肾细胞癌的全链条诊断的图像识别系统，包括图像切分模块，图像切分模块将经过癌症区域、癌症亚型以及癌症等级的标注后，对包含癌症基因组图谱tcga和当地医院所提供的lh数据集的原病理图像进行切分，然后输入图像癌症区域检测模块对图像进行训练及预测，图像癌症区域检测模块处理后的图像由准确性提升模块进行准确度提升后，得到更为准确的癌症区域预测热力图，将预测为癌症的区域进行标记送至癌症区域分型模块进一步分型，得到癌症的细分亚型，分型后由报告输出模块输出图像识别结果报告。

5、但是，现有方案中，无论是特征库的方法还是用分类模型方法，都需要每种亚型的若干病例图像数据来建立特征库或训练模型，然而罕见类肾癌的数据是极少、不易获取的，而且罕见类肾癌之间存在较大的类内差异，所以使用目前的方案无法准确地识别罕见类肾细胞癌。目前还没有一个包括罕见类的肾癌全类型（无癌、常见三类、罕见类）诊断的计算机辅助方法、系统，来辅助医生快速诊断。

技术实现思路

1、本发明提供了一种肾细胞癌类型的计算机辅助诊断系统及设备，解决了现有计算机辅助诊断系统预测分类准确度不高、分类类型不全的问题。

2、本发明的技术方案如下：

3、一种肾细胞癌类型的计算机辅助诊断系统，包括：

4、数据采集模块，收集标注好的肾脏组织全切片图像，构建训练集；肾脏组织全切片图像的类型包括正常型、肾透明细胞癌型、肾乳头状细胞癌型、肾嫌色细胞癌型；

5、数据处理模块，对肾脏组织全切片图像进行预处理；

6、特征学习模块，包括基于深度学习网络构建的肾组织全切片图像的特征学习器，采用所述的训练集对特征学习器进行训练；

7、图像特征库，将训练集的样本输入到训练好的特征学习器中，提取样本的特征向量；收集所有预测正确且概率大于设定值的样本对应的特征向量及所述类型，构建图像特征库；计算图像特征库中的特征向量之间的类内余弦相似度，并将类内余弦相似度的最小值设为诊断阈值；

8、分类模块，将待分类肾脏组织全切片图像输入至数据处理模块进行预处理，预处理后输入到训练好的特征学习器中提取特征向量，计算待分类肾脏组织全切片图像的特征向量与图像特征库中所有特征向量的余弦相似度 similarity；计算所得最大的 similarity与诊断阈值的差 λ；若 λ>0，则将待分类肾脏组织全切片图像分类为罕见类肾细胞癌型；若 λ<0，则将待分类肾脏组织全切片图像分类为 similarity最大时所属的类型。

9、优选的，所述的预处理包括依次进行去噪、滑动切片、编码图像块、生成图像矩阵操作。

10、进一步的，所述的预处理包括：

11、（1-1）采用阈值法去除肾脏组织全切片图像中的背景噪声区域，保留前景细胞区域；

12、（1-2）在某一倍率下，使用滑动窗口对图像区域切片，得到若干图像块并排序；

13、（1-3）使用在image-net数据集上预训练的resnet50对图像块进行编码，每个图像块被编码为一个特征向量；

14、（1-4）在第一维度上融合所有图像块的特征向量，得到图像矩阵，用于表征肾组织全切片图像。

15、优选的，所述的特征学习器包括：

16、特征增强层，对肾脏组织全切片图像的特征进行增强，得到肾脏组织全切片图像的特征矩阵 h i c；

17、包括：肾组织全切片图像的图像矩阵表示为： p i c={ p i,1;…; p i,n}， p i,j表示第 i个肾组织全切片图像的第 j个图像块的特征向量， j=1… n， c∈{正常型；kirc型；kirp型；kich型}；取大于的最小整数的平方，记为 g，将图像矩阵的前 g-n个图像块的特征向量添加至 p i c中，得到增强的特征矩阵： h i c= concat( p i,1;…; p i,n; p i,1;…; p i,g-n)；

18、表层特征建模层，基于transformer的结构构建，以所述的特征矩阵 h i c为输入，提取肾脏组织全切片图像的表层特征，得到第一特征图 f1；

19、包括：将特征矩阵 h i c的类别向量嵌入特征矩阵，得到多头自注意力的输入： i i = concat( p i,class; h i c)， p i,class表示类别向量；

20、基于输入序列和对应的特征空间，计算查询矩阵、键矩阵和值矩阵，其中 w q、 w k、 w v是输入序列在不同特征空间映射得到的线性变换矩阵；

21、基于nyström的算法计算注意力系数 a i：

22、；

23、其中， n q和 n k表示从原始的 q和 k中选择的标志点， d表示维度常数，[·]+表示moore-penrose伪逆矩阵， softmax(·)表示激活函数；

24、使用值矩阵 v对注意力系数 a i进行加权，得到；

25、使用组不同的线性投影 q、 k、 v进行映射，通过一个可学习的参数 w o来加权组输出，得到第一特征图：，其中 z i,j表示第 i个图像的第 j组加权输出， j∈[1, h]；

26、深层特征建模层，采用双尺度的卷积结构，以所述的第一特征图 f1为输入，提取肾脏组织全切片图像的深度特征，融合表层特征和深度特征，得到第二特征图 f2；

27、深层特征建模层由两个不同尺度的卷积层组成，第一特征图 f1经过两层卷积变换后，得到双尺度的深度特征： f t, t=1,2；在深度通道上融合深度特征和表层特征，得到图像的第二特征图： f 2= concat( f 1, f1, f 2)；

28、特征聚合层，与所述的表层特征建模层结构相同，以所述的第二特征图 f2为输入，得到肾脏组织全切片图像的特征表达 fo；

29、多层感知机，以所述的特征表达 fo为输入，对肾脏组织全切片图像进行拟合，预测肾脏组织全切片图像的类型。

30、步骤（3）中或步骤（4）中，提取样本或待分类肾脏组织全切片图像的特征向量，包括：提取多层感知机最后一个隐藏层的输出，得到样本或待分类肾脏组织全切片图像的特征向量。

31、步骤（2）中，训练特征学习器时，损失函数为；其中， x i表示多层感知机最后一层隐藏层输出的特征向量， c yi表示肾脏组织全切片图像的类别中心， b表示mini-batch的大小。

32、步骤（2）中，训练特征学习器时，使用adam作为优化器；初始学习率为2 e-4。

33、步骤（2）中，训练特征学习器时，使用准确率、召回率、精准率、auc作为特征学习器的评价指标。

34、步骤（3）中，所述的设定值最优选为0.85。

35、图像特征库的集合 s表示为： s={ a 1c c,…, a kc c}，其中 a kc c表示第 c类的第 k个特征向量。

36、余弦相似度是指两个向量夹角的余弦值，计算公式为：

37、；

38、其中， a kc c表示第 c类的第 k个特征向量， i、j∈[1, k]。

39、类内余弦相似度指图像特征库中，每一类型的所有特征向量之间的余弦相似度。

40、诊断阈值用于区分罕见型与其他类型，是图像特征库中类内余弦相似度的最小值。最优选的，诊断阈值为0.26。

41、优选的，所述的计算机辅助诊断系统还包括显示模块，所述的显示模块将分类模块输出的预测类型进行显示。

42、本发明还提供了一种肾细胞癌类型的计算机辅助诊断设备，包括存储器、处理器以及存储在所述的存储器中并可在所述的处理器上执行的计算机程序，所述的存储器中存有图像特征库和训练好的特征学习器；

43、所述的处理器执行所述的计算机程序时实现以下步骤：

44、将待分类肾脏组织全切片图像进行预处理，输入到训练好的特征学习器中提取特征向量，计算待分类肾脏组织全切片图像的特征向量与图像特征库中所有特征向量的余弦相似度 similarity；

45、计算所得最大的 similarity与诊断阈值的差 λ；若 λ>0，则将待分类肾脏组织全切片图像分类为罕见类肾细胞癌型；若 λ<0，则将待分类肾脏组织全切片图像分类为 similarity最大时所属的类型。

46、本发明将基于视觉的方法集成到计算机系统中，自动分类和输出肾脏组织切片图像所属的类别，若肾脏组织切片图像为罕见类肾细胞癌，则输出罕见类；若不是罕见类，本发明的系统还可以自动输出具体的类别，即正常类、kirc型、kirp型、kich型中的其中一种。

47、与现有技术相比，本发明的有益效果为：

48、本发明不使用罕见类训练数据，对全类型的（正常、常见三类、罕见类）肾脏组织切片进行准确分类，解决了现有辅助诊断方法和系统中，分类预测准确度不高、类型不全（不包含罕见类或正常类）的问题。

49、本发明能够挖掘病理图像底层的深度特征，不仅仅是肉眼可见的表层的结构分布特征，提高了病理科医生对罕见类肾癌诊断的效率，且在一定程度上省去了昂贵的基因测序等流程，缓解医生及患者的负担。