基于舌象图像和肿瘤标志物的肿瘤预测系统、方法及应用与流程

本发明涉及肿瘤学诊断、预测、评估，更具体来说，具体涉及基于舌象图像和血液肿瘤标志物的肿瘤预测系统、方法及其应用，通过分析舌象图像和血液肿瘤标志物与肿瘤学的关联关系，从而实现经济的、非侵入性的且具有较高准确度的肿瘤预测。

背景技术：

1、我国是胃癌发病率和死亡率较高的国家，早期发现、早期诊断和早期治疗是降低胃癌死亡率的关键，在人口基数极大的条件下，胃镜筛查也仅仅针对满足特定条件的目标人群，但由于其侵入性强、成本高以及需要专业的内镜医师，其应用受到很大限制。研究证实癌胚抗原、糖蛋白抗原等的表达与胃癌的生长、分期、分化、浸润及淋巴结转移等密切相关，在胃癌病情进展中起到重要作用，因此血液指标检测是目前临床应用的主要手段之一。

2、然而遗憾的是，在胃癌早期，因存在缺乏特异性症状，临床疾病标志物的特异性和敏感性较差，超过60％的患者在确诊时即发生局部或远处转移。局部早期gc患者的5年生存率超过60％，而局部、远处转移患者的5年生存率分别显著下降至30％和5％。因此，迫切需要新的gc诊断或筛查方法，以提高该人群的早期诊断率和预后效果。

3、中医药是几千年来中国人民经验应用和保留的医学科学和文化遗产，舌象诊断是中医诊断疾病的重要依据之一。中医理论认为，舌象的变化(舌的颜色、大小和形状，舌苔的颜色、厚度和含水量)可以反映人体的健康状况，尤其与胃病密切相关。但尚未有研究证实舌象变化与gc存在对应关系，以及舌象变化在gc诊断和筛查中的价值。

4、人工智能(ai)可用于筛查、诊断和治疗各种疾病，cheungcy等学者开发了一种深度学习系统(见参考文献)，通过测量视网膜血管的口径来评估心血管疾病的风险，可以有效预测心血管疾病的风险。takenakak等学者开发了一种深度神经网络(见参考文献)，用于评估溃疡性结肠炎患者的内窥镜图像，该网络以90.1％的准确度识别内镜缓解和组织学缓解的患者，准确率为92.9％。

5、福州数据技术研究院有限公司专利cn110251084a提供一种基于人工智能的舌像检测与识别方法，用于解决舌像采集过程中舌像舌体的实时检测拍摄、保存、上传，同时识别舌像舌色、舌形、苔质、苔色；其方案主要涉及了舌像的采集和识别技术，其中舌像识别更侧重于提取舌像颜色、纹理、舌苔区域或舌苔厚薄等特性，然而这些工作并没有将舌像信息与某一特殊胃病比如胃癌建立对应关系。

6、沈阳智朗科技有限公司专利cn111710394a提出一种人工智能辅助的早期胃癌筛查系统，以自动化代替人工分析胃镜切片图像来解决胃癌阳性确定工作量大的问题；然而此种基于胃镜图像分析的策略，仍然首先需要获得大量的专业仪器采集的胃镜图像用于模型的学习，在测试阶段仍然需要依据每个测试者的胃镜图像做出决策，而胃镜图像的获得仍然存在时间消耗大、物质成本高、测试人群标准高等缺陷，很难做到全国范围的普查筛选。

7、江苏天瑞精准医疗科技有限公司cn112133427a提供了一种基于人工智能的胃癌辅助诊断系统，包括：诊断选择模块、数据采集模块、预处理模块、诊断模块和显示输出模块，该系统能够根据采集到的就诊者的数据，个性化地给出诊断结果。该诊断系统诊断所依据的数据包括就诊者的基本信息、生活饮食、感染史、疾病史、家族史、临床症状和检验项目等，其中临床症状和检验项目等数据的收集难度较大，而单独依靠基本信息、生活饮食、感染史、疾病史、家族史等信息则会影响前期的筛查诊断效果。

8、参考文献：

9、cheung cy,xu d,cheng cy,et al.a deep-learning system for theassessment of cardiovascular disease risk via the measurement of retinal-vessel calibre.nature biomedical engineering 2021；5(6):498-508.doi:10.1038/s41551-020-00626-4[published online first:2020/10/14]；

10、takenaka k,ohtsuka k,fujii t,et al.development and validation of adeep neural network for accurate evaluation of endoscopic images frompatients with ulcerative colitis.gastroenterology 2020；158(8):2150-57.doi:10.1053/j.gastro.2020.02.012[published online first:2020/02/16]。

11、本发明力图解决这些和本领域中的其他待解决的需要。

技术实现思路

1、为解决上述背景技术中提及的至少一种技术问题，本发明的目的旨在提供基于舌象图像和血液肿瘤标志物的肿瘤预测系统，旨在应用ai深度学习模型，根据舌象图像和临床血液肿瘤标志物指标共同决策自动化预测不同测试试样属于肿瘤阳性的概率，肿瘤预测系统操作简单，成本低廉，无痛无创，通过大量测试病例证实预测系统是一种针对于肿瘤的前瞻性的、经济性的、无创性的、有效性的筛查和诊断预测系统。

2、本发明针对一种基于舌象图像和血液肿瘤标志物的肿瘤预测系统，其包括：

3、舌象图像获取模块，其被配置为获取测试试样的舌象图像；

4、血液肿瘤标志物获取模块，其被配置为获取测试试样的血液肿瘤标志物指标；

5、数据处理模块，其被配置为通过下述操作来获得测试试样属于阳性的概率：

6、依据自动学习获得的舌象图像与血液肿瘤标志物指标数据模态上可判别性的特征预测测试试样属于阳性的概率。

7、在一个具体实施例中，所述舌象图像获取模块获取测试试样的舌象图像可通过拍摄获取、网络传输获取、导入获取等的至少一种方式获取。系统内部用于训练的舌象图像可采取预先存储、网络传输、导入等的至少一种方式获取，可以常规方式获得并导入本系统。

8、在一个具体实施例中，所述舌象图像是试样的完整舌部图像，且舌区域与背景区域区分明显。

9、在一个具体实施例中，所述血液肿瘤标志物获取模块获取测试试样的血液肿瘤标志物指标可通过网络传输、导入、本地存储、测试等的至少一种方式获取。血液肿瘤标志物获取模块旨在获取试样的血液肿瘤标志物指标，系统内部用于训练的血液肿瘤标志物指标可采取预先存储、网络传输、导入等的至少一种方式获取，可以常规方式获得并导入本系统。

10、在一个具体实施例中，所述血液肿瘤标志物选自甲胎蛋白(afp)、癌胚抗原(cea)、癌抗原125(ca125)、癌抗原15-3(ca15-3)、癌抗原199(ca199)、癌抗原72-4(ca72-4)、癌抗原242(ca242)、癌抗原50(ca50)、非小细胞肺癌相关抗原(cyfra21-1)、小细胞肺癌相关抗原(神经元特异性烯醇化酶，nse)、鳞状细胞癌抗原(scc)、总前列腺特异性抗原(tpsa)、游离前列腺特异性抗原(fpsa)、α-l-岩藻糖苷酶(afu)、eb病毒抗体(ebv-vca)、肿瘤相关物质(tsgf)、铁蛋白(ferritin)、β2-微球蛋(β2-mg)、胰胚胎抗原(poa)或胃泌素前体释放肽(progrp)中的至少一种，特别是选自cea、ca242、ca72-4、ca125、ca199、ca50、afp或ferritin中的至少一种，更特别是选用上述cea、ca242、ca72-4、ca125、ca199、ca50、afp和ferritin的组合。

11、在一个具体实施例中，所述肿瘤是胃癌、乳腺癌、结直肠癌、食道癌、肝胆胰腺癌、肺癌、前列腺癌、甲状腺癌、卵巢癌、神经母细胞瘤、滋养细胞肿瘤或头颈部鳞癌中的至少一种。

12、在一个具体实施例中，所述肿瘤是胃癌、乳腺癌、结直肠癌、食道癌、肝胆胰腺癌或肺癌中的至少一种。

13、在一个具体实施例中，所述系统还包括输出模块，其被配置为输出预测结果。

14、在一个具体实施例中，所述输出模块被配置为输出舌象图像与预测结果。

15、在一个具体实施例中，所述输出模块以电子显示、声音播报、打印、网络传输的至少一种模式输出。

16、在一个具体实施例中，所述可判别性的特征来自于舌象图像、血液肿瘤标志物指标数据模态上的阳性类别与阴性类别之间。

17、旨在通过充分对比、分析、学习阳性舌象图像、血液肿瘤标志物指标和/或阴性舌象图像、血液肿瘤标志物指标之间、之内的共性和差异，从而获得阳性类别和阴性类别之间可判别性的特征，通过深度判别测试试样可判别性的特征即可判断得出测试试样属于阳性的概率，从而即可实现通过舌象图像联合血液肿瘤标志物指标对测试试样进行肿瘤预测。所述可判别性的特征可以来自于阳性舌象图像、血液肿瘤标志物指标与阴性舌象图像、血液肿瘤标志物指标之间的共性和差异，也可以来自于单一舌象图像、血液肿瘤标志物指标数据模态上阳性类别与阴性类别之间的共性和差异，也即是从舌象图像、血液肿瘤标志物指标数据模态上获得阳性类别、阴性类别间的可判别性的特征即可用于预测测试试样属于阳性类别还是阴性类别。

18、前述所述可判别性的特征来自于成对输入交互式深度学习模型的阳性舌象图像、对应血液肿瘤标志物指标和阴性舌象图像、对应血液肿瘤标志物指标。

19、在一个具体实施例中，所述数据处理模块具体配置为通过下述操作来预测测试试样属于阳性的概率：

20、充分对比同时输入交互式深度学习模型的阳性舌象图像、对应血液肿瘤标志物指标和阴性舌象图像、对应血液肿瘤标志物指标，自动学习在舌象图像、血液肿瘤标志物指标数据模态上阳性类别和阴性类别之间的共性和差异，依据阳性类别和阴性类别之间可判别性的特征预测测试试样属于阳性的概率。

21、应当明确的是，本技术旨在通过分析、学习来自某机体的舌象图像和血液肿瘤标志物指标来分析、判断、预测该机体的肿瘤阳性、阴性概率，因此舌象图像、血液肿瘤标志物指标均是采集自同一个试样，更进一步的是采集自同一个机体，下文相应的表述均为此意；因此以采集自某一机体的舌象图像及采集自另一机体的血液肿瘤标志物为预测来源是不恰当的。

22、本方案旨在通过充分对比、分析、学习阳性舌象图像、对应血液肿瘤标志物指标和阴性舌象图像、对应血液肿瘤标志物指标之间的共性和差异，从而获得阳性类别和阴性类别之间可判别性的特征，依据所述可判别性的特征即可预测输入至模型中的测试试样属于阳性的概率，因此但凡能够通过对比、分析、学习阳性舌象图像、对应血液肿瘤标志物指标和阴性舌象图像、对应血液肿瘤标志物指标之间的共性和差异，进而能够获得阳性类别和阴性类别之间可判别性的特征的模型均能够应用于本部分方案，也被包含在本部分方案的保护范围中，特别的，本技术选用但不限于以apinet模型联合血液肿瘤标志物进行举例分析说明。

23、在一个具体实施例中，所述阳性舌象图像、对应血液肿瘤标志物指标采集自肿瘤阳性患者。

24、在一个具体实施例中，所述阴性舌象图像、对应血液肿瘤标志物指标采集自肿瘤阴性患者。

25、在一个具体实施例中，所述交互式深度学习模型是apinet模型。

26、在一个具体实施例中，所述数据处理模块具体配置为通过下述操作来获得测试试样属于阳性的概率：

27、1)从预先获取的一对舌象图像和一对血液肿瘤标志物指标中提取得到阳性特征和阴性特征；

28、2)以阳性特征和阴性特征训练模型，输出特征分属各个类别的概率；

29、3)将测试试样舌象图像和血液肿瘤标志物指标输入训练完成的模型，输出测试试样属于阳性的概率。

30、在一个具体实施例中，前述步骤1)所述提取得到阳性特征和阴性特征的步骤包括：

31、编码器提取舌象图像的特征向量，与血液肿瘤标志物指标进行拼接，通过融合区的mlp进行融合，输出融合后的阳性特征f1和阴性特征f2；

32、将f1和f2及其拼接后的特征fm同时输入特征选择区的mlp，对应输出两个控制向量g1和g2，分别对应f1和f2；

33、g1分别激活f1和f2形成选择后的特征f1+和f2-，g2分别激活f1和f2形成选择后的特征f1-和f2+，获得两个阳性特征f1+和f1-与两个阴性特征f2+和f2-。

34、在一个具体实施例中，特征选择区的mlp充分学习f1和fm的共性及差异并输出控制向量g1，同样地学习f2和fm的共性及差异并输出控制向量g2。

35、在一个具体实施例中，前述步骤2)所述以阳性特征和阴性特征训练模型具体是将阳性特征和阴性特征输入到全连接层分类器中，输出这些特征分别属于各个类别的概率。

36、在一个具体实施例中，前述步骤2)所述输出特征分属各个类别的概率时，依据四个特征所述类别，最小化交叉熵损失函数：

37、

38、其中，y是该特征所对应的真实标签，函数代表了最后的全连接层分类器，fik对应了输入的4个特征。

39、注意到，f1+是由阳性特征所对应的控制向量g1所激活，因此包含了阳性特征信息，而f1-则由阴性特征所对应的控制向量g2所激活，因此包含了阴性特征信息，同样的情况适用于f2+和f2-。

40、在一个具体实施例中，前述步骤2)所述输出特征分属各个类别的概率时，考虑模型对特征fi+所输出的置信度应该高于特征fi-，最小化排序损失函数：

41、

42、其中，pi-和pi+是特征fi-和fi+经过分类器所输出的在各个类别上的概率分布，∈∈[0,1]是指定的超参数，p(c)是指在指定类别c上的概率。

43、在一个具体实施例中，前述步骤3)所述将测试试样舌象图像和血液肿瘤标志物指标输入训练完成的模型是指将单个测试试样的舌象图像和其血液肿瘤标志物指标输入。

44、在一个具体实施例中，前述步骤3)所述输出测试试样分属类别的概率是指最终输出对应测试试样在各个类别上的概率分布，取概率最大所对应的类别为预测的类别。

45、在一个具体实施例中，仅应用舌象图像中舌面区域的外接矩形部分来训练和测试，可以有效地排除图像背景对模型的影响。

46、在一个具体实施例中，训练过程中，为了丰富训练集的样本空间，将训练集中的样本以一定概率进行随机翻转，然后在图像上的随机位置剪切子图，最后线性插值成固定大小的图像，标准化后输入交互式深度学习模型。

47、高质量的样品数据是获得高泛化性深度模型的前提，因此预先分别从肿瘤患者和非肿瘤人群中获得阳性和阴性舌象图像及对应的血液肿瘤标志物指标数据，本部分方案中，只有充分对比两对样本(包括一阳性舌象图像、及其血液肿瘤标志物指标和一阴性舌象图像、及其血液肿瘤标志物指标)，才能发现它们的共性和差异，将成对的图像、血液肿瘤标志物指标作为输入来模拟真实场景，编码器提取图像特征向量后与血液肿瘤标志物指标进行拼接、拼接，输出阳性特征和阴性特征，再结合拼接后的特征，最终输出一对阳性特征和一对阴性特征，输入到全连接层分类器即可输出这些特征分别属于各个类别的概率，同时最小化交叉熵损失函数与排序损失函数以达到训练模型的目的。测试时，将测试试样的舌象图像及其血液肿瘤标志物指标输入至系统即可得到其属于肿瘤阳性的概率，通过深度分析舌象图像、血液肿瘤标志物指标在阳性与阴性间的区别，基于深度学习技术学习肿瘤与舌象信息、血液肿瘤标志物的内在关联，针对肿瘤早期筛查准确率低、诊断策略成本较高等问题，自动化判断肿瘤阳性的概率，以筛选出肿瘤高发人群。

48、前述所述可判别性的特征来自于

49、单一的阳性舌象图像及对应的血液肿瘤标志物指标，或

50、单一的阴性舌象图像及对应的血液肿瘤标志物指标。

51、在一个具体实施例中，所述可判别性的特征来自于舌象图像切割成n小块后并与血液肿瘤标志物指标形成输入向量，进行特征提取以获得利于分类的深层特征。

52、在一个具体实施例中，所述数据处理模块具体配置为通过下述操作来获得测试试样属于阳性的概率：

53、将测试试样舌象图像切割成小块形成输入序列，并将血液肿瘤标志物指标置于输入序列末端，形成输入向量并添加位置索引，导入训练完成的深度学习模型进行特征提取及特征融合，输出选择后的有利于分类的深层特征，获得分属各个类别的概率。

54、在一个具体实施例中，所述深度学习模型通过下述步骤完成训练：

55、a)将舌面图像切割成n小块，按照顺序组成输入序列，然后将血液肿瘤标志物指标置于输入序列末端，形成长度为n+1的输入序列，通过线性映射形成输入向量，并添加位置索引0,1,2,…,n-1；

56、b)将输入的血液肿瘤标志物指标通过全连接层进行维度扩增，与舌面图像块映射的输入向量对齐，并赋予位置索引n；

57、c)以基于transformer模型的编码器进行特征提取及特征融合，输出选择后的有利于分类的深层特征，最终通过softmax分类器输出深层特征分属各个类别的概率分布。

58、在一个具体实施例中，前述步骤a)所述将舌面图像切割成n小块意指将舌象图像切割成互不重叠的n个正方形区域。

59、在一个具体实施例中，前述步骤c)所述编码器进行特征提取时，共包含l+1层transformer层，且在每一层内部都包含了自注意力机制。

60、在一个具体实施例中，前述步骤c)所述编码器进行特征提取及特征融合时，为了去掉冗余特征，深度特征输入到最后一层之前，通过包含多头注意力机制的特征选择模块进行区域选择，所述特征选择模块返回注意力权重最大的前排特征的索引，将选择出来的前排特征输入到最后一层transformer层进行特征融合。

61、在一个具体实施例中，前述所述前排特征是前k个特征，k是1,2,3，……，20的其中之一。

62、在一个具体实施例中，前述所述k＝12。

63、在一个具体实施例中，前述步骤c)所述输出深层特征分属各个类别的概率分布时，最小化交叉熵损失函数：

64、

65、其中，yi是测试样例对应的真实one-hot标注中的元素，是模型预测为类别yi的概率。one-hot标注是0、1向量形式的标注，比如分三个类别，类别0,1,2所对应的one-hot形式的标注是(1,0,0)，(0,1,0)，(0,0,1)。

66、在一个具体实施例中，前述步骤c)所述输出深层特征分属各个类别的概率分布时，最小化对比损失函数：

67、

68、其中，n表示训练时批次的大小，函数d表示特征fi和fj的相似性度量。在一个训练批次内选择所有的阴性、阳性数据对来最小化对比损失，使得类内特征更加聚集、类间特征差异更大，从而提高预测准确度。

69、本部分方案中，通过将舌象图像切割成互不重叠的小块区域，按照顺序组成序列后通过线性映射形成输入向量，然后将血液肿瘤标志物指标通过全连接层进行维度扩增，与舌面图像块映射的输入向量对齐，置于输入向量的末端，将输入向量输入至transfg模型中进行特征提取及特征融合，生成利于分类的深层特征并通过softmax分类器输出其分属各个类别的概率，以完成对试样分属类别的预测，通过深度学习模型的自动学习模式，自动化预测筛选测试试样的肿瘤阳性概率，相较于传统肿瘤早期筛查准确率低、诊断策略成本较高等问题，本部分方案依据舌面图像和血液肿瘤标志物指标，基于深度学习技术，自动化判断肿瘤阳性的概率，以筛选出肿瘤高发人群，本部分方案操作简单、成本低廉、测试准确度高。

70、基于舌象图像和血液肿瘤标志物的肿瘤预测方法，其包括：

71、获得测试试样的舌象图像和血液肿瘤标志物指标；

72、将测试试样的舌象图像和血液肿瘤标志物指标输入前述所述系统获得所述测试试样的肿瘤阳性概率。

73、前述所述基于舌象图像和血液肿瘤标志物的肿瘤预测系统和/或方法的应用，其包括：

74、应用所述系统和/或方法对测试试样进行肿瘤预测。

75、在符合本领域常识的基础上，上述各优选条件，可以相互组合，得到具体实施方式。

76、本发明的有益效果为：

77、提供多种基于舌象图像和血液肿瘤标志物的肿瘤预测系统，以非生物体样本舌象图像和血液肿瘤标志物指标为直接实施对象，通过分析、学习舌象图像中阳性特征与阴性特征间的共性和差异，结合血液肿瘤标志物指标，可对多种肿瘤发挥出优异的诊断预测功能，经过大批量的真实病患样本分析验证，测试预测胃癌准确率可达75-81％，内部验证时，敏感性达0.775-0.812，特异性达0.808-0.836，准确性达0.810-0.866，auc达0.875-0.883；外部验证时，敏感性达0.858-0.866，准确性达0.747-0.768，auc达0.834-0.835；测试敏感性和准确性均显著优于单纯基于血液肿瘤标志物的机器学习模型的灵敏度和准确性，准确性优于单纯基于舌象图像的肿瘤预测系统的准确性；基于舌象图像和血液肿瘤标志物的肿瘤预测系统的auc值显著高于单纯基于舌象图像的肿瘤预测系统的auc值；提供了一种对于肿瘤的前瞻性的、经济性的、无创性的、有效性的筛查和诊断预测系统及方法。

78、本发明为实现上述目的而采用了上述技术方案，弥补了现有技术的不足，设计合理，操作方便。