基于多任务学习的脑卒中患者舌象自动识别系统及方法

本发明属于脑卒中诊断，具体而言，涉及基于多任务学习的脑卒中患者舌象自动识别系统及方法。

背景技术：

1、脑卒中是全球范围内导致成人致残的主要原因之一，给个人健康和社会经济带来了沉重负担。在脑卒中患者的康复过程中，早期精准干预对于提高康复效果至关重要。当前的医学诊断方法，如神经影像学，虽然在诊断精度上表现优异，但其高昂的成本和操作复杂性使其不适合在脑卒中患者的康复过程中频繁使用。这些限制促使临床上寻求其他更经济、更简便的诊断方法。中医舌诊作为一种非侵入性、低成本的诊断手段，因其良好的获得性和方便性，成为临床医生在评估和诊断脑卒中患者时常用的方法。然而，中医舌象诊断在很大程度上依赖于医生的经验，这带来了主观性，尤其是在脑卒中患者的诊断中更为明显。例如，脑卒中患者的舌质可能呈现暗紫或紫红色，这通常与血液循环障碍有关，舌质的颜色变化可以反映血液供应不足或血液流动受阻的情况；舌苔的厚度和颜色变化则可能提示体内湿热积聚或消化系统功能失调。由于舌质、舌形、舌苔等方面的诊断结果高度依赖医生的经验和能力，缺乏标准化和客观化，因而诊断的一致性和准确性受到影响。

2、近年来，随着计算机技术和深度学习的发展，人工智能在医学图像分析领域取得了显著进展。在肿瘤识别、病理图像分析等领域，深度学习方法被广泛应用，并在中医舌象的特征提取和识别方面也取得了一些成果。使用alexnet、googlenet、resnet等方法实现对裂纹、舌色等特征识别，但现有的舌象分类研究大多仅实现图像多分类方法，多分类方法仍是一个单任务方法，没有融合舌象的各个特征联系，很容易忽略舌色、苔色等之间的关联和冲突等关系，导致多个任务的整体效果无法更优，并且现有研究主要集中在舌诊图像的基本处理和特征提取上，缺乏针对脑卒中患者特定对象的舌象深入分析和识别制。

3、例如：方法1：利用深度卷积神经网络(dcnn)使用舌象图片对舌头病变类型进行分析，应用深度学习方法构建舌苔分割模型，用于获取开放和复杂场景下的舌苔图像；方法2：分别利用yolov5s6、u-net和monbilenetv3进行舌苔区域分割和舌苔特征分类，并开发了智能舌苔诊断系统；方法3：通过融合基于区域和基于边缘的方法提出了一种具有鲁棒性的舌头分割方法；方法4：弱监督方法，通过利用边界框级注释和粗图像级注释的舌象图片来训练牙痕和裂纹检测yolo模型；方法5：通过结合混合并行注意力机制(hpam)来增强用于裂纹舌头提取的u-net模型的解码器，对现有的u-net深度学习方法进行改进；方法6：利用新框架tonguene对舌裂的识别t，新框架tonguene与inceptionv3和resnet18相比对舌裂的识别准确率更高；方法6：利用改进的u-net架构的部分编码器，引入全局卷积网络模块，解决编码器无法提取相对抽象的高级语义特征的问题,从而实现破解舌头提取；方法7：将齿痕舌头识别问题视为多实例学习任务；方法8：收集包含600个舌象图片的数据集，并在相应图像中标记了牙痕和裂纹，然后利用迁移学习训练基于faster r-cnn20的齿痕和裂纹检测模型；方法9：基于图像分割的深度学习网络(segmentation-based deep-learning，sbdl)来提取和识别舌裂，解决因舌裂颜色与周围舌苔颜色接近而导致舌裂提取不准确的问题。

4、上述方法1-9为单任务分类和舌象图片分割分析，在实际应用中存在以下几个主要缺点：

5、1.现有技术的研究主要集中于舌诊图像的基础处理和特征提取，缺乏针对脑卒中患者舌象的特定对象深入分析与识别。

6、2.缺乏全局特征的整合：单任务分类往往只针对舌象图片中的某一特定特征进行分类，如把舌红苔白分为一种标签，并没有融合舌色和苔色的特征联系，忽略了舌色、苔色、苔质之间的关联和冲突等关系。舌诊不仅涉及单一特征，还包括舌质、舌苔、颜色、厚度、纹理等多个特征之间的相互关联。单任务分类很容易忽略这些特征之间的联系，导致诊断结果不全面，不能充分反映患者的整体健康状况。而将舌象图片分割后更关注舌象图片中的局部区域，通过将舌头分成多个区块来分析特定的特征。然而，舌诊需要结合全局特征进行综合判断，局部分割可能会导致对舌象整体特征的忽视，从而降低诊断的准确性和可靠性。

7、3.忽视特征之间的关联：单任务分类将舌象中的特征孤立地看待，忽视了这些特征之间可能存在的相互作用和冲突。例如：脑卒中患者的舌色和苔色之间存在某种联系(如：淡白舌+白苔可能意味着脑卒中患者体质虚弱、气血不足导致血液循环不畅，红舌+黄腻苔可能意味着脑卒中患者体内湿热较重，湿浊内阻导致血瘀、痰浊等病理产物积聚)，而单独对其中一个特征进行分类，可能导致错失重要的诊断信息，无法提供准确的病症评估。局部特征的分割和分析导致整体特征信息的丢失，特别是在处理舌象图片中的复杂纹理或颜色渐变时，这种方法无法准确捕捉到特征之间的关系，影响最终的诊断效果。

8、4.数据稀疏性和泛化能力不足：舌象数据的获取通常具有一定的特殊性，尤其是在涉及某些罕见特征组合时，数据量可能极其有限。单任务分类方法在训练过程中可能会遇到数据稀疏的问题，导致模型难以有效学习，并且在面对新数据时，泛化能力较差，可能会出现过拟合或分类不准确的情况。将舌象图片分割后的局部图像数据量可能更为稀疏，尤其是在处理某些特定特征时，数据不足的问题更加明显。这种数据稀疏性会限制模型的学习能力，使其在实际应用中难以保持稳定性和可靠性。

9、5.难以处理复杂特征的融合：单任务分类难以处理复杂的多特征融合问题。例如，舌色和苔色的组合可能提供更全面的健康信息，但单任务分类难以有效地融合这些特征，导致对患者病情的理解和诊断不够全面。舌象图片分割分析导致局部特征分析容易忽略整体特征的整合，特别是在涉及到复杂特征的融合时，这种方法可能难以提供全面的诊断信息。

10、6.诊断的稳定性和可靠性受限：单任务分类由于仅关注单一特征，容易受限于特征表达的变化，导致诊断结果的不稳定性。在不同患者或不同条件下，单一特征的变化可能显著，单任务分类方法可能无法提供一致的诊断结果。舌象图片分割分析导致局部图像分析依赖于特定区域的特征，这种局部分析方法容易受到噪声、图像质量或标注不准确的影响，降低诊断的稳定性和可靠性。

11、因此，需要一种针对脑卒中患者的舌象分析、结合多任务学习的方法来克服现有方法局限性，为脑卒中患者的舌象分析和诊断提供更为精准和可靠的支持。

技术实现思路

1、本发明针对现有技术缺陷，提出一种基于多任务学习的脑卒中患者舌象自动识别系统及方法，针对脑卒中患者的舌象分析，结合多任务学习的方法，不仅能够融合舌色、苔色等特征的复杂关系，还能通过有效的数据处理和特征提取，提升模型的整体效果，为医生在脑卒中康复诊断中提供更为准确和客观的辅助支持。

2、一方面，本发明提供了一种基于多任务学习的脑卒中患者舌象自动识别方法，方法包括：

3、步骤1：对脑卒中患者舌象的特征进行多标签分类，将一定样本数量的脑卒中患者舌象图片上的每个特征标注相应标签；

4、步骤2：将标注标签后的舌象图片划分为训练集和测试集，对训练集和测试集中的舌象图片数据增强，得到样本数量扩充后的训练集和测试集；

5、步骤3：根据舌象特征和多标签分类构建lgan模型，将训练集输入lgan模型，提取每张舌象图片的特征，将提取的特征解耦为与lgan模型中各个标签对应的特征表示，并捕获每张舌象图片中各特征之间的相关性，生成每个标签的分类结果；

6、步骤4：将样本数据集中的舌象图片输入lgan模型，得到与特征标签相关的预测分数向量，利用交叉熵损失函数计算预测分数向量与样本数据集中的真实特征标签之间的损失值，根据损失值优化lgan模型的训练参数；

7、步骤5：利用混淆矩阵计算每个标签的基本计数值，根据标签的基本计数值和评价指标计算每个标签在预测结果中的指标，将每个标签的指标汇总，得到lgan模型的性能指标。

8、进一步地，步骤3包括：

9、步骤3.1：利用特征提取器、标签解耦模块和brnn模块构建lgan网络；

10、步骤3.2：基于lgan网络设定训练参数生成lgan模型；

11、步骤3.3：利用特征提取器提取每张舌象图片的特征；

12、步骤3.4：利用标签解耦模块将提取的特征解耦为与lgan模型中各个标签对应的特征表示；

13、步骤3.5：降低标签相关特征的维数，利用brnn模块捕获每张舌象图片中各特征之间的相关性，生成每个标签的分类结果。

14、进一步地，步骤3.4标签解耦模块解耦的过程包括：将提取的图片特征与相应的标签特征进行融合，随后对融合后的特征进行映射，利用通道注意力机制调整特征图中各通道的重要性，同时利用空间注意力机制调整特征图中不同空间位置的重要性，生成舌象的中间特征。

15、进一步地，步骤4包括：

16、步骤4.1：准备样本数据集，每个样本包含一张舌象图片及其对应的特征标签；

17、步骤4.2：将舌象图片输入lgan模型，并提取与特征标签相关的预测分数向量；

18、步骤4.3：使用交叉熵损失函数计算模型预测与实际标签之间的损失值，利用优化算法更新lgan模型的训练参数，通过设定批大小和迭代次数进行多次迭代，使lgan模型的参数逐步优化。

19、进一步地，步骤4.3中交叉熵损失函数通过下式确定：

20、

21、式中：m表示舌象图片的样本数；c表示标签类别；表示实际标签；表示lgan模型预测的分数向量。

22、进一步地，步骤5中lgan模型的性能评价指标：

23、

24、式中：bmacro(h)表示lgan模型性能评价指标；m表示标签类别数；b(tpj,fpj,tnj,fnj)表示第j个标签的准确率、或精度、或召回率、或f1分数指标。

25、进一步地，步骤1中脑卒中患者舌象的特征至少包括舌色特征、苔色特征和苔质特征。

26、进一步地，舌色特征的标签包括舌淡特征和无舌淡特征，苔色特征的标签包括有苔色白特征和无苔色白特征；苔质特征的标签包括舌苔腻和舌苔不腻。

27、另一方面，本发明还提供了一种基于多任务学习的脑卒中患者舌象自动识别系统，包括：

28、数据采集模块，用于对脑卒中患者舌象进行采集拍照；

29、数据预处理模块，用于将标注标签后的舌象图片划分为训练集和测试集，并对训练集和测试集中的样本数量进行扩充；

30、lgan模型，包括特征提取模块、标签解耦模块、brnn模块、模型优化与损失计算模块、性能评估模块：

31、特征提取模块用于提取每张舌象图片的特征；

32、标签解耦模块用于将提取的特征解耦为与lgan模型中各个标签对应的特征表示；

33、brnn模块用于捕获每张舌象图片中各特征之间的相关性，并生成每个标签的分类结果；

34、模型优化与损失计算模块用于将输入到lgan模型的舌象图片生成预测分数向量，并计算预测结果与真实标签之间的损失，以及根据损失值优化模型参数；

35、性能评估模块用于利用混淆矩阵计算每个标签在预测结果中的指标，并将每个标签的指标汇总，输出lgan模型的整体性能。

36、本发明的有益效果是：

37、第一、本发明通过构建lgan模型，结合多任务学习策略及通道和空间注意力机制，能够更精准地提取舌象图片中的重要特征，并捕获特征之间的相关性，这种方式减少了对特征间相互关系的忽略，提高了识别的准确性和鲁棒性，增强了模型对多样舌象特征的适应能力；通过深度学习和多标签分类，实现了对脑卒中患者舌象特征的自动识别，减少了对医生经验的依赖，解决了传统中医舌诊中的主观性问题，推动了舌象诊断的标准化和客观化，有助于提升诊断一致性和可靠性。

38、第二、本发明通过对训练集和测试集的数据增强，以及利用brnn模块捕获舌象图片中各特征之间的相关性，模型能够更好地处理舌象特征的复杂性和多样性，提高对不同舌象特征组合的适应能力，减少过拟合风险，从而增强模型的鲁棒性和泛化能力；

39、第三、本发明通过混淆矩阵计算每个标签的基本计数值，并结合多种评价指标(如准确率、精度、召回率、f1分数等)对模型进行全面评估，有助于对模型性能进行细致分析，确保识别方法的可靠性和临床实用性；

40、第四、本发明与传统的神经影像学等高成本诊断方法相比，本发明利用低成本的舌象图片结合深度学习技术，实现了快速、自动化的诊断流程，大幅提升了脑卒中患者舌象诊断的效率，适合在临床上进行大规模应用。