基于多模态信息的喉部分类特征提取方法及相关设备与流程

1.本技术涉及人工智能技术领域，具体涉及一种基于多模态信息的喉部分类特征提取方法及相关设备。


背景技术：

2.喉结核是一种咽喉结核，目前喉结核的检测通常是通过电子内镜采集图像，基于对图像对喉部患病情况进行判断，然而，受限于人眼评估的异质性及主观性，目前内镜医师对喉部内镜图像的评估仍停留于定性判断，难以实现对内镜图像的客观精准评估，因此，亟需提供一种客观且准确的基于多模态信息的喉部分类特征提取方法。


技术实现要素：

3.本技术实施例提供一种基于多模态信息的喉部分类特征提取方法及相关设备，以解决人工检测存在主观性强且准确性难以保证的技术问题。
4.一方面，本技术提供一种基于多模态信息的喉部分类特征提取方法，包括：
5.从目标用户的喉部内镜图像中提取白光图像和nbi图像；
6.基于所述白光图像，提取多个特征类型的咽喉特征，得到多个咽喉特征值；
7.基于所述nbi图像进行血管特征提取，得到血管特征值；
8.获取所述目标用户的胸部ct图像，将所述胸部ct图像输入预设的标志物识别模型，获取所述标志物识别模型输出的第一标志物置信度；
9.获取所述目标用户的语音数据，将所述语音数据输入预设的标志物检测模型，获取所述标志物检测模型输出的第二标志物置信度；
10.根据所述多个咽喉特征值、所述血管特征值、所述第一标志物置信度和所述第二标志物置信度，得到喉部分类特征集合，所述喉部分类特征集合用于输入预设的机器学习分类器中检测喉部标志物。
11.一方面，本技术提供一种基于多模态信息的喉部分类特征提取装置，包括：
12.获取模块，用于从目标用户的喉部内镜图像中提取白光图像和nbi图像；
13.第一提取模块，用于基于所述白光图像，提取多个特征类型的咽喉特征，得到多个咽喉特征值；
14.第二提取模块，用于基于所述nbi图像进行血管特征提取，得到血管特征值；
15.第一确定模块，用于获取所述目标用户的胸部ct图像，将所述胸部ct图像输入预设的标志物识别模型，获取所述标志物识别模型输出的第一标志物置信度；
16.第二确定模块，用于获取所述目标用户的语音数据，将所述语音数据输入预设的标志物检测模型，获取所述标志物检测模型输出的第二标志物置信度；
17.检测模块，用于根据所述多个咽喉特征值、所述血管特征值、所述第一标志物置信度和所述第二标志物置信度，得到喉部分类特征集合，所述喉部分类特征集合用于输入预设的机器学习分类器中检测喉部标志物。
18.一方面，本技术提供一种计算机设备，计算机设备包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述基于多模态信息的喉部分类特征提取方法中的步骤。
19.一方面，本技术提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述基于多模态信息的喉部分类特征提取方法中的步骤。
20.本技术实施例提供了一种基于多模态信息的喉部分类特征提取方法及相关设备，该方法通过从目标用户的喉部内镜图像中提取白光图像和nbi图像，基于白光图像，提取多个特征类型的咽喉特征，得到多个咽喉特征值，基于nbi图像进行血管特征提取，得到血管特征值，获取目标用户的胸部ct图像，将胸部ct图像输入预设的标志物识别模型，获取标志物识别模型输出的第一标志物置信度，获取目标用户的语音数据，将语音数据输入预设的标志物检测模型，获取标志物检测模型输出的第二标志物置信度，根据多个咽喉特征值、血管特征值、第一标志物置信度和第二标志物置信度，采用预设的机器学习分类器中进行分类，得到标志物检测结果，实现了对喉部的标志物的检测，提取了多个模态的喉部信息即白光图像、nbi图像、胸部ct图像、语音数据特征量化值，使得特征量化值更加全面丰富，实现了多个咽喉特征值、血管特征值、第一标志物置信度和第二标志物置信度准确直观分析和识别，大大提高了对多模态的喉部信息的分析和处理效率，进而提高了喉部标志物的检测效率。
附图说明
21.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
22.其中：
23.图1为一个实施例中基于多模态信息的喉部分类特征提取方法的流程图；
24.图2为一个实施例中nbi图像的示意图；
25.图3为一个实施例中基于多模态信息的喉部分类特征提取装置的结构框图；
26.图4为一个实施例中计算机设备的结构框图。
具体实施方式
27.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
28.如图1所示，在一个实施例中，提供了一种基于多模态信息的喉部分类特征提取方法，该基于多模态信息的喉部分类特征提取方法可以应用于终端，也可以应用于服务器，本实施例以应用于服务器举例说明。该基于多模态信息的喉部分类特征提取方法具体包括以下步骤：
29.步骤102，从目标用户的喉部内镜图像中提取白光图像和nbi图像。
30.其中，喉部内镜图像是指通过电子内窥镜，针对目标用户的咽喉部位采集到图像。白光图像和nbi(narrow band imaging，nbi，内镜窄带成像术)是指喉部内镜图像的两种颜色分量不同的图像，其中，白光图像是指在白光照明模式下进行内窥成像时输出的图像。nbi光利用光的特定属性蓝色波长仅穿透粘膜的浅层，并被表面上的血管吸收，绿色波长被反射，nbi图像为绿色，如图2所示，为nbi图像的示意图。具体地，可以采用人工特征提取的方法，如提取颜色特征，对原始内镜图像进行分类识别，也可以是采用深度学习方法，如利用二分类器中的支持向量机(svm)、决策树、随机森林等模型进行分类识别。作为本实施例的优选，采用提取原始内镜图像的rgb颜色特征进行分类识别，以提高分类识别速度。可以理解地，本实施例中通过获取白光图像及nbi图像，丰富了图像的样本量，使得图像的样本更加全面准确，提高了后续对喉部图像的分析准确性。
31.步骤104，基于白光图像，提取多个特征类型的咽喉特征，得到多个咽喉特征值。
32.其中，咽喉特征是指白光图像中咽喉部位的不同类型的相关特征，例如，咽喉部位的表面是否有溃疡、是否有肉芽、肉芽组织增生等，咽喉特征值是指各个咽喉特征对应的量化值。具体地，采用特征提取方法对白光图像进行特征提取，得到多个咽喉特征值，其中的特征提取方法可以是针对不同的咽喉特征，预先训练相应的咽喉特征的识别模型，识别模型输出的标签值作为咽喉特征值。本实施例中，通过对多个不同类型的咽喉特征进行特征提取，获取对应的咽喉特征值，实现了对白光图像的多个特征类型对应的咽喉特征的量化计算，以便后续基于该多个咽喉特征值进行精准直观的图像分析和处理。
33.步骤106，基于nbi图像进行血管特征提取，得到血管特征值。
34.其中，血管特征是指nbi图像中反应血管信息的一种特征，该血管特征值如血管密度特征，具体地，采用特征提取方法对nbi图像进行特征提取，得到血管特征值，其中的特征提取方法可以是人工特征提取方法结合基于图像特征分析的算法如像素邻域均值计算、最大像素值提取等，计算得到血管特征值。本实施例中，通过对血管特征进行特征提取，获取对应的血管特征值，实现了对nbi图像的血管特征对应的血管特征的量化计算，以便后续基于该血管特征值进行精准直观的图像分析和处理。
35.步骤108，获取目标用户的胸部ct图像，将胸部ct图像输入预设的标志物识别模型，获取标志物识别模型输出的第一标志物置信度。
36.其中，标志物识别适用于识别胸部ct图像中标志物所在区域的部分图像的识别模型，其中标志物可以是病灶或者其他异物，例如吞咽的异物。第一标志物置信度是指胸部ct图像存在标志物的可信度。
37.具体地，采用通过预先训练的标志物识别模型，对胸部ct图像进行识别分类，得到胸部ct图像存在标志物的概率，然后，将胸部ct图像及胸部ct图像存在标志物的概率作为训练样本，对yolov3网络进行预训练，得到该标志物识别模型，最后，将胸部ct图像作为该标志物识别模型的输入，该标志物识别模型输出第一标志物置信度。可以理解地，本实施例中，通过对胸部ct图像进行标志物识别，实现了对目标患者在胸部ct图像模态的喉部标志物的检测。
38.步骤110，获取目标用户的语音数据，将语音数据输入预设的标志物检测模型，获取标志物检测模型输出的第二标志物置信度。
39.其中，第二标志物置信度是指基于目标用户的语音数据判断喉部存在标志物的可信度。
40.具体地，采用通过预先训练的标志物检测模型，对语音数据进行声纹特征提取，然后对声纹特征进行标志物预测，确定预测概率，然后，将语音数据及预测概率作为训练样本，对cnn网络进行预训练，得到该标志物检测模型，最后，将语音作为该标志物检测模型的输入，该标志物检测模型输出第二标志物置信度。可以理解地，本实施例中，通过对语音数据进行标志物检测，实现了对目标患者在语音数据模态的喉部标志物的检测。
41.步骤112，根据多个咽喉特征值、血管特征值、第一标志物置信度和第二标志物置信度，得到喉部分类特征集合，喉部分类特征集合用于输入预设的机器学习分类器中检测喉部标志物。
42.其中，预设的机器学习分类器可通过样本学习具备分类能力的机器学习算法模型实现，本实施例的机器学习分类器用于将不同的咽喉特征值、血管特征值、第一标志物置信度和第二标志物置信度划分到存在标志物的第一分类结果或者不存在标志物的第二分类结果中的一类。
43.具体地，可以利用至少一个机器学习模型进行分类的分类器。其中的机器学习模型可以是如下的一个或者多个：神经网络(例如，卷积神经网络、bp神经网络等)、逻辑回归模型、支持向量机、决策树、随机森林、感知器以及其它机器学习模型。
44.本实施例中，该分类器为二分类器，即得到2个分类结果，也即正常结果或者异常结果。可以理解地，本实施例中，通过对多个模态的喉部信息即白光图像、nbi图像、胸部ct图像、语音数据进行特征提取，获取对应的多个咽喉特征值、血管特征值、第一标志物置信度和第二标志物置信度，实现了对多个模态的喉部信息的特征的量化计算，由于本实施例中提取了多个模态的喉部信息即白光图像、nbi图像、胸部ct图像、语音数据特征量化值，使得特征量化值更加全面丰富，实现了多个咽喉特征值、血管特征值、第一标志物置信度和第二标志物置信度准确直观分析和识别，大大提高了对多模态的喉部信息的分析和处理效率，进而提高了喉部标志物的检测效率。
45.上述基于多模态信息的喉部分类特征提取方法中，通过从目标用户的喉部内镜图像中提取白光图像和nbi图像，基于白光图像，提取多个特征类型的咽喉特征，得到多个咽喉特征值，基于nbi图像进行血管特征提取，得到血管特征值，获取目标用户的胸部ct图像，将胸部ct图像输入预设的标志物识别模型，获取标志物识别模型输出的第一标志物置信度，获取目标用户的语音数据，将语音数据输入预设的标志物检测模型，获取标志物检测模型输出的第二标志物置信度，根据多个咽喉特征值、血管特征值、第一标志物置信度和第二标志物置信度，采用预设的机器学习分类器中进行分类，得到标志物检测结果，实现了对喉部的标志物的检测，提取了多个模态的喉部信息即白光图像、nbi图像、胸部ct图像、语音数据特征量化值，使得特征量化值更加全面丰富，实现了多个咽喉特征值、血管特征值、第一标志物置信度和第二标志物置信度准确直观分析和识别，大大提高了对多模态的喉部信息的分析和处理效率，进而提高了喉部标志物的检测效率。
46.在一个实施例中，咽喉特征的特征类型包括表面溃疡特征、表面白苔白膜特征、肉芽增生特征、结节状凸起特征、高发部位特征、喉腔尺寸特征；基于白光图像，提取多个特征类型的咽喉特征，得到多个咽喉特征值，包括：采用预设的病灶分割模型对白光图像进行分
割，得到疑似标志物图像；将疑似标志物图像输入训练后的表面溃疡分类器中进行识别，得到的表面溃疡结果确定为表面溃疡特征对应的咽喉特征值；将疑似标志物图像输入训练后的表面白苔白膜分类器中进行识别，得到的表面白苔白膜结果确定为表面白苔白膜特征对应的咽喉特征值；将疑似标志物图像输入训练后的肉芽增生分类器中进行识别，得到的肉芽增生结果确定为肉芽增生特征对应的咽喉特征值；将疑似标志物图像输入训练后的结节状凸起分类器中进行识别，得到的结节状凸起结果确定为结节状凸起特征对应的咽喉特征值；将疑似标志物图像输入训练后的高发部位分类器中进行识别，得到的高发部位结果确定为高发部位特征对应的咽喉特征值；采用预设的喉腔识别模型对白光图像进行识别，得到喉腔图像；基于喉腔图像的像素信息确定喉腔尺寸特征对应的咽喉特征值。
47.其中，表面溃疡特征是用于反映白光图像中的目标区域的表面是否有溃疡的特征，如有溃疡或无溃疡的情况。表面白苔白膜特征是用于反映白光图像中的目标区域是否有白苔白膜的特征，如有白苔白膜或无白苔白膜的情况。肉芽增生特征是用于反映白光图像中的目标区域是否有肉芽增生的特征，如有肉芽增生或无肉芽增生的情况。结节状凸起特征是用于反映白光图像中的目标区域是否有结节状凸起的特征，如有结节状凸起或无结节状凸起的情况。高发部位特征是用于反映白光图像中的目标区域是否为高发部位的特征，如高发部位或非高发部位的情况。喉腔尺寸特征是用于反映白光图像中的喉腔部位的尺寸大小的特征。
48.疑似标志物图像是指白光图像中分割得到的疑似为标志物的区域的图像，也即白光图像中的目标区域，具体地，采用预设的病灶分割模型对白光图像进行分割，得到疑似标志物图像。
49.训练后的表面溃疡分类器是一种用于判断疑似标志物图像中的标志物有溃疡还是无溃疡的学习模型，具体地，该训练后的表面溃疡分类器可以是通过resnet50网络模型实现，将疑似标志物图像输入训练后的表面溃疡分类器中进行识别，输出疑似标志物图像中的标志物的表面溃疡结果(有溃疡和无溃疡)，然后针对不同的表面溃疡结果，赋予每个表面溃疡结果一个咽喉特征值，在一具体实施方式中，可以将表面溃疡结果为有溃疡的咽喉特征值赋值为1，将表面溃疡结果为无溃疡的咽喉特征值赋值为0。
50.训练后的表面白苔白膜分类器是一种用于判断疑似标志物图像中的标志物有白苔白膜还是无白苔白膜的学习模型，具体地，该训练后的表面白苔白膜分类器可以是通过resnet50网络模型实现，将疑似标志物图像输入训练后的表面白苔白膜分类器中进行识别，输出疑似标志物图像中的标志物的表面白苔白膜结果(有白苔白膜和无白苔白膜)，然后针对不同的表面白苔白膜结果，赋予每个表面白苔白膜结果一个咽喉特征值，在一具体实施方式中，可以将表面白苔白膜结果为有白苔白膜的咽喉特征值赋值为1，将表面白苔白膜结果为无白苔白膜的咽喉特征值赋值为0。
51.训练后的肉芽增生分类器是一种用于判断疑似标志物图像中的标志物有肉芽增生还是无肉芽增生的学习模型，具体地，该训练后的表面肉芽增生分类器可以是通过resnet50网络模型实现，将疑似标志物图像输入训练后的肉芽增生分类器中进行识别，输出疑似标志物图像中的标志物的肉芽增生结果(有肉芽增生和无肉芽增生)，然后针对不同的肉芽增生结果，赋予每个肉芽增生结果一个咽喉特征值，在一具体实施方式中，可以将肉芽增生结果为有肉芽增生的咽喉特征值赋值为1，将肉芽增生结果为无肉芽增生的咽喉特
征值赋值为0。
52.训练后的结节状凸起分类器是一种用于判断疑似标志物图像中的标志物有结节状凸起还是无结节状凸起的学习模型，具体地，该训练后的表面结节状凸起分类器可以是通过resnet50网络模型实现，将疑似标志物图像输入训练后的结节状凸起分类器中进行识别，输出疑似标志物图像中的标志物的结节状凸起结果(有结节状凸起和无结节状凸起)，然后针对不同的结节状凸起结果，赋予每个结节状凸起结果一个咽喉特征值，在一具体实施方式中，可以将结节状凸起结果为有结节状凸起的咽喉特征值赋值为1，将结节状凸起结果为无结节状凸起的咽喉特征值赋值为0。
53.训练后的高发部位分类器是一种用于判断疑似标志物图像中的标志物是高发部位还是非高发部位的学习模型，具体地，该训练后的表面高发部位分类器可以是通过resnet50网络模型实现，将疑似标志物图像输入训练后的高发部位分类器中进行识别，输出疑似标志物图像中的标志物的高发部位结果(是高发部位和非高发部位)，然后针对不同的高发部位结果，赋予每个高发部位结果一个咽喉特征值，在一具体实施方式中，可以将高发部位结果为有高发部位的咽喉特征值赋值为1，将高发部位结果为非高发部位的咽喉特征值赋值为0。
54.采用预设的喉腔识别模型对白光图像进行识别，得到喉腔图像，通过对喉腔图像的像素点的信息进行计算分析，确定喉腔尺寸特征对应的咽喉特征值。
55.本实施例中，通过对白光图像及白光图像中的疑似标志物图像进行分析，并对疑似标志物图像中的标志物的多个咽喉特征进行量化计算，实现了对标志物的量化分析，使得疑似标志物图像中的标志物的咽喉特征的咽喉特征值更加准确丰富，有利于提高后续的标志物检测的精度。
56.在一个实施例中，基于喉腔图像的像素信息确定喉腔尺寸特征对应的咽喉特征值，包括：基于喉腔图像的像素信息确定喉腔连通区域；对喉腔连通区域对进行遍历，得到喉腔图像的最小水平外接矩形；基于最小外接矩形确定喉腔图像的中心线；针对每个所述述中心线上的点，过所述中心线上的点，做水平线交喉腔图像的边界于两点，并计算两点间的距离，将两点间的距离作为所述中心线上的点对应的喉部宽度，得到多个喉部宽度；根据喉部宽度和预设宽度阈值确定喉腔尺寸特征对应的咽喉特征值。
57.其中，连通区域(connected component)是指图像中具有相同像素值且位置相邻的前景像素点组成的图像区域(region，blob)。
58.具体地，基于喉腔图像的像素信息确定喉腔连通区域，对喉腔连通区域对进行遍历，得到喉腔图像的最小水平外接矩形，基于最小外接矩形确定喉腔图像的中心线，并过中心线上的点，做水平线交喉腔图像的边界于两点，计算两点间的距离即为当前位置的喉部宽度di，di表示为中心线上的第i个点对应的喉部宽度，采用如下公式确定喉腔尺寸特征对应的咽喉特征值：
[0059][0060]
其中，label7表示为喉腔尺寸特征对应的咽喉特征值，δ表示为预设宽度阈值，也即当喉部宽度的最小值大于预设宽度阈值时，喉腔尺寸特征对应的咽喉特征值赋值为1，当喉部宽度的最大值小于或者等于预设宽度阈值时，喉腔尺寸特征对应的咽喉特征值赋值为
2。
[0061]
在一个实施例中，基于nbi图像进行血管特征提取，得到血管特征值，包括：采用预设的血管分割模型对nbi图像进行分割，得到血管分割图像，血管分割图像包括多个血管区域图像；计算血管分割图像的密度，得到血管密度；当血管密度小于或等于预设密度阈值时，将第一预设密度值确定为血管特征值；当血管密度大于预设密度阈值时，则确定血管分割图像的血管连通区域；在血管连通区域对各个血管区域图像进行遍历，确定对应的最小水平外接矩形；基于各个血管区域图像的像素信息及对应的最小外接矩形确定各个血管区域图像的血管线密度；基于血管线密度及预设的线密度阈值，确定血管特征值。
[0062]
具体地，血管密度ρ可以通过如下公式计算得到：
[0063][0064]
其中，w，h分别为血管分割图像的宽度和高度，s
血管
为血管分割图像中血管总面积，当血管密度小于或等于预设密度阈值时α时，即
[0065]
label6＝0，ρ≤α；
[0066]
label6为血管特征值，第一预设密度值为预设的数值，在本实施例中为0。
[0067]
当血管密度大于预设密度阈值时，则确定血管分割图像的血管连通区域，在血管连通区域对各个血管区域图像进行遍历，确定对应的最小水平外接矩形；基于各个血管区域图像的像素信息及对应的最小外接矩形确定各个血管区域图像的血管线密度，其中，血管线密度是让血管包含的所有像素点向它自己最小外接矩形的宽和高的边上做投影得到的，血管线密度ζi的计算公式如下：
[0068][0069]
其中，mi为一个血管区域图像中血管像素点个数。wi,hi为最小外接矩形的宽度和高度。
[0070]
采用如下公式，确定血管特征值：
[0071][0072]
β为预设的线密度阈值。当血管线密度的最大值小于或等于预设的线密度阈值时，血管特征值赋值为1，当血管线密度的最大值小于预设的线密度阈值时，血管特征值赋值为2。
[0073]
在一个实施例中，预设的标志物检测模型包括声纹提取子模型和标志物置信度预测子模型；将语音数据输入预设的标志物检测模型，获取标志物检测模型输出的第二标志物置信度，包括：将语音数据作为声纹提取子模型的输入，获取声纹提取子模型输出的声纹症状特征；将声纹症状特征作为标志物置信度预测子模型的输入，标志物置信度预测子模型用于对声纹症状特征进行分析，获取标志物置信度预测子模型输出的第二标志物置信度。
[0074]
其中，声纹提取子模型适用于对语音数据的声纹症状特征进行提取，其中的声纹征状症状可以是喉结核、感冒、或者咽炎等，声纹症状特征可以是语音数据的频率，预先训
练声纹征状特征与声纹症状的分类器，得到声纹提取子模型。标志物检测模型是用于对声纹征状特征进行分类，确定存在标志物的概率，即第二标志物置信度。
[0075]
具体地，将语音数据作为声纹提取子模型的输入，获取声纹提取子模型输出的声纹症状特征，将声纹症状特征作为标志物置信度预测子模型的输入，标志物置信度预测子模型用于对声纹症状特征进行分析，获取标志物置信度预测子模型输出的第二标志物置信度。
[0076]
在一个实施例中，预设的机器学习分类器包括第一分类器和第二分类器，第一分类器包括第一特征拟合网络，第二分类器包括第二特征拟合网络和分类网络；根据多个咽喉特征值、血管特征值、第一标志物置信度和第二标志物置信度，采用预设的机器学习分类器中进行分类，得到标志物检测结果，包括：采用第一特征拟合网络对多个咽喉特征值和血管特征值进行拟合处理，得到第一融合特征值；采用第二特征拟合网络对第一融合特征值、第一标志物置信度和第二标志物置信度进行拟合处理，得到第二融合特征值；采用分类网络对第二融合特征值进行分类处理，生成标志物检测结果。
[0077]
其中，预设的机器学习分类器可通过样本学习具备分类能力的机器学习算法模型实现，本实施例的机器学习分类器用于目标患者的喉部是否存在标志物。预设的机器学习分类器包括第一分类器和第二分类器，第一分类器包括第一特征拟合网络，第二分类器包括第二特征拟合网络和分类网络。其中，第一特征拟合网络是指预设分类器中用于确定各个咽喉特征值和血管特征值对于白光图像和nbi图像识别准确率影响的系数即权重的网络模型，该第一特征拟合网络可以是决策树、随机森林、梯度提升树，还可以是利用网格搜索法或者贪婪搜索法进行参数调优的模型，第二特征拟合网络用于确定各个第一融合特征值、第一标志物置信度和第二标志物置信度对于喉部信息的准确率影响的系数即权重的网络模型，该第二特征拟合网络可以是决策树、随机森林、梯度提升树，还可以是利用网格搜索法或者贪婪搜索法进行参数调优的模型。
[0078]
具体地，采用第一特征拟合网络对多个咽喉特征值和血管特征值进行拟合处理，得到第一融合特征值，然后，采用第二特征拟合网络对第一融合特征值、第一标志物置信度和第二标志物置信度进行拟合处理，得到第二融合特征值；采用分类网络对第二融合特征值进行分类处理，生成标志物检测结果，其中的标志物检测结果包括存在标志物和不存在标志物两种结果。
[0079]
在一个实施例中，将所述喉部内镜图像转换为rgb图像；提取所述rgb图像对应的g分量像素值；将g分量像素值大于预设像素阈值的所述喉部内镜图像确定为所述nbi图像；将g分量像素值小于或者等于预设像素阈值的所述喉部内镜图像确定为所述白光图像。
[0080]
具体地，白光图像与nbi图像的区别在于nbi图像绿色分量偏高，因此，本实施例中，将各个内镜图像转换为rgb图像，然后提取rgb图像对应的g分量像素值，根据g分量像素值进行划分，即g分量像素值大于预设像素阈值的原始内镜图像确定为nbi图像，g分量像素值小于或者等于预设像素阈值的原始内镜图像确定为白光图像，该分类方法简单快捷，提高了内镜图像的分类效率。
[0081]
如图3所示，在一个实施例中，提出了一种基于多模态信息的喉部分类特征提取装置，包括：
[0082]
获取模块302，用于从目标用户的喉部内镜图像中提取白光图像和nbi图像；
[0083]
第一提取模块304，用于基于所述白光图像，提取多个特征类型的咽喉特征，得到多个咽喉特征值；
[0084]
第二提取模块306，用于基于所述nbi图像进行血管特征提取，得到血管特征值；
[0085]
第一确定模块308，用于获取所述目标用户的胸部ct图像，将所述胸部ct图像输入预设的标志物识别模型，获取所述标志物识别模型输出的第一标志物置信度；
[0086]
第二确定模块310，用于获取所述目标用户的语音数据，将所述语音数据输入预设的标志物检测模型，获取所述标志物检测模型输出的第二标志物置信度；
[0087]
检测模块312，用于根据所述多个咽喉特征值、所述血管特征值、所述第一标志物置信度和所述第二标志物置信度，得到喉部分类特征集合，所述喉部分类特征集合用于输入预设的机器学习分类器中检测喉部标志物。
[0088]
在一个实施例中，所述咽喉特征的特征类型包括表面溃疡特征、表面白苔白膜特征、肉芽增生特征、结节状凸起特征、高发部位特征、喉腔尺寸特征；第一提取模块包括：
[0089]
第一分割单元，用于采用预设的病灶分割模型对所述白光图像进行分割，得到疑似标志物图像；
[0090]
第一识别单元，用于将所述疑似标志物图像输入训练后的表面溃疡分类器中进行识别，得到的表面溃疡结果确定为所述表面溃疡特征对应的咽喉特征值；
[0091]
第二识别单元，用于将所述疑似标志物图像输入训练后的表面白苔白膜分类器中进行识别，得到的表面白苔白膜结果确定为所述表面白苔白膜特征对应的咽喉特征值；
[0092]
第三识别单元，用于将所述疑似标志物图像输入训练后的肉芽增生分类器中进行识别，得到的肉芽增生结果确定为所述肉芽增生特征对应的咽喉特征值；
[0093]
第四识别单元，用于将所述疑似标志物图像输入训练后的结节状凸起分类器中进行识别，得到的结节状凸起结果确定为所述结节状凸起特征对应的咽喉特征值；
[0094]
第五识别单元，用于将所述疑似标志物图像输入训练后的高发部位分类器中进行识别，得到的高发部位结果确定为所述高发部位特征对应的咽喉特征值；
[0095]
获取单元，用于采用预设的喉腔识别模型对所述白光图像进行识别，得到喉腔图像；
[0096]
第六识别单元，用于基于所述喉腔图像的像素信息确定所述喉腔尺寸特征对应的咽喉特征值。
[0097]
在一个实施例中，第一提取模块包括：
[0098]
第一确定单元，用于基于所述喉腔图像的像素信息确定喉腔连通区域；
[0099]
遍历单元，用于对所述喉腔连通区域对进行遍历，得到喉腔图像的最小水平外接矩形；
[0100]
第二确定单元，用于基于所述最小外接矩形确定所述喉腔图像的中心线；
[0101]
计算单元，用于针对每个所述述中心线上的点，过所述中心线上的点，做水平线交所述喉腔图像的边界于两点，并计算两点间的距离，将所述两点间的距离作为所述中心线上的所述点对应的喉部宽度，得到多个喉部宽度；
[0102]
第三确定单元，用于根据所述喉部宽度和预设宽度阈值确定所述喉腔尺寸特征对应的咽喉特征值。
[0103]
在一个实施例中，第二提取模块包括：
[0104]
第二分割单元，用于采用预设的血管分割模型对所述nbi图像进行分割，得到血管分割图像，所述血管分割图像包括多个血管区域图像；
[0105]
第一计算单元，用于计算所述血管分割图像的密度，得到血管密度；
[0106]
第四确定单元，用于当所述血管密度小于或等于预设密度阈值时，将第一预设密度值确定为所述血管特征值；
[0107]
第五确定单元，用于当所述血管密度大于所述预设密度阈值时，则确定所述血管分割图像的血管连通区域；
[0108]
第六确定单元，用于在所述血管连通区域对各个所述血管区域图像进行遍历，确定对应的最小水平外接矩形；
[0109]
第二计算单元，用于基于各个所述血管区域图像的像素信息及对应的所述最小外接矩形确定各个所述血管区域图像的血管线密度；
[0110]
第七确定单元，用于基于所述血管线密度及预设的线密度阈值，确定所述血管特征值。
[0111]
在一个实施例中，所述预设的标志物检测模型包括声纹提取子模型和标志物置信度预测子模型；第二确定模块包括：
[0112]
第二提取单元，用于将所述语音数据作为所述声纹提取子模型的输入，获取所述声纹提取子模型输出的声纹症状特征；
[0113]
第一检测单元，用于将所述声纹症状特征作为所述标志物置信度预测子模型的输入，所述标志物置信度预测子模型用于对所述声纹症状特征进行分析，获取所述标志物置信度预测子模型输出的第二标志物置信度。
[0114]
在一个实施例中，所述预设的机器学习分类器包括第一分类器和第二分类器，所述第一分类器包括第一特征拟合网络，所述基于多模态信息的喉部分类特征提取装置还包括：
[0115]
第一拟合模块，用于采用所述第一特征拟合网络对所述多个咽喉特征值和所述血管特征值进行拟合处理，得到第一融合特征值；
[0116]
第二拟合模块，用于采用所述第二特征拟合网络对所述第一融合特征值、第一标志物置信度和所述第二标志物置信度进行拟合处理，得到第二融合特征值；
[0117]
分类模块，用于采用所述分类网络对所述第二融合特征值进行分类处理，生成标志物检测结果。
[0118]
在一个实施例中，获取模块包括：
[0119]
转换单元，用于将所述喉部内镜图像转换为rgb图像；
[0120]
提取单元，用于提取所述rgb图像对应的g分量像素值；
[0121]
第八确定单元，用于将g分量像素值大于预设像素阈值的所述喉部内镜图像确定为所述nbi图像；
[0122]
第九确定单元，用于将g分量像素值小于或者等于预设像素阈值的所述喉部内镜图像确定为所述白光图像。
[0123]
图4示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是服务器，所述服务器包括但不限于高性能计算机和高性能计算机集群。如图4所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储
介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现基于多模态信息的喉部分类特征提取方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行基于多模态信息的喉部分类特征提取方法。本领域技术人员可以理解，图4中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0124]
在一个实施例中，本技术提供的基于多模态信息的喉部分类特征提取方法可以实现为一种计算机程序的形式，计算机程序可在如图4所示的计算机设备上运行。计算机设备的存储器中可存储组成基于多模态信息的喉部分类特征提取装置的各个程序模板。比如，获取模块302，第一提取模块304，第二提取模块306，第一确定模块308，第二确定模块310，检测模块312。
[0125]
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于多模态信息的喉部分类特征提取方法中的步骤。
[0126]
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于多模态信息的喉部分类特征提取方法中的步骤。
[0127]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0128]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0129]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。