基于深度学习的气管镜图像特征比对标记系统及方法与流程

本发明涉及一种图像处理系统，具体涉及一种基于深度学习的气管镜图像特征比对标记系统。本发明还涉及一种基于深度学习的气管镜图像特征比对标记方法。

背景技术：

中央型肺癌，是指病变发生在段口以上支气管的肿瘤。由于其发生在较大的支气管，一般电子气管镜检查都能发现。气管镜检查不仅可以直接了解支气管肿瘤的发生部位、形态及大小，同时还可通过活检和刷检明确肿瘤的病理组织类型，为手术、放疗和化疗提供重要的依据。因此，使用气管镜检查中央型肺癌是目前最重要、最可靠的诊断方法。然而，气管镜检查对操作内镜的医生的临床经验和状态有较高的依赖性，高负荷的气管镜检查会降低气管镜的检查质量，容易出现检查覆盖不全，病灶检出不全等问题。

对于管腔内病变，除了特殊光气管镜检查(荧光气管镜、窄谱气管镜)外，目前尚无特别区分良恶性病变的手段。荧光气管镜检查的特点是灵敏度高、特异度低，容易发现病变但区分病变良恶性差；而窄谱气管镜检查的特点是只能观察病变处血管情况，尚不能区分病变良恶。

技术实现要素：

本发明所要解决的技术问题是提供一种基于深度学习的气管镜图像特征比对标记系统，它可以对气管镜图像进行特征比对并进行标记。

为解决上述技术问题，本发明基于深度学习的气管镜图像特征比对标记系统的技术解决方案为，包括：

输入层，用于接收气管镜所采集的气管镜图像，并对所接收的气管镜图像进行识别，然后将识别出的体内图像传递给判断层；

在另一实施例中，所述输入层包括：图像采集模块，用于接收来自气管镜的图像；以及输入层卷积神经网络模型；所述输入层卷积神经网络模型进一步包括：模型一，用于合格气管镜图像的识别；所述模型一为根据合格图像库训练完成的卷积神经网络模型；模型二，用于体内/体外图像的识别；所述模型二为根据体内/体外图像库训练完成的卷积神经网络模型。

判断层，对来自于所述输入层的体内图像进行识别，判断该体内图像所对应的部位、判断是否存在病变部位以及病变部位的良恶性，然后将识别结果反馈给输出层；所述判断层包括判断层卷积神经网络模型；所述判断层卷积神经网络模型包括模型三和模型四，模型三为根据部位属性图像库训练完成的模型，用于判断所述体内图像所对应的具体部位；模型四为根据部位特征图像库训练完成的模型，用于判断所述体内图像中是否存在病变部位以及病变部位的良恶性；以及

输出层，用于将来自于所述判断层的识别结果进行显示。

在另一实施例中，所述输出层包括图像演示模块、部位显示图像、病灶显示图像；所述部位显示图像为表示各部位的图像；所述病灶显示图像为标注有病变部位的红点图像；

所述图像演示模块能够将来自于判断层的识别结果与部位显示图像进行叠加展示，形成部位监测模式；部位监测模式以部位显示图像作为背景图，其上覆盖来自于判断层的识别结果，以表示气管镜操作已检查的部位；

所述图像演示模块还能够将来自于判断层的识别结果与病灶显示图像进行叠加展示，形成病灶监测模式；病灶监测模式以病灶显示图像作为背景图，其上覆盖来自于判断层的识别结果，以表示存在病变的部位。

本发明还提供一种基于深度学习的气管镜图像特征比对标记方法，其技术解决方案为，包括以下步骤：

步骤一，输入层的图像采集模块接收来自于气管镜所采集的气管镜图像，调用输入层卷积神经网络模型，对气管镜图像进行识别，然后将识别出的体内图像传递给判断层；

在另一实施例中，所述步骤一中对气管镜图像进行识别的方法如下：

将气管镜图像先输入至输入层卷积神经网络模型的模型一，模型一对该气管镜图像进行合格图像识别，判断其是否为合格图像，若不合格，则模型一将该气管镜图像标记为“不合格图像”作为输入层识别结果，并传输给输出层；若合格，则模型一将该气管镜图像标记为“合格图像”并传输给输入层卷积神经网络模型的模型二；

模型二对该合格图像进行识别，判断其是否进入体内，若识别为体外图像，则模型二将该合格图像标记为“体外图像”作为输入层识别结果，并传输给输出层；若识别为体内图像，则模型二将该合格图像标记为“体内图像”并传输给判断层。

步骤二，判断层接收体内图像，调用判断层卷积神经网络模型，对该体内图像进行部位识别和病灶识别，识别出图像上的病变部位，得到判断层识别结果并传输给输出层；

在另一实施例中，所述步骤二中对体内图像进行部位识别和病灶识别的方法如下：

将体内图像先输入至判断层卷积神经网络模型的模型三，模型三识别该体内图像的具体部位，并进行标记，得到带有部位标记的体内图像，即部位标记图像；模型三将该部位标记图像传输给判断层卷积神经网络模型的模型四；

模型四识别该部位标记图像的部位特征，判断是否存在病变部位和病变部位的良恶性分析，并进行标记，得到带有特征标记的体内图像，即特征标记图像；模型四将该特征标记图像作为判断层识别结果传输给输出层。

步骤三，输出层接收判断层识别结果，分别调用部位显示图像和病灶显示图像进行叠加展示；

步骤四：使用矩形框，在图像上框出病变部位，并提示病变部位的良恶性。

在另一实施例中，所述模型一的训练方法包括以下步骤：

步骤1.1，气管镜采集多张气管镜图像；根据所采集的气管镜图像的分辨率，通过人工标注的方式将气管镜图像区分为合格图像和不合格图像，从而筛选出拍摄清楚的气管镜图像，将合格图像储存于合格图像库中；

步骤1.2，气管镜继续采集更多张气管镜图像并输入给卷积神经网络训练模块；卷积神经网络训练模块以所述合格图像库作为训练特征进行训练，将该更多张气管镜图像区分为合格图像和不合格图像，作为卷积神经网络训练模块的训练结果；

步骤1.3，对卷积神经网络训练模块的训练结果的准确率进行人工验证，如准确率不低于90％，则卷积神经网络训练模块训练完成，得到输入层卷积神经网络模型的模型一；如准确率低于90％，则重复步骤1.2，向卷积神经网络训练模块继续输入气管镜图像，直至准确率不低于90％。

在另一实施例中，所述模型二的训练方法包括以下步骤：

步骤2.1，气管镜采集多张气管镜图像；通过人工标注的方式将图像区分为体内图像和体外图像，储存于体内/体外图像库中；

步骤2.2，气管镜继续采集更多张气管镜图像并输入给卷积神经网络训练模块；卷积神经网络训练模块以所述体内/体外图像库作为训练特征进行训练，将该更多张气管镜图像区分为体内图像和体外图像，作为卷积神经网络训练模块的训练结果；

步骤2.3，对卷积神经网络训练模块的训练结果的准确率进行人工验证，如准确率不低于90％，则卷积神经网络训练模块训练完成，得到输入层卷积神经网络模型的模型二；如准确率低于90％，则重复步骤2.2，向卷积神经网络训练模块继续输入气管镜图像，直至准确率不低于90％。

在另一实施例中，所述模型三的训练方法包括以下步骤：

步骤3.1，建立部位属性图像库，将代表气管不同部位的体内图像储存于部位属性图片库；

步骤3.2，向卷积神经网络训练模块输入多张体内图像，卷积神经网络训练模块以部位属性图片库作为训练特征进行训练，识别体内图像的所在部位，作为卷积神经网络训练模块的训练结果；

步骤3.3，对卷积神经网络训练模块的训练结果的准确率进行人工验证，如准确率不低于90％，则卷积神经网络训练模块训练完成，得到判断层卷积神经网络模型的模型三；如准确率低于90％，则重复步骤3.2，向卷积神经网络训练模块输入更多的体内图像，直至准确率不低于90％。

在另一实施例中，所述模型四的训练方法包括以下步骤：

步骤4.1，建立部位特征图像库，将代表不同部位特征信息的体内图像储存于部位特征图像库中；

步骤4.2，向卷积神经网络训练模块输入多张体内图像，卷积神经网络训练模块以部位特征图像库作为训练特征进行训练，识别体内图像的部位特征，作为卷积神经网络训练模块的训练结果；

步骤4.3，对卷积神经网络训练模块的训练结果的准确率进行人工验证，如准确率不低于90％，则卷积神经网络训练模块训练完成，得到判断层卷积神经网络模型的模型四；如准确率低于90％，则重复步骤4.2，向卷积神经网络训练模块输入更多的体内图像，直至准确率不低于90％。

本发明可以达到的技术效果是：

本发明通过对气管镜图像进行特征比对，能够对气管镜下中央型肺部肿瘤病灶部位进行识别，从而有助于识别良性和恶性风险病灶，并为后续手术方式提供指导。

本发明能够获取不同类别气管镜下病灶图像的特征，从而能够自动识别中央型肺部肿瘤出现的部位及良恶性风险病灶。本发明不仅可以更快更熟练地分析大量图像，而且测量水平也更为精细和快速，能够更全面、准确地发现并区分管腔内病灶的良恶性。

本发明通过对气管镜下中央型肺部肿瘤病灶部位进行识别判断，框出病变部位，并对病灶的良恶性进行判断，从而提高检查的准确率。

通过本发明可以对气管镜能检查到的部位图像进行识别，当发现病变部位时，系统会提示操作者，并对病变部位进行良恶性识别，实时显示病变的部位以及病变部位的良恶性，同时准确提取并储存病变部位的图像，提高气管镜下病灶识别的效率。

附图说明

本领域的技术人员应理解，以下说明仅是示意性地说明本发明的原理，所述原理可按多种方式应用，以实现许多不同的可替代实施方式。这些说明仅用于示出本发明的教导内容的一般原理，不意味着限制在此所公开的发明构思。

结合在本说明书中并构成本说明书的一部分的附图示出了本发明的实施方式，并且与上文的总体说明和下列附图的详细说明一起用于解释本发明的原理。

下面结合附图和具体实施方式对本发明作进一步详细的说明：

图1是本发明基于深度学习的气管镜图像特征比对标记系统的示意图；

图2是本发明的模型一的训练方法的流程示意图；

图3是本发明的模型二的训练方法的流程示意图；

图4是本发明的模型三的训练方法的流程示意图；

图5是本发明的模型四的训练方法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。

如图1所示，本发明基于深度学习的气管镜图像特征比对标记系统，包括输入层、判断层和输出层；

输入层，用于接收当前气管镜所采集的气管镜图像，并对所接收的气管镜图像进行合格/不合格以及体内/体外的识别，然后将合格的体内图像传递至判断层；输入层包括图像采集模块、输入层卷积神经网络模型；

图像采集模块，用于接收来自气管镜的图像；

输入层卷积神经网络模型包括模型一和模型二，模型一用于合格气管镜图像的识别，模型二用于体内/体外图像的识别；

模型一为根据合格图像库训练完成的卷积神经网络模型；模型二为根据体内/体外图像库训练完成的卷积神经网络模型；模型一和模型二为vgg16，采用python语言开发，封装成restfulapi(rest风格的网络接口)后被其他模块调用；

判断层，对来自于输入层的合格体内图像进行识别，判断该合格体内图像所对应的部位、判断是否存在病变部位以及病变部位的良恶性，将识别结果反馈给输出层；

判断层包括判断层卷积神经网络模型；判断层卷积神经网络模型包括模型三和模型四，模型三为根据部位属性图像库训练完成的模型，用于判断图像所对应的具体部位；模型四为根据部位特征图像库训练完成的模型，用于判断图像中是否存在病变部位以及病变部位的良恶性；

模型三和模型四为深度学习模型；优选地，模型三为vgg16，模型四为resnet50；采用python语言开发，封装成restfulapi(rest风格的网络接口)后被其他模块调用；

输出层，用于将来自于判断层的识别结果进行显示；输出层包括图像演示模块、部位显示图像、病灶显示图像；

图像演示模块能够将来自于判断层的识别结果与部位显示图像进行叠加展示，形成部位监测模式；部位监测模式以部位显示图像作为背景图，其上覆盖来自于判断层的识别结果，以表示气管镜操作已检查的部位；

图像演示模块还能够将来自于判断层的识别结果与病灶显示图像进行叠加展示，形成病灶监测模式；病灶监测模式以病灶显示图像作为背景图，其上覆盖来自于判断层的识别结果，以表示存在病变的部位；

作为一优选实施例，部位显示图像为表示各部位的图像，例如一张声门、气管及支气管的整体背景示意图，用于表示各个部位的png格式的示意图；

作为一优选实施例，病灶显示图像为一张标注有病变部位的红点图像。

本发明基于深度学习的气管镜图像特征比对标记方法，包括以下步骤：

步骤一，输入层的图像采集模块接收来自于气管镜所采集的气管镜图像，调用输入层卷积神经网络模型，对气管镜图像进行合格图像识别和体内/体外识别，然后将合格的体内图像上传到判断层；

对气管镜图像进行合格图像识别和体内/体外识别的方法如下：

将气管镜图像先输入至输入层卷积神经网络模型的模型一，模型一对该气管镜图像进行合格图像识别，判断其是否为合格图像，若不合格，则模型一将该气管镜图像标记为“不合格图像”作为输入层识别结果，并传输给输出层；若合格，则模型一将该气管镜图像标记为“合格图像”并传输给输入层卷积神经网络模型的模型二；

模型二对该合格图像进行识别，判断其是否进入体内，若识别为体外图像，则模型二将该合格图像标记为“体外图像”作为输入层识别结果，并传输给输出层；若识别为体内图像，则模型二将该合格图像标记为“体内图像”并传输给判断层；

步骤二，判断层接收合格的体内图像，调用判断层卷积神经网络模型，对合格的体内图像进行部位识别和病灶识别，从而识别出图像上的病变部位，得到判断层识别结果并传输给输出层；

对合格的体内图像进行部位识别和病灶识别的方法如下：

将合格的体内图像先输入至判断层卷积神经网络模型的模型三，模型三识别该合格的体内图像的具体部位，并进行标记，得到带有部位标记的合格体内图像，即部位标记图像；模型三将该部位标记图像传输给判断层卷积神经网络模型的模型四；

模型四识别该部位标记图像的部位特征，判断是否存在病变部位和病变部位的良恶性分析，并进行标记，得到带有特征标记的合格体内图像，即特征标记图像；模型四将该特征标记图像作为判断层识别结果传输给输出层；

步骤三，输出层接收判断层识别结果，分别调用部位显示图像和病灶显示图像进行叠加展示；

步骤四：使用矩形框，在图像上框出病变部位，并提示病变部位的良恶性。

模型一的训练方法如图2所示：

步骤1.1，气管镜采集多张气管镜图像；根据所采集的气管镜图像的分辨率，通过人工标注的方式将气管镜图像区分为合格图像和不合格图像，从而筛选出拍摄清楚的气管镜图像，储存于合格图像库中；

步骤1.2，气管镜继续采集更多张气管镜图像并输入给卷积神经网络训练模块；卷积神经网络训练模块以步骤1.1得到的合格图像库作为训练特征进行训练，将该更多张气管镜图像区分为合格图像和不合格图像，作为卷积神经网络训练模块的训练结果；

步骤1.3，对卷积神经网络训练模块的训练结果的准确率进行人工验证，如准确率不低于90％，则卷积神经网络训练模块训练完成，得到输入层卷积神经网络模型的模型一；如准确率低于90％，则重复步骤1.2，向卷积神经网络训练模块继续输入气管镜图像，直至准确率不低于90％。

模型二的训练方法如图3所示：

步骤2.1，通过人工标注的方式将合格图像区分为体内图像和体外图像，储存于体内/体外图像库中；

步骤2.2，将合格图像输入给卷积神经网络训练模块；卷积神经网络训练模块以步骤2.1得到的体内/体外图像库作为训练特征进行训练，将该合格图像区分为体内图像和体外图像，作为卷积神经网络训练模块的训练结果；

步骤2.3，对卷积神经网络训练模块的训练结果的准确率进行人工验证，如准确率不低于90％，则卷积神经网络训练模块训练完成，得到输入层卷积神经网络模型的模型二；如准确率低于90％，则重复步骤2.2，向卷积神经网络训练模块继续输入合格图像，直至准确率不低于90％。

模型一和模型二所采用的卷积神经网络训练模块可以相同。本发明所采用的用于图像识别的卷积神经网络训练模块采用现有技术深度学习模型，在此不再赘述。

模型三的训练方法如图4所示：

步骤3.1，建立部位属性图像库，将代表气管不同部位的体内图像储存于部位属性图片库；部位属性图片库中至少储存有声门、气管、隆突、左总支气管、左上叶、左上叶固有段、尖后段、前段、左上叶舌叶、上舌段、下舌段、左下叶、左下叶背段、左下叶前基底段、左下叶外基底段、左下叶后基底段、右总支气管、右上叶、右上叶尖段、右上叶后段、右上叶前段、右中间、右中叶、右中叶外侧段、右中叶内侧段、右下叶、右下叶背段、右下叶内基底段、右下叶前基底段、右下叶外基底段、右下叶后基底段共31个气管部位的图片；

步骤3.2，向卷积神经网络训练模块输入多张体内图像，卷积神经网络训练模块以部位属性图片库作为训练特征进行训练，识别体内图像的所在部位，作为卷积神经网络训练模块的训练结果；

步骤3.3，对卷积神经网络训练模块的训练结果的准确率进行人工验证，如准确率不低于90％，则卷积神经网络训练模块训练完成，得到判断层卷积神经网络模型的模型三；如准确率低于90％，则重复步骤3.2，向卷积神经网络训练模块输入更多的体内图像，直至准确率不低于90％。

模型四的训练方法如图5所示：

步骤4.1，建立部位特征图像库，将代表不同部位特征信息的体内图像储存于部位特征图像库中；部位特征信息可以包括不存在病灶、存在病灶、良性病灶、恶性病灶；

步骤4.2，向卷积神经网络训练模块输入多张体内图像，卷积神经网络训练模块以部位特征图像库作为训练特征进行训练，识别体内图像的部位特征，作为卷积神经网络训练模块的训练结果；

步骤4.3，对卷积神经网络训练模块的训练结果的准确率进行人工验证，如准确率不低于90％，则卷积神经网络训练模块训练完成，得到判断层卷积神经网络模型的模型四；如准确率低于90％，则重复步骤4.2，向卷积神经网络训练模块输入更多的体内图像，直至准确率不低于90％。

模型三和模型四所采用的卷积神经网络训练模块可以相同。本发明所采用的用于图像识别的卷积神经网络训练模块采用现有技术深度学习模型，在此不再赘述。

显然，本领域的技术人员可以对本发明进行各种改动和变形，而不脱离本发明的精神和范围。这样，倘若本发明的这些修改属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变形在内。