一种基于深度学习的肠镜下克罗恩病辅助诊断系统及方法与流程

本发明属于图像识别技术领域，涉及一种医疗内窥镜影像识别系统及方法，具体涉及一种基于深度学习的肠镜下克罗恩病辅助诊断系统及方法。

背景技术：

随着深度学习算法不断发展、日益成熟，已经逐步用于医疗影像分析领域。内窥镜影像是医生分析病人消化道疾病的重要依据，近年来开发出了多种利用深度卷积神经网络模型对病灶的筛选、诊断方法在目前有关肠镜诊断系统在临床上具有重要意义。

克罗恩病是非连续性全层炎症，其肠镜下表现呈节段性或跳跃性，而不呈连续性；可形成纵行或者裂隙溃疡；病变累及肠壁全层，肠壁增厚变硬。克罗恩病与肠结核、缺血性结肠炎、嗜酸性细胞肠炎、淋巴瘤等疾病在内镜下表现非常相似，因而给克罗恩病的诊断带来很大困难。另外，临床医师在内镜操作中依据自己经验对可疑病灶区域的判断，并将图像抓取下来保存到内镜报告系统中，再由诊断医生根据这些抓取的影像出具诊断报告。肠镜检查退镜观察时间通常只有6～7分钟，受制于操作医师的工作状态、经验影响，容易出现将重点病变部位漏掉情况，这将导致临床医生对病变无法做出全面准确的评估。

目前公开的相关肠镜辅助系统及方法，只关注如何识别已经由操作医师采集的图像中，是否包含病灶及如何提高对单张目标克罗恩病图像识别的精度，并未能考虑自动采集最有价值影像及防止检查盲点。

技术实现要素：

本发明主要是解决传统肠镜报告系统依赖人工采图，容易出现部位检查盲点和可疑病灶区域漏掉的问题，利用图像识别技术，实时监测内镜视频，自动采集包含重点器官部位和可疑克罗恩病灶区域的影像，并按照加权算法全局择优之后，保存到肠镜报告系统中，同时给出是否为克罗恩病的诊断。

本发明的系统所采用的技术方案是：一种基于深度学习的肠镜下克罗恩病辅助诊断系统，其特征在于：包括肠镜图像自动采集子系统、数据库、客户端和服务端；

所述肠镜图像自动采集子系统用于采集肠镜图像；

所述数据库包括用于训练卷积神经网络的样本集，包括医生标注的合格图片集和不合格图片集；其中合格图片集又包括部位识别的正常肠道图片集、回盲瓣和阑尾开口图片集、克罗恩病病灶的图片集和其他肠道疾病病灶图片集；

所述客户端用于将肠镜图像自动采集子系统采集的肠镜图像上传给所述服务端，并接收和显示所述服务端反馈的分析结果。

本发明的方法所采用的技术方案是：一种基于深度学习的肠镜下克罗恩病辅助诊断方法，其特征在于，包括以下步骤：

步骤1：客户端接收肠镜图像自动采集子系统采集的肠镜图像，然后上传到服务端；

步骤2：服务端接受客户端传来的图片作为请求信息而激活视频接收模块，启用卷积神经网络模块依次调用图像合格性判别模型、克罗恩病灶判别模型，进行图像是否合格判别、图像部位判别和图片是否包含克罗恩病灶判别；并输出结果给肠镜报告模块；

步骤3：肠镜报告模块，记录卷积神经网络模块的每一次的判别结果，当本次肠镜检查完成之后，按照置信度和图片质量排序，输出阑尾开口、回盲瓣部位的图像和n张包含可疑病灶的图像；并输出是否为克罗恩病的诊断，将上述报告结果发送给客户端图像展示模块；

步骤4：图形展示模块接收步骤3返回的识别结果，并显示在图形界面上，同时显示相关文字信息。

本发明具有如下优点：解决传统肠镜统依赖人工采图，容易出现图像采集不全或者图像模糊不合格，利用神经网络模型对图像进行自动图像筛选后，能够从全局视频中提取最有价值图像，并给出辅助诊断，为医生诊断提供更可靠、高效的支持。

附图说明

附图1是本发明实施例的系统结构图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

克罗恩病可发生在任何年龄，男女患病率近似，且近年来其发病率有持续增多趋势，其内镜下的表现为其肠镜下表现呈节段性或跳跃性，而不呈连续性；可形成纵行或者裂隙溃疡；病变累及肠壁全层，肠壁增厚变硬。克罗恩病与肠结核、缺血性结肠炎、嗜酸性细胞肠炎、淋巴瘤等疾病在内镜下表现非常相似，因而给克罗恩病的诊断带来很大困难。提高克罗恩病发现比率的关键是肠镜的大面积普查，但是一方面传统的肠镜检查的痛苦是很多人望而生畏，另一方面在做肠镜检查的时候，针对设备传回的连续影像，医生要直接筛选出病灶图片，形成报告。但是这么多图像，医生从中筛选出病灶图片是很需要经验的，而有经验的医生又是缺乏的。

目前有关肠镜诊断系统及应用仅用于收集和管理影像，需要医生对影像进行人工鉴别，对医师的经验、状态都有着极大的依赖，客观上制约了对影像资料的充分利用。而且一名内镜操作经验丰富的医师培养需要较长的时间，也对基层医疗机构承担起分级诊疗政策指导下的疾病初诊都造成了一定压力。

请见图1，本发明提供的一种基于深度学习的肠镜下克罗恩病辅助诊断系统，包括肠镜图像自动采集子系统、数据库、客户端和服务端；

肠镜图像自动采集子系统用于采集肠镜图像；

数据库包括用于训练卷积神经网络的样本集，包括医生标注的合格图片集和不合格图片集；其中合格图片集又包括部位识别的正常肠道图片集、回盲瓣和阑尾开口图片集、克罗恩病病灶的图片集和其他肠道疾病病灶图片集；

客户端用于将肠镜图像自动采集子系统采集的肠镜图像上传给服务端，并接收和显示服务端反馈的分析结果。

本实施例的客户端包括通信模块和图像展示模块；通信模块用于发送请求到服务端，及从服务端获取分析结果；图像展示模块，用于接收服务端的判别结果，并将其显示以图文信息表达：构建一个结肠的虚拟图像，初始状态下为灰色，将检测是否出现滑镜带来的漏诊，并提示是否成功回镜。

本实施例的服务端包括视频接收模块、卷积神经网络模块、肠镜报告模块；视频接收模块，通过视频采集卡，连接肠镜图像自动采集子系统的bnc接口，用于接收肠镜图像自动采集子系统采集的肠镜图像，调用卷积神经网络模块；卷积神经网络模块，包括图像合格性判别模型、克罗恩病灶判别模型，用于判别图像的合格性、是否存在克罗恩病灶；肠镜报告模块，用于记录卷积神经网络模块的每一次的判别结果，当本次肠镜检查完成之后，按照置信度和图片质量加权之后进行排序，输出是否为克罗恩病的诊断。

本实施例的图像合格性判别模型实例：输入一张图像，输出该图片合格或不合格的概率；

本实施例的克罗恩病灶判别模型实例：输入一张图像，输出该图片是否包含病灶及概率；

本实施例的模型可选用vgg-16或densenet，采用python语言开发，封装成restfulapi(rest风格的网络接口)后被其他模块调用。卷积神经网络模型用于图像识别领域为常规技术手段，在此不再复述。

本发明提供的一种基于深度学习的肠镜下克罗恩病辅助诊断方法，包括以下步骤：

步骤1：客户端接收肠镜图像自动采集子系统采集的肠镜图像，然后上传到服务端；

步骤2：服务端接受客户端传来的图片作为请求信息而激活视频接收模块，启用卷积神经网络模块依次调用图像合格性判别模型、克罗恩病灶判别模型，进行图像是否合格判别、图片是否包含克罗恩病灶判别；并输出结果给肠镜报告模块；

步骤3：肠镜报告模块，记录卷积神经网络模块的每一次的判别结果，当本次肠镜检查完成之后，按照置信度和图片质量排序，输出是否为克罗恩病的诊断，将上述报告结果发送给客户端图像展示模块；

步骤4：图形展示模块接收步骤3返回的识别结果，并显示在图形界面上，同时显示相关文字信息。

本发明解决了传统肠镜报告系统依赖人工识别，容易出现图像盲点和病灶漏诊断问题，利用神经网络模型对图像进行检测，同时智能识别肠镜检查中的重要部位，给出是否为克罗恩病的辅助诊断，形成了简单易用的基于深度学习的肠镜图像辅助诊断系统。具有显著的社会及经济价值。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。