一种超声内镜下识别和定位胰腺癌的系统及方法与流程

本发明属于图像识别技术领域，涉及一种识别和定位胰腺癌的系统及方法，具体涉及一种超声内镜下识别和定位胰腺癌的系统及方法。

背景技术：

胰腺癌是一种恶性程度极高的消化系统肿瘤，号称“癌中之王“，早期缺乏特异性的临床表现，多数确诊时已是中晚期。肿瘤指标检查、腹部b超、ct、mri，甚至是当今新宠pet-ct已然成为胰腺癌早期筛查的常规套餐。然而，这些影像学技术对于等信号及直径小于2cm的胰腺病变漏诊率最高可达30％以上。因此，如何提高小胰腺癌早期诊断是当前临床实践中的重点任务。超声内镜，也就是通常所说的超声胃镜，是一种可在胃或十二指肠内以最近距离对胰腺进行个体化、实时扫查，可提供胰腺实质的高分辨率声像图，甚至检出直径小至5mm的胰腺异常回声，被认为是目前诊断胰腺肿瘤最敏感的方法之一。

然而，一方面医生解读超声内镜图像特征的水平受限于设备采集到的图像效果和主观因素，医生解读图像的准确度难以保证；另一方面，超声内镜下对胰腺癌人工定位费时费力，医生可能在判断位置时犹豫不决、消耗大量时间。以上原因往往造成超声内镜下，医生对胰腺癌诊断和定位困难甚至错误。

技术实现要素：

本发明要解决的技术问题是：提供一种基于深度学习的超声内镜下识别、定位胰腺癌的系统及方法，实时提示操作者所获取的超声内镜图像是否清晰，识别所探查到的胰腺部位是否有可能的癌症病灶，定位该病灶并反馈位置信息，以此来辅助诊断，提高超声内镜下胰腺癌识别和定位的准确度。

本发明的系统所采用的技术方案是：一种超声内镜下识别和定位胰腺癌的系统，其特征在于：包括客户端、服务端和数据库；

所述客户端，用于将超声内镜设备采集的超声内镜图像上传给所述服务端，并接收和显示所述服务端反馈的分析结果；

所述服务端，根据从客户端采集的超声内镜图像，即时判断图像中是否有可能的癌症病灶并得到其位置信息，将分析结果反馈给所述客户端；

所述数据库，用于存储超声内镜设备采集的图像、所述服务端反馈的分析结果。

本发明的方法所采用的技术方案是：一种超声内镜下识别和定位胰腺癌的方法，其特征在于，包括以下步骤：

步骤1：客户端将超声内镜设备采集的超声内镜图像上传给服务端；

步骤2：服务端接收超声内镜图像作为参数，先调用深度学习模型进行初步识别，再传到基于卷积神经网络的深度强化学习模型进行最终识别：

步骤3：基于卷积神经网络的深度强化学习模型识别出可能的癌症病灶后，定位模块对其定位得到其三维空间位置信息；

步骤4：客户端接收并显示分析结果；

步骤5：操作人员根据客户端显示的分析结果进行下一步操作：

当分析结果为不合格时，继续采集超声内镜图像；当采集到一系列连续的合格的超声内镜胰腺图像时，结束操作。

本发明的有益效果为：通过本发明对采集的图像进行图像质量识别、可能的癌症病灶识别和提供其三维空间位置信息，并在客户端进行显示，为操作者提供更为可靠的参考依据，提高检查的准确度和有效性，简单易用，自动定位相比人工定位省时省力，辅助识别提高了胰腺癌尤其是早期胰腺癌的检出率。

附图说明

图1为本发明实施例的系统结构框图；

图2为本发明实施例的卷积神经网络模型训练图；

图3为本发明实施例的深度强化学习模型训练图；

图4为本发明实施例的定位模块工作流程示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种超声内镜下识别和定位胰腺癌的系统，包括客户端、服务端和数据库；

客户端，用于将超声内镜设备采集的超声内镜图像上传给服务端，并接收和显示服务端反馈的分析结果；

本实施例至少包括一个客户端，每个客户端均包括通信模块和图像演示模块；其中，通信模块用于发送请求到服务端，及从服务端获取分析结果，具体实现为http通信方式；图像演示模块用于根据获取的分析结果，调用超声内镜实时采集的图像进行可能的癌症病灶标注并显示其三维空间位置信息。本实施例中，图像演示模块包括一张超声内镜实时采集到的胰头图像；用于表示可能的癌症病灶轮廓的红色标注线；从服务端得到的该病灶的三维空间位置信息。根据服务端发回的信息调用表示可能的癌症病灶轮廓的红色标注线在实时采集到的胰头图像上描线，同时在界面右上方显示该病灶的三维空间位置信息，以提示超声内镜操作正在检查的部位发现的可能的癌症病灶。

服务端，根据从客户端采集的超声内镜图像，即时判断图像中是否有可能的癌症病灶并得到其位置信息，将分析结果反馈给客户端；

本实施例的服务端，采用rest架构，服务端包括样本数据库、深度学习模型、基于卷积神经网络的深度强化学习模型、定位系统和web服务模块。

本实施例的样本数据库用于存储典型超声内镜下胰腺癌图像的样本，包括合格图片库和癌症病灶库，合格图片库中存储的是显示清楚的超声内镜下的胰腺图像，癌症病灶库中存储的是对合格图片中的各个部位的癌症病灶进行标注的图像，包含胰头库，胰颈库，胰体库，胰尾库；完整的对胰腺进行超声内镜检查应覆盖的部位有：胰头、胰颈、胰体、胰尾；若发现存在癌症病灶或者可疑的部位还需靠近进行更细节的探查。在本实施例中，所述的癌症病灶库中包含需要检查的所有部位，即：胰头、胰颈、胰体、胰尾；在进行可能的癌症病灶识别时，须先满足采集到的胰腺图像质量合格，若不合格，则发出提示给客户端。

本实施例的深度学习模型包括根据合格图片库和癌症病灶库训练好的两个卷积神经网络模型：胰腺图像是否合格模型和癌症病灶初步判断模型，分别用于超声内镜下的胰腺图像是否合格和初步的癌症病灶判断。模型可选用vgg-16或resnet-50或densenet，采用python语言开发，封装成restfulapi(rest风格的网络接口)后被其他模块调用。卷积神经网络模型的训练过程如图2所示，卷积神经网络模型用于图像识别领域为常规技术手段，在此不再复述；

本实施例的基于卷积神经网络的深度强化学习模型训练过程如图3所示，具体而言是要构建一个马尔科夫决策过程，对于一段连续的超声内镜图像，首先对其均匀采样，然后通过这个过程来对采样出来的图像进行不断调整，直到挑选出那些最有判别力的图像。将挑选出的图像送入一个图卷积神经网络中，从而得出可能的癌症病灶的最终判断。

本实施例的定位模块工作流程如图4所示，为在超声探头上安装的一个定位装置，记录探头移动的位置信息，每一帧超声内镜图像的每个像素点通过坐标变换获知其三维空间位置信息。在识别出的可能的癌症病灶的一系列连续的超声内镜图像中，通过深度学习自动选取感兴趣区域来进行图像分割，分割的图像区域中选取最高像素点作为标志位置点，结合其在原始帧超声内镜图像的空间位置信息得到可能的癌症病灶的三维空间位置信息。

本实施例的web服务模块用于接收客户端的请求，将接收到的超声内镜图像作为参数调用深度学习模型进行超声内镜下的胰腺图像是否合格和初步的癌症病灶判断，再传到基于卷积神经网络的深度强化学习模型得到最终分析结果，并同时读取定位系统得到的可能的癌症病灶的三维空间位置信息反馈给客户端。

本实施例的数据库，用于存储超声内镜设备采集的图像、服务端反馈的分析结果。

本发明提供的一种超声内镜下识别和定位胰腺癌的方法，包括以下步骤：

步骤1：客户端将超声内镜设备采集的超声内镜图像上传给服务端；

本实施例中，当操作者点击相应按钮时，会触发超声内镜设备的影像采集，客户端则被触发。

步骤2：服务端接收超声内镜图像作为参数，先调用深度学习模型进行初步识别，再传到基于卷积神经网络的深度强化学习模型进行最终识别：

本实施例调用深度学习模型进行初步识别，首先调用胰腺图像是否合格模型判断图像是否为合格图片(判断图像是否清晰完整能提供有价值的结构识别信息)，若不合格则输出分析结果为不合格；当图像判断为合格图片后，调用癌症病灶初步判断模型对该胰腺图像进行初步的癌症病灶判断。

深度强化学习模型将一系列连续的经过深度学习模型处理的图像数据关联起来，作出综合决策，判断一系列连续的超声内镜胰腺图像中可能的癌症病灶。

本实施例中，图片合格后，在初步判断的癌症病灶基础上，通过分析一系列连续的超声内镜胰腺图像来综合判断采集部位是否有可能的癌症病灶。

步骤3：基于卷积神经网络的深度强化学习模型识别出可能的癌症病灶后，定位模块对其定位得到其三维空间位置信息；

本实施例中，识别出可能的癌症病灶后，定位模块对每一帧超声内镜图像的每个像素点通过坐标变换获知其三维空间位置信息，经过深度学习自动选取感兴趣区域来进行图像分割等步骤，最终得到可能的癌症病灶的三维空间位置信息。

步骤4：客户端接收并显示分析结果；

根据获取的分析结果，调用超声内镜实时采集的图像进行可能的癌症病灶标注并显示其三维空间位置信息。在本实施例中，根据服务端发回的信息调用表示可能的癌症病灶轮廓的红色标注线在实时采集到的图像上描出其轮廓，同时在界面右上方显示可能的癌症病灶的三维空间位置信息。

步骤5：操作人员根据客户端显示的分析结果进行下一步操作：

当分析结果为不合格时，继续采集超声内镜图像；当采集到一系列连续的合格的超声内镜胰腺图像时，结束操作。

客户端实时记录采集的超声内镜胰腺图像的数量、服务端发回的可能的癌症病灶数量，并进行显示。

本发明具有如下优点：解决超声内镜图像识别困难，对医师水平要求高，容易出现图像盲点和错误诊断的问题，通过深度学习模型、基于卷积神经网络的深度强化学习模型对于采集的超声内镜图像进行即时识别图片质量、识别可能的癌症病灶，反馈其三维空间位置信息，在图像显示系统上进行实时提示，为医师提供准确可靠的参考，提高检测的准确度和有效性，简单易用，自动定位相比人工定位省时省力，辅助识别提高了胰腺癌尤其是早期胰腺癌的检出率。具有显著的社会及经济价值。一个服务器能够对应若干个客户端，每个客户端对应一台超声内镜设备。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。