胶囊内镜系统及其运行区域检测图片的位置识别方法与流程

本发明涉及医疗器械及图像识别技术领域，特别涉及一种胶囊内镜系统及其运行区域检测图片位置识别方法，用于对胶囊采集到的图片位置进行自动识别，从而对胶囊是否完成整个运行区域检查提供依据。

背景技术

物体内部(特别是生物体内部)，由于存在个体差异，如何对其内部结构进行位置识别一直是本领域技术人员研究的问题。

近年来，随着计算机人工智能和大数据深度学习领域的发展，给智能医学领域注入了新的技术力量。

例如，在本发明的一种应用场景中：利用胶囊内镜检查消化道时，现有的一种方法为磁控胶囊通过体外磁场来对磁控胶囊进行控制，主动实现对人体胃部的自动检查，通过医生实时观察胶囊在体内采集图片的信息，来判断磁控胶囊当前采集图片的位置，进而判断是否完成整个胃部检查，这种判断方法比较依赖医生的经验以及主观判断，效率较慢且容易出错。

本文的优先权文件(申请号：201711027594.5，名称：一种消化道解剖位置识别方法及装置)中提出了一种消化道解剖位置识别方法及装置，该方法包括:获取训练集和测试集；选取基于深度学习框架的深度网络模型作为当前深度网络模型，利用训练集对当前深度网络模型进行训练，利用测试集测试训练后的当前深度网络模型得到当前深度网络模型的识别精度数据，判断该识别精度数据是否符合预设精度要求，若是，则完成训练，若否，则确定对训练后的当前深度网络模型进行调整后得到的深度网络模型为当前深度网络模型，返回执行利用训练集对当前深度网络模型进行训练的步骤；将胶囊内镜采集的消化道解剖图片输入至训练完成的深度网络模型，得到深度网络模型输出的该消化道解剖图片对应的消化道解剖位置，实现了胶囊在体内的精确定位。但是这种方法采用了传统的网络模型训练即随机赋予网络初始值的方式，不能够满足样本较少的区域(比如贲门、胃角)的判断，降低了判断的准确性。

技术实现要素：

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种磁控胶囊内镜系统及其运行区域检测图片的位置识别方法。

为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种磁控胶囊运行区域检测图片的位置识别方法，其包括如下步骤：

s1，选取数据：选取磁控胶囊已经拍摄的其运行区域不同位置的多张图像，每一张图像对应的运行区域位置可辨认且图像不带有拍摄时间先后顺序特征；

s2，将步骤s1选取的图像进行分类，并对分类后的图像添加表示其不同位置的标记，将标记后的图像分为训练集和测试集，所述训练集中图像和测试集中图像无重叠；

s3，对位置识别网络模型进行预训练：采用自然场景数据进行网络模型权重初始化，在初始化基础上使用已有的包含海量样本的数据集训练调节网络权重，使深度网络适应各种自然场景的分类；

s4，对位置识别网络模型逐层调节：采用预训练模型和训练集中不同位置图像对网络逐层调节训练，具体为先锁定模型的卷积层，训练全链接层，从上到下逐层放开卷基层进行训练，获得位置识别网络模型并设定为当前深度网络模型；

s5，利用训练集对当前深度网络模型进行训练，利用测试集测试训练后的当前深度网络模型得到当前深度网络模型的识别精度、灵敏度、特异性之一或它们的任意组合，判断识别精度、灵敏度、特异性是否符合预设要求，若是，则确定训练后的当前网络模型为完成训练的深度网络模型，若否，则确定对训练后的当前深度网络模型进行调整后得到的深度网络模型为当前深度网络模型，返回步骤s5的开始位置继续利用所述训练集对当前深度网络模型进行训练；

s6，使用胶囊进行检查时，将胶囊内镜采集的图片输入至训练完成的深度网络模型，得到深度网络模型输出的该图片对应的位置。

本发明的磁控胶囊运行区域检测图片的位置识别方法对磁控胶囊采集到的图片位置进行自动识别，对胶囊是否完成整个运行区域检查提供依据。

本发明采用对位置识别网络模型进行预训练，在训练集中数据较少时仍然能够进行深度网络训练，采用了基于大量自然图像首先对网络模型进行初步训练得到一个基础网络模型，进而再采用训练出的基础网络模型来对磁控胶囊采集到的图像进行训练的方法，并采用了逐层参数训练法，从而得准确度高的深度网络模型。采用该种方法，能够满足样本量相对较少的解剖位置的自动识别。减少了标注训练数据需要的时间和人力，降低了人力负担，提高了效率。

为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一种胶囊内镜系统，其包括胶囊内镜、外部控制装置和处理器；所述胶囊内镜包括图像采集单元；所述外部控制装置控制胶囊运动；所述处理器包括位置识别单元，所述胶囊内的图像采集单元采集图像信息并传输给处理器，所述处理器内的位置识别单元利用本发明的方法分类并识别图片所表示的位置。

本发明通过对胶囊采集到的图像位置进行自动识别，并根据预存在智能提示检查单元中各个位置信息，自动显示是否完成检测，若存在某一个或者多个位置没有通过位置识别单元检测到，则提示漏检的部位，最大程度来减少操作过程中的漏检率。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明磁控胶囊运行区域检测图片的位置识别方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明提供了一种胶囊运行区域检测图片的位置识别方法，如图1所示，其包括如下步骤：

s1，选取数据：选取磁控胶囊已经拍摄的其运行区域不同位置的多张图像，每一张图像对应的运行区域位置可辨认且图像不带有拍摄时间先后顺序特征。

s2，将步骤s1选取的图像进行分类，并对分类后的图像添加表示其不同位置的标记，将标记后的图像分为训练集和测试集，所述训练集中图像和测试集中图像无重叠。

s3，对位置识别网络模型进行预训练：采用自然场景数据进行网络模型权重初始化，在初始化基础上使用已有的包含海量样本的数据集训练调节网络权重，使深度网络适应各种自然场景的分类。

s4，对位置识别网络模型逐层调节：采用预训练模型和训练集中不同位置图像对网络逐层调节训练，具体为先锁定模型的卷积层，训练全链接层，从上到下逐层放开卷基层进行训练，获得位置识别网络模型并设定为当前深度网络模型。

s5，利用训练集对当前深度网络模型进行训练，利用测试集测试训练后的当前深度网络模型得到当前深度网络模型的识别精度、灵敏度、特异性之一或它们的任意组合，判断识别精度、灵敏度、特异性是否符合预设要求，若是，则确定训练后的当前网络模型为完成训练的深度网络模型，若否，则确定对训练后的当前深度网络模型进行调整后得到的深度网络模型为当前深度网络模型，返回步骤s5的开始位置继续利用所述训练集对当前深度网络模型进行训练。

在本实施方式中，识别精度＝识别出的测试集中所有真阳性图片数/测试集中标记出的所有图片数，真阳性是指被检出为正确的图片。

灵敏度＝自动识别出的某位置的真阳性图片数/标记出的对应位置的图片张数*100％。

特异性＝自动识别出的某位置的真阴性图片数/标记出的其他位置对应的图片张数，其中，真阴性是指该位置之外的其他位置被正确排除的图片。

本发明中，利用所述训练集对当前深度网络模型进行训练包括:将所述训练集中包含的图片组合成多个子训练集，其中每个子训练集包含的图片不完全相同；利用所述多个子训练集分别训练当前深度网络模型得到对应的多个深度网络模型，并利用所述测试集分别对该多个深度网络模型进行测试得到对应深度网络模型的识别精度，选取对应识别精度表明识别精度最高的深度网络模型为利用所述训练集对当前深度网络模型进行训练后的当前深度网络模型。

s6，使用胶囊进行检查时，将胶囊内镜采集的图片输入至训练完成的深度网络模型，得到深度网络模型输出的该图片对应的位置。

以胶囊内镜对胃部检查为例，首先由临床医生将不同解剖位置的胶囊内镜图像挑选出来，依据为单张图像的解剖位置可明显辨认。为了排除时间关联的影响，将所有图片顺序打乱，再由医生进行分类，将不同解剖位置的单张图片分别归类到不同类别的文件夹中。

然后对上述不同类别的文件夹进行编号，如0,1,2，...，不同数字表示不同的解剖部位，如贲门，胃底，胃体，胃角，胃窦，幽门等。若某一患者数据要作为测试使用，则训练的图像数据需要排除该患者图像，将剩下的患者图像合并为训练数据集。

由于标注用于训练的数据需要耗费大量的时间和人力，为了克服标注的数据量不足以满足深度网络训练的要求。本发明对网络初始化训练采用了自然场景数据来进行网络权重初始化，首先采用了imagenet数据来对模型进行初始化，在本实施例中，采用了imagenet1000个类的网络，也可以加载训练好的imagenet模型。在imagenet的基础上，采用海量数据调节网络权重，例如使用places365数据集训练(1000万张图片)调节网络权重。使网络能能够更好的适应各种自然场景的分类问题。最后再用磁控胃胶囊数据逐层调节与训练模型网络。采用这种方式优点在于：当人工标记的胃部解剖位置图片数据不足或者图片数据量不足以满足深度网络训练的要求时，利用现有的自然图像数据库来对网络模型进行初始化和权重调节，再利用相对人工标记出的胃部位置图片数据库来对网络进行逐层调节，可以得到相对较好的网络训练结果，这样对于医学领域中目前没有形成统一的病例数据集的情况或者某一些解剖位置类别图片数据较少的情况，是一种较好的基于大数据的深度网络学习模式。

为了克服模型生成中的一些问题包括：训练数据太少、内镜图像呈现不同的变化状态、模型过拟合。本发明中可以对训练集和测试集中包含的图像进行预设角度旋转处理、图像增强处理、预设范围的图像平移处理、预设范围的图像剪切和预设范围的图像缩放处理。例如：180度随机图像旋转保证模型适应图像旋转；±20％范围内图像随机左右平移；±20％范围内图像随机上下平移；±20％范围内图像随机剪切变换,±20％范围内图像随机缩放。

胃部位置识别网络模型逐层调节过程为：除了第一次完全从数据训练网络以外，采用与训练模型和胃部不同位置图片数据对网络的训练均采用逐层调节方法。具体做法上，先锁定模型的卷积层，训练全链接层；在实验条件较好即胃部解剖图片数据量较大的情况下，从上到下逐层放开卷基层进行训练，以获得适应于胃部解剖位置识别的网络模型。

数据测试：通过读取每张图像并判断类别,最后将每个病人的图像测试结果与标注结果进行比对，计算模型的检测性能。对于分类别检测最重要的评价指标主要包括：精度、灵敏度、特异性。检测系统的统计性能是将多个病人测试的精度、灵敏度、特异性做平均。若统计性能指标满足预先设定要求，则所述深度网络模型可以用于后期产品用，若不满足要求，则需要对网络模型进行调参或者模型网络结构进行调整。

对于不断进行调整和训练得到的满足要求的深度网络模型，加载到本文所述的处理器中位置识别单元，供处理器实时调用。由胶囊采集到每张图像，都通过处理器中的位置识别单元进行分类，并统计每一种解剖位置识别出的已检图像张数，若达到预设条件，则将该类解剖位置进行保存，并标记为已检位置存储在消化道已检部位存储模块中。本发明预设条件根据解剖位置的不同而不同，并且根据临床实际操作得到的经验数据。如胃角、贲门位置由本系统得到的图片数量相对较少，一般设置为10张左右，而对于胃底，胃体，胃窦区域，采集到的图像数量较多，一般设置为100张以上。从而判断是否已经对该部位进行了检测。

本发明中还可以具有如下步骤：判断识别出的位置是否满足预设条件，若是，则保存该解剖位置，所述预设条件为每个位置对应的待检测图像张数，设定不同位置对应的待检图像张数不同。

本发明还提出了一种胶囊内镜系统，其包括胶囊内镜、外部控制装置和处理器；胶囊内镜包括图像采集单元；外部控制装置控制胶囊运动；处理器包括位置识别单元，胶囊内的图像采集单元采集图像信息并传输给处理器，处理器内的位置识别单元本发明的方法分类并识别图片所表示的位置。

在本实时方式中，可以采用磁控胶囊或者其他控制方式控制胶囊的运行，以磁控胶囊为例，胶囊内镜包括胶囊外壳、光照单元、图像采集单元、微处理器、收发单元、加速度传感器、磁场传感器、内部磁体、电池。其中，加速度传感器用于胶囊自身加速度向量的检测，磁场传感器用于胶囊当前位置处由外部磁场发生器产生的磁场向量。

外部控制装置为外部磁场装置，外部磁场装置包括外部磁场发生装置；外部磁场发生装置用于产生外部驱动磁场，对胶囊内镜产生拉力和扭矩力，从而驱动胶囊运动。内部磁场检测装置(胶囊内镜中的内部磁体)检测胶囊所处位置的磁场强度，外部磁场检测装置检测外部磁场发生装置产生的磁场强度，内部磁场检测装置和/或外部磁场检测装置将检测结果传输给外部磁场发生装置，调控外部磁场发生装置产生的磁场。

处理器包含胶囊解剖位置识别单元及智能提示检查单元。还是以检测消化道为例，胶囊解剖位置识别单元根据胶囊采集到的消化道图片，对消化道解剖位置进行分类，采用本发明的深度学习方法，自动识别图片表示的消化道解剖位置，胶囊解剖位置识别单元包括图片识别模块和已检部位存储模块。图片识别模块根据本发明的方法对接收到的图片分类、识别图片表示的位置；图片识别模块判断识别出的位置是否满足预设条件，若是，则将已识别的位置及其对应的图片传输给已检部位存储模块进行存储。预设条件为每个不同的解剖位置待检的图像张数，不同的解剖位置设定的待检图像张数不同，对于解剖位置比如胃角、贲门设置的待检图像张数相对较少，而对于胃底、胃体、胃窦等位置设置的待检图像张数相对较多。智能提示检查单元用于对胶囊是否完成了预设解剖位置进行判断，若是，则提示完成整个胃部检查，若否，则提示尚未检查到的胃部解剖位置，为医生操作过程中提供检查依据。

在本实施方式中，处理器还包括智能提示检查单元，智能提示检查单元内预存有所有的位置信息，图片识别模块识别出位置并传输给智能提示检查单元，智能提示检查单元判断胶囊是否完成了预设位置的检查，若是，则提示完成检查，若否，则提示尚未检查到的位置。

智能提示检查单元用于对胶囊是否完成了预设解剖位置进行判断，所述预设解剖位置在本文实施例中包含贲门、胃底、胃体、胃角、幽门、胃窦几大部位，当然，对于解剖位置的分类可以比上述所列举位置更粗略或者更详细，都在本发明所保护范围内。通过对来自消化道已检部位存储模块中的结果进行比较，若已检部位全部包含了预设解剖位置，则提示完成整个胃部检查，若已检部位少于预设解剖位置，则提示本次检查尚未检查到的胃部解剖位置，为医生操作过程提供检查依据，减少因为操作带来的漏检。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。