一种自动检测胶囊内窥镜视频异常段的方法与流程

本发明涉及一种自动检测胶囊内窥镜视频异常段的方法，属于人工智能。

背景技术：

1、传统内窥镜检查(如胃镜和结肠镜)需要将一根软管通过口腔或肛门插入患者的消化道，可能引起患者不适和痛苦。严重的情况下可能会导致并发症，如穿孔或出血。胶囊内窥镜技术是一种非侵入性医疗诊断工具，用于检查和诊断消化道疾病。其目的是提供一种非侵入性且更舒适的检查方法，而且该方法对传统内窥镜难以到达的小肠区域具备较好的检测效果。

2、虽然胶囊内窥镜有非侵入性、全面检查、方便性等诸多好处，但随之而来的是全面检查带来的至少6小时(最多为2天)的检测视频(包含上万甚至十万帧处于体内不同位置的视频帧)，这大大增加了医生阅片的工作成本，以及增加医生长时间阅片出错的概率。

3、深度学习是机器学习领域中一个重要的研究方向，旨在使机器学习更接近于人工智能的最初目标。其在胶囊内窥镜检测中的应用具有多项显著优点，如能够从大量的内窥镜图像中学习特征，自动识别病变区域，如息肉、溃疡和肿瘤，从而提高诊断的准确性。通过训练在多种病变情况下的图像，深度学习模型可以实现高灵敏度和特异性，减少漏诊和误诊的概率等。然而，其实现依赖于大量高质量的标注数据，这带来了高成本的问题。标注过程通常需要专业医生对每一帧内窥镜图像进行详细标注，识别和标记病变区域。这不仅耗时费力，而且需要高水平的专业知识，导致标注成本居高不下。

技术实现思路

1、为了解决目前采用深度学习模型对胶囊内窥镜检测视频进行异常检测存在的标注成本较高的问题，本发明提供了一种满足高准确性、高效率、具有自动检测胶囊内窥镜视频异常段的方法，通过搭建3d深度卷积神经网络模型，使用开源视频特征提取模型提取胶囊内窥镜视频的特征，然后通过低成本的视频级标注的含有异常的特征数据与正常视频特征数据进行训练，使用vision transformer中的特征分块模块提取输入数据的时空特征，然后数据依次通过线性嵌入模块、位置编码模块和多个编码器模块和一个分类头来确定该视频段的异常与否。最终，利用所述的异常检测结果结合原始视频在阅片软件中将胶囊内窥镜单次检测的异常段(若有)显示的标注出来，辅助医生阅片。

2、本发明基于弱监督的深度学习方法，使用标注成本极低的方式，提出了一种胶囊内窥镜视频异常检测的方法。

3、为了实现所述目的，本发明的技术解决方案如下：

4、一种自动检测胶囊内窥镜视频异常段的方法，包含胶囊内窥镜视频特征提取部分和视频异常检测部分，具体包括以下步骤：

5、步骤1，将待处理的胶囊内窥镜视频作为输入，利用图像处理的相关算法提取视频中的每一视频帧。

6、步骤2，将步骤1中得到的视频帧作为输入，将连续的n个视频帧分为一组，利用膨胀的三维卷积神经网络模型进行视频特征的提取，将处理后得到的特征矩阵保存为特殊格式的矩阵文件。

7、步骤3，将步骤2中得到的矩阵文件作为输入，利用胶囊内窥镜视频异常检测模型进行推理，对视频分割出的每一段特征进行检测，得到每一段的异常检测结果。

8、步骤4，利用步骤3中得到的结果，在胶囊内窥镜阅片软件中将存在异常的片段使用显目的方式标记出，辅助医生进行阅片工作。

9、进一步的，步骤1中涉及到的图像处理方法是利用opencv软件库中的视频提取技术读取视频，并将其每一帧都保存为jpeg格式的图像数据。

10、进一步的，将步骤1中得到的n个连续的视频帧分为一组，以张量的形式输入膨胀的三维卷积神经网络模型进行视频特征的提取，将处理后得到的特征矩阵保存为.npy格式的矩阵文件。

11、进一步的，步骤2所述的胶囊内窥镜视频异常检测模型包括特征分块模块、3d一维卷积模块、位置编码模块、编码器模块和分类模块；其中，所述特征分块模块采用图像分割算法将每帧图像的输入特征分割成m个大小固定的小块；所述3d一维卷积模块用于对相邻图像帧中的m个固定的小块进行卷积得到块向量；所述位置编码模块使用可学习的位置编码向量，为块向量添加对应的位置信息；所述编码器模块由多个transformer编码器层堆叠而成，用于对添加位置信息后的块向量进行编码；所述分类模块通过softmax函数得到每个类别的概率分布，选择概率最大的类别作为最终分类结果。

12、进一步的，利用步骤3中得到的结果，在胶囊内窥镜阅片软件中自动的将存在异常的片段标记出，辅助医生进行阅片工作。

13、与现有技术相比，本发明的有益效果是：本发明基于深度学习技术，使用弱监督的方式，使用极低的人工标注成本，实现了胶囊内窥镜视频异常检测的工作，与现有的有监督的学习方式相比，本发明在保证识别准确率优于大多数方法的同时，大大降低了模型训练的成本与训练时间，在推理方面通过类似于视频降帧的方法大大减少了模型的计算量，提升了运行的效率，同时又不完全等同于降帧，本发明的方法保留了视频中每一帧的特征，保留了视频的时空特征，亦提升了模型的准确率。特别的，通过在阅片软件上显示的标注出的胶囊内窥镜异常片段，减少医生阅片时的工作量，大幅度降低了医生阅片时间，并且一定程度上提升了阅片的准确性。

14、本发明通过对采用的神经网络模型进行剪枝，对采集的视频进行特征融合，解决了识别准确率和计算资源的冲突问题，提高了数据运算效率。

技术特征：

1.一种自动检测胶囊内窥镜视频异常段的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述步骤s2构建得到的胶囊内窥镜视频异常检测模型包括特征分块模块、3d一维卷积模块、位置编码模块、编码器模块和分类模块；其中，所述特征分块模块采用图像分割算法将每帧图像的输入特征分割成m个大小固定的小块；所述3d一维卷积模块用于对相邻图像帧中的m个固定的小块进行卷积得到块向量；所述位置编码模块使用可学习的位置编码向量，为块向量添加对应的位置信息；所述编码器模块由多个transformer编码器层堆叠而成，用于对添加位置信息后的块向量进行编码；所述分类模块通过softmax函数得到每个类别的概率分布，选择概率最大的类别作为最终分类结果。

3.根据权利要求2所述的方法，其特征在于，所述步骤s2中利用预先构建的胶囊内窥镜视频异常检测数据集进行训练时损失函数为：

4.根据权利要求3所述的方法，其特征在于，所述方法将时间边缘片段和遗漏的伪异常片段识别为困难异常片段，所述时间边缘片段指视频流中表示运动边缘或场景转换的时刻对应的图像帧，所述遗漏的伪异常片段指训练数据集中，两段异常片段之间未被模型识别为异常的片段。

5.根据权利要求4所述的方法，其特征在于，所述transformer编码器层包括多层感知机层、多头注意力机制层、卷积层和归一化层；其中多层感知机层通过激活函数引入非线性变换，使模型能够捕捉和表示复杂的非线性关系用于增强和转换特征表示，所述归一化层用于标准化输入数据或中间层的激活值，所述多头注意力机制层用于通过引入多个独立的注意力头来捕捉不同子空间的信息，所述卷积层用于使用3d卷积操作替代线性展平操作以保留时空信息。

6.根据权利要求5所述的方法，其特征在于，所述步骤s3中对训练后的胶囊内窥镜视频异常检测模型进行非结构化剪枝，包括：

7.根据权利要求6所述的方法，其特征在于，所述步骤s1中将待处理的胶囊内窥镜视频进行预处理包括：

技术总结
本发明公开了一种自动检测胶囊内窥镜视频异常段的方法，属于人工智能技术领域。所述方法通过搭建3D深度卷积神经网络模型，使用开源视频特征提取模型提取胶囊内窥镜视频的特征，然后通过低成本的视频级标注的含有异常的特征数据与正常视频特征数据进行训练，使用Vision Transformer中的特征分块模块提取输入数据的时空特征，然后数据依次通过线性嵌入模块、位置编码模块和多个编码器模块和一个分类头来确定该视频段的异常与否。最终，利用所述的异常检测结果结合原始视频在阅片软件中将胶囊内窥镜单次检测的异常段(若有)显示的标注出来，辅助医生阅片。

技术研发人员：吴金东,闫铭,张文斌
受保护的技术使用者：无锡复生智慧医疗科技有限公司
技术研发日：
技术公布日：2024/10/31