一种基于人工智能的肠镜合格退镜时间评估方法及系统与流程

本发明属于医疗图像分类领域，具体为一种基于人工智能的肠镜合格退镜时间评估方法及系统。

背景技术：

1、结直肠癌(crc)仍然是全球第三大最常见的恶性肿瘤和第二大癌症相关死亡原因。通过肠镜检查早期发现和切除癌前腺瘤是降低结直肠癌发病率和死亡率的关键措施。尽管肠镜检查在预防结直肠癌方面已被证实有效，但由于不同内镜医师的肠镜检查质量存在很大差异，肠镜检查中漏检了26％的腺瘤和9％的晚期腺瘤。漏检的病变可能促进结肠镜后crc(pccrc)的发展。因此，目前已建立了几个肠镜检查的质控指标，包括退镜时间、肠道准备质量、盲肠插管率，以提高腺瘤检出率(adr)，进而降低pccrc风险。

2、退镜时间定义为在没有干预的情况下，从盲肠到肛门结肠粘膜退镜检查所花费的时间。目前的指南建议最小退镜时间为6分钟，以确保充分的粘膜检查并增加adr。然而，最近的研究表明，较长的退镜时间(8-13分钟)可能会进一步增加adr，降低腺瘤漏诊率(amr)，这表明需要对结肠粘膜进行更细致的检查。尽管有这些发现，退镜时间是间接衡量质量的标准。其实际效果在于粘膜可视化的彻底性，特别是在检查腺瘤常隐藏的粘膜褶皱处所花费的时间。研究强调，增加粘膜暴露的技术对增加adr比仅延长退镜时间更为关键。有效的粘膜暴露可以在不影响病变检测的情况下显著减少粘膜检查时间。这些结果表明，有效检查时间比总退镜时间重要得多。然而，在常规实践中，实时准确地量化有效的粘膜检查时间仍然是一个很大的挑战。

3、近年来，随着人工智能(ai)的发展，将ai集成到医学成像检测中，在提高诊断准确性和操作质量方面显示出巨大的希望。在肠镜检查中，ai主要集中在息肉或腺瘤的实时检测和定性，展示操作标准化和减少操作员差异性的潜力。然而，利用人工智能计算有效粘膜观察时间并将其作为肠镜检查的质量控制指标进行验证的研究并不多见。

技术实现思路

1、本发明提出了一种基于人工智能的肠镜合格退镜时间评估方法。

2、实现本发明目的的技术方案为：一种基于人工智能的肠镜合格退镜时间评估方法，包括：

3、构建基于vit算法的检查图像质量评估模型及基于vit算法的检查图像盲肠识别模型并分别对检查图像质量评估模型、盲肠识别模型进行预训练；

4、通过内镜检查设备获取肠镜检查视频，将视频流解析为图片，并按照设定的速率截取图片；

5、利用盲肠识别模型对截取图片进行盲肠帧识别，确定退镜开始时间；

6、基于时序变化，检查图像质量评估模型对截取图片进行合格图像分类，计算肠镜退镜过程中合格图像的总数，确定实时合格退镜时间，及退镜结束时间。

7、优选地，对检查图像质量评估模型、盲肠识别模型进行预训练时的图像训练集具体为：

8、获取肠镜检查中采集的图片及视频资料并进行预处理及标注，分别构建检查图像质量评估模型训练集和盲肠识别模型训练集，其中检查图像质量评估模型训练集中图像分别标注为体外图像、非信息图像、异物图像、干预图像、不合格图像、合格图像；盲肠识别模型训练集中图像分别标注为盲肠图像、其他肠段图像。

9、优选地，获取肠镜检查中采集的图片及视频资料并进行预处理的具体方法为：

10、对肠镜检查视频进行全视频帧提取，并对全视频帧提取的图像以及采集的图像进行图像的有效区域截取，去除与识别任务无关的信息边框，使用opencv算法对具有高相似度图像进行去重复化处理，并将图像调整至统一大小。

11、优选地，检查图像质量评估模型包括transformer编码器、mlp分类头，其中，transformer编码器利用自注意力机制和前馈神经网络来捕捉和处理图像的全局特征，mlp分类头则基于编码器输出的特征向量，通过多层感知机将输入肠镜图像分类为体外图像、非信息图像、异物图像、干预图像、不合格图像、合格图像。

12、优选地，所述检查图像质量评估模型的输入为预处理后的非重叠图像块，每个图像块通过位置嵌入引入位置信息，所述检查图像质量评估模型的所有权重参数基于imagenet上进行预训练，然后迁移到收集的数据集上进行微调。

13、优选地，所述盲肠识别模型包括transformer编码器、mlp分类头，其中，transformer编码器利用自注意力机制和前馈神经网络来捕捉和处理图像的全局特征，mlp分类头则基于编码器输出的特征向量，通过多层感知机将输入肠镜图像分类为盲肠图像、其他肠段图像。

14、优选地，所述盲肠识别模型的输入为预处理后的非重叠图像块，每个图像块通过位置嵌入引入位置信息，所述检查图像质量评估模型的所有权重参数基于imagenet上进行预训练，然后迁移到收集的数据集上进行微调。

15、优选地，利用盲肠识别模型对截取图片进行盲肠帧识别，确定退镜开始时间的具体方法为：

16、利用盲肠识别模型对截取图片进行盲肠帧识别，在连续n张图像中识别到m张为盲肠图像，即确定为退镜开始时间点，之后即为肠镜检查退镜时间；利用检查图像质量评估模型对截取图片进行体外图像识别，在连续n张图像中识别到m张为体外图像，即确定为退镜结束时间点，停止计算肠镜检查合格退镜时间，n、m均为自然数，且n>m。

17、优选地，实时合格退镜时间具体为：

18、

19、本发明还提出了一种基于人工智能的肠镜合格退镜时间评估系统，包括：

20、图像输入模块，用于获取肠镜退镜图像及并对图像进行预处理；

21、盲肠识别模块，用于识别盲肠图像；

22、肠镜检查图像质量评估模块，用于识别合格图像以及体外图像；

23、综合质控模块，用于根据盲肠图像、合格图像以及体外图像识别结果确定，退镜开始时间和结束时间，以及合格退镜时间。

24、本发明与现有技术相比，其显著优点为：本发明可以自动分类肠镜检查图像，实时识别合格退镜图像，判断肠镜退镜开始与结束时间，从而计算合格退镜时间，有助于内镜医师肠镜对检查过程进行更为精确化质量评估，进一步规范肠镜退镜操作，从而提高内镜医师腺瘤检出。

25、下面结合附图对本发明做进一步详细的描述。

技术特征：

1.一种基于人工智能的肠镜合格退镜时间评估方法，其特征在于，包括：

2.根据权利要求1所述的基于人工智能的肠镜合格退镜时间评估方法，其特征在于，对检查图像质量评估模型、盲肠识别模型进行预训练时的图像训练集具体为：

3.根据权利要求2所述的基于人工智能的肠镜合格退镜时间评估方法，其特征在于，获取肠镜检查中采集的图片及视频资料并进行预处理的具体方法为：

4.根据权利要求1所述的基于人工智能的肠镜合格退镜时间评估方法，其特征在于，检查图像质量评估模型包括transformer编码器、mlp分类头，其中，transformer编码器利用自注意力机制和前馈神经网络来捕捉和处理图像的全局特征，mlp分类头则基于编码器输出的特征向量，通过多层感知机将输入肠镜图像分类为体外图像、非信息图像、异物图像、干预图像、不合格图像、合格图像。

5.根据权利要求4所述的基于人工智能的肠镜合格退镜时间评估方法，其特征在于，所述检查图像质量评估模型的输入为预处理后的非重叠图像块，每个图像块通过位置嵌入引入位置信息，所述检查图像质量评估模型的所有权重参数基于imagenet上进行预训练，然后迁移到收集的数据集上进行微调。

6.根据权利要求1所述的基于人工智能的肠镜合格退镜时间评估方法，其特征在于，所述盲肠识别模型包括transformer编码器、mlp分类头，其中，transformer编码器利用自注意力机制和前馈神经网络来捕捉和处理图像的全局特征，mlp分类头则基于编码器输出的特征向量，通过多层感知机将输入肠镜图像分类为盲肠图像、其他肠段图像。

7.根据权利要求1所述的基于人工智能的肠镜合格退镜时间评估方法，其特征在于，所述盲肠识别模型的输入为预处理后的非重叠图像块，每个图像块通过位置嵌入引入位置信息，所述检查图像质量评估模型的所有权重参数基于imagenet上进行预训练，然后迁移到收集的数据集上进行微调。

8.根据权利要求1所述的基于人工智能的肠镜合格退镜时间评估方法，其特征在于，利用盲肠识别模型对截取图片进行盲肠帧识别，确定退镜开始时间的具体方法为：

9.根据权利要求1所述的基于人工智能的肠镜合格退镜时间评估方法，其特征在于，实时合格退镜时间具体为：

10.基于权利要求1～9任一所述方法的基于人工智能的肠镜合格退镜时间评估系统，其特征在于，包括：

技术总结
本发明提出了一种基于人工智能的肠镜合格退镜时间评估方法，包括：构建基于ViT算法的检查图像质量评估模型及基于ViT算法的检查图像盲肠识别模型并分别对检查图像质量评估模型、盲肠识别模型进行预训练；通过内镜检查设备获取肠镜检查视频，将视频流解析为图片，并按照设定的速率截取图片；利用盲肠识别模型对截取图片进行盲肠帧识别，确定退镜开始时间；基于时序变化，检查图像质量评估模型对截取图片进行合格图像分类，计算肠镜退镜过程中合格图像的总数，确定实时合格退镜时间，及退镜结束时间。本发明可以自动分类肠镜检查图像，实时识别合格退镜图像，判断肠镜退镜开始与结束时间，从而计算合格退镜时间。

技术研发人员：王雷,李武军,唐德华,颜鹏,周劲东
受保护的技术使用者：南京鼓楼医院
技术研发日：
技术公布日：2024/12/10