基于递归目标检测与语义分割的医疗影像关键点精确定位方法与流程

该发明属于医疗影像分析，特别是涉及使用递归目标检测结合语义分割的方法来实现医疗影像中关键点的快速且准确定位。

背景技术：

1、在现代医学诊断和治疗中，医学图像处理技术发挥着至关重要的作用。其中，医学图像分割被广泛视为计算机辅助诊断 (cad) 中的关键前置步骤。分割结果的准确性直接影响后续的图像诊断、特征提取及医疗决策支持，因此获得精确、可靠的分割结果是至关重要的。为应对这一挑战，研究者和工程师们提出了多种x光影像分割方法，从初步的阈值分割法和边缘分割法，发展到现在的深度学习技术，特别是神经网络模型。值得注意的是，神经网络模型能够在统一的架构下通过调整输入输出来满足不同数据集的实体划分需求，从而具备较高的可迁移性和泛化能力。

2、语义分割作为一类能够为目标物体的每一个像素提供标签的神经网络模型，在医学影像处理中展现出巨大潜力。与此同时，目标检测模型则专注于实现对目标的快速识别和分类。其中，全卷积网络 (fcn) 由long等于2015年首次提出，它是第一个将传统的卷积神经网络 (cnn) 末端的全连接层替换为反卷积层的模型，这使得输出从单一的分类标签变为了与输入图像同尺寸的heatmap，进而实现像素级的分类。此外，u-net，由ronneberger等于2015年提出，特别适用于医学影像分割任务。它的u型网络结构，特别是其encoder-decoder设计，使其成为分割领域的代表性工作。

3、近些年，随着医学影像和深度学习技术的不断发展，研究者们提出了多种改进的u-net结构，如unet++和r2u-net。这些改进模型旨在提供更精确的分割结果，同时考虑模型的计算效率和参数数量。例如，r2u-net在u-net的基础上，通过引入循环卷积层 (rcl) 来增加网络深度，而不增加额外的参数。

4、在目标检测领域，主流算法可大致划分为两类：one-stage和two-stage。前者，如yolo和ssd，旨在一步中确定目标的类别和位置；而后者，如r-cnn系列，将检测问题分为两个阶段：产生候选区域和对这些区域进行分类和定位。

5、总的来说，尽管语义分割以其卓越的精度在捕获目标轮廓方面被广大研究者所青睐，但这种方法也存在一系列的局限性和挑战。首先，复杂的模型结构不仅导致了较慢的识别速度，还使得模型的训练和部署需要大量的计算资源。这在一些实时或近实时的医学应用中可能导致不可接受的延迟，尤其是在紧急情况下。此外，为了获得更高的分割精度，模型常常需要大量的标注数据进行训练，这在医学影像领域是一大难题，因为标注过程既费时又费力，并且需要高度的专业知识。

6、相反，目标检测虽然在速度上展现了明显的优势，尤其是对于需要快速反馈的应用，但它在为医学图像提供精确边界信息，及高精度小范围兴趣区域定位方面却存在明显的短板。首先，仅仅依靠框架定位目标可能会忽略关键的形态信息。例如，诊断某些疾病，如肿瘤边缘的不规则性，需要对目标边缘的形态特征进行精确分析，而目标检测方法很难满足这一需求。其次，在很多医疗影像的局部目标检测任务中，尤其是当感兴趣的局部目标选框过小时，会遇到一个关键挑战。这些较小的目标选框内部的解剖学特征或几何特征在整体影像中可能会多次重复，而且这些重复可能以不同的大小和方向出现。这样的重复性导致算法很难精确定位真正需要的兴趣目标，从而可能产生误识别或遗漏。再者，目标检测算法在面对遮挡、重叠或模糊的医学图像时，可能会出现较大的误差，这进一步降低了其在复杂医学影像分析中的可靠性。

7、在医学影像处理领域，尽管现有的技术已经取得了显著的进步，但仍然存在明显的不足。特别是，如何在保证高分辨率、高精度的同时，满足实时性的需求，成为了业界亟待解决的问题。这也提醒我们，寻求一个全面、高效的解决方案来克服上述挑战，并满足临床诊断和治疗的实际需求，是当前和未来研究的重要方向。

技术实现思路

1、为了解决背景技术中存在的问题，本发明提出了一种先进的递归目标检测与语义分割相结合的影像识别方法，以实现对x光片影像的快速且准确分析。

2、递归目标检测: 本发明首先采用递归目标检测方法来缩小兴趣区域的大小。具体来说，通过递归方法逐步缩小目标检测框的大小，确保每一次目标检测框既包括了最终的兴趣目标，又确保框内的解剖学或几何特征与当前影像的其他区域相较而言是独特且唯一的。当一次目标检测完成后，会适当扩大这个框的范围以弥补目标检测算法的误差部分，确保尽可能完全覆盖目标，然后将其作为输入再次递归进入下一层的目标检测任务中。此过程将不断重复，直至目标区域内不再存在与最终目标区域的解剖学或几何特征相近的重复特征。

3、语义分割: 当递归目标检测算法确定了最终的兴趣区域后，这一区域将被输入到语义分割算法中以进一步进行精确定位。由于此时输入到语义分割的原始图像预计已经具有较为单一的形状且尺寸较小，所以分割的速度可以极快，同时所需的训练数据集也大大减少。

4、所述递归目标检测与语义分割的结合: 具体为首先利用递归目标检测缩小医学影像中的兴趣目标范围，并且每一次递归适当扩大结果目标选框的范围，以弥补检测结果的误差；然后再将缩小后的兴趣目标范围输入语义分割算法以进一步精确定位。

5、所述递归目标检测的实现过程为: 对医学影像进行多次目标检测，每次递归地缩小目标检测框的范围，直至框内的解剖学或几何特征相较当前影像其他区域为独特且唯一。

6、所述目标检测模型包括: 但不限于，基于resnet、r-cnn、fast r-cnn、faster r-cnn的神经网络模型。此模型用于准确定位识别目标在医学影像中的位置，排除其他目标的干扰信息，从而减少像素集并提升模型效率。

7、所述语义分割模型包括: 但不限于，基于u-net、fcn、segnet的神经网络模型。此模型用于精确定位识别目标所在的空间及其轮廓。

8、所述神经网络训练包括:

9、构建优化器；

10、构建损失函数；

11、采用已知图像数据和标签进行训练超参数，如批尺寸、学习率。

12、所述神经网络训练方式为: 以真实数据作为标签，使用反向传播算法训练卷积神经网络以建立医学影像与识别目标区域之间的关系。

13、采用本发明的优势效果在于: 首先，本发明采用递归目标检测的策略，大大增强了目标检测的精准度，减少了误识别和漏检的可能性。其次，通过与语义分割的结合，可以进一步提高边界的准确性，确保诊断的准确与可靠。最后，由于在进行语义分割前，已经大幅度地缩小了目标范围，使得整体识别速度更快，大大减少了训练所需的数据量。本发明成功地集合了目标检测和语义分割算法的优势，同时避免了二者的劣势。两者互相取长补短，即便是在较少的医疗训练数据集下，也能达到最终检测结果的快速、高效和精确，从而有效提高了医疗影像分析的效率。

技术特征：

1.一种医疗影像关键点的定位方法，其特征包括以下步骤:

2.根据权利要求1所述的医疗影像分析系统，其中，系统进一步包括一个数据库模块，用于存储经过递归目标检测模块处理后的每一层医疗影像数据，以供下一层递归调用、或语义分析。

3.根据权利要求1所述的定位方法，其中所述的目标检测模型包括但不限于基于resnet、r-cnn、fast r-cnn、faster r-cnn、dla等的神经网络模型。

4.根据权利要求1所述的定位方法，其中，在第d步进行语义分割时，使用的模型包括但不限于基于u-net、fcn、segnet等的神经网络模型。

5.根据权利要求1所述的定位方法，其中，所述的医疗影像包括但不限于x光片、mri、ct或超声影像等。

6.根据权利要求1所述的定位方法，其中，当进入到递归的下一层目标检测时，目标检测框的范围适当扩大的比例一般在2%-30%之间。

7.一种利用权利要求1至6中的任一要求所述的定位方法进行医疗影像关键点定位的系统。

技术总结
本发明提供了一种医疗影像关键点的定位方法，采用递归目标检测技术与语义分割算法。首先，通过递归目标检测逐步缩小目标区域，确保每一次检测框内的解剖学或几何特征相对于影像的其他区域是独特和唯一的。在每次目标检测后，适当扩大框的范围来补偿潜在的误差，并将其输入到下一层的递归目标检测中。此过程持续进行，直到选框中的兴趣目标形状是唯一的。如需更高精度，还可将确定的兴趣区域进一步通过语义分割算法进行定位。此发明能够提高医疗影像分析的速度和准确性，尤其在数据量较少的情况下，也能实现高效、准确的关键点定位。

技术研发人员：柴源,陈诗雨,柴世学,李卓宇
受保护的技术使用者：柴源
技术研发日：
技术公布日：2024/8/1