一种超声医学影像的可视化三维重建方法及系统

本发明属于超声医学，具体是一种超声医学影像的可视化三维重建方法及系统。

背景技术：

1、超声成像是一种利用超声波对人体内部组织进行成像的技术。它通过将超声波发射到人体内部，然后接收反射回来的超声波信号，根据信号的时间、强度等信息，经过处理得到人体内部的图像。这种成像方式具有可重复性、方便性、无辐射性、价格低等优点，因此在临床诊断中得到了广泛应用。传统的二维超声影像每次只能采集检查部位的某个很小范围的切面信息。医生需要根据这些二维局部信息来推测组织器官或者病变区域的三维整体信息，并依此给出病情评估结果和治疗方案。然而，由于人体组织器官的结构复杂、形态多样和个体化差异性，即使是经验丰富的医生也可能难以仅根据二维超声影像做出全面而准确的分析。

2、为了解决二维超声影像的局限性，三维超声成像技术应运而生。三维超声成像技术可以直观地显示人体器官的立体形态及结构细节，有助于更全面地观察病灶细节。这种技术不仅提高了诊断的准确性和效率，还减少了医生的脑力负担。在三维超声成像技术的基础上，可视化三维重建方法被提出。这种方法通过获取扫描部位在不同采集角度下的二维超声图像，然后利用先进的图像处理算法和计算机图形学技术，将这些二维图像融合成三维模型。这个三维模型可以直观地显示人体器官的立体结构和病灶细节，为医生提供更准确、更全面的诊断信息。

3、尽管三维超声模型重建方法已经得到长足的发展，但仍然存在一些缺陷。由于二维超声图像的帧率较低，且二维超声图像是人体结构的切面特征点提取困难，使用像素法进行三维模型重建时容易造成模型模糊。为此有必要提出一种能够通过计算提高二维超声图像帧率，并且使用人工智能提取二维超声图像特征点进行匹配的超声医学影像的可视化三维重建方法及系统。

技术实现思路

1、为了解决上述问题，本发明的目的是提供一种超声医学影像的可视化三维重建方法及系统，通过使用卷积神经网络提取二维超声图像特征点并进行匹配，通过光流场修正得到间帧进行补帧，提高后续三维模型重建的精度，减少模型重建出现误差或模糊的概率。

2、为了实现上述目的，本发明的技术方案如下：一种超声医学影像的可视化三维重建方法，包括以下步骤，

3、步骤一，二维超声图像采集，使用配置有倾斜传感器和加速度传感器的手持式超声图像探头，以180°倾斜扫描、360°旋转扫描和病灶部分线性平移扫描的方式采集病灶区域带有运动标签的二维超声图像集合；

4、步骤二，二维超声图像预处理，将二维超声图像去噪并增强对比度；

5、步骤三，特征点搜索，使用经二维超声图像数据训练后的卷积神经网络对二维超声图像集合中的特征点进行提取和匹配，得到图像集合之间的特征点对，使用随机采样一致性策略根据特征点对的鲁棒性筛选得到特征点本质矩阵，从而剔除误匹配特征点对；

6、步骤四，运动补帧，输入带有运动标签的二维超声图像集合和超声图像帧间光流场，根据运动传感器数据修复帧间光流场得到若干二维超声图像间帧并补充进入二维超声图像集合；

7、步骤五，三维超声模型重建，使用函数法增量式重建三维超声模型，以步骤三中提取的特征点本质矩阵和扫描初始x轴和y轴的两幅二维超声图像开始重建，不断添加经补帧后的二维超声图像集合中的其他角度二维超声图像精细化重建的三维超声模型；

8、步骤六，三维超声模型后处理，通过提取得到的特征点矩阵对重建的三维超声模型进行图像分割，以分离并标记病灶，使用光线投射算法为模型叠加透明度和颜色，实现模型的拟真可视化。

9、基础方案的原理是：通过配置有倾斜传感器和加速度传感器的手持式超声图像探头，能够精确记录图像采集时的运动信息(如倾斜角度、旋转角度和平移距离)，这为后续的图像匹配和三维重建提供了关键的运动标签。使用经二维超声图像数据训练的卷积神经网络，能够高效地从图像中提取出具有代表性的特征点，并通过匹配算法找到图像间的对应关系。随机采样一致性策略则用于剔除误匹配的特征点对，确保特征点本质矩阵的准确性。基于运动传感器数据和帧间光流场的修复，可以填补图像序列中的时间或空间空白，生成更多的中间帧，从而增加三维重建的数据密度，提高模型的精度。采用函数法增量式重建，从初始的两幅二维图像开始，逐步添加其他角度的图像，利用特征点本质矩阵进行精确对齐，最终形成一个完整且精细的三维超声模型。

10、基础方案的有益效果是：1、通过采用卷积神经网络(cnn)进行特征点提取与匹配，相较于传统方法，能够更精确地识别并匹配二维超声图像中的关键特征点。这种高精度的特征点匹配为三维模型的精确重建提供了坚实的基础，有效减少了因特征点误匹配导致的三维模型误差。光流场修正技术的引入，进一步提升了帧间图像的连贯性和一致性，通过修复帧间光流场并补充缺失的间帧，使得三维重建过程中数据更加完整，从而显著提高了重建模型的精度和可靠性。

11、2、光线投射算法的应用，使得三维模型在视觉效果上更加真实、细腻，医生可以直观地观察到病灶的形态、大小、位置以及与其他组织结构的空间关系，为精准诊断提供了有力支持。通过图像分割技术将病灶区域从三维模型中分离并标记，不仅有助于医生快速定位病灶，还能在后续的治疗计划制定中提供重要的参考信息，进一步提升了诊断的准确性和实用性。

12、3、本发明的可视化三维重建方法及系统实现了自动化和智能化的处理流程，大大减少了人工干预的需求，从而提高了诊断的效率和速度。医生可以更加专注于对三维模型的分析和诊断，减少了繁琐的图像处理和模型重建工作。此外，通过提供直观、易理解的三维可视化模型，医生可以更快速地做出诊断决策，降低了误诊和漏诊的风险，同时也减轻了医生的工作负担。

13、进一步，步骤一中运动标签为拍摄当前二维超声图像时的超声图像探头的倾斜和加速度状态数据。

14、基础方案的有益效果是：1、运动标签包含了探头在采集图像时的精确运动信息，如倾斜角度、旋转速度以及加速度变化等。这些信息对于后续图像间的对齐和三维模型的重建至关重要。通过利用这些运动数据，可以更加准确地确定图像间的相对位置关系，从而减少因图像对齐不准确而导致的三维模型误差。

15、2、在特征点搜索和匹配过程中，运动标签可以作为额外的约束条件，帮助算法更加准确地匹配图像间的特征点。特别是在图像间存在较大差异或噪声干扰的情况下，运动标签能够提供额外的信息来支持特征点的正确匹配，从而提高匹配的鲁棒性和准确性。

16、3、运动标签还可以用于优化光流场修正和补帧过程。通过比较实际运动数据与光流场估计结果之间的差异，可以更加精确地修复帧间光流场，并生成更加准确的间帧。这有助于减少因光流场估计不准确而导致的补帧误差，从而提高三维模型的连续性和完整性。

17、进一步，步骤二中的图像去噪方法包括空间域滤波和频率域滤波，增强对比度方法包括灰度变换、直方图修正和图像锐化处理。

18、基础方案的有益效果是：1、通过直接分析图像像素与其邻域像素之间的关系，应用滤波器或卷积核来平滑图像，有效去除图像中的随机噪声，如椒盐噪声、高斯噪声等。部分空间域滤波方法，如中值滤波和保边滤波，能够在去除噪声的同时尽可能保留图像的细节和边缘信息，避免图像模糊。

19、2、将图像从空间域转换到频率域，噪声和图像信号被视为不同的频率成分。通过抑制高频噪声成分，可以保留低频的图像信号，实现去噪目的。频率域滤波方法可以根据噪声类型和图像特性灵活选择滤波器类型和参数，达到最佳的去噪效果。

20、3、通过调整图像的灰度级范围，使图像的对比度得到扩展，图像更加清晰、特征更加明显。灰度变换可以突出图像中的细节信息，使医生能够更清晰地观察到病灶区域的形态和结构。

21、4、通过重新分配图像的像素值，使图像的直方图更加均匀，从而提高图像的对比度和清晰度。直方图修正可以使图像的视觉效果更加生动、鲜明，提高图像的观赏性和可读性。

22、5、通过增强图像的边缘和细节信息，使图像轮廓更加清晰，病灶区域更加突出。锐化处理可以提高图像的分辨率，使医生能够更准确地判断病灶的大小、位置和形态。

23、进一步，步骤三中用于训练卷积神经网络的二维超声图像数据包括不同解剖结构和不同疾病类型的典型二维超声图像数据。

24、基础方案的有益效果是：1、通过包含不同解剖结构和疾病类型的图像数据，网络能够学习到更加广泛和多样的特征。这使得网络在面对新的、未知的超声图像时，能够更准确地提取和识别关键信息。

25、2、多样化的训练数据有助于网络适应各种图像变化和噪声干扰，从而提高其鲁棒性。在实际应用中，超声图像可能受到设备、操作员、患者等因素的影响而产生变化，而经过充分训练的cnn能够更好地应对这些挑战。

26、一种超声医学影像的可视化三维重建系统，包括图像采集模块、图像预处理模块、特征点搜索模块、图像补帧模块、模型重建模块和模型后处理模块，

27、图像采集模块，用于采集不同角度的二维超声图像以及对应的倾斜和加速度数据；

28、图像预处理模块，用于对采集的二维超声图像进行去噪和增强对比度处理；

29、特征点搜索模块，用于使用卷积神经网络提取和匹配二维超声图像中的特征点对，并剔除误匹配特征点，得到特征点本质矩阵；

30、图像补帧模块，用于输入倾斜和加速度数据和二维超声图像帧间光流场，修复得到二维超声图像间帧并按时间顺序插入二维超声图像集合；

31、模型重建模块，用于使用函数法增量式重建三维超声模型；

32、模型后处理模块，用于对重建的三维超声模型进行图像分割和标记，为模型叠加透明度和颜色。

33、基础方案的有益效果是：1、通过采集不同角度的二维超声图像以及对应的倾斜和加速度数据，为后续的三维重建提供了丰富的信息基础。这种多角度采集的方式有助于捕捉更多的解剖结构和病变细节，从而提高诊断的准确性。

34、2、对采集的二维超声图像进行去噪和增强对比度处理，可以显著改善图像的视觉质量。去噪处理能够减少图像中的噪声干扰，使图像更加清晰；而增强对比度处理则能够突出图像中的关键特征，使医生更容易识别病变区域。

35、3、使用卷积神经网络提取和匹配二维超声图像中的特征点对，并剔除误匹配特征点，得到特征点本质矩阵。这一过程有助于建立图像之间的对应关系，为后续的三维重建提供准确的参考。

36、4、通过输入倾斜和加速度数据和二维超声图像帧间光流场，修复得到二维超声图像间帧并按时间顺序插入二维超声图像集合。这一步骤能够填补图像序列中的缺失帧，使图像序列更加完整和连续，从而提高三维重建的精度和流畅性。

37、5、使用函数法增量式重建三维超声模型。这种方法能够根据二维超声图像序列逐步构建出三维模型，具有较高的重建效率和精度。同时，增量式重建方式还能够根据实际需求灵活调整重建的精度和范围。

38、6、对重建的三维超声模型进行图像分割和标记，为模型叠加透明度和颜色。这一步骤能够使三维模型更加直观和易于理解，有助于医生更好地观察和分析病变区域的结构和形态。同时，通过调整透明度和颜色等参数，医生还可以根据需要突出显示特定的解剖结构或病变区域。

39、进一步，图像采集模块包括手持式超声图像探头、倾斜传感器和加速度传感器，

40、手持式超声图像探头，用于采集患者体内病灶的二维超声图像；

41、倾斜传感器，用于采集手持式超声图像探头的倾斜状态数据；

42、加速度传感器，用于采集手持式超声图像探头的加速度状态数据。

43、基础方案的有益效果是：1、通过直接接触患者体内病灶，能够实时、准确地采集到高质量的二维超声图像。这种直接采集的方式减少了图像传输和转换过程中的失真和误差，提高了图像的精度和可靠性。倾斜传感器能够精确记录探头在采集图像时的倾斜角度和倾斜方向。这一数据对于后续的三维重建至关重要，因为它提供了图像间的空间关系信息，有助于确保重建的三维模型与实际情况一致。加速度传感器能够实时监测探头的加速度变化，包括速度和加速度的大小和方向。这一数据有助于识别探头在采集过程中的运动轨迹和速度变化，为后续的图像对齐和三维重建提供重要的参考信息。

44、2、通过将倾斜和加速度数据与二维超声图像相结合，可以更加准确地确定图像间的相对位置关系，从而减少因图像对齐不准确而导致的三维模型误差。这有助于提高三维重建的准确性和可靠性。倾斜和加速度数据为图像对齐提供了额外的约束条件，有助于加快图像对齐的速度，提高三维重建的效率。这对于实时或准实时三维重建应用尤为重要。

45、3、手持式超声图像探头使得医生能够更加方便地进行图像采集，不受固定设备的限制。这种设计提高了系统的适用性和灵活性，使得医生能够在不同的临床环境中进行超声检查。倾斜和加速度传感器能够实时采集数据，与超声图像同步记录。这使得医生能够即时获取探头的运动信息，有助于更好地控制图像采集过程，提高用户体验。

46、进一步，图像预处理模块包括去噪单元和图像增强单元，

47、去噪单元，用于对二维超声图像进行滤波去噪；

48、图像增强单元，用于增强二维超声图像的对比度。

49、基础方案的有益效果是：1、通过对二维超声图像进行滤波去噪，可以显著减少图像中的噪声成分。这些噪声可能来源于设备本身、环境干扰或患者体内的不规则运动等。去噪处理能够使图像更加清晰，减少干扰信息，有助于医生更准确地观察和分析病灶情况。图像增强单元增强二维超声图像的对比度，有助于突出图像中的关键信息。在超声图像中，不同组织和病变区域的灰度值可能相近，导致图像细节模糊。通过增强对比度，可以使这些区域之间的灰度差异更加明显，从而提高图像的识别度和可读性。

50、2、在后续的特征点搜索、图像补帧和模型重建等步骤中，需要依赖准确的图像信息。去噪和增强处理能够提升图像质量，从而提高这些步骤的准确性和可靠性。高质量的图像可以减少后续处理中的计算复杂度。例如，在特征点搜索过程中，清晰的图像可以更容易地找到准确的特征点，从而减少搜索时间和计算资源。

51、进一步，特征点搜索模块包括卷积神经网络和特征点匹配单元，

52、卷积神经网络，用于提取二维超声图像中的特征点并进行配对；

53、特征点匹配单元，用于筛选得到特征点本质矩阵，剔除误匹配特征点对。

54、基础方案的有益效果是：1、利用深度学习的强大能力，卷积神经网络能够自动学习并提取二维超声图像中的特征点。这些特征点通常是图像中的关键结构或病变区域的标识，对于后续的三维重建至关重要。通过卷积神经网络的精确提取，可以确保特征点的准确性和代表性。特征点匹配单元在提取特征点之后，特征点匹配单元负责将这些特征点在不同图像之间进行匹配。通过计算特征点之间的相似度或距离，可以筛选出正确的匹配对，并剔除误匹配的特征点对。这一过程有助于确保后续三维重建的准确性和稳定性。

55、2、准确的特征点提取和匹配是三维重建的基础。通过特征点搜索模块，可以确保在三维重建过程中使用的特征点是准确且可靠的。这有助于提高三维模型的精度和准确性，使医生能够更准确地观察和分析患者体内的病灶情况。在特征点搜索过程中，卷积神经网络和特征点匹配单元能够高效地处理大量图像数据。通过优化算法和加速计算，可以显著减少三维重建过程中的计算复杂度和时间成本。

56、3、卷积神经网络具有强大的自适应能力，可以处理不同质量、不同角度和不同光照条件下的二维超声图像。这使得特征点搜索模块能够在各种临床环境中稳定运行，为医生提供可靠的诊断支持。在特征点提取和匹配过程中，特征点搜索模块能够自动剔除误匹配的特征点对。这有助于减少因图像噪声、干扰或患者体内不规则运动等因素导致的错误匹配情况，从而提高系统的抗干扰能力和稳定性。

57、进一步，图像补帧模块包括间帧修正单元和顺序插帧单元，

58、间帧修正单元，用于根据二维超声图像帧间光流场和相关的运动传感器数据修正得到间帧；

59、顺序插帧单元，用于将修正得到的间帧按时间顺序插入二维超声图像集合。

60、基础方案的有益效果是：1、间帧修正单元通过分析二维超声图像帧间的光流场，即图像中像素运动的趋势和速度，来捕捉图像序列中的动态变化。同时，结合运动传感器数据(如加速度传感器和倾斜传感器提供的数据)，间帧修正单元能够更准确地预测和修正图像帧之间的过渡状态。这种修正有助于生成更加自然、连贯的间帧，从而减少了因帧率不足而导致的视觉跳跃和卡顿现象。

61、2、顺序插帧单元将修正后的间帧按照时间顺序插入到原始的二维超声图像集合中，从而实现了帧率的提升。插入的间帧能够平滑地连接相邻的原始帧，使得整个图像序列看起来更加流畅和连贯。

62、进一步，模型后处理模块包括图像分割单元和体积渲染单元，

63、图像分割单元，用于对三维超声重建模型中的病灶区域和特征区域进行图像分隔并标记；

64、体积渲染单元，用于对三维超声重建模型叠加透明度和颜色。

65、基础方案的有益效果是：1、图像分割单元能够自动识别并分隔出三维超声重建模型中的病灶区域和特征区域。这种精确的分隔有助于医生更清晰地识别和理解病灶的形态、位置和大小，从而提高诊断的准确性。通过对分隔出的区域进行标记，图像分割单元能够为医生提供直观的视觉引导，帮助他们快速定位和分析关键信息。

66、2、体积渲染单元通过叠加透明度和颜色，使三维超声重建模型呈现出更加立体、逼真的视觉效果。这种效果有助于医生更好地感知和理解模型中的结构和细节。体积渲染技术允许医生从多个角度和视角观察三维模型，从而更全面地了解病灶的形态和位置。