基于多模态图像融合的图像处理方法及图像定位引导系统与流程

本发明涉及图像融合，具体为基于多模态图像融合的图像处理方法及图像定位引导系统。

背景技术：

1、随着医学成像设备种类的增多，采集的不同模态医学图像之间的融合会比单一图像更具信息的多样性。但由于图像信息的多样化，也在一定程度上影响医生的判断。

2、现有中国专利cn111325703b，该专利通过获取目标放疗部位的多模态图像集，同时，根据所述目标放疗部位的组织结构类型，确定所需进行融合的图像类型，并选取需要融合的图像类型进行图像融合，同时基于融合后的目标放疗部位的图像，进行操作，未解决由于图像信息的多样化，对医生的影响，存在一定的局限性。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了一种基于多模态图像融合的图像处理方法及图像定位引导系统，具备实时、准确等优点，解决了多模态图像融合后的图像影响判断的问题。

3、(二)技术方案

4、为解决上述多模态图像融合后的图像影响判断的技术问题，本发明提供如下技术方案：

5、本发明公开一种基于多模态图像融合的图像处理方法，具体包括以下步骤：

6、s1、建立多模态医学图像集，并选取其中需要融合的图像类型进行图像融合，得到融合后的多模态医学图像；

7、s2、对融合后的多模态医学图像进行医生评分，收集医生评分数据，并构建多模态医学图像样本集；

8、设定收集的对应多模态医学图像的医生评分数据的取值范围[1，5]；

9、设定“5分”表示图像质量优，不影响判断；

10、设定“4分”表示图像质量良，不影响判断；

11、设定“3分”表示图像质量较差，影响判断；

12、设定“2分”表示图像质量差，明显影响判断；

13、设定“1分”表示图像质量极差，无法判断；

14、s3、对构建的多模态医学图像样本集中融合后的多模态医学图像和对应的医生评分数据进行处理，得到处理后的组合医学图像的轮廓；

15、s4、通过图像采集设备，实时采集患者患处多模态医学图像并进行处理，得到实时采集的患者患处多模态医学图像的轮廓；

16、s5、将实时采集的患者患处多模态医学图像的轮廓和处理后的组合医学图像的轮廓进行对比，确定实时采集的患者患处多模态医学图像的类型。

17、本发明通过融合多模态医学图像，得到融合后的多模态医学图像并进行医生评分，并构建多模态医学图像样本集，同时对构建多模态医学图像样本集中的融合后的多模态医学图像和对应的医生评分数据进行处理，得到处理后的组合医学图像的轮廓，同时，对实时采集的患者患处多模态医学图像，使用同样的方式提取的采集的患者患处多模态医学图像的轮廓，并将实时提取的采集的患者患处多模态医学图像的轮廓和提取得到处理后的组合医学图像的轮廓进行对比，确定实时采集患者患处多模态医学图像的类型；

18、优选地，还包括s6、确定实时采集多模态医学图像的类型后，建立图像和患者之间的精准定位，并基于建立的定位进行治疗引导。

19、确定实时采集多模态医学图像的类型后，建立图像和患者之间的精准定位，并基于建立的定位进行治疗引导，提高了介入治疗引导的实时性和准确性。

20、优选地，所述对构建的多模态医学图像样本集中融合后的多模态医学图像和对应的医生评分数据进行处理包括以下步骤：

21、s31、对融合后的多模态医学图像对应的医生评分数据进行处理；

22、s32、对融合后的多模态医学图像进行轮廓提取，得到处理后的组合医学图像的轮廓。

23、优选地，所述对医生评分数据进行处理包括以下步骤：

24、s311、汇总每幅融合后的多模态医学图像对应的医生评分数据，并计算每幅融合后的多模态医学图像的主观分数；

25、主观分数计算公式如下所示：

26、

27、其中，表示计算得到的融合后的多模态医学图像的主观分数，ui表示第i位医生评分数据，t表示医生的数量；

28、设定融合后的多模态医学图像的主观分数阈值，去除主观分数低于设定的主观分数阈值的融合后的多模态医学图像；

29、s312、基于每幅融合后的多模态医学图像的主观分数，计算每幅融合后的多模态医学图像的客观评价分数；

30、基于每幅融合后的多模态医学图像的主观分数计算主观分数的标准差，计算公式如下：

31、

32、其中，σ表示计算得到的主观分数的标准差；

33、基于皮尔森相关系数计算医生评分数据的相关性，计算公式如下：

34、

35、其中，cov(x,y)表示医生x评分数据和医生y评分数据之间的协方差，σx表示医生x评分数据的标准差，σy表示医生y评分数据的标准差，ρx,y表示医生x评分数据和医生y评分数据之间的相关性；

36、设定医生评分数据之间的相关性阈值，去除低于设定阈值的融合后的多模态医学图像。

37、优选地，所述对融合后的多模态医学图像进行轮廓提取，得到处理后的组合医学图像的轮廓包括以下步骤：

38、s321、将融合后的多模态医学图像进行图像二值化处理；

39、选定初始灰度阈值k将多模态医学图像中所有像素分为两类c1和c2；

40、设定c1为小于或者等于灰度阈值k的像素类别，c2为大于灰度阈值k的像素类别；

41、设定像素类别c1的灰度均值为h1，像素类别c2的灰度均值为h2，全局灰度均值为h3；

42、设定融合后的多模态医学图像中像素属于像素类别c1的概率为p1，属于像素类别c2的概率为p2；

43、二值化处理公式如下所示：

44、h3＝h1×p1+h2×p2；

45、

46、其中，η表示二值化阈值；

47、将大于二值化阈值的灰度值设定为255，小于或者等于二值化阈值的灰度值设定为0；

48、汇总二值化处理后的融合后的多模态医学图像中的像素，得到二值化处理后的融合后的多模态医学图像；

49、s322、对二值化处理后的融合的多模态医学图像进行轮廓提取；

50、建立一个一维数组，记录二值化处理后的多模态医学图像每个像素点周围8个邻域的灰度值，当像素点周围8个邻域的灰度值和中心点的灰度值相同，则设定该像素点在物体内部，对该像素点进行删除；

51、当像素点周围8个邻域的灰度值和中心点的灰度值不相同，则设定该像素点在物体边缘，对该像素点进行保留；

52、遍历并汇总二值化处理后的融合后的多模态医学图像中的每个像素点，得到处理后的组合医学图像的轮廓。

53、本发明通过对每幅融合后的多模态医学图像对应多模态医学图像的医生评分数据进行处理的方式，计算每幅融合后的多模态医学图像客观评分，并对融合后的多模态医学图像进行处理，同时，对于处理后的融合后的多模态医学图像，通过轮廓提取的方式，提取处理后的融合后的多模态医学图像的轮廓，提高了介入治疗引导的准确性。

54、优选地，所述将实时采集的患者患处多模态医学图像的轮廓和处理后的组合医学图像的轮廓进行对比，确定实时采集的患者患处多模态医学图像的类型包括以下步骤：

55、s51、将实时采集的患者患处多模态医学图像的轮廓与处理后的组合医学图像的轮廓进行匹配；

56、s52、根据轮廓线的重合程度来确定实时采集的患者患处多模态医学图像的类型。

57、优选地，所述根据轮廓线的重合程度来确定实时采集的患者患处多模态医学图像的类型包括以下步骤：

58、设定处理后的组合医学图像的轮廓为lm，实时采集的患者患处多模态医学图像为d，实时采集的患者患处多模态医学图像的轮廓为ld；通过相似度函数s(θ)来判断轮廓图像lm、ld的重合程度；

59、

60、其中，s(θ)表示轮廓图像lm、ld的相似度，a0(θ)为两轮廓lm与ld重合部分的面积，a(lm)与a(ld)分别为对应轮廓的面积；0≤s(θ)≤1，s(θ)越大，lm和ld越相似，当lm和ld重合时，s(θ)＝1；

61、设定相似度阈值，当lm和ld相似度大于设定的阈值时，表示lm和ld类型一致。

62、本发明通过将实时提取的采集的患者患处多模态医学图像的轮廓与处理后的医学图像的轮廓进行匹配，通过轮廓对比的方式，计算两组轮廓图像的相似程度，并基于计算的相似程度判断实时采集患者患处多模态医学图像的类型，保证了介入治疗引导的准确性。

63、优选地，所述确定实时采集多模态医学图像的类型后，建立图像和患者之间的精准定位，并基于建立的定位进行治疗引导包括以下步骤：

64、s61、对患者的位置姿态进行测量，建立患者位置姿态的三维坐标系；

65、s62、基于建立的患者位置姿态的三维坐标系，将确定类型后的实时采集的患者患处多模态医学图像的轮廓投影到建立的三维坐标系中，并计算投影和三维坐标系之间的关系。

66、s63、基于计算投影和三维坐标系之间的关系，对患处进行实时采集、实时投影以及患处实时定位引导。

67、优选地，所述计算投影和三维坐标系之间的关系包括以下步骤：

68、计算投影和三维坐标系之间的关系如下所示；

69、设定q为患处在三维坐标系中的坐标，q为实时采集的患者患处多模态医学图像的轮廓在三维坐标系中的坐标；

70、q＝(xq,yq,zq,wq)；

71、q＝(xq,yq,wq)；

72、其中，xq,yq,zq分别表示患处在三维坐标系中的横、纵、竖坐标；xq,yq分别表示实时采集的患者患处多模态医学图像的轮廓在三维坐标系中的横、纵坐标，wq表示建立的三维坐标系的轴距参数，wq表示实时采集的患者患处多模态医学图像的轴距参数；

73、设定当wq＝wq时，实时采集的患者患处多模态医学图像的轮廓投影和建立的三维坐标系同轴；

74、当实时采集的患者患处多模态医学图像的轮廓投影和建立的三维坐标系同轴时，两组坐标之间的关系如下所示：

75、

76、其中，fx表示x轴相机焦距，fy表示y轴相机焦距，ex表示x轴上患处中心点横坐标，ey表示y轴上患处中心点纵坐标；表示旋转向量矩阵，r11表示旋转向量矩阵中的第一行第一列的旋转向量，表示平移向量矩阵，t1表示第一行的平移向量。

77、本发明通过对患者的位置姿态进行测量，建立患者位置姿态的三维坐标系，和通过将实时采集的多模态医学图像轮廓投影的方式，计算投影和三维坐标系之间的关系，完成投影和三维坐标系之间的转换，并实现对患处的精准定位，提高了介入治疗引导的实时性和准确性。

78、本发明公开一种基于多模态图像融合的图像定位引导系统，包括：融合评分模块、数据处理模块、轮廓提取模块、类型确定模块以及精准定位模块；

79、所述融合评分模块用于融合多模态医学图像，得到融合后的多模态医学图像并进行医生评分；

80、所述数据处理模块用于对采集的多模态医学图像和多模态医学图像的医生评分数据进行处理；

81、所述轮廓提取模块用于对处理后的多模态医学图像进行轮廓提取；

82、所述类型确定模块用于通过轮廓对比的方式确定实时采集的多模态医学图像的类型；

83、所述精准定位模块用于通过三维坐标转换以及实时采集投影的方式对患处进行精准定位。

84、(三)有益效果

85、与现有技术相比，具备以下有益效果：

86、1、该发明通过融合多模态医学图像，得到融合后的多模态医学图像并进行医生评分，并构建多模态医学图像样本集，同时对构建多模态医学图像样本集中的融合后的多模态医学图像和对应的医生评分数据进行处理，得到处理后的组合医学图像的轮廓，同时，对实时采集的患者患处多模态医学图像，使用同样的方式提取的采集的患者患处多模态医学图像的轮廓，并将实时提取的采集的患者患处多模态医学图像的轮廓和提取得到处理后的组合医学图像的轮廓进行对比，确定实时采集患者患处多模态医学图像的类型，同时确定实时采集患者患处多模态医学图像的类型后，建立图像和患者之间的精准定位，并基于建立的定位进行治疗引导，提高了介入治疗引导的实时性和准确性。

87、2、该发明通过对每幅融合后的多模态医学图像对应多模态医学图像的医生评分数据进行处理的方式，计算每幅融合后的多模态医学图像客观评分，并对融合后的多模态医学图像进行处理，同时，对于处理后的融合后的多模态医学图像，通过轮廓提取的方式，提取处理后的融合后的多模态医学图像的轮廓，提高了介入治疗引导的准确性。

88、3、该发明通过将实时提取的采集的患者患处多模态医学图像的轮廓与处理后的医学图像的轮廓进行匹配，通过轮廓对比的方式，计算两组轮廓图像的相似程度，并基于计算的相似程度判断实时采集患者患处多模态医学图像的类型，保证了介入治疗引导的准确性。

89、4、该发明通过对患者的位置姿态进行测量，建立患者位置姿态的三维坐标系，和通过将实时采集的多模态医学图像轮廓投影的方式，计算投影和三维坐标系之间的关系，完成投影和三维坐标系之间的转换，并实现对患处的精准定位，提高了介入治疗引导的实时性和准确性。