基于多模态特征提取的医学图像融合方法与流程

本发明涉及图像数据处理，特别涉及一种基于多模态特征提取的医学图像融合方法。

背景技术：

1、现今随着图像数据处理技术的飞速发展，大量的多模态医学图像可以通过各种不同的设备获得，对大量的多模态医学图像通过一定的算法进行特征提取，选择最能代表图像信息特征的参数进行融合与处理，得到一幅新的图像，实现图像之间的互补和冗余消除，从而帮助医生快速的从图像中读取病灶信息。

2、但目前对于医学图像的处理和融合，方式简单，在处理过程中并没有考虑原始医学图像存在的噪声，以及频带信息等，或者只通过常用的滤波去除噪声，但如此已不能满足现代图像特征提取准确性的高标准要求。

技术实现思路

1、本发明的目的在于对医学图像进行处理时，考虑噪声、特征信息、细节信息的提取，充分满足医学图像特征提取的高标准要求，提供一种基于多模态特征提取的医学图像融合方法。

2、为了实现上述发明目的，本发明实施例提供了以下技术方案：

3、基于多模态特征提取的医学图像融合方法，包括以下步骤：

4、步骤1，获取大量历史的原始医学图像，对每张原始医学图像的目标特征进行人工标注，形成第一训练集；

5、步骤2，对每张原始图像进行预处理，得到第一特征数据；

6、步骤3，获取第一特征数据的噪声数据，并去除噪声数据，得到第二特征数据；

7、步骤4，对第二特征数据进行剪切波变换，分别得到低频信息图像、高频信息图像；分别计算低频信息图像、高频信息图像的拉普拉斯能量和；使用稀疏表示对低频信息图像、高频信息图像进行融合，得到第三特征数据；

8、步骤5，将所述第一特征数据、第二特征数据、第三特征数据进行权重叠加融合，形成多模态医学图像；将多模态医学图像作为第二训练集，与所述第一训练集一同对特征提取神经网络进行训练。

9、所述步骤2中，预处理包括灰度值处理：

10、设置高位阈值chigh、低位阈值clow，将原始医学图像中像素值小于等于低位阈值clow的像素设置为0；将大于低位阈值clow且小于高位阈值chigh的像素根据高位阈值chigh、低位阈值clow和最大灰度值确定；将大于等于高位阈值chigh的像素设置为最大灰度值。

11、

12、其中，f(x,y)为原始医学图像中位置为(x,y)的像素值；g(x,y)为位置为(x,y)的像素点经过灰度值处理后的灰度值；max为原始医学图像中最大灰度值。

13、所述步骤2中，预处理还包括二值化处理：

14、

15、其中，thresholdc表示二值化图像；pixel表示灰度值；n_pixel表示灰度值为pixel的像素点数量；n表示原始医学图像中总的像素点数量；l表示灰度值取值的总数量，为256。

16、所述步骤2中，预处理还包括去伪影处理。

17、所述步骤3中，获取的噪声数据为：

18、

19、其中，noiser为噪声数据；n为像素点总数，i为第i个像素点，i∈n；a为积分下限，b为积分上限；x为第一特征数据的像素数据；为误差权重系数，gr为图像误差数据；为噪声种类权重系数，jr为噪声种类数量；为噪声权重系数，为噪声标准差；dr为第一特征数据；为曲线调整项。

20、所述步骤4中，计算低频信息图像的拉普拉斯能量和的步骤为：

21、

22、

23、

24、

25、其中，sml[f(x,y),ilow]为低频信息图像的拉普拉斯能量和公式；f(x,y)为像素点(x,y)的值；n为像素点总数，n1为像素点(x,y)向水平方向延伸的最大像素数，n2为像素点(x,y)向垂直方向延伸的最大像素数；为拉普拉斯算子；(i,j)为(x,y)向水平方向和垂直方向延伸后的像素点，f(i,j)为像素点(i,j)的值；step为步长，step=1；ilrs、imed为中间参数；为n个像素点的平均像素值。

26、所述步骤4中，计算高频信息图像的拉普拉斯能量和的步骤为：对高频信息图像进行拉普拉斯能量和的计算与低频信息图像相同，若有m张高频信息图像，则取m张高频信息图像的拉普拉斯能量和的平均值作为sml[f(x,y),ihigh]。

27、所述步骤4中，使用稀疏表示对低频信息图像、高频信息图像进行融合，的步骤，包括：

28、对低频信息图像进行线性表示，为低频信息图像的线性表示；

29、对高频信息图像进行线性表示，为高频信息图像的线性表示；

30、用二范数确定稀疏系数：

31、

32、使用稀疏系数对低频信息图像、高频信息图像进行表示，得到第三特征数据f3：

33、

34、其中，r为像素位置(x,y)；为低频图像信息的稀疏系数，为高频图像信息的稀疏系数；|| ||2表示二范数。

35、所述步骤5中，将所述第一特征数据、第二特征数据、第三特征数据进行权重叠加融合，形成多模态医学图像的步骤，包括：

36、

37、其中，w为融合后的多模态医学图像；、、分别为第一特征数据f1、第二特征数据f2、第三特征数据f3的权重系数；h为平滑系数；为误差项；为修正项。

38、所述步骤5中，特征提取神经网络的损失函数loss为：

39、

40、其中，x为原始医学图像总数，k为第k张原始医学图像；a(k)为第k张原始医学图像对应的第一训练集，b(k)为第k张原始医学图像对应的第二训练集；为折衷参数；、为用来平衡参数项的权重；i为目标特征的标签；y为原始医学图像的背景；|| ||1表示一范数；表示点运算。

41、还包括步骤6：将新采集的原始医学图像输入训练好的特征提取神经网络，输出原始医学图像中的目标特征。

42、与现有技术相比，本发明的有益效果：

43、本发明对医学图像进行处理时，考虑噪声、特征信息、细节信息的提取，充分满足医学图像特征提取的高标准要求。

技术特征：

1.基于多模态特征提取的医学图像融合方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的基于多模态特征提取的医学图像融合方法，其特征在于：所述步骤2中，预处理包括灰度值处理：

3.根据权利要求2所述的基于多模态特征提取的医学图像融合方法，其特征在于：所述步骤2中，预处理还包括二值化处理：

4.根据权利要求1所述的基于多模态特征提取的医学图像融合方法，其特征在于：所述步骤3中，获取的噪声数据为：

5.根据权利要求1所述的基于多模态特征提取的医学图像融合方法，其特征在于：所述步骤4中，计算低频信息图像的拉普拉斯能量和的步骤为：

6.根据权利要求1所述的基于多模态特征提取的医学图像融合方法，其特征在于：所述步骤5中，将所述第一特征数据、第二特征数据、第三特征数据进行权重叠加融合，形成多模态医学图像的步骤，包括：

7.根据权利要求1所述的基于多模态特征提取的医学图像融合方法，其特征在于：还包括步骤6：将新采集的原始医学图像输入训练好的特征提取神经网络，输出原始医学图像中的目标特征。

技术总结
本发明涉及图像数据处理技术领域，提出基于多模态特征提取的医学图像融合方法，包括步骤：对每张原始医学图像的目标特征进行人工标注，形成第一训练集；对每张原始图像进行预处理，得到第一特征数据；获取并去除第一特征数据的噪声数据，得到第二特征数据；对第二特征数据进行剪切波变换，分别得到低频信息图像、高频信息图像；分别计算低频信息图像、高频信息图像的拉普拉斯能量和；使用稀疏表示对低频信息图像、高频信息图像进行融合，得到第三特征数据；将所述第一特征数据、第二特征数据、第三特征数据进行权重叠加融合，形成多模态医学图像；将多模态医学图像作为第二训练集，与所述第一训练集一同对特征提取神经网络进行训练。

技术研发人员：周红艳,田超,周鹏,刘杰克,尹刚,匡平,赵宇倩,武文博,胡彬,杨学刚,高宇亮
受保护的技术使用者：四川省肿瘤医院
技术研发日：
技术公布日：2024/1/22