图像融合方法、图像融合装置及计算机可读存储介质与流程

本申请涉及图像处理，特别是涉及一种图像融合方法、图像融合装置以及计算机可读存储介质。

背景技术：

1、荧光显影剂能通过注射的方式，自动聚集到肿瘤等病变部位。注入目标血管和组织的荧光显影剂吸收近红外光后释放出不同波长荧光，利用镜头感受器捕捉荧光信号得到荧光图像。

2、荧光图像能很好的反应病灶的大小和位置，但无法直观的显示当前场景；可见光图像能很好的反应当前场景的纹理和细节，但无法呈现可见光谱外的图像信息，医生常常需要结合二者信息从而更加精确的做出诊断。然而，目前关于可见光图像和荧光图像的融合图像存在颜色不可控、融合图像中荧光路可解释性不强、融合后纹理特征缺失等问题，导致图像融合后显示效果和细节都大打折扣。

技术实现思路

1、本申请提供了一种图像融合方法、图像融合装置以及计算机可读存储介质。

2、本申请提供了一种图像融合方法，所述图像融合方法包括：

3、获取相同区域的可见光图像和荧光图像；

4、利用所述荧光图像的第四通道值，以及第一通道融合曲线，对所述可见光图像的第一通道值进行调节，得到第一融合通道值；

5、利用所述荧光图像的第四通道值、所述可见光图像的第二通道值，和/或所述可见光图像的第三通道值通过第二通道融合曲线进行融合，得到第二融合通道值；

6、利用所述荧光图像的第四通道值、所述可见光图像的第二通道值，和/或所述可见光图像的第三通道值通过第三通道融合曲线进行融合，得到第三融合通道值；

7、利用所述第一融合通道值、所述第二融合通道值以及所述第三融合通道值生成所述可见光图像和所述荧光图像的融合图像。

8、其中，所述第一通道融合曲线包括第一通道调节曲线和第一通道映射曲线；

9、所述利用所述荧光图像的第四通道值，以及第一通道融合曲线，对所述可见光图像的第一通道值进行调节，得到第一融合通道值，包括：

10、利用所述第一通道调节曲线对所述第四通道值进行调节，得到第四通道强度；

11、利用所述第一通道映射曲线以及所述第四通道强度，对所述第一通道值进行映射，得到映射后的第一融合通道值。

12、其中，所述第一通道调节曲线和所述第一通道映射曲线的曲线类型为：取反曲线、单调曲线、倒数曲线、对数曲线、指数曲线，或者以上任意两种或两种以上的曲线的融合曲线。

13、其中，所述利用所述荧光图像的第四通道值、所述可见光图像的第二通道值，和/或所述可见光图像的第三通道值通过第二通道融合曲线进行融合，得到第二融合通道值，包括：

14、将所述荧光图像的第四通道值作为所述第二通道融合曲线的输入数据，融合得到所述第二融合通道值；

15、或者，将所述可见光图像的第二通道值作为所述第二通道融合曲线的输入数据，融合得到所述第二融合通道值；

16、或者，将所述可见光图像的第三通道值作为所述第二通道融合曲线的输入数据，融合得到所述第二融合通道值；

17、或者，将所述荧光图像的第四通道值、所述可见光图像的第二通道值和所述可见光图像的第三通道值按照预设权重融合，得到加权融合通道值，将所述加权融合通道值作为所述第二通道融合曲线的输入数据，融合得到所述第二融合通道值。

18、其中，所述第二通道融合曲线的输入和所述第三通道融合曲线的输入不同，和/或所述第二通道融合曲线的曲线类型和所述第三通道融合曲线的曲线类型不同。

19、其中，所述获取相同区域的可见光图像和荧光图像之后，所述图像融合方法还包括：

20、将所述可见光图像从第一色域转换为第二色域进行图像融合；

21、所述利用所述第一融合通道值、所述第二融合通道值以及所述第三融合通道值生成所述可见光图像和所述荧光图像的融合图像之后，所述图像融合方法还包括：

22、将所述融合图像从所述第二色域转换为所述第一色域；

23、将所述第一色域的融合图像与所述第一色域的可见光图像进行融合，得到最终的融合图像。

24、其中，所述将所述第一色域的融合图像与所述第一色域的可见光图像进行融合，得到最终的融合图像，包括：

25、利用所述荧光图像的第四通道值经过第四通道融合曲线映射得到融合权重；

26、按照所述融合权重将所述第一色域的融合图像与所述第一色域的可见光图像进行融合，得到最终的融合图像。

27、其中，所述获取相同区域的可见光图像和荧光图像之后，所述图像融合方法还包括：

28、获取所述可见光图像每一通道的高亮区；

29、将所述每一通道的高亮区进行融合，得到所述可见光图像的高亮区；

30、对所述可见光图像的高亮区以外的区域进行图像融合。

31、其中，所述获取所述可见光图像每一通道的高亮区，包括：

32、获取所述可见光图像的第二通道的过渡带上限和过渡带下限；

33、将所述第二通道值低于所述过渡带下限的像素点的区域设置为高亮区；

34、将所述第二通道值高于所述过渡带上限的像素点的区域设置为非高亮区；

35、将所述第二通道值在所述过渡带上限和所述过渡带下限之间的范围的像素点按照预设过渡曲线的高亮概率设置为高亮区或非高亮区。

36、本申请还提供了一种图像融合装置，所述图像融合装置包括处理器和存储器，所述存储器中存储有程序数据，所述处理器用于执行所述程序数据以实现如上述的图像融合方法。

37、本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现上述的图像融合方法。

38、本申请的有益效果是：图像融合装置获取相同区域的可见光图像和荧光图像；利用所述荧光图像的第四通道值，以及第一通道融合曲线，对所述可见光图像的第一通道值进行调节，得到第一融合通道值；利用所述荧光图像的第四通道值、所述可见光图像的第二通道值，和/或所述可见光图像的第三通道值通过第二通道融合曲线进行融合，得到第二融合通道值；利用所述荧光图像的第四通道值、所述可见光图像的第二通道值，和/或所述可见光图像的第三通道值通过第三通道融合曲线进行融合，得到第三融合通道值；利用所述第一融合通道值、所述第二融合通道值以及所述第三融合通道值生成所述可见光图像和所述荧光图像的融合图像。通过上述方式，图像融合装置将可见光图像和荧光图像进行融合，使得融合后的图像既有可见光的纹理信息，又有荧光信息，提高图像的显示效果和细节。

技术特征：

1.一种图像融合方法，其特征在于，所述图像融合方法包括：

2.根据权利要求1所述的图像融合方法，其特征在于，

3.根据权利要求2所述的图像融合方法，其特征在于，

4.根据权利要求1所述的图像融合方法，其特征在于，

5.根据权利要求4所述的图像融合方法，其特征在于，

6.根据权利要求1所述的图像融合方法，其特征在于，

7.根据权利要求6所述的图像融合方法，其特征在于，

8.根据权利要求1所述的图像融合方法，其特征在于，

9.根据权利要求8所述的图像融合方法，其特征在于，

10.一种图像融合装置，其特征在于，所述图像融合装置包括处理器和存储器，所述存储器中存储有程序数据，所述处理器用于执行所述程序数据以实现如权利要求1-9任一项所述的图像融合方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现权利要求1-9任一项所述的图像融合方法。

技术总结
本申请提供一种图像融合方法、图像融合装置以及计算机可读存储介质。该图像融合方法包括：利用荧光图像的第四通道值，以及第一通道融合曲线，对可见光图像的第一通道值进行调节，得到第一融合通道值；利用第四通道值、可见光图像的第二通道值，和/或可见光图像的第三通道值通过第二通道融合曲线进行融合，得到第二融合通道值；利用第四通道值、可见光图像的第二通道值，和/或可见光图像的第三通道值通过第三通道融合曲线进行融合，得到第三融合通道值；生成可见光图像和荧光图像的融合图像。通过上述方式，图像融合装置将可见光图像和荧光图像进行融合，使得融合后的图像既有可见光的纹理信息，又有荧光信息，提高图像的显示效果和细节。

技术研发人员：黄诗瑶,张东,冉昭,王松
受保护的技术使用者：浙江大华技术股份有限公司
技术研发日：
技术公布日：2024/1/15