基于格拉姆矩阵与风格域转换的近红外荧光成像方法

所属的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。下面参考图5，其示出了用于实现本技术方法、系统、装置实施例的服务器的计算机系统的结构示意图。图5示出的服务器仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。如图5所示，计算机系统包括中央处理单元(cpu，central processing unit)501，其可以根据存储在只读存储器(rom，read only memory)502中的程序或者从存储部分508加载到随机访问存储器(ram，random access memory)503中的程序而执行各种适当的动作和处理。在ram 503中，还存储有系统操作所需的各种程序和数据。cpu501、rom 502以及ram503通过总线504彼此相连。输入/输出(i/o，input/output)接口505也连接至总线504。以下部件连接至i/o接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(crt，cathode ray tube)、液晶显示器(lcd，liquid crystal display)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan(局域网，local areanetwork)卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(cpu)501执行时，执行本技术的方法中限定的上述功能。需要说明的是，本技术上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言或其组合来编写用于执行本技术的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者装置/装置所固有的要素。至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

背景技术：

1、近红外荧光成像已成为一种新兴的在体成像方法，在毫米组织深度中具有高时空分辨率。在长波长近红外二区窗口(>1500nm)中成像能够有效抑制光散射和最大化成像穿透深度，具有高质量成像特性。然而，在近红外二区长波长窗口中成像的纳米粒子探针具有毒性和缺乏监管批准等缺点，难以进行临床转化。另一方面，在短波长近红外窗口(700-1300nm)下可以使用具有生物安全性的荧光探针进行成像，但在这个窗口下成像时，光散射和自发荧光严重影响组织与背景的信号比率及其分辨率。因此，亟待新的近红外荧光成像方法，能够提升成像时的组织与背景信号比率及分辨率，并对图像进行批量、无参考的量化分析，从而实现在使用具有生物安全性的荧光探针条件下的高质量成像。

2、利用基于格拉姆矩阵与风格域转换的近红外荧光成像方法及装置可以提高近红外图像的成像质量，从而更精准地描绘复杂组织形态和确定肿瘤边界，进一步拓展荧光成像在血管成像、引导手术、肿瘤诊疗、药代动力学等预临床和临床方面的应用。

3、基于此，本发明提供了一种基于格拉姆矩阵与风格域转换的近红外荧光成像方法。

技术实现思路

1、为了解决现有技术中的上述问题，即在近红外二区长波长窗口中成像的纳米粒子探针具有毒性和缺乏监管批准等缺点，难以进行临床转化的问题，本发明提供了一种基于格拉姆矩阵与风格域转换的近红外荧光成像方法，所述方法包括：

2、采集待进行近红外荧光成像的生物体对应的低质量近红外荧光图像，并输入训练好的基于格拉姆矩阵与风格域转换的生成式对抗网络中，得到具有长波长近红外二区窗口风格高质量荧光图像以及循环变换荧光图像；

3、所述基于格拉姆矩阵与风格域转换的生成式对抗网络其训练方法为：

4、步骤s100、获取高质量荧光图像和低质量荧光图像；

5、其中，所述高质量荧光图像为荧光团发射并进行多参数变换集成后的长波长近红外二区窗口下产生的近红外荧光图像；所述低质量荧光图像为荧光团发射的短波长近红外窗口荧光图像；

6、步骤s200、将所述高质量荧光图像和所述低质量荧光图像作为训练集，构建并训练基于格拉姆矩阵与风格域转换的生成式对抗网络。

7、在一些优选的实施方式中，所述高质量荧光图像，其获取方法为：

8、步骤s110：采集图像尺寸相同且不成对的非匹配短波长近红外窗口荧光图像和长波长近红外二区窗口荧光图像，将所述长波长近红外二区窗口荧光图像进行数据聚合，集成为近红外荧光图片的目标转换域，得到集成荧光图像；

9、步骤s120：对所述集成荧光图像进行多参数几何变换得到增强的高质量荧光图像；

10、其中，所述多参数几何变换包括旋转变换、平移变换、欧氏变换、仿射变换中的一个或多个。

11、在一些优选的实施方式中，所述基于格拉姆矩阵与风格域转换的生成式对抗网络，其构建方法为：

12、通过第一生成器和第二生成器构建基于格拉姆矩阵与风格域转换的生成式对抗网络；所述第一生成器为通过图像正转换的域风格编解码的生成器；所述第二生成器为图像逆转换的域风格编解码的生成器；

13、所述第一生成器、所述第二生成器均由域风格编码网络和域风格解码网络组成。

14、在一些优选的实施方式中，所述基于格拉姆矩阵与风格域转换的生成式对抗网络，其训练方法为：

15、步骤s210、将所述低质量荧光图像输入至所述第一生成器中的域风格编码网络中，得到第一编码特征图；

16、步骤s220、将所述第一编码特征图输入至所述第一生成器中的域风格解码网络中，得到第一训练图像；

17、步骤s230、将所述第一训练图像输入至所述第二生成器中的域风格编码网络中，得到第二编码特征图；

18、步骤s240、将所述第二编码特征图输入至所述第二生成器中的域风格解码网络中，得到第二训练图像；

19、步骤s250、将所述高质量荧光图像输入至所述第二生成器中的域风格编码网络，得到第三编码特征图；

20、步骤s260、将所述第三编码特征图输入至所述第二生成器中的域风格解码网络中，得到第三训练图像；

21、步骤s270、将所述第三训练图像输入至所述第一生成器中的域风格编码网络，得到第四编码特征图；

22、步骤s280、将所述第四编码特征图输入至所述第一生成器中的域风格解码网络中，得到第四训练图像。

23、在一些优选的实施方式中，所述基于格拉姆矩阵与风格域转换的生成式对抗网络，其训练方法还包括：

24、步骤s290、通过格拉姆矩阵计算所述第一训练图像与所述高质量荧光图像的风格相关性、所述第二训练图像与所述低质量荧光图像的风格相关性、所述第三训练图像与所述低质量荧光图像的风格相关性、所述第四训练图像与所述高质量荧光图像的风格相关性，并根据所述风格相关性对所述基于格拉姆矩阵与风格域转换的生成式对抗网络进行修正。

25、步骤s300、计算所述第二训练图像与所述低质量荧光图像的语义相关性、所述第四训练图像与所述高质量荧光图像的语义相关性，并根据所述语义相关性对所述基于格拉姆矩阵与风格域转换的生成式对抗网络进行修正。

26、在一些优选的实施方式中，计算所述风格相关性方法为：

27、获取所述卷积神经网络第c层中向量化特征图a及向量化特征图b之间在i处的内积

28、

29、其中，所述hc为图像第c层的矢量化特征图矩阵；

30、计算n层风格特征加权相关性，当所述x为高质量荧光图像、所述y为所述第一训练图像和所述第四训练图像时，表示所述高质量荧光图像与所述第一训练图像和所述第四训练图像之间的平稳多尺度表示，并捕获风格信息得到风格相关性ls；

31、当所述x为所述低质量荧光图像时、所述y为所述第二训练图像和所述第三训练图像时，表示所述低质量荧光图像与所述第二训练图像和所述第三训练图像之间的平稳多尺度表示，并捕获风格信息得到风格相关性ls：

32、

33、其中，wc为第c层的权重值，所述向量化特征图a和所述向量化特征图b为所述x在第c层的两个不同特征图。

34、在一些优选的实施方式中，计算语义相关性的方法为：

35、获取所述卷积神经网络的深层特征f用于表征图像的语义内容，计算m层语义特征加权相关性，得到高质量荧光图像m与第四训练图像n之间的高层语义表示、低质量荧光图像m与第二训练图像n之间的高层语义表示，作为所述第四训练图像与所述高质量荧光图像、第二训练图像与所述低质量荧光图像的语义相关性lco：

36、

37、其中wd为第d层的权重值。

38、在一些优选的实施方式中，通过循环训练方法学习从所述低质量荧光图像到所述高质量荧光图像、从所述高质量荧光图像到所述低质量荧光图像的一对共轭映射。

39、在一些优选的实施方式中，采集待进行近红外荧光成像的生物体对应的低质量近红外荧光图像，并输入训练好的基于格拉姆矩阵与风格域转换的生成式对抗网络中，得到具有长波长近红外二区窗口风格高质量荧光图像以及循环变换荧光图像，其方法为：

40、在生物体内注射荧光探针后，获取所述生物体内低质量近红外荧光图像，将所述低质量近红外荧光图像输入至所述训练好的基于格拉姆矩阵与风格域转换的生成式对抗网络中，通过图像正转换的域风格编解码网络得到具有长波长近红外二区窗口风格高质量荧光图像；

41、将所述高质量荧光图像输入至所述训练好的基于格拉姆矩阵与风格域转换的生成式对抗网络中，通过图像逆转换的域风格编解码网络得到循环变换荧光图像。

42、在一些优选的实施方式中，在获取到训练好的基于格拉姆矩阵与风格域转换的生成式对抗网络输出的所述具有长波长近红外二区窗口风格高质量荧光图像和所述循环变换荧光图像后还包括：

43、将所述具有长波长近红外二区窗口风格高质量荧光图像和所述循环变换荧光图像通过无真值评估方法，在实现配对采集受限情况下，得到量化分析结果：

44、将输出的循环变换荧光图像与所述低质量荧光图像输入结构相似度评估器，得到量化的结构相似度衡量结果；将输出的循环变换荧光图像与所述低质量荧光图像输入均方根误差评估器，得到量化的均方根误差衡量结果；

45、将输出的具有长波长近红外二区窗口风格高质量荧光图像输入自然图像质量评价器，得到量化的自然图像质量评价结果；将输出的具有长波长近红外二区窗口风格高质量荧光图像输入视觉感知评价器，得到量化的视觉质量评价结果。

46、本发明的有益效果：

47、(1)本发明训练的基于格拉姆矩阵与风格域转换的生成式对抗网络可以将在短波长近红外窗口中的荧光图像转换为具有长波长近红外二区窗口风格高质量荧光图像；

48、(2)本发明基于机器学习的方法可以提升已在临床广泛使用的近红外荧光成像技术的精度，而不必顾虑具体的光学参数和生物学特性的差异；

49、(3)本发明可以广泛应用于血管成像、神经成像、确定肿瘤边界，利于研究荧光探针在体内的具体分布，对临床决策和实践具有极大的意义。