一种跨模态图像生成和检测的方法及装置

1.本发明涉及图像处理和人工智能技术领域，尤其涉及一种跨模态图像生成和检测的方法及装置。


背景技术：

2.跨模态图像处理和分析是智慧医疗研究领域中重要的研究方向，其通过融合不同成像原理的成像方法对同一区域进行观测和分析，为关键目标识别提供数据支撑。观测模态包括计算机断层扫描(computed tomography，ct)、正电子发射型计算机断层显像(positron emission computed tomography,pet)和磁共振成像(magnetic resonance imaging，mri)等。
3.通常为进行某一关键目标的检测和识别，需要采集多种模态影像进行处理和分析。如宫颈癌筛查常以ct和pet影像为主，由于不同模态下的医学影像成像机理不同，其所反映的病灶信息程度也不相同，医生需同时采集病患的ct影像和pet影像进行对比分析，才可准确地检测中影像中肿瘤的位置。在利用深度学习方法进行影像识别时，其准确率取决于不同模态下的医学影像所反映的病灶信息程度，其中pet/ct影像识别的准确率最高，ct影像识别的准确率最低，pet影像识别的准确率介于两者之间。然而在实际诊断中，pet成像检测项目过于昂贵，为患者带来了巨额的经济成本，也阻碍了肿瘤的及时发现和预防。
4.随着人工智能理论和计算机视觉技术在图像处理领域取得的突破性进展，深度学习逐渐成为图像生成和目标检测的主流方法，但目前大多数方法均采用图像生成方法作为目标检测训练中的数据增强，并未用于跨模态影像生成和检测。
5.因此，有必要研究一种跨模态图像生成和检测的方法及装置来应对现有技术的不足，以解决或减轻上述一个或多个问题。


技术实现要素：

6.有鉴于此，本发明提供了一种跨模态图像生成和检测的方法及装置，能够实现跨模态生成医学影像，且完成目标检测。
7.一方面，本发明提供一种跨模态图像生成和检测的方法，所述方法的步骤包括：
8.s1、获取两种以上模态的图像集，并进行配准；
9.s2、对配准后的图像集进行融合，得到第一多模态融合图像；
10.s3、利用第一多模态融合图像以及其对应的单模态图像对跨模态图像生成模型进行训练，得到训练好的跨模态图像生成模型；
11.s4、将第一多模态融合图像对应的单一模态图像输入训练好的跨模态图像生成模型中，得到第二多模态融合图像；
12.s5、将所述第二多模态融合图像和其对应的第一多模态融合图像输入目标检测模型中进行训练，得到训练好的目标检测模型；
13.s6、对训练好的跨模态图像生成模型和目标检测模型进行端到端调优，得到最终
的跨模态图像生成模型和目标检测模型。使用时，跨模态图像生成模型和目标检测模型自动联合使用。
14.步骤s3和s4中的第一多模态融合图像可以是相同的图像集也可以是不同的图像集，还可以是部分重叠的。
15.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，步骤s1的具体内容包括：
16.获取若干张第一模态图像和若干张第二模态图像，并进行一一配对；
17.对每对图像依次进行图像锐化、高斯模糊、特征提取和边缘检测处理，然后再采用矫正算法进行矫正，得到尺寸相同的配准图像集。
18.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，步骤s2中对图像集进行融合的内容包括：
19.将图像集中的所有模态的图像均转化成灰度图；
20.对第1模态图像至第n模态图像对应的灰度图分别进行灰度值线性变换，并且将变换后的不同模态图像对应灰度图在通道方向上进行级联拼接操作，将得到的拼接图像作为所述第一多模态融合图像；n表示图像集中图像的模态数，其为大于等于2的整数；一个灰度图对应一个通道，即单通道，在通道方向上进行级联拼接主要指多灰度图叠加。
21.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，对图像集进行融合的内容还包括：由专业人员对所述拼接图像进行标注获得异常区域真值标注框，将该具有真值标注框的多模态融合图像作为第一多模态融合图像，该第一多模态融合图像能够用于步骤s5和步骤s6。
22.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，灰度值线性变换的内容包括：将所有灰度值乘以变换系数，然后再压缩灰度值的取值范围至合适区间。
23.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，第一模态图像和第二模态图像对应的灰度图的所述变换系数取值均为0.5。
24.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，步骤s3中的跨模态图像生成模型可以为各种类型的生成式模型，包括生成式对抗网络、流模型以及变分自编码器等。
25.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，步骤s5中的目标检测模型可以为各种类型的目标检测模型，包括基于锚框的单阶段模型(yolov5x模型、retinanet模型等)以及双阶段模型(faster rcnn模型、cascade rcnn模型等)，基于无锚框的模型(centernet模型、fcos模型等)等等。
26.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述第一模态图像为ct图像，所述第二模态图像为pet图像。
27.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述矫正算法包括图像缩放、图像裁剪和/或图像零值填充。
28.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，步骤s6中端到端调优的内容包括：将一张第一模态图像输入训练好的跨模态图像生成模型中得到一张第二多模态融合图像，对该第二多模态融合图像进行双线性插值放大到和第二模态图像相同像素尺寸，再输入到训练好的目标检测模型中得到检测结果；将检测结果的损失反向传
播给跨模态图像生成模型，完成端到端的训练。
29.所述损失指上述检测结果相对于标准结果的损失，所述标准结果具体为：由专业人员对第一多模态融合图像进行标注获得异常区域真值标注框后的结果。
30.另一方面，本发明提供一种跨模态图像生成和检测的装置，所述装置包括：
31.特征提取单元，用于对各模态图像分别进行特征提取；
32.图像配准单元，用于对各模态图像分别进行边缘检测，并采用矫正算法实现不同模态图像的配准；
33.图像融合单元，用于将配准后的不同模态图像进行融合，得到第一多模态融合图像；
34.风格迁移单元，在模型构建阶段，用于对跨模态图像生成模型进行训练；在模型使用阶段，用于通过输入单模态图像生成第二多模态融合图像；
35.目标检测单元，在模型构建阶段，用于对目标检测模型进行训练；在模型使用阶段，用于对风格迁移单元生成的第二多模态融合图像进行目标检测；
36.调优单元，用于实现跨模态图像生成模型和目标检测模型之间的端对端调优。如图5所示。
37.再一方面，本发明提供一种跨模态图像生成和检测的装置，包括存储器、处理器以及存储在所述存储器中并能在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上任一所述方法的步骤。
38.与现有技术相比，上述技术方案中的一个技术方案具有如下优点或有益效果：本发明的方案可以避免原本需要采集两种模态影像才可检测目标区域的现状，仅使用单一模态图像通过图像生成和检测模型即可实现关键目标检测，以此降低多模态影像观测和制备成本；
39.上述技术方案中的另一个技术方案具有如下优点或有益效果：本发明的方法，仅使用单模态ct影像生成多模态pet/ct影像，降低患者就医成本；同时通过检测网络，将生成的pet/ct多模态影像作为检测目标进行宫颈癌多模态病灶检测，完成仅使用ct影像就可以得到pet/ct影像及其病灶检测结果的目标，降低了患者的就医成本；
40.上述技术方案中的另一个技术方案具有如下优点或有益效果：本发明解决了宫颈癌医学影像生成领域大多只是将生成图像用于数据增强以训练检测模型、尚未直接将生成图像作为检测目标的问题。
41.当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有技术效果。
附图说明
42.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
43.图1是本发明一个实施例提供的跨模态图像生成和检测的方法的流程图；
44.图2是本发明一个实施例提供的自适应多模态图像融合方法与单模态ct图像和单模态pet图像对比图；
45.图3是本发明一个实施例提供的自适应多模态图像融合方法的流程示意图；
46.图4是本发明一个实施例提供的宫颈癌医学影像跨模态图像生成及检测方法的网络结构图；
47.图5是本发明一个实施例提供的宫颈癌医学影像跨模态图像生成及检测装置的示意图；
48.图6是本发明提供的针对不同模态图像的目标检测实验结果；
49.图7是本发明一个实施例提供的实验对比可视化结果图。
具体实施方式
50.为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
51.应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
52.针对现有技术的不足，本发明提供一种跨模态图像生成和检测的方法，以宫颈癌筛查为例，能够从ct模态图像生成pet-ct多模态融合图像，再将生成的pet-ct模态影像应用在目标检测上，达到仅凭ct图像就能得到生成的pet-ct融合图像和pet-ct图像识别分析的目标，以此降低实际应用中采集pet影像的成本问题。
53.本发明方法的具体方案内容包括：
54.采用图像特征提取算法提取ct医学图像集与pet医学图像集中所有图像的特征，并且采用边缘检测算法分别检测出ct图像与pet图像的病灶特征的外边缘；
55.采用矫正方法，通过图像裁剪、图像零值填充、图像缩放的一种或多种，将ct图像与pet图像中的图像进行图像配准；
56.采用特征融合方法，将图像配准后的ct图像与pet图像首先转化成灰度图，对pet图像的灰度图进行灰度值线性变换，压缩灰度值取值范围，复制到rgb图像的第二个通道；再对ct图像的灰度图进行灰度值线性变换，压缩灰度值取值范围，并且和线性变换后的pet图像灰度图进行叠加，复制到rgb图像的第三个通道；rgb图像的第一个通道像素值全部为零；
57.采用自适应多尺度特征提取方法，在模型训练过程中，对于病灶区域的像素赋予高权重加入到损失函数中，对于非病灶区域的像素赋予低权重加入到损失函数中，使得模型更加关注病灶区域的特征。
58.采用图像生成方法，将真实ct图像和真实ct图像的标注输入到生成对抗性网络里，模型在训练中学习ct图像的特征以及标注，生成pet-ct图像。
59.采用目标检测方法，将生成后的pet-ct图像与真实pet-ct图像(可以是上述将pet图像和ct图像进行融合得到的图像)输入到目标检测模型里，其标签是真实pet-ct图像的标签，使得模型在训练中学习生成pet-ct图像与真实pet-ct的联合分布，能够检测出生成pet-ct图像的病灶区域。
60.本发明跨模态图像生成和检测的方法包括模型构建阶段和模型使用阶段，模型构建阶段的具体流程如图1所示，包括：
61.s101，获取通过医疗设备拍摄的n张ct图像和n张pet图像，将ct图像与pet图像一
一配对，采用一系列图像特征提取方法，首先采用图像锐化方法，再采用高斯模糊方法，提取出经过配对的ct图像特征与pet图像特征，再用canny边缘检测方法分别检测出ct图像与pet图像的外边缘。得到经过配对的ct图像与pet图像各自的外边缘后，采用矫正方法。用得到的外边缘计算能够包围住这个外边缘的矩形框，用于计算缩放系数。因ct图像尺寸是512*512像素，而pet图像尺寸是128*128像素，所以在pet图像上进行裁剪与缩放，使ct图像与pet图像中的非零值特征对齐，并且对不够512*512的区域进行零值填充，使填充后的尺寸与ct图像尺寸保持一致，最后完成配准，并且得到多模态图像数据集。
62.s102，将图像配准后的ct图像与pet图像首先转化成灰度图；再对pet图像的灰度图进行灰度值线性变换，将其所有灰度值乘以0.5，压缩灰度值取值范围，放置到rgb图像的第二个通道(即g通道)；再对ct图像的灰度图进行灰度值线性变换，将其所有灰度值乘以0.5，压缩灰度值取值范围，并且和进行灰度值线性变换后的pet图像进行叠加，放置到rgb图像的第三个通道(即b通道)；第一个通道(即r通道)上没有东西，像素值全部为零；由前述的r、g、b三通道构成的rgb图像作为多模态图像融合的结果。
63.s103，将n张ct图像与n张pet-ct图像输入到风格迁移模型(即跨模态图像生成模型)中，对风格迁移模型进行训练。其中对于风格迁移模型的判别器的输入，为生成器生成的图像以及病灶区域的真实标注，将标注框内的区域定义为高权重区域，标注框外的区域定义为低权重区域，采用了自适应多尺度特征提取方法。
64.跨模态图像生成的表达式如下：
[0065][0066]
其中，pi代表图像中的第i个像素，a
low
是指非病灶区域的权重，a
high
是指病灶区域的权重，对于非病灶区域的像素赋予低权重加入到损失函数中，对于病灶区域的像素赋予高权重加入到损失函数中，使得模型更加关注病灶区域的特征。采用跨模态图像转换方法，将真实ct图像和真实ct图像的标注输入到风格迁移模型里，真实标签为pet-ct图像，模型在训练中学习ct图像的特征以及标注，生成多模态的pet-ct图像。
[0067]
本发明中的跨模态图像生成模型可以是基于深度学习的神经网络模型。
[0068]
s104，训练目标检测模型，将生成后的pet-ct图像与真实pet-ct图像输入到目标检测模型里对其进行训练，其标签是真实pet-ct图像的标签，使得模型在训练中学习生成pet-ct图像与真实pet-ct的联合分布，能够检测出生成pet-ct图像的病灶区域。
[0069]
s105，将已训练的风格迁移模型和目标检测模型进行端到端调优，以获得最终的跨模态图像生成和检测模型。具体地，将512像素*512像素尺寸的ct原始单一模态原始图像，输入到跨模态图像生成网络里，再输出512像素*512像素尺寸的pet-ct多模态图像，将输出的512像素*512像素尺寸的pet-ct多模态图像双线性插值放大到1024像素*1024像素尺寸，并且输入到目标检测模型里面，将目标检测的损失反向传播给生成器，进行端到端的训练。
[0070]
如图2所示，是本发明一个实施例提供的自适应多模态图像融合方法与单模态ct图像和单模态pet图像对比图，其中第一列为单模态ct图像，反应了生理结构信息；第二列为单模态pet图像，反映了组织代谢信息；第三列为本发明自适应多模态图像融合方法得到的融合结果，可在一张图像同时反映生理结构信息和组织代谢信息。
[0071]
如图3所示，是本发明一个实施例提供的自适应多模态图像融合方法的流程示意图，分别对ct单一模态图像和pet单一模态图像进行处理，第一行为对ct单一模态图像进行处理，第二行为对pet单一模态图像进行处理。具体地，图3中所示“sharpening”操作指对图像进行图像锐化处理；“gaussian blur”操作指对图像进行高斯模糊处理；“edge extraction”操作指对图像进行canny边检检测处理，提取出边缘；“addition”操作指对两幅图像对应位置像素值进行相加处理，超过255像素值的像素令其像素值等于255。
[0072]
图3中所示“location”操作指对ct图像与pet图像各自寻找矩形框，使得这个矩形框能完整包围图中的非零值特征，并且该矩形框的面积越小越好。具体地，从图像中心向四周分别搜索上、下、左、右四个方向的最小非零值特征个数的行或列位置索引，对上、下方向采用行位置索引，即对当前位置遍历该行所有像素，统计非零值像素个数，小于一定阈值则停止搜索，则确定该行是矩形框的一条边，完成上、下方向的操作，可得到矩形框的两条边；对左、右方向采用列位置索引，即对当前位置遍历该列所有像素，统计非零值像素个数，小于一定阈值则停止搜索，则确定该列是矩形框的一条边，完成左、右方向的操作，可得到矩形框的两条边；完成四个方向的操作，可得到一个完整的矩形框。
[0073]
图3中所示“calculate offset and ratio”操作指对ct单一模态图像进行“location”操作后得到的矩形框计算其宽和高，与对pet单一模态图像进行“location”操作后得到的矩形框计算其宽和高，并且计算pet图像中的矩形框对ct图像中的矩形框面积的在x方向和y方向上的比例，将pet按照比例进行放大，使得两个模态图像中的矩形框里的特征对齐，完成图像配准。
[0074]
图3中所示“weight fusion”操作指将图像配准后的ct图像与pet图像首先转化成灰度图，分别放置在在rgb图像不同通道上，其中将pet图像进行灰度值线性变换，将其所有灰度值乘以0.5，压缩灰度值取值范围，放置到rgb图像的第二个通道，再将ct图像进行灰度值线性变换，将其所有灰度值乘以0.5，压缩灰度值取值范围，并且和进行灰度值线性变换后的pet图像进行叠加，放置到rgb图像的第三个通道，得到多模态图像融合的结果。
[0075]
如图4所示，是本发明实施例提供的宫颈癌医学影像跨模态图像生成及检测方法的网络结构图；其中，“backbone”为目标检测网络(该目标检测网络即指前面所述的目标检测模型)中的特征提取层，由多个卷积层组成，在不同的图像细粒度上进行聚合，从而获得图像的特征；“head”为目标检测网络中的检测任务分支，由多个卷积层组成，主要功能是生成目标框并预测其分属类别。
[0076]
宫颈癌医学影像跨模态图像生成及检测方法中，对pet图像和ct图像进行融合，并构建基于深度学习的宫颈癌跨模态图像生成网络、训练所述宫颈癌跨模态图像生成网络；利用训练完成后的宫颈癌跨模态图像生成网络，将测试集的n张ct图像作为输入，输出生成的n张pet-ct图像。
[0077]
在前述宫颈癌多模态医学影像图像融合方法的具体实施方式中，进一步地，所述配准所述n张宫颈癌ct图像序列，n张宫颈癌pet图像序列包括：确定第1张ct图像的不规则特征区域的边缘，并确定第1张pet图像的不规则特征区域的边缘；确定第1张ct图像不规则特征区域的外置矩形框，并确定第1张pet图像不规则特征区域的外置矩形框；采用图像处理方法对ct图像和pet图像进行图像缩放，图像裁剪等若干操作，将第1张ct图像不规则特征区域的外置矩形框与第1张pet图像不规则特征区域的外置矩形框对齐。剩下的n-1张ct
图像与n-1张pet图像也采用同样上述方式进行处理和操作。
[0078]
本实施例中，采用的图像处理方法包括：图像缩放，图像裁剪，图像零值填充。
[0079]
在前述宫颈癌多模态医学影像图像融合方法的具体实施方式中，进一步地，所述融合方法，将图像配准后的各模态图像转化成灰度图，并按照通道维度进行拼接，将ct图像灰度值乘以0.5加上pet图像灰度值乘以0.5放置在图像rgb三个通道中的b通道上，将et图像灰度值乘以0.5放置在图像rgb三个通道中的g道上。
[0080]
在前述眼底宫颈癌跨模态图像生成方法的具体实施方式中，进一步地，所述构建基于深度学习的宫颈癌跨模态图像生成网络，并训练所述宫颈癌跨模态图像生成网络包括：
[0081]
获取预先设置的训练数据集，将训练数据集输入到宫颈癌跨模态图像生成网络，采用自适应矩估计优化器训练宫颈癌跨模态图像生成网络，直到ct图像与生成的pet-ct图像误差小于预设的阈值，得到训练完成后的宫颈癌跨模态图像生成网络，所述训练数据集包括：ct图像，pet-ct图像以及ct图像病灶区域的标注。
[0082]
本实施例中，所述宫颈癌跨模态图像生成网络采用pix2pix网络，包括生成器和判别器，其生成器为u-net网络：其中生成器包括编码阶段和解码阶段；所述编码阶段包括：5个特征提取模块，每个特征提取模块包括：n个卷积模块，所述n个卷积模块用于分级提取图像特征，所述卷积模块包括：激活函数层、卷积操作；所述解码阶段包括：n-1个跳层连接操作、n-1个反卷积模块，其中，每个反卷积模块包括：激活函数层、反卷积操作和标准化层。其中判别器包括n个卷积模块，所述n个卷积模块用于分级提取图像特征，所述卷积模块包括：激活函数层、卷积操作；
[0083]
本实施例中，生成器中所述编码阶段，用于将ct图像输入至特征提取分支，每个特征提取分支通过m个卷积模块提取相应级别的图像特征，然后输送至解码阶段；所述解码阶段，用于将接收到的图像特征恢复至原图尺寸。
[0084]
本实施例中，假设，生成器中所述编码阶段的每个特征提取分支包括：5个卷积模块，每个卷积模块包括1个下采样操作；则在编码阶段，可以将ct图像特征提取分支，此特征提取分支通过5个卷积模块提取相应级别的图像特征，然后输送至解码阶段。
[0085]
本实施例中，假设，生成器中所述解码阶段包括：4个跳层连接操作、4个反卷积模块、1个反卷积操作和1个卷积操作，其中，每个反卷积模块包括：2个激活函数层和1个反卷积操作，每个反卷积操作将特征尺寸放大两倍。
[0086]
本实施例中，生成器中所述判别器包括6个卷积模块，每个卷积模块由一层卷积层、标准化层以及激活函数层组成，前5个卷积模块用于分级提取图像特征，最后一个卷积模块的输出为1个通道的特征向量，表示为判别器对输入预测真或假的程度。
[0087]
本实施例中，所述宫颈癌跨模态图像生成网络的生成器为类u形网络。
[0088]
本实施例中，所采用目标检测网络采用一阶段模型yolov5，主要包括主干部分(baolcbone、颈部(neck)和头部(head)，其中backbone是一个具有连续下采样的特征提取层，在不同的图像细粒度上进行聚合，从而获得图像的特征；neck由一系列卷积层组成，其功能是将图像特征送至预测层；head的主要功能是生成目标框并预测其分属类别。
[0089]
本实施例中，所述训练流程，分为训练图像生成网络和训练目标检测网络两个过程，其中训练图像生成网络流程为：将单模态ct图像输入到图像生成网络里面进行编码，提
取特征，然后经过解码，将提取的特征转化为多模态petct图像得到输出值，其输出值为多模态petct图像，与真实的多模态petct图像进行对比，用损失函数计算损失，得到的损失反向传播给生成器，使生成器能够更新网络参数，完成一次训练流程。整个过程循环往复，直到生成器的输出与真实的多模态petct图像损失达到最小。
[0090]
再对训练好的生成器，输入单模态ct图像，将其生成的多模态petct图像与真实的多模态petct图像一起作为输入，训练目标检测网络，与真实的多模态petct图像的目标检测结果计算损失，反向传播给目标检测网络，完成一次训练流程。整个过程循环往复，直到目标检测网络的输出与真实的多模态petct图像的目标检测结果损失达到最小。得到生成的多模态petct图像的目标检测结果。
[0091]
如图6所示，为本实施例的初步实验结果，具体的，表中ct代表针对ct单一模态图像进行目标检测的结果，ct-》petct代表针对本技术ct单一模态图像数据生成的pet-ct多模态图像数据(也就是将ct单一模态图像输入本技术训练好的风格迁移模型后得到的虚拟petct图像)进行目标检测的结果。该实验选择了基于yolov5x模型和基于faster rcnn模型的两种目标检测模型的分别进行检测，从而得出图6中的准确率的对比结果。采用sgd momentum优化器，初始学习率为0.01，输入图像尺寸为1024像素*1024像素尺寸，训练轮次为60轮，采用的评估指标为ap50(average precision)。对ct图像的实验，其训练集与测试集都是真实数据(该处的训练是指对目标检测模型进行训练，后再进行检测)；而对由ct单一模态图像生成的虚拟pet-ct多模态图像数据的实验，其训练集为真实pet-ct数据与生成的pet-ct数据1∶1混合，测试集为生成的pet-ct多模态图像数据。需要说明的是，该实验中两种图像中训练集和测试集对应的原始ct图像和原始pet图像都是相同的，各集数量也相同，目的是尽可能得到影响因素单一的实验结果，经过本发明所提出的模型方法，将ct转换成petct的肿瘤识别准确率优于仅利用ct进行分析和识别的准确率，佐证了本发明方法的有效性。另外，受数据所限，该实验结果仅能反应出本发明方法有效，但不能以该实验结果作为本发明方法所能达到的技术效果的判断，在训练集的量足够时，能够进一步提高本发明的检测准确率。
[0092]
如图7所示，为本实施例的实验对比可视化结果，具体的，图7中第一列为真实ct单一模态图像的标注，第二列为真实ct单一模态图像的模型预测，第三列为真实petct单一模态图像的标注，第四列为由ct单一模态图像生成的pet-ct多模态图像的模型预测。这里的标注是由专业人员(比如医生)进行的，用于获得异常区域真值标注框。
[0093]
以上对本技术实施例所提供的一种跨模态图像生成和检测的方法及装置，进行了详细介绍。以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。
[0094]
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算
机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。