一种基于CycleGAN的弱监督X射线图像翻译方法

本发明属于图像处理领域，特别涉及一种基于cyclegan的弱监督x射线图像翻译方法。

背景技术：

1、随着人工智能技术的快速发展，人工智能技术不断地应用到各行各业，为不同的领域和不同的场景带来便利。同样也给智能安检领域带来新的活力。有很多人工智能技术应用到安检领域，在基于x光图像检测的安检领域，通常为目标检测，以矩形框的形式来标注图像中的物品信息。但是由于来自于x射线图像域的图像特征较为单一(忽略了物体的表面特征，只留下密度特征)，长时间观察会引起视觉疲劳导致工作效率下降。因此采用将分割好的x射线图像翻译为真实图像，可以一定程度上缓解工作人员的工作压力，提高工作人员的工作效率。

2、由于x射线图像的目标检测及图像分割，需要大量的有标注的违禁品数据集进行训练。但包含违禁品的数据集是稀缺的。而且根据真实场景下x射线安检图像进行违禁品的图像标注需要耗费大量的时间和金钱。所以考虑使用深度学习技术来合成x射线数据集。但是常规生成x射线图像的方法，只能根据数据集随机生成。不能根据真实数据集的轮廓来生成x射线图像。所以利用基于深度学习的图像翻译技术来可以根据输入图像的轮廓来生成x射线图像，来解决上述问题以辅助安检员进行安检。

3、除此之外现有的无监督图像翻译算法难以对齐图像数据集中的属性信息，只能为某一类物品的每个属性单独训练一组生成器与鉴别器。因此考虑在无监督图像算法的基础上增加属性引导。从而达到能够训练一个物品类别下多个物品属性的效果和节省模型存储空间的目的。

技术实现思路

1、为了解决现有技术存在的技术问题，本发明提供了一种基于cyclegan的弱监督x射线图像翻译方法。本发明增加属性损失，一定程度上克服了无监督图像翻译的弱点，以保留原图像域的属性信息，从而达到一组模型训练多种属性图像的效果。本发明将真实图像域的图像和x射线图像域的图像互相翻译，以此达到增强数据和降低工作人员工作强度的目的。

2、本发明的技术方案如下：

3、一种基于cyclegan的弱监督x射线图像翻译算法，至少包括以下步骤：

4、步骤s1：针对翻译任务，制作并得到x射线数据集和真实图像数据集。

5、步骤s2：构建基于cyclegan的弱监督图像翻译模型。

6、步骤s3：根据x射线数据集和真实图像数据集，训练弱监督图像翻译模型。

7、步骤s4：将物品的x射线图或真实图输入步骤s1训练得到的图像翻译模型中，得到经过翻译的图像。

8、更进一步的，步骤s1包括以下子步骤：

9、子步骤s11：从现有的安检机拍摄的物品的x射线图像和真实物品的数据集中按照类别、属性挑选出图像，即单独的物品的x射线图像和真实图像。

10、子步骤s12：手工去除由步骤s11得到的图像的杂乱背景，同时对图像尺寸进行调整。

11、更进一步的，步骤s2包括以下子步骤：

12、子步骤s21：弱监督图像翻译模型包括两个图像生成器gab和gba和两个鉴别器da和db。

13、子步骤s22：根据数据集中物品属性的数量自动生成独热编码，例如瓶子数据集中包含三类属性(金属、玻璃和塑料)，对应自动生成的独热编码为{1 0 0}、{0 1 0}和{0 01}，根据生成的独热编码和输入图像尺寸生成独热张量，与输入图像在通道方向上进行合并。

14、子步骤s23：用wassertein距离，替换原始cyclegan对抗损失中的交叉熵损失函数，缓解生成对抗网络中模式崩塌的情况。

15、进一步地，所述生成器gab，损失函数包括对抗损失循环一致性损失身份一致性损失和使用生成图像计算的属性损失四部分，具体函数为：

16、

17、

18、

19、

20、式中lgan代表着对抗损失函数，即wassertein距离；lreg代表着重建函数，即l1损失函数；指的是最大似然估计，即在已知数据的情况下对模型参数的最大似然估计。a～pdata(a)代表从数据集pdata(a)中选择一张输入图像。a为输入图像。c代表样本数据所处的类别域。

21、进一步地，生成器gab总损失为：

22、

23、式中λcyc和λidt分别代表着在生成器目标函数中循环一致性损失和身份一致性损失所代表的权重，可以调节这两个参数从而影响生成图像的侧重点不同。λcls代表生成器目标函数中属性损失的权重。生成器gba损失函数与生成器gab一致。

24、为鉴别器的对抗损失；代表使用真实图像所进行的属性损失。

25、

26、

27、所述鉴别器da的总损失为：

28、

29、式中lgan是对抗损失函数；0和1分别代表图片的分类标签，0为生成图像，1为真实图像。

30、所述鉴别器db的损失函数与所述鉴别器da一致。

31、进一步地，提出的弱监督图像翻译模型的总损失为：

32、

33、与现有技术相比，本发明方法的有益效果是：

34、(1)本发明所要解决的技术问题是，实现某个类别的物品的多个属性在x射线图像域和真实图像域的翻译工作。为x射线数据集增强和x射线安检可视化提供了新的思路。

35、(2)本发明构建了基于cyclegan的弱监督图像翻译方法。由于cyclegan是无监督训练方法，所以图像域a的图像域b中的类别信息难以对齐，从而造成训练混乱。与原始cyclegan网络对比，本发明中所提出的弱监督图像翻译方法能够对齐数据集中的属性信息。从而达到能够训练一个物品类别下多个物品属性的效果和节省模型存储空间的目的。实现较好的翻译效果。

技术特征：

1.一种基于cyclegan的弱监督x射线图像翻译方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于cyclegan的弱监督x射线图像翻译方法，其特征在于，步骤s1包括以下子步骤：

3.根据权利要求1所述的基于cyclegan的弱监督x射线图像翻译方法，其特征在于，步骤s2包括以下子步骤：

4.根据权利要求3所述的基于cyclegan的弱监督x射线图像翻译方法，其特征在于，所述步骤s25中，生成器gab损失函数包括对抗损失循环一致性损失身份一致性损失和使用生成图像计算的属性损失四部分，具体函数为：

5.根据权利要求4所述的基于cyclegan的弱监督x射线图像翻译方法，其特征在于，

6.根据权利要求5所述的基于cyclegan的弱监督x射线图像翻译方法，其特征在于，所述弱监督图像翻译模型的总损失为：

技术总结
本发明公开了一种基于CycleGAN的弱监督X射线图像翻译方法该方法首先针对翻译任务，制作并得到X射线数据集和真实图像数据集。其次构建基于CycleGAN的弱监督图像翻译模型。然后根据X射线数据集和真实图像数据集，训练弱监督图像翻译模型。最后将物品的X射线图或真实图输入训练后的图像翻译模型中进行测试，得到经过翻译的图像。本发明为X射线数据集增强和X射线安检可视化提供了新的方法，实现较好的翻译效果。

技术研发人员：郑梁,胡子腾,郑晓隆
受保护的技术使用者：杭州电子科技大学
技术研发日：
技术公布日：2024/4/17