一种基于半监督对比学习的场景文本编辑方法和装置

文档序号:37227143发布日期:2024-03-05 15:32阅读:来源:国知局

技术特征:

1.一种基于半监督对比学习的场景文本编辑方法,其特征在于,包括以下步骤:

2.如权利要求1所述的方法,其特征在于,步骤(1)所述的准备训练数据,并对其进行初步预处理的方法包括如下步骤:

3.如权利要求1所述的方法,其特征在于,步骤(2)所述的对样式文本图像is中的文本进行擦除对包括如下步骤:

4.如权利要求1所述的方法,其特征在于,步骤(3)所述的对样式文本图像is和标准内容文本图像ic进行预变换的操作,包括如下步骤:

5.如权利要求1所述的方法,其特征在于,步骤(4)所述的对i′s中的文本进行编辑的过程包括如下步骤:

6.如权利要求1所述的方法,其特征在于,步骤(5)所述模型的推理过程包含如下步骤:

7.一种基于半监督对比学习的场景文本编辑装置,其特征在于,包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,所述一个或多个处理器执行所述可执行代码时,用于实现权利要求1-6中任一项所述的一种基于半监督对比学习的场景文本编辑方法。

8.一种计算机可读存储介质,其特征在于,其上存储有程序,该程序被处理器执行时,实现权利要求1-6中任一项所述的一种基于半监督对比学习的场景文本编辑方法。


技术总结
一种基于半监督对比学习的场景文本编辑方法和装置,其方法包括:准备训练数据,包含样式文本图像I<subgt;s</subgt;和标准内容文本图像I<subgt;c</subgt;以及合成图像相应的标签;对样式文本图像I<subgt;s</subgt;中的文本进行擦除,得到无文本的背景图O<subgt;b</subgt;以及I<subgt;s</subgt;对应的掩码图Mask<subgt;s</subgt;;对样式文本图像l<subgt;s</subgt;和标准内容文本图像I<subgt;c</subgt;进行预变换,即对I<subgt;s</subgt;进行背景过滤和样式增强得到I′<subgt;s</subgt;,并对I<subgt;c</subgt;的文本方向进行调整,使其和I<subgt;s</subgt;的文本方向一致得到I′<subgt;c</subgt;;对I′<subgt;s</subgt;中的文本进行编辑,使其具有I′<subgt;c</subgt;的文本内容,并与背景特征融合得到初步的目标文本图像与其对应的掩码图Mask<subgt;t</subgt;;训练时,再结合对比学习策略对所得结果进行优化;在推理过程中,将与Mask<subgt;t</subgt;以及O<subgt;b</subgt;执行一种笔划级别的修改,得到最终编辑完成的目标文本图像O<subgt;t</subgt;。

技术研发人员:殷敏,梁浩然,谢亮,赵邢,梁荣华
受保护的技术使用者:浙江工业大学
技术研发日:
技术公布日:2024/3/4
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1