图像编辑方法及相关设备与流程

本技术实施例涉及图像处理领域，尤其涉及一种图像编辑方法及相关设备。

背景技术：

1、计算机视觉故障检测算法通过对大量故障数据进行学习，可以有效的自动完成表面故障检测，高效排除隐患，同时节省了大量的人力。其中，故障图像样本的特点是只有局部区域异常，除此之外的其他区域与正常图像无异。然而，在现实中由于故障发生的随机性和稀缺性，故障图像样本极其缺乏甚至没有样本。

2、因此，结合故障数据的特点，根据极少量的故障样本，可以用图像编辑技术有针对性的对正常图像进行编辑，以修改合成特定类型的图像样本，这样不但可以节省收集样本数据的时间，而且能在真实故障数据难以收集的情况下提供一批合成故障数据用于故障检测模型的训练。

3、目前，小样本图像编辑方法在图像数据生成的过程中是对整个图像进行生成，这样需要模型学习整个图像的先验，难度较大，生成的图像细节处十分模糊，边缘不够清晰。以上问题导致了基于小样本的数据扩充技术很难和故障检测技术结合，以提升故障检测的精确度。

4、如何解决上述问题，是本领域技术人员正在研究的热点。

技术实现思路

1、本技术提供一种图像编辑方法及相关设备，无需人工介入，有效提升图像编辑的效率，还可以降低图像编辑的难度。

2、第一方面，提供一种图像编辑方法。该方法可以应用于电子设备。电子设备例如为计算机、智能手机等。电子设备根据第二图像以及包括目标特征的图像对第一图像进行处理，最终可以获得融合图像。

3、对第一图像具体的处理过程为：电子设备先获取第一图像和m张第二图像，再呈现第一图像中的n个目标区域。接着，呈现第三图像，第三图像为从第一图像中裁掉n个目标区域中的至少一个目标区域而得到的。最后，电子设备根据包括目标特征的图像处理第三图像以获得融合图像，并呈现融合图像，该融合图像包括目标特征。包括目标特征的图像可以为第二图像等图像，第二图像和融合图像中包括的目标特征相同。

4、其中，m、n均为大于或等于一的整数。而第一图像中不包括目标特征，第二图像中包括目标特征。目标特征是指第二图像中包含的特定特征或特定元素，或者指第二图像具有的特定特点。第二图像以产品图像为例，目标特征可以为裂缝、斑点、凹坑、划痕、色差、缺损等中的至少一个。第二图像为生物图像，目标特征可以为人物、动物、植物等中的至少一个。另外，上述n个目标区域在第一图像中的位置与目标特征在m张第二图像中的位置相关，根据目标特征在m张第二图像中的位置可以确定n个目标区域在第一图像中的位置。

5、本方案中，利用目标特征在m张第二图像中的位置对第一图像中可能出现目标特征的区域进行定位，即确定n个目标区域并呈现n个目标区域。再从第一图像中裁剪掉至少一个目标区域，可以得到裁剪后的第一图像(即第三图像)，并呈现第三图像。最后根据第三图像和包括目标特征的图像生成融合图像。可见，本方案在获取融合图像时，不需要生成完整的图像，只需要生成第一图像中被裁剪区域的图像即可，因此，本方案的图像编辑方法对应的模型的训练难度较小，可以有效降低图像编辑难度，而且本方案无需人工介入，可以有效提升图像编辑的效率。

6、在一种可能的实施方式中，电子设备还响应特征选择操作，从多个待选特征中确定至少一个待选特征为目标特征。电子设备再基于该目标特征，从图像库中确定上述m张第二图像。

7、上述图像库包括多张图像，该多张图像中的每张图像包括待选特征，且该多张图像中包括至少两个待选特征。

8、本方案中，用户可以根据实际需要进行特征选择操作，即从多个待选特征中选定至少一个待选特征作为目标特征，以便后续生成指定特征类型的融合图像，满足用户的不同需要。

9、在一种可能的实施方式中，上述图像编辑方法还包括：

10、呈现融合图像以及第一图像；

11、或者，

12、呈现融合图像，融合图像中目标特征所在区域的局部图像，第一图像以及第一图像中被裁掉的至少一个目标区域的图像。

13、本方案中，通过将编辑前后的图像，即第一图像、至少一个目标区域的图像、融合图像以及融合图像中目标特征所在区域的局部图像进行输出，以使用户可以直观地比对编辑前后的图像，确认图像编辑的效果如何，方便用户进行融合图像的筛选。或者，也可以只输出第一图像和融合图像，可以达到同样的对比效果。

14、在一种可能的实施方式中，电子设备根据包括目标特征的图像处理第三图像以获得融合图像，具体包括：

15、获取包括目标特征的图像中目标特征所在区域的图像特征；

16、根据图像特征和第三图像进行局部图像生成，以获得融合图像。

17、本方案中，利用局部图像生成原理，基于目标特征所在区域的图像特征和第三图像，生成融合图像，其中，只需要生成第三图像中被裁剪的区域的图像，不需要生成整张图像，可以提升图像编辑的效率。

18、在一种可能的实施方式中，在确定n个目标区域时，电子设备先确定第一图像的多个第一特征和第二图像a的第二特征对应的多个特征相似度。电子设备再将多个第一特征中特征相似度满足特征相似度条件的第一特征对应的第一图像块所在区域确定为目标区域。

19、其中，特征相似度条件为特征相似度大于或等于相似度阈值。或者，特征相似度条件为特征相似度为对多个特征相似度按照特征相似度从高到低的顺序排序后，排序靠前的x个特征相似度中的任意一个，x为大于或等于一的整数。

20、而上述多个第一特征分别为第一图像中的多个第一图像块的四周的预设范围内的图像特征。第二特征为第二图像a中第二图像块的四周的预设范围内的图像特征，第二图像块包括目标特征。第一图像块和第二图像块的大小相同。m为一时，第二图像a为m张第二图像。m为大于一的整数时，第二图像a为m张第二图像中与第一图像的图像相似度最高的第二图像。

21、本方案中，基于两个图像块的四周特征相似程度越高，两个图像块包含同一种目标特征的概率更大的原理，通过确定两个图像块四周预设范围内的图像特征的相似度，再利用该相似度确定目标区域，可以有效提升目标区域的准确度。以产品图像为例，目标特征以裂缝为例，两个图像块的四周特征相似度越高，表明两个图像块四周的结构越相近，更加可能出现同样的裂缝。

22、在一种可能的实施方式中，在确定n个目标区域时，电子设备对m张第二图像中的每张第二图像进行如下处理：

23、确定第一图像的多个第一特征和第二图像的第二特征对应的多个特征相似度。将多个第一特征中特征相似度满足特征相似度条件的第一特征对应的第一图像块所在区域确定为目标区域。

24、其中，特征相似度条件为特征相似度大于或等于相似度阈值。或者，特征相似度条件为特征相似度为对多个特征相似度按照特征相似度从高到低的顺序排序后，排序靠前的x个特征相似度中的任意一个，x为大于或等于一的整数。

25、其中，多个第一特征分别为第一图像中的多个第一图像块的四周的预设范围内的图像特征。第二特征为第二图像中第二图像块的四周的预设范围内的图像特征，第二图像块包括目标特征。第一图像块和第二图像块的大小相同。

26、本方案中，在利用m张第二图像确定第一图像的n个目标区域时，可以利用每张第二图像分别确定第一图像中的目标区域，以全面查找确定第一图像中符合特征相似度条件的目标区域。

27、在一种可能的实施方式中，上述的图像编辑方法还包括：

28、从n个目标区域中选择s个目标区域。其中，选择策略为从n个目标区域中的至少两个目标区域中选择一个目标区域作为s个目标区域中的一个，至少两个目标区域在第一图像中的位置的差值小于差值阈值。

29、本方案中，当n个目标区域中存在至少两个目标区域在第一图像中的位置差值小于差值阈值时，表明该至少两个目标区域的位置差别不大，此时，从该至少两个目标区域中选择一个目标区域，仅保留被选择的那一个目标区域，所有保留下来的目标区域即为上述的s个目标区域。通过对位置差异不大的目标区域进行择一选择，仅保留一个目标区域，以避免重复处理相类似的目标区域，减小图像编辑的处理量，并且可以有效提升融合图像之间的差异度。

30、相应地，此时的第三图像为从第一图像中裁掉s个目标区域中的至少一个目标区域而得到的。

31、本方案中，在得到n个目标区域后，进一步根据n个目标区域得到s个目标区域，再从第一图像中裁掉该s个目标区域中的至少一个目标区域，以得到第三图像。

32、第二方面，本技术还提供一种图像编辑装置，该装置包括获取模块、呈现模块和融合模块。

33、获取模块，用于获取第一图像和m张第二图像。其中，m、n均为大于或等于一的整数，第一图像中不包括目标特征，第二图像中包括目标特征。

34、呈现模块，用于呈现第一图像中的n个目标区域。其中，n个目标区域在第一图像中的位置与目标特征在m张第二图像中的位置相关。

35、呈现模块，还用于呈现第三图像，第三图像为从第一图像中裁掉n个目标区域中的至少一个目标区域而得到的。

36、融合模块，用于根据包括目标特征的图像处理第三图像以获得融合图像，融合图像包括目标特征。

37、呈现模块，还用于呈现融合图像。

38、在一种可能的实施方式中，上述图像编辑装置还包括：

39、确定模块，用于响应特征选择操作，从多个待选特征中确定至少一个待选特征为目标特征。

40、该确定模块，还用于基于目标特征，从图像库中确定m张第二图像。图像库包括多张图像，多张图像中的每张图像包括待选特征，且多张图像中包括至少两个待选特征。

41、在一种可能的实施方式中，上述呈现模块，还用于呈现融合图像以及第一图像。

42、或者，

43、呈现模块，还用于呈现融合图像，融合图像中目标特征所在区域的局部图像，第一图像以及第一图像中被裁掉的至少一个目标区域的图像。

44、在一种可能的实施方式中，上述融合模块具体用于：获取包括目标特征的图像中目标特征所在区域的图像特征。根据图像特征和第三图像进行局部图像生成，以获得融合图像。

45、在一种可能的实施方式中，上述图像编辑装置还包括处理模块，处理模块用于执行以下步骤：

46、确定第一图像的多个第一特征和第二图像a的第二特征对应的多个特征相似度。将多个第一特征中特征相似度满足特征相似度条件的第一特征对应的第一图像块所在区域确定为目标区域。

47、其中，多个第一特征分别为第一图像中的多个第一图像块的四周的预设范围内的图像特征。第二特征为第二图像a中第二图像块的四周的预设范围内的图像特征，第二图像块包括目标特征。第一图像块和第二图像块的大小相同。m为一时，第二图像a为m张第二图像。m为大于一的整数时，第二图像a为m张第二图像中与第一图像的图像相似度最高的第二图像。而特征相似度条件为特征相似度大于或等于相似度阈值。或者，特征相似度条件为特征相似度为对多个特征相似度按照特征相似度从高到低的顺序排序后，排序靠前的x个特征相似度中的任意一个，x为大于或等于一的整数。

48、在一种可能的实施方式中，上述图像编辑装置还包括处理模块，处理模块用于执行以下步骤：

49、对m张第二图像中的每张第二图像进行如下处理：

50、确定第一图像的多个第一特征和第二图像的第二特征对应的多个特征相似度；将多个第一特征中特征相似度满足特征相似度条件的第一特征对应的第一图像块所在区域确定为目标区域。

51、其中，多个第一特征分别为第一图像中的多个第一图像块的四周的预设范围内的图像特征。第二特征为第二图像中第二图像块的四周的预设范围内的图像特征，第二图像块包括目标特征。第一图像块和第二图像块的大小相同。而特征相似度条件为特征相似度大于或等于相似度阈值。或者，特征相似度条件为特征相似度为对多个特征相似度按照特征相似度从高到低的顺序排序后，排序靠前的x个特征相似度中的任意一个，x为大于或等于一的整数。

52、在一种可能的实施方式中，上述图像编辑装置还包括：

53、选择模块，用于从n个目标区域中选择s个目标区域。其中，选择策略为从n个目标区域中的至少两个目标区域中选择一个目标区域作为s个目标区域中的一个，至少两个目标区域在第一图像中的位置的差值小于差值阈值。

54、此时，第三图像为从第一图像中裁掉s个目标区域中的至少一个目标区域而得到的。

55、第三方面，本技术还提供一种图像编辑设备，包括处理器和存储器。其中，处理器和存储器相连，其中，存储器用于存储程序代码，处理器用于调用程序代码，以执行如第一方面所述的图像编辑方法。

56、第四方面，本技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面所述的图像编辑方法。

57、第五方面，本技术还提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行第一方面所述的图像编辑方法。

58、第六方面，本技术还提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行第一方面所述的图像编辑方法。

59、可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行第一方面所述的图像编辑方法。