图像生成模型的训练方法、图像生成方法及装置与流程

1.本公开涉及计算机技术领域，尤其涉及知识图谱、深度学习等人工智能技术领域，具体涉及一种图像生成模型的训练方法、图像生成方法及装置。


背景技术：

2.目前，图像生成领域已经取得了较大的进展，但跨模态的图像生成仍然存在着一定的挑战，根据描述文本生成可以包含该描述的图像是典型的研究场景，该研究可以应用到很多的场景，如抽象画生成、人物生成、风景生成等。然而，目前的图像生成方案对常识性、事实性的描述文本难以生成真实、有效的图像。


技术实现要素：

3.本公开提供了一种图像生成模型的训练方法、图像生成方法及装置。
4.根据本公开的第一方面，提供了一种图像生成模型的训练方法，包括：
5.获取第一图像样本以及第一图像样本所匹配的第一文本样本；
6.根据预设的知识图谱对第一图像样本和第一文本样本中的至少一类样本进行增强处理，得到增强后的第二图像样本和第二文本样本中的至少一类样本；
7.根据第一训练集、第二训练集和第三训练集中的任意一个训练集，对图像生成模型进行训练，直到图像生成模型收敛；第一训练集包括第二图像样本和第一文本样本，第二训练集包括第一图像样本和第二文本样本，第三训练集包括第二图像样本和第二文本样本。
8.根据本公开的第二方面，提供了一种图像生成方法，包括：
9.获取文本；
10.通过图像生成模型对文本进行处理，基于图像生成模型的输出得到文本对应的图像；图像生成模型是通过本公开任一实施例提供图像生成模型的训练方法训练出的。
11.根据本公开的第三方面，提供了一种图像生成模型的训练装置，包括：
12.样本获取模块，用于获取第一图像样本以及第一图像样本所匹配的第一文本样本；
13.样本增强模块，用于根据预设的知识图谱对第一图像样本和第一文本样本中的至少一类样本进行增强处理，得到增强后的第二图像样本和第二文本样本中的至少一类样本；
14.模型训练模块，用于根据第一训练集、第二训练集和第三训练集中的任意一个训练集，对图像生成模型进行训练，直到图像生成模型收敛；第一训练集包括第二图像样本和第一文本样本，第二训练集包括第一图像样本和第二文本样本，第三训练集包括第二图像样本和第二文本样本。
15.根据本公开的第四方面，提供了一种图像生成装置，包括：
16.文本获取模块，用于获取文本；
17.图像生成模块，用于通过图像生成模型对文本进行处理，基于所述图像生成模型的输出得到所述文本对应的图像；所述图像生成模型是通过本公开任一实施例提供的图像生成模型的训练装置训练出的。
18.根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够执行本公开任一实施例提供的图像生成模型的训练方法或图像生成方法。
19.根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开任一实施例提供的图像生成模型的训练方法或图像生成方法。
20.根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现本公开任一实施例提供的图像生成模型的训练方法或图像生成方法。
21.本公开的技术方案可至少实现如下有益效果：
22.基于知识图谱对相匹配的第一图像样本和第一文本样本中至少一类样本进行增强处理，可增加样本的知识性，基于该样本对图像生成模型进行训练，可增强图像生成模型对知识数据的学习，提高图像生成模型的质量，对常识性、事实性的描述文本可以生成更真实、有效的图像。
23.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
24.附图用于更好地理解本方案，不构成对本公开的限定。其中：
25.图1是本公开实施例提供的一种图像生成模型的训练方法的流程示意图；
26.图2是本公开实施例提供的另一种图像生成模型的训练方法的部分流程示意图；
27.图3是本公开实施例提供的图像生成模型的训练方法的一种可选实施方式的原理示意图；
28.图4是本公开实施例提供的一种图像生成方法的流程示意图；
29.图5是本公开实施例提供的一种图像生成模型的训练装置的结构框架示意图；
30.图6是本公开实施例提供的一种图像生成装置的结构框架示意图；
31.图7是本公开实施例提供的一种电子设备的结构框架示意图。
具体实施方式
32.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
33.在本公开实施例的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定
有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
34.应该进一步理解的是，本公开实施例中使用的措辞“和/或”包括一个或更多个相匹配的列出项的全部或任一单元和全部组合。
35.本技术领域技术人员可以理解，除非另外定义，本公开实施例使用的所有术语(包括技术术语和科学术语)，具有与本公开所属领域中的普通技术人员的一般理解相同的意义。
36.下面以具体实施例对本公开的技术方案进行详细说明。
37.根据本公开的实施例，本公开提供了一种图像生成模型的训练方法，如图1所示，该方法包括：
38.s101，获取第一图像样本以及该第一图像样本所匹配的第一文本样本。
39.第一图像样本可以是多个，第一文本样本也可以是多个。每个第一图像样本可以与至少一个第一文本样本相匹配，在一个示例中，对相匹配的图像(作为第一图像样本)和文本(作为第一文本样本)，该文本的内容为描述该图像的内容；每个第一文本样本可以与至少一个第一图像样本相匹配，即每个第一文本样本中的描述内容可以与至少一个第一图像样本所呈现的图像内容对应。
40.s102，根据预设的知识图谱对第一图像样本和第一文本样本中的至少一类样本进行增强处理，得到增强后的第二图像样本和第二文本样本中的至少一类样本。
41.可选的，根据预设的知识图谱对所述第一图像样本和第一文本样本中的至少一类样本进行增强处理，得到增强后的第二图像样本和第二文本样本中的至少一类样本，包括：根据预设的知识图谱对第一图像样本进行增强处理，得到增强后的第二图像样本，其具体过程如下：
42.获取第一图像样本的第一实体信息，并获取知识图谱中与第一实体信息相匹配的第一知识数据；根据第一知识数据对所述第一图像样本的第一实体信息进行更新，得到第二图像样本。
43.获取第一图像样本的实体信息作为第一实体信息，该第一实体信息可以是实体标签，例如老虎、自行车、动物、交通工具等实体标签。
44.基于知识图谱中的知识数据对第一图像样本的实体信息进行更新，可实现对第一图像样本的知识增强，提高第一图像样本的知识性。
45.在一种可选的实施方式中，可采用目标检测算法、图片分类算法等至少一种算法获取第一图像样本的实体信息。目标检测算法可以是r-cnn(region-convolutional neural network，区域卷积神经网络)系列的算法，例如faster r-cnn(快速区域卷积神经网络)算法；图片分类算法可以是resnet(residual network，残差网络)算法。本公开实施例中的目标检测算法和图片分类算法也可以是除上述示例以外的其它算法，本公开实施例对此不作限定，可实现获取图像样本(如第一图像样本)的实体信息的功能即可。
46.在一种可选的实施方式中，根据第一知识数据对第一实体信息进行更新，包括：将第一知识数据填充到第一实体信息中。填充后的第一实体信息中包括原本的第一实体信息和第一知识数据，即原本的第一实体信息和填充的第一知识数据共同作为填充后(更新后)的第一实体信息。其中，第一知识数据可以是预先构建的知识图谱中第一实体信息的别名、
简称、释义等至少一种信息。
47.本公开实施例对填充的具体形式不作限定，可以并列的形式填充，例如“实体a、实体b、实体c”，也可以注释的形式填充，例如“实体a(也称为实体b或实体c)”，也可以是上述示例以外的其它形式。
48.在一个示例中，若通过目标检测算法识别出的第一图像样本的实体标签为大熊猫，可在预先构建的知识图谱中获取大熊猫的别名(例如竹熊、食铁兽)，将原本的实体标签大熊猫和获取到的别名竹熊、食铁兽等共同作为第一图像样本的新的实体信息，将具有新的实体信息的该第一图像样本作为第二图像样本。
49.可选的，根据预设的知识图谱对所述第一图像样本和第一文本样本中的至少一类样本进行增强处理，得到增强后的第二图像样本和第二文本样本中的至少一类样本，包括：根据预设的知识图谱对第一文本样本进行增强处理，得到增强后的第二文本样本，其具体过程可通过如下实施方式一和实施方式二中任意一种来实现：
50.实施方式一，获取第一文本样本的第二实体信息，并获取预设的知识图谱中与第二实体信息相匹配的第二知识数据；根据第二知识数据对第一文本样本的第二实体信息进行更新，得到第二文本样本。
51.获取第一文本样本的实体信息作为第二实体信息，该第二实体信息可以是名实体的信息。可选的，可通过自然语言的实体识别算法、短语识别算法等至少一种算法获取第一文本样本的第二实体信息。实体识别算法和短语识别算法均可以是lstm(long short-term memory，长短期记忆网络)算法，也可以是其它算法，本公开实施例对此不作限定，可实现获取文本样本(如第一文本样本)的实体信息的功能即可。
52.基于知识图谱中的知识数据对第一文本样本的实体信息进行更新，可实现对第一文本样本的知识增强，提高第一文本样本的知识性。
53.在一种可选的实施方式中，根据第二知识数据对第二实体信息进行更新，包括以下至少一种操作：将第二知识数据填充到第二实体信息中；用第二知识数据替换第二实体信息。填充后的第二实体信息中包括原本的第二实体信息和第二知识数据，即原本的第二实体信息和第二知识数据共同作为填充后(更新后)的第二实体信息；替换后的第二实体信息中包括第二知识数据，即第二知识数据替代了原本的第二实体信息，作为替换后(更新后)的第二实体信息。其中，第二知识数据可以是预先构建的知识图谱中第二实体信息的别名、简称、释义等至少一种信息。
54.在一个示例中，第一文本样本的内容为“秋田犬坐在家门口看日落”，通过实体识别算法或短语识别算法识别出的名实体为“秋田犬”，在预先构建的知识图谱中可获取到秋田犬的释义信息“犬科灰狼种动物”，将该释义信息填充到原本的名实体“秋田犬”中，填充后的第二实体信息为“秋田犬(犬科灰狼种动物)”，得到的第二文本样本的内容为“秋田犬(犬科灰狼种动物)坐在家门口看日落”。
55.在一个示例中，第一文本样本的内容为“秋田犬坐在家门口看日落”，通过实体识别算法或短语识别算法识别出的名实体为“秋田犬”，在预先构建的知识图谱中可获取到秋田犬的别名“大黄”，用该别名替换原本的名实体“秋田犬”，得到的第二文本样本为的内容为“大黄坐在家门口看日落”。
56.在另一种可选的实施方式中，根据第二知识数据对第二实体信息进行更新，包括：
将第二知识数据填充到第二实体信息中，和/或，用第二知识数据替换第二实体信息；对填充或替换后的第二实体信息再次进行表述增强，并再次获取表述增强后的第一文本样本的实体信息；再次根据第二知识数据对该实体信息进行填充或替换。类似的表述增强可反复进行多次，不断的对第一文本样本的实体信息进行表述增强、实体信息获取和实体信息填充/替换，进而得到最终更新后的样本作为第二文本样本。反复执行表述增强、实体信息获取和实体信息更新的次数可根据实际需求设置。
57.实施方式二，对第一文本样本进行表述增强处理；获取表述增强处理后的第一文本样本的第三实体信息，并获取预设的知识图谱中与第三实体信息相匹配的第三知识数据；根据第三知识数据对第一文本样本的第三实体信息进行更新，得到第二文本样本。
58.在一个可选的实施方式中，可通过文本复述技术、翻译回传技术等任意至少一种技术对第一文本样本进行表述增强处理，以增加第一文本样本表述方式的多样性，多种表述方式可形成多个第一文本样本，从而可增加第一文本样本的数量。文本复述技术和翻译回传技术可基于seq2seq(sequence-to-sequence，序列到序列)模型来实现，也可以通过其它方式实现，本公开实施例对此不作限定，可实现对文本样本(例如第一文本样本)的表述增强处理即可。
59.获取表述增强处理后的第一文本样本的实体信息作为第三实体信息，该第三实体信息可以是名实体的信息。可选的，可通过自然语言的实体识别算法、短语识别算法等至少一种算法获取表述增强处理后的第一文本样本的第三实体信息。
60.可选的，根据第三知识数据对第三实体信息进行更新的具体方式，可参照上述实施方式一中根据第二知识数据对第二实体信息进行更新的方式，此处不再赘述。
61.s103，根据第一训练集、第二训练集和第三训练集中的任意一个训练集，对图像生成模型进行训练，直到图像生成模型收敛。
62.第一训练集包括第二图像样本和第一文本样本，第二训练集包括第一图像样本和第二文本样本，第三训练集包括第二图像样本和第二文本样本。对于具有匹配关系的一对第一图像样本和第一文本样本，对该第一图像样本知识增强后得到的第二图像样本和该第一文本样本也具有匹配关系，对该第一文本样本知识增强后的第二文本样本和该第一图像样本也具有匹配关系，对该第一图像样本知识增强后得到的第二图像样本和对该第一文本样本知识增强后的第二文本样本也具有匹配关系。
63.在一个示例中，图像生成模型可以是transform(变换)模型，在其它示例中，图像生成模型还可以是其它类型的模型，例如rnn(recurrent neural network，循环神经网络)、cnn(convolutional neural network，卷积神经网络)、lstm。
64.可选的，如图2所示，在步骤103中，根据第一训练集、第二训练集和第三训练集中的任意一个训练集，对图像生成模型进行训练，包括如下步骤s201-s203：
65.s201，对任意一个训练集中的图像样本和文本样本中的至少一类样本进行聚合，得到聚合后的图像样本组和文本样本组中的至少一类样本组。
66.图像样本为第一图像样本或第二图像样本，文本样本为第一文本样本或第二文本样本。在第一训练集中，图像样本为第二图像样本，文本样本为第一文本样本；在第二训练集中，图像样本为第一图像样本，文本样本为第二文本样本，在第三训练集中，图像样本为第二图像样本，文本样本为第二文本样本。
67.可选的，对任意一个训练集中的图像样本进行聚合的具体方式为：对于所述任意一个训练集，确定实体信息相同的多个图像样本，将该多个图像样本聚合为一个图像样本组。基于实体信息是否相同对训练集中的图像样本进行聚合，可提高聚合效果，得到实体信息更加一致的图像样本组。
68.可选的，确定是否存在实体信息相同的多个图像样本，包括以下两种实现方式：方式一，在当前训练集的所有图像样本中，确定是否存在实体信息相同的多个图像样本；方式二，在确定各图像样本的实体数量是否大于预设的实体数量阈值；在实体数量大于实体数量阈值的各图像样本中，确定实体信息相同的多个图像样本。基于实体数量阈值可筛选出实体数量较多的图像样本，实体数量较多的图像样本所提供的有效信息较多，在此基础确定出的实体信息相同的图像样本的质量更高，有助于提高训练质量。
69.可选的，对任意一个训练集中的文本样本进行聚合的具体方式为：对于任意一个训练集，确定实体信息相同的多个文本样本，将该多个文本样本聚合为一个文本样本组。基于实体信息是否相同对训练集中的文本样本进行聚合，可提高聚合效果，得到实体信息更加一致的文本样本组。
70.可选的，确定是否存在实体信息相同的多个文本样本，包括以下两种实现方式：方式一，在当前训练集的所有文本样本中，确定是否存在实体信息相同的多个图像样本；方式二，确定各文本样本的实体数量是否大于预设的实体数量阈值；在实体数量大于所述实体数量阈值的各文本样本中，确定实体信息相同的多个文本样本。基于实体数量阈值可筛选出实体数量较多的文本样本，实体数量较多的文本样本所提供的有效信息较多，在此基础确定出的实体信息相同的文本样本的质量更高，有助于提高训练质量。
71.本公开实施例中的实体信息相同是指实体信息的语义相同而非表述方式完全相同。例如，大熊猫、竹熊、食铁兽这三个实体信息的表述方式明显不同，但都表示同一种动物，因此该三个实体信息的语义相同。在判断两个实体信息的语义是否相同时，可根据两个实体信息的相似度判断，若实体信息的相似度大于预设的相似度阈值，即可认为两个实体信息的语义相同。其中，实体信息的相似度可根据tf-idf(term frequency
–
inverse document frequency，词频-逆文本频率指数)方法、jaccard(杰卡德)相似度算法等得到。
72.本公开实施例中的实体数量阈值、重合度阈值、相似度阈值均可根据实际需求或经验值预先设置。
73.s202，对于样本组中的每个指定样本，根据样本组中该指定样本之外的其它样本所匹配的文本样本或图像样本，对该指定样本的匹配关系进行更新。
74.对于图像样本组，其中的每个图像样本均可作为指定样本(指定的图像样本)进行上述更新。在一个示例中，若一个图像样本组中包括10个图像样本，对于10个图像样本中的图像样本x，可根据另外的9个图像样本所匹配的文本样本，对该图像样本x所匹配的文本样本进行更新。
75.对于文本样本组，其中的每个文本样本均可作为指定样本(指定的文本样本)进行上述更新。在一个示例中，若一个文本样本组中包括10个图像样本，对于10个图像样本中的图像样本y，可根据另外的9个文本样本所匹配的文本样本，对该图像样本x所匹配的文本样本进行更新。
76.由于同一图像样本组中各图像样本的实体信息相同，各图像样本所匹配的文本样
本也具有一定的相似度，因此可以根据同一图像样本组的其它图像样本所匹配的文本样本对指定的图像样本所匹配的文本样本进行更新，以增加图像样本所匹配的文本样本的丰富性。基于同样的原理，可以根据同一文本样本组的其它文本样本所匹配的图像样本对指定的文本样本所匹配的图像样本进行更新，以增加文本样本所匹配的图像样本的丰富性。
77.一种可选的实施方式中，根据样本组中该指定样本之外的其它样本所匹配的文本样本或图像样本，对该指定样本的匹配关系进行更新，包括：
78.在其它样本所匹配的文本样本或图像样本中随机选择第一指定数量的文本样本或图像样本，作为增强样本；建立增强样本与指定样本的匹配关系。
79.在另一种可选的实施方式中，根据样本组中该指定样本之外的其它样本所匹配的文本样本或图像样本，对该指定样本的匹配关系进行更新，包括：
80.确定上述其它样本所匹配的文本样本或图像样本与指定样本之间的匹配度；在上述其它样本对应的文本样本或图像样本中选择匹配度大于预设的匹配度阈值的文本样本或图像样本，作为增强样本；建立增强样本与指定样本的匹配关系。
81.其它样本所匹配的文本样本或图像样本与指定样本之间的匹配度，可采用clip(contrastive language-image pre-training，跨模态对比学习预训练模型)模型确定。
82.匹配度阈值可根据实际需求或经验值预先设置。
83.同一图像样本组各图像样本所匹配的文本样本可能具有较大的差异，对于某一图像样本x，若基于同组中其余的所有图像样本所匹配的文本样本来更新该图像样本x，可能会为图像样本x引入匹配度较低文本样本，影响模型训练的精度，通过随机选择第一指定数量的文本样本作为增强样本的方式或选择匹配度较高的文本样本作为增强样本的方式，可以减小引入匹配度较低的文本样本的概率，避免匹配度较低的图像样本和文本样本组合对模型训练的不良影响。基于同样的原理，对于同一文本样本组，通过随机选择第一指定数量的图像样本作为增强样本的方式或选择匹配度较高的图像样本作为增强样本的方式，可以减小引入匹配度文本样本的概率，避免匹配度较低的图像样本和文本样本组合对模型训练的不良影响。
84.本公开实施例不具体限定对哪一类样本组进行上述更新，可以对图像样本组中各图像样本所匹配的文本样本进行更新，也可以对文本样本组中各文本样本所匹配的图像样本进行更新，也可以对图像样本组和文本样本组都进行上述更新。
85.在一种可选的实施方式中，在对图像样本组和文本样本组都进行上述更新的情况下，可能会遇到重复的匹配关系，此时可进行去重处理，即保留其中的一个匹配关系的记录，去除其它匹配有关系的记录。在一个示例中，对于某一图像样本x和某一文本样本y，在基于图像样本x所属的图像样本组中其它图像样本所匹配的文本样本对该图像样本x的文本样本进行更新时，建立了图像样本x和文本样本y的匹配关系，在基于文本样本y所属的文本样本组中其它文本样本所匹配的图像样本对该文本样本y的图像样本进行更新时，同样建立了图像样本x和文本样本y的匹配关系，则可保留图像样本x和文本样本y的一个匹配关系。
86.在另一种可选的实施方式中，在对图像样本组和文本样本组都进行上述更新的情况下，若首先对图像样本组中图像样本x与文本样本y建立了匹配关系，在对文本样本组中的文本样本y所匹配的图像样本进行更新时，可跳过建立文本样本y和图像样本x的匹配关
系的步骤。
87.s203，根据更新后的任意一个训练集，对图像生成模型进行训练。
88.通过对训练集中的样本进行聚合、更新，可增加训练集中样本的信息量，使图像生成模型可以对更丰富的信息进行学习，可提高图像生成模型的质量。
89.可选的，在更新后的任意一个训练集中具有匹配关系的各样本对中，确定图像样本的实体信息和文本样本的实体信息的相似度大于预设的相似度阈值的样本对，根据大于相似度阈值的相似度对应的各样本对，对图像生成模型进行训练；样本对包括具有匹配关系的图像样本和文本样本。
90.本公开实施例中的相似度阈值可根据实际需求或经验值设置，基于相似度阈值，可在更新后的训练集的各样本对中，筛选出图像样本的实体信息和文本样本的实体信息的相似度较高的样本对，基于相似度较高的样本对，对图像生成模型进行训练，有助于训练出精度较高图像生成模型。
91.可选的，根据大于相似度阈值的相似度对应的各样本对，对图像生成模型进行训练，包括：
92.在大于相似度阈值的相似度对应的各样本对中，确定图像样本中的实体数量和文本样本中的实体数量均大于第二指定数量的样本对，根据该样本对对图像生成模型进行训练。
93.本公开实施例中的第二指定数量可根据实际需要或经验值设置，基于第二指定数量可在相似度较高(指图像样本的实体信息和文本样本的实体信息的相似度)的样本对中进一步筛选出实体数量较多的样本对，实体数量较多的样本对可在训练过程中提供更丰富的信息，有助于训练出精度理更高的图像生成模型。
94.可选的，在步骤103中，根据第一训练集、第二训练集和第三训练集中的任意一个训练集，对图像生成模型进行训练，包括：根据生成损失和任意一个训练集的实体信息，构建损失函数；根据任意一个训练集和构建出的损失函数，对图像生成模型进行训练。
95.下面以图像生成模型为transform模型为例介绍损失函数的具体构建方式：
96.目前对transform模型的训练方式主要是基于生成损失的训练，其模型训练预测的一般的表达形式如下：
[0097][0098]
在表达式(1)中，x表示输入的文本，m表示文本的长度，x1→m表示长度为m的文本；y表示预测的图像块级(token)集合，i表示图片块级的序号，yi表示预测第i个图像块级，表示第1至i-1个图像块级；表示给定x1→m和时，预测第i个图像块级的概率，g表示生成函数。
[0099]
目前的损失(loss)函数是基于生成损失来构建的，具体如下：
[0100][0101]
在表达式(2)中，p(yi)表示预测第i个图像块级的概率，n表示目标输出的长度(即预测的图像块级的总数量)，其它参数含义同前。
[0102]
本公开实施例中可根据任意一个训练集的实体信息，对损失函数进行构建，具体如下：
[0103][0104]
在表达式(3)中，c表示知识图谱中的知识数据，k为训练集中的实体信息的集合大小(即实体信息的数量)，p(c)表示模型预测输入的文本中包含知识图谱中的知识数据的概率，其余参数含义同前。
[0105]
基于表达式(3)的损失函数，模型训练预测的一般的表达式如下：
[0106]
p(c)＝cls(transform(x))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
表达式(4)
[0107]
在表达式(4)中，cls为二分类函数，其作参数同前。
[0108]
本公开实施例提供的根据任意一个训练集的实体信息构建损失函数的方式，可实现在训练过程中的知识增强，即在训练过程中强制模型学习相关的知识数据，从而可得到知识增强的图像生成模型。
[0109]
图3示出了本公开提供的图像生成方法的一种可选的实施方式，参照图3，该实施方式的原理如下：
[0110]
对获取到的图像(作为第一图像样本)进行实体标签的抽取，并对该图像所匹配的文本(作为第一文本样本)进行表述增强(可选步骤)和名实体的抽取；基于知识图谱分别对抽取后的图像和文本进行知识增强处理；对增强处理后的图像和文本进行聚合，并对聚合的图像和文本所匹配的文本和图像进行更新，得到用于训练模型的知识增强的图像-文本对；基于该图像-文本对图像生成模型transtorm进行训练，在训练过程中，在现有的生成训练的基础上，通过预先构建的损失函数引入实体标签、名实体、知识数据中的至少一项进行知识判别(即损失函数的计算)，得到训练出的知识增强的图像生成模型。
[0111]
参照图3的示例，文本知识增强后可再执行至少一次的文本表述增强、名实体抽取和文本知识增强的循环步骤。
[0112]
图3所示的抽取、增强、更新等处理及其有益效果可参照前面的内容，此处不再赘述。
[0113]
根据本公开的实施例，本公开还提供了一种图像生成方法，如图4所示，该方法包括：
[0114]
s401，获取文本；
[0115]
s402，通过图像生成模型对文本进行处理，基于图像生成模型的输出得到文本对应的图像；图像生成模型是通过本公开任一实施例提供的图像生成模型的训练方法训练出的。
[0116]
图3示出了一个文本的示例，将文本“一只蓝色的蝴蝶创意”输入知识增强的图像生成模型，可生成一个包含蓝色蝴蝶的图像。
[0117]
通过两种知识增强方式(分别为对训练集中的样本进行知识增强和在训练过程中进行知识增强，可得到精度较高并学习了知识数据的图像生成模型，在使用该模型进行预测时，输入文本无需进行任何的额外处理即可生成更加符合人类认知的图像，大大提升输出图像和输入文本的语义一致性。
[0118]
本公开的技术方案可满足用户在写作时的创意性图像生成，为用户生成个性的图像，有助于提高创作效率，同时可降低图像版权的侵权概率。
[0119]
根据本公开的实施例，本公开还提供了一种图像生成模型的训练装置，如图5所示，该装置包括：样本获取模块501、样本增强模块502和模型训练模块503。
[0120]
样本获取模块501，用于获取第一图像样本以及第一图像样本所匹配的第一文本样本。
[0121]
样本增强模块502，用于根据预设的知识图谱对第一图像样本和第一文本样本中的至少一类样本进行增强处理，得到增强后的第二图像样本和第二文本样本中的至少一类样本。
[0122]
模型训练模块503，用于根据第一训练集、第二训练集和第三训练集中的任意一个训练集，对图像生成模型进行训练，直到图像生成模型收敛；第一训练集包括第二图像样本和第一文本样本，第二训练集包括第一图像样本和第二文本样本，第三训练集包括第二图像样本和第二文本样本。
[0123]
在一种可选的实施方式中，样本增强模块502包括：第一信息获取单元和第一信息更新单元。
[0124]
第一信息获取单元，用于获取第一图像样本的第一实体信息，并获取知识图谱中与第一实体信息相匹配的第一知识数据。
[0125]
第一信息更新单元，用于根据所述第一知识数据对所述第一图像样本的第一实体信息进行更新，得到第二图像样本。
[0126]
在另一种可选的实施方式中，样本增强模块502包括：第二信息获取单元和第二信息更新单元。
[0127]
第二信息获取单元，用于获取第一文本样本的第二实体信息，并获取知识图谱中与第二实体信息相匹配的第二知识数据。
[0128]
第二信息更新单元，用于根据所述第二知识数据对所述第一文本样本的第二实体信息进行更新，得到第二文本样本。
[0129]
在又一种可选的实施方式中，样本增强模块502包括：表述增强单元、第三信息获取单元和第三信息更新单元。
[0130]
表述增强单元，用于对第一文本样本进行表述增强处理；
[0131]
第三信息获取单元，用于获取表述增强处理后的第一文本样本的第三实体信息，并获取知识图谱中与第三实体信息相匹配的第三知识数据。
[0132]
第三信息更新单元，用于根据所述第三知识数据对所述第一文本样本的第三实体信息进行更新，得到第二文本样本。
[0133]
可选的，模型训练模块503包括：样本聚合单元、样本更新单元和模型训练单元。
[0134]
样本聚合单元，用于对任意一个训练集中的图像样本和文本样本中的至少一类样本进行聚合，得到聚合后的图像样本组和文本样本组中的至少一类样本组；图像样本为第一图像样本或第二图像样本，文本样本为第一文本样本或第二文本样本。
[0135]
样本更新单元，用于对于样本组中的每个指定样本，根据样本组中该指定样本之外的其它样本所匹配的文本样本或图像样本，对该指定样本的匹配关系进行更新。
[0136]
模型训练单元，用于根据更新后的任意一个训练集，对图像生成模型进行训练。
[0137]
在一种可选的实施方式中，样本聚合单元具体用于：对于任意一个训练集，确定实体信息相同的多个图像样本，将该多个图像样本聚合为一个图像样本组。
[0138]
可选的，在确定是否存在实体信息相同的多个图像样本时，样本聚合单元具体用于：确定各图像样本的实体数量是否大于预设的实体数量阈值；在实体数量大于实体数量
阈值的各图像样本中，确定实体信息相同的多个图像样本。
[0139]
在另一种可选的实施方式中，样本聚合单元具体用于：对于任意一个训练集，确定实体信息相同的多个文本样本，将该多个文本样本聚合为一个文本样本组。
[0140]
可选的，在确定是否存在实体信息相同的多个文本样本时，样本聚合单元具体用于：确定各文本样本的实体数量是否大于预设的实体数量阈值；在实体数量大于实体数量阈值的各文本样本中，确定实体信息相同的多个文本样本。
[0141]
在一种可选的实施方式中，样本更新单元具体用于：在其它样本所匹配的文本样本或图像样本中随机选择指定数量的文本样本或图像样本，作为增强样本；建立增强样本与指定样本的匹配关系。
[0142]
在另一种可选的实施方式中，样本更新单元具体用于：确定其它样本所匹配的文本样本或图像样本与指定样本之间的匹配度；在其它样本对应的文本样本或图像样本中选择匹配度大于预设的匹配度阈值的文本样本或图像样本，作为增强样本；建立增强样本与指定样本的匹配关系。
[0143]
可选的，模型训练单元具体用于：在更新后的任意一个训练集中具有匹配关系的各样本对中，确定图像样本的实体信息和文本样本的实体信息的相似度大于预设的相似度阈值的样本对，根据大于所述相似度阈值的相似度对应的各样本对，对图像生成模型进行训练；样本对包括具有匹配关系的图像样本和文本样本。
[0144]
可选的，在根据该样本对对图像生成模型进行训练时，模型训练单元具体用于：在大于相似度阈值的相似度对应的各样本对中，确定图像样本中的实体数量和文本样本中的实体数量均大于第二指定数量的样本对，根据该样本对对图像生成模型进行训练。
[0145]
可选的，模型训练模块503包括：函数构建单元和模型训练单元。
[0146]
函数构建单元，用于根据生成损失和任意一个训练集的实体信息，构建损失函数。
[0147]
模型训练单元，用于根据任意一个训练集和损失函数，对图像生成模型进行训练。
[0148]
根据本公开的实施例，本公开还提供了一种图像生成装置，如图6所示，该装置包括：文本获取模块601和图像生成模块602。
[0149]
文本获取模块601，用于获取文本。
[0150]
图像生成模块602，用于通过图像生成模型对文本进行处理，基于图像生成模型的输出得到文本对应的图像；图像生成模型是通过本公开任一实施例提供的图像生成模型的训练装置训练出的。
[0151]
本公开实施例各装置中的模块单元和的功能可以参照上述方法实施例中的对应描述，在此不再赘述。
[0152]
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0153]
根据本公开的实施例，本公开还提供了一种电子设备、一种非瞬时计算机可读存储介质和一种计算机程序产品。
[0154]
本公开提供的电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够执行本公开任一实施例提供的图像生成模型的训练方法或图像生成方法。
[0155]
本公开提供的非瞬时计算机可读存储介质，存储有计算机指令，该计算机指令用于使计算机执行本公开任一实施例提供的图像生成模型的训练方法或图像生成方法。
[0156]
本公开提供的计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现本公开任一实施例提供的图像生成模型的训练方法或图像生成方法。
[0157]
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0158]
如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(rom)702中的计算机程序或者从存储单元708加载到随机访问存储器(ram)703中的计算机程序，来执行各种适当的动作和处理。在ram703中，还可存储设备700操作所需的各种程序和数据。计算单元701、rom 702以及ram 703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
[0159]
设备700中的多个部件连接至i/o接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0160]
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理。例如，在一些实施例中，上述方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由rom 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到ram 703并由计算单元701执行时，可以执行上文描述的方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述方法。
[0161]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0162]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的
功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0163]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0164]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0165]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0166]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0167]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0168]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。