图像数据生成方法、装置、电子设备及存储介质与流程

图像数据生成方法、装置、电子设备及存储介质
1.相关申请的交叉引用
2.本公开要求在2021年6月21日提交新加坡知识产权局、申请号为10202106738t的新加坡专利申请的优先权，其全部内容通过引用结合在本技术中。
技术领域
3.本公开涉及图像处理技术领域，尤其涉及一种图像数据生成方法、装置、电子设备及计算机可读存储介质。


背景技术：

4.随着人工智能技术和增强现实技术的进步，智能桌游应用得到了快速的发展。在智能桌游场景中，可以使用识别模型对真实场景中的游戏牌或者游戏币等桌游道具进行识别，进而根据识别结果计算输赢情况以及赔付情况。
5.实际应用中，要训练可以识别桌游道具的识别模型，需要提前采集海量的包含桌游道具的样本图像，并且还需要对样本图像中包含的物体进行人工标注，极大降低了图像数据的生成效率。


技术实现要素：

6.本公开实施例提供了一种图像数据生成方法、装置、电子设备及计算机可读存储介质。
7.本公开实施例的技术方案是这样实现的：
8.本公开实施例提供一种图像数据生成方法，所述方法包括：
9.获取多种桌游道具分别对应的多个虚拟三维道具模型；其中，桌游道具为桌游场景中使用的游戏工具；在虚拟三维桌游场景中，从所述多个虚拟三维道具模型中，随机确定包含至少一种桌游道具的至少一个虚拟三维道具模型；将所述至少一个虚拟三维道具模型叠加在所述虚拟三维桌游场景中，形成虚拟目标游戏场景；对所述虚拟目标游戏场景进行平面投影处理，得到包含所述至少一种桌游道具的二维图像数据。
10.在一些实施例中，所述获取多种桌游道具分别对应的多个虚拟三维模型，包括：基于多种拍摄视角，对所述多种桌游道具中每种桌游道具进行图像采集，得到所述每种桌游道具的视角图像序列；基于所述视角图像序列，对所述每种桌游道具进行三维模型构建，得到所述每种桌游道具对应的至少一个虚拟三维道具模型。
11.在在一些实施例中，所述基于所述视角图像序列，对所述每种桌游道具进行三维模型构建，得到所述每种桌游道具对应的至少一个虚拟三维道具模型，包括：基于所述视角图像序列，确定所述每种桌游道具中至少一个桌游道具对应的三维点云数据；对所述至少一个桌游道具对应的所述三维点云数据进行渲染处理，得到所述至少一个桌游道具对应的虚拟三维道具模型。
12.在在一些实施例中，所述对所述至少一个桌游道具对应的所述三维点云数据进行
渲染处理包括以下至少之一：对所述三维点云数据进行表面平滑处理；所述表面平滑处理用于对所述三维点云数据的表面的点云进行滤波处理，得到对应虚拟三维道具模型的表面轮廓；对所述三维点云数据进行纹理平滑处理；所述纹理平滑处理用于对对应虚拟三维道具模型的表面图像的纹理进行滤波处理；对所述三维点云数据进行对称性处理；所述对称性处理用于调整所述三维点云数据的轮廓形状。
13.在在一些实施例中，所述将所述至少一个虚拟三维道具模型叠加在所述虚拟三维桌游场景中，形成虚拟目标游戏场景，包括：将所述至少一个虚拟三维道具模型作为前景信息、所述虚拟三维桌游场景作为背景信息，进行叠加，得到虚拟目标游戏场景。
14.在在一些实施例中，所述将所述至少一个虚拟三维道具模型叠加在所述虚拟三维桌游场景中，形成虚拟目标游戏场景，包括：确定所述至少一个虚拟三维道具模型中的每个虚拟三维道具模型的显示信息；基于所述至少一个虚拟三维道具模型的显示信息，将所述至少一个虚拟三维道具模型叠加在所述虚拟三维桌游场景中，形成所述虚拟目标游戏场景。
15.在在一些实施例中，所述确定所述至少一个虚拟三维道具模型中的每个虚拟三维道具模型的显示信息，包括以下至少一个：
16.按照预设场景布局规则，确定所述至少一个虚拟三维道具模型中每个虚拟三维道具模型的显示位置；所述预设场景布局规则为预先设定的所述虚拟三维道具模型在所述三维桌游场景中的叠加规则；
17.随机确定所述至少一个虚拟三维道具模型中每个虚拟三维道具模型的显示姿态；
18.随机确定所述至少一个虚拟三维道具模型中每个虚拟三维道具模型的显示数量。
19.在在一些实施例中，所述对所述虚拟目标游戏场景进行平面投影处理，得到包含所述至少一个桌游道具的二维图像数据，包括：基于多个投影视角，对所述虚拟目标游戏场景进行平面投影处理，得到包含所述至少一种桌游道具的多个二维图像数据。
20.在在一些实施例中，还包括：获取真实桌游场景图像；将所述真实桌游场景图像和所述二维图像数据分别进行风格处理，得到真实桌游场景特征图和二维图像特征图；
21.采用所述真实桌游场景特征图对所述二维图像特征图进行风格迁移，得到二维图像迁移特征图；基于所述二维图像迁移特征图进行反向传播，确定出风格迁移后的迁移图像数据。
22.在在一些实施例中，桌游道具包括以下中的至少一个：
23.多个币面类型的游戏币，多个牌面类型的游戏牌，以及骰子。
24.本公开实施提供一种图像数据生成装置，包括：
25.模型获取单元，用于获取多种桌游道具分别对应的多个虚拟三维道具模型；其中，桌游道具为桌游场景中使用的游戏工具；
26.模型确定单元，用于在虚拟三维桌游场景中，从所述多个虚拟三维道具模型中，随机确定包含至少一种桌游道具的至少一个虚拟三维道具模型；
27.叠加处理单元，用于将所述至少一个虚拟三维道具模型叠加在所述虚拟三维桌游场景中，形成虚拟目标游戏场景；
28.图像生成单元，用于对所述虚拟目标游戏场景进行平面投影处理，得到包含所述至少一种桌游道具的二维图像数据，所述二维图像数据用于进行识别模型的训练使用。
29.在在一些实施例中，所述模型获取单元，具体用于基于多种拍摄视角，对所述多种桌游道具中每种桌游道具进行图像采集，得到所述每种桌游道具的视角图像序列；基于所述视角图像序列，对所述每种桌游道具进行三维模型构建，得到所述每种桌游道具对应的至少一个虚拟三维道具模型。
30.在在一些实施例中，所述模型获取单元，具体用于基于所述视角图像序列，确定所述每种桌游道具中至少一个桌游道具对应的三维点云数据；对所述至少一个桌游道具对应的所述三维点云数据进行渲染处理，得到所述至少一个桌游道具对应的虚拟三维道具模型。
31.在在一些实施例中，所述叠加处理单元，具体用于将所述至少一个虚拟三维道具模型作为前景信息、所述虚拟三维桌游场景作为背景信息，进行叠加，得到虚拟目标游戏场景。
32.在在一些实施例中，所述叠加处理单元，具体用于确定所述至少一个虚拟三维道具模型中的每个虚拟三维道具模型的显示信息；基于所述至少一个虚拟三维道具模型的显示信息，将所述至少一个虚拟三维道具模型叠加在所述虚拟三维桌游场景中，形成所述虚拟目标游戏场景。
33.在在一些实施例中，所述图像生成单元，具体用于基于多个投影视角，对所述虚拟目标游戏场景进行平面投影处理，得到包含所述至少一种桌游道具的多个二维图像数据。
34.在在一些实施例中，还包括风格迁移处理单元；
35.所述风格迁移处理单元，用于获取真实桌游场景图像；将所述真实桌游场景图像和所述二维图像数据分别进行风格处理，得到真实桌游场景特征图和二维图像特征图；采用所述真实桌游场景特征图对所述二维图像特征图进行风格迁移，得到二维图像迁移特征图；基于所述二维图像迁移特征图进行反向传播，确定出风格迁移后的迁移图像数据。
36.本公开实施例提供一种电子设备，包括：
37.存储器，用于存储计算机程序；
38.处理器，用于执行所述存储器中存储的计算机程序时，实现上述图像数据生成方法。
39.本公开实施例提供一种计算机可读存储介质，存储有计算机程序，用于被处理器执行时，实现上述图像数据生成方法。
40.本公开实施例提供的图像数据生成方法、装置、展示设备及计算机可读存储介质，可以获取多种桌游道具分别对应的多个虚拟三维道具模型；进而根据多个虚拟三维道具模型，自动地构建虚拟目标游戏场景。这样，对虚拟目标游戏场景进行平面投影，可以自动地得到包含桌游道具的二维图像数据。如此，大幅提升了图像数据生成的效率。
附图说明
41.图1a为本公开实施例提供的一种图像数据生成方法的系统架构示意图一；
42.图1b为本公开实施例提供的一种图像数据生成方法的系统架构示意图二；
43.图2为本公开实施例提供的一种图像数据生成方法流程示意图一；
44.图3为本公开实施例提供的一种图像数据生成方法流程示意图二；
45.图4为本公开实施例提供的一种图像数据生成方法流程示意图三；
46.图5为本公开实施例提供的一种应用场景示意图；
47.图6为本公开实施例提供的一种图像数据生成方法流程示意图四；
48.图7为本公开实施例提供的一种图像数据生成装置的组成结构示意图；
49.图8为本公开实施例提供的一种电子设备的组成结构示意图。
具体实施方式
50.为了使本公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本公开，并不用于限定本公开。
51.在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本公开实施例能够以除了在这里图示或描述的以外的顺序实施。
52.除非另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开实施例的目的，不是旨在限制本公开。
53.本公开实施例提供一种图像数据生成方法、装置、电子设备和存储介质，能够降低图像采集的人力和物力成本，提高图像采集的效率。下面说明本公开实施例提供的电子设备的示例性应用，本公开实施例提供的电子设备可以实施为服务器，如用于训练识别模型的服务器，也可以实施为笔记本电脑，平板电脑，台式计算机，移动设备等各种类型的用户终端。
54.下面，将说明本公开实施例提供的图像数据生成方法的系统架构示意图。
55.在一种可能的实现方式中，参考图1a所示的一种图像数据生成方法系统架构示意图一，电子设备10可以包括处理装置11和图像采集装置12，这样，电子设备11可以通过图像采集装置12采集不同拍摄视角下的桌游道具的视角图像序列，通过处理装置12对视角图像序列进行三维重建得到虚拟三维道具模型，进一步对多个虚拟三维道具模型进行组合以及平面投影处理，生成二维图像数据。
56.在另一种可能的实现方式中，参考图1b所示的一种图像数据生成方法系统架构示意图二，电子设备10可以通过接收其他设备13通过网络14传送的多种桌游道具对应的多个虚拟三维道具模型，这样，电子设备10可以对对多个虚拟三维道具模型进行组合以及平面投影处理，生成二维图像数据。
57.基于上述应用场景，对本公开实施例提供的一种图像数据生成方法进行描述。参见图2，图2是本公开实施例提供的图像数据生成方法的一个可选的流程示意图，将结合图2示出的步骤进行说明。
58.s101、获取多种桌游道具分别对应的多个虚拟三维道具模型。
59.其中，桌游道具为桌游场景中使用的游戏工具。例如，桌游道具可以包括游戏币、游戏牌以及骰子等。
60.本公开实施例中，虚拟三维道具模型，是指在虚拟三维空间中重建的桌游道具的立体模型。虚拟三维道具模型，能够在虚拟三维空间中模拟真实场景中桌游道具。
61.需要说明的是，每种桌游道具可以包括一个虚拟三维道具模型，或者多个三维道具模型。在一示例中，游戏牌作为一种桌游道具，可以包括不同的牌面，这样，游戏牌中的每一个牌面都可以对应一个三维道具模型。因此，游戏牌可以包括多种虚拟三维道具模型。在另一示例中，骰子作为一种桌游道具，其通常只有一种类型，即六个面的正方体。因此，骰子可以包括一个虚拟三维道具。
62.在本公开实施例中，电子设备可以通过对每种游戏道具进行三维建模，得到每种道具分别对应的多个虚拟三维道具模型。另外，电子设备还可以接收其他设备发送的多种游戏道具分别对应的多个虚拟三维道具模型。本公开实施例对虚拟三维道具模型的来源不做限定。
63.s102、在虚拟三维桌游场景中，从多个虚拟三维道具模型中，随机确定包含至少一种桌游道具的至少一个虚拟三维道具模型。
64.为了模拟真实的桌游场景，提高生成的图像数据的真实性，电子设备可以构建一个虚拟的三维桌游场景。示例性的，电子设备可以构建一个用于放置桌游道具的虚拟游戏桌，以及虚拟游戏背景环境。
65.这样，电子设备可以在虚拟三维桌游场景中任意叠加不同的虚拟三维道具模型，来模拟真实的桌游场景。
66.本公开实施例中，在s101中获取到多种桌游道具分别对应的多个虚拟三维道具模型后，电子设备可以随机选择虚拟三维道具模型叠加在上述虚拟三维桌游场景中。
67.本公开实施例中，电子设备可以在多种桌游道具中随机选择至少一种桌游道具，并从选择的至少一种桌游道具中包括的多个虚拟三维道具模型中随机选择至少一个虚拟三维道具模型。本公开实施例这里，不对选择的桌游道具的种类，以及每种桌游道具的三维道具模型的个数进行限定。
68.示例性的，电子设备可以选择游戏牌和骰子两种桌游道具，具体选择游戏牌中牌面a对应的虚拟三维道具模型，和牌面b对应的虚拟三维道具模型，以及骰子对应的虚拟三维道具模型。
69.s103、将至少一个虚拟三维道具模型叠加在虚拟三维桌游场景中，形成虚拟目标游戏场景。
70.本公开实施例中，电子设备可以模拟真实场景，将其随机选择的至少一个虚拟三维道具模型叠加在预先构建的虚拟三维桌游场景中，以形成虚拟目标游戏场景，来达到模拟真实桌游场景的效果。
71.在本公开一些实施例中，电子设备可以按照一定的规则将随机选择的至少一个虚拟三维道具模型叠加在虚拟三维桌游场景中，形成虚拟目标游戏场景。示例性的，电子设备可以将随机选择的至少一个虚拟三维道具模型叠加在上述虚拟三维桌游场景中的预设区域中，或者电子设备可以按照虚拟三维道具模型所属的桌游道具种类，分别叠加至不同的区域中。
72.在本公开一些实施例中，电子设备还可以控制至少一个虚拟三维道具模型以不同的位置、姿态、数量叠加在虚拟三维桌游场景中，以形成虚拟目标游戏场景。示例性的，电子设备可以将选择的至少一个虚拟三维道具模型以首尾相接的方式叠加在虚拟三维桌游场景的预设区域中，或者电子设备可以将选择的至少一个虚拟三维道具模型以相互堆叠的方
式叠加在虚拟三维桌游场景的预设区域中。
73.s104、对虚拟目标游戏场景进行平面投影处理，得到包含至少一种桌游道具的二维图像数据。
74.本公开实施例中，在得到模仿真实场景的虚拟目标游戏场景后，电子设备可以根据虚拟目标游戏场景生成用于训练识别模型的图像。
75.由于虚拟目标游戏场景为三维模型，电子设备可以对虚拟目标游戏场景进行平面投影处理，得到二维图像数据。
76.本公开实施例中，虚拟目标游戏场景中叠加的虚拟三维道具模型是电子设备确定的，即电子设备可以获得该虚拟三维道具模型的类别等属性信息，因此，在电子设备对虚拟目标游戏场景进行平面投影后，还可以自动地为生成的二维图像数据中图像内容添加标注信息，得到具有标注信息的二维图像数据，这样，生成的二维图像数据可以直接用于识别模型的训练或测试。
77.在本公开一些实施例中，电子设备可以不断重复执行上述s101至s104，来获取大量的二维图像数据，以用于识别模型的训练或测试。
78.由此可见，电子设备可以通过多个虚拟三维道具模型，自动地构建虚拟目标游戏场景，对虚拟目标游戏场景进行平面投影，自动得到包含桌游道具的二维图像数据；如此，减少了图像数据采集和标注过程中的人工参与，大幅提升了数据生成的效率。针对一些标注数据较少的游戏场景，例如，使用新的游戏道具的游戏场景，本公开实施例能够通过虚拟三维道具模型叠加至虚拟游戏场景中之后进行投影，高效地生成接近实景图的游戏场景图像，进而可以帮助提升适用于新的游戏场景的游戏道具识别模型的训练精度。
79.在本公开一些实施例中，电子设备可以基于多个投影视角，对虚拟目标游戏场景进行平面投影处理，得到包含至少一种桌游道具的多个二维图像数据。
80.可以理解的是，电子设备可以在不同的位置、以不同的投影角度，来对同一个虚拟目标游戏场景进行平面投影处理，可以得到多种投影视角下的多个二维图像数据。这样，通过构建一个虚拟目标游戏场景，生成多个不同的二维图像数据，如此，进一步提升了图像数据生成的效率。
81.在本公开的一些实施例中，参考图3所示的流程示意图，s101中获取多种桌游道具分别对应的多个虚拟三维模型，可以通过以下步骤实现：
82.s1011、基于多种拍摄视角，对多种桌游道具中每种桌游道具进行图像采集，得到每种桌游道具的视角图像序列；
83.s1012、基于视角图像序列，对每种桌游道具进行三维模型构建，得到每种桌游道具对应的至少一个虚拟三维道具模型。
84.可以理解的是，本公开实施例中电子设备可以自动地对桌游道具进行三维重建，得到每种桌游道具对应的多个虚拟三维道具模型。
85.需要说明的是，电子设备可以对每种桌游道具包含的至少一个类型不同的分类道具单独进行三维重建。示例性的，电子设备可以对游戏牌中包括的多个不同牌面类型的游戏牌分别进行三维重建，电子设备可以对游戏币包括的多个不同币面类型的游戏币分别进行三维重建。这样，电子设备可以得到每种桌游道具对应的多个虚拟三维道具模型，以提高生成的图像数据的多样性。
86.在本公开实施例中，电子设备可以通过图像采集装置采集每种桌游道具在各个拍摄视角方向下的视角图像序列。
87.这里，视角图像序列可以是视频数据中的多帧图像，也可以是单独采集的多帧图像，本公开实施例对此不做限定。
88.本公开一些实施例中，电子设备可以采集放置于纯色背景环境中的桌游道具各个拍摄视角的图像，得到视角图像序列，以便更精确地提取桌游道具的特征用于三维重建，减小桌游道具的虚拟三维模型构建中背景信息的影响。
89.本公开实施例中，电子设备采集到每个桌游道具的视角图像序列后，可以采用运动结构(structure from motion，sfm)算法，对桌游道具进行三维模型重建。具体地，电子设备可以提取视角图像序列中的像素点的运动参数，并基于像素点的运动参数，构建出桌游道具的虚拟三维道具模型。
90.由此可见，电子设备仅需要构建每种桌游道具对应的虚拟三维道具模型，对不同桌游道具对应的虚拟三维道具模型进行组合得到虚拟目标游戏场景，就可以生成丰富多样的图像数据。如此，提高了图像数据生成的效率。
91.在本公开一些实施例中，s1012基于视角图像序列，对每种桌游道具进行三维模型构建，得到每种桌游道具对应的至少一个虚拟三维道具模型，可以通过以下步骤实现：
92.基于视角图像序列，确定每种桌游道具中至少一个桌游道具对应的三维点云数据；
93.对至少一个桌游道具对应的所述三维点云数据进行渲染处理，得到至少一个桌游道具对应的虚拟三维道具模型，从而得到每种桌游道具对应的至少一个虚拟三维道具模型。
94.本公开实施例中，对视角图像序列进行sfm处理，可以初步得到视角图像序列中的拍摄的桌游道具对应的三维点云数据。
95.本公开实施例中，还需要对初步得到的桌游道具的三维点云数据进行渲染优化处理，提高虚拟三维道具模型的真实性。
96.本公开一些实施例中，对至少一个桌游道具对应的三维点云数据进行渲染处理可以包括以下至少之一：
97.对三维点云数据进行表面平滑处理；表面平滑处理用于对三维点云数据的表面的点云进行滤波处理，得到对应虚拟三维道具模型的表面轮廓；
98.对三维点云数据进行纹理平滑处理；纹理平滑处理用于对对应虚拟三维道具模型的表面图像的纹理进行滤波处理；
99.对三维点云数据进行对称性处理；对称性处理用于调整三维点云数据的轮廓形状。
100.可以理解的是，电子设备可以对初步构建的三维点云数据的表面进行平滑处理，使得三维点云数据可以形成完整的表面轮廓。进一步，电子设备可以对已经完成表面平滑处理的三维点云数据进纹理平滑处理。也就是说，电子设备可以对三维点云数据形成的表面轮廓上的纹理进行筛选、融合、平滑处理，滤除像素值与周围其他像素点的像素值存在较大的差异的像素点。最后，电子设备可以对三维点云数据形成的轮廓形状进行修饰，使得生成的虚拟三维道具模型的形状更加对称、均匀。
101.在公开一些实施例中，参考图4所示的流程示意图，s103中将至少一个虚拟三维道具模型叠加在所述虚拟三维桌游场景中，形成虚拟目标游戏场景，可以通过以下步骤实现：
102.s1031、确定至少一个虚拟三维道具模型中的每个虚拟三维道具模型的显示信息；
103.s1032、基于至少一个虚拟三维模型的显示信息，将至少一个虚拟三维道具模型叠加在虚拟三维桌游场景中，形成虚拟目标游戏场景。
104.本公开实施例中，电子设备可以从多种桌游道具对应的多个虚拟三维道具模型中，随机选择一个或者多个虚拟三维道具模型，并按照一定的规则将选择的虚拟三维道具模型叠加在虚拟三维桌游场景中，得到虚拟目标游戏场景。
105.在这里，虚拟三维桌游场景可以包括游戏桌的三维信息，具体可以包括游戏桌面上用于放置桌游道具的区域的三维信息。或者，虚拟三维桌游场景可以包括桌面的位置信息和桌面的背景信息，其中桌面的背景信息例如为桌布的类型和/或桌布的游戏区域划分信息。
106.在一些实施例中，电子设备可以在选择出至少一个虚拟三维道具模型之后，确定每个虚拟三维道具模型的显示信息，并根据每个虚拟三维道具模型的显示信息将对应的虚拟三维道具模型叠加至虚拟三维桌游场景中。
107.这里，显示信息可以包括虚拟三维道具模型的显示位置、显示姿态、以及显示数量中的至少一个。
108.在另一些实施例中，电子设备可以将虚拟三维道具模型和虚拟三维桌游场景转换至同一坐标系中之后，将虚拟三维道具模型作为前景信息、虚拟三维桌游场景作为背景信息来进行叠加，得到包含虚拟游戏桌面上放置虚拟三维道具的虚拟目标游戏场景。
109.可以理解的是，电子设备在对多个虚拟三维道具模型叠加之前，可以确定每个虚拟三维道具模型的显示位置、显示姿态、以及显示数量。这样，电子设备可以基于每个虚拟三维道具模型的显示位置、显示姿态、以及显示数量，对多个虚拟三维道具模型进行组合，并将组合得到的多个虚拟三维道具模型叠加至虚拟三维桌游场景中。
110.其中，显示位置是指虚拟三维道具模型在虚拟三维桌游场景中的叠加位置。例如，显示位置可以是虚拟三维道具模型在虚拟三维桌游场景中的坐标信息。
111.显示姿态，是指虚拟三维道具模型放置于虚拟三维游戏场景中的姿态；例如游戏牌对应的虚拟三维道具模型可以牌面朝上叠加于虚拟三维游戏场景中，或者背面朝上叠加于虚拟三维游戏场景中。
112.显示数量，是指叠加于虚拟三维桌游场景中的虚拟三维道具模型的数量。也就是说，可以在虚拟三维桌游场景中叠加多个相同的虚拟三维道具模型。需要说明的是，当一个虚拟三维道具模型的数量为多个的情况下，电子设备可以为每个虚拟三维道具模型设置不同的显示位置以及不同的显示姿态。
113.在本公开一些实施例中，s1031确定至少一个虚拟三维道具模型中的每个虚拟三维道具模型的显示信息，包括以下至少一个：
114.按照预设场景布局规则，确定至少一个虚拟三维道具模型中每个虚拟三维道具模型的显示位置；预设场景布局规则为预先设定的虚拟三维道具模型在三维桌游场景中的叠加规则；
115.随机确定至少一个虚拟三维道具模型中每个虚拟三维道具模型的显示姿态；
116.随机确定至少一个虚拟三维道具模型中每个虚拟三维道具模型的显示数量。
117.实际应用中，所有的桌游道具需要放置在桌游场景的预设区域中，例如桌游道具需要放置在游戏桌的中心区域中。另外，种类不同的桌游道具，在预设区域中摆放的位置不同。例如，游戏牌可以放置在游戏桌每个侧边的中间位置，而游戏筹码则需要放置在游戏桌两个边的夹角处。
118.基于此，电子设备可以模仿真实场景中的布局规则，将至少一个虚拟三维道具模型叠加至虚拟三维桌游场景中。
119.具体地，电子设备可以获取虚拟三维桌游场景对应的预设场景布局规则，接着可以根据预设场景布局规则，确定每个虚拟三维道具模型的显示位置。这里，预设场景布局规则可以是，每种虚拟三维道具模型禁止放置的区域，例如，游戏牌的三维道具模型禁止放置在距离虚拟游戏桌边缘20毫米内的范围内。预设场景布局规则还可以是每种虚拟三维道具模型可以放置的区域，例如，游戏币的三维道具模放置在虚拟游戏桌的中心区域。本公开实施例对预设场景布局规则不做限定。
120.在本公开一些实施例中，按照预设场景布局规则，确定至少一个虚拟三维道具模型中每个虚拟三维道具模型的显示位置，可以通过以下步骤实现：
121.按照预设场景布局规则，分别确定至少一个虚拟三维道具模型对应的目标叠加区域；其中，每一种桌游道具的虚拟三维道具模型分别对应一个目标叠加区域；
122.在目标叠加区域中，随机确定所述每个虚拟三维道具模型各自的显示位置。
123.需要说明的是，与真实场景中不同种类的桌游道具放置于桌游场景中的不同区域类似，本公开实施例中，每一种桌游道具的虚拟三维道具模型分别对应一个目标叠加区域。
124.可以理解的是，电子设备可以首先确定每个虚拟三维道具模型对应的桌游道具的类型，并基于桌游道具的类型确定每个虚拟三维道具模型的目标叠加区域。这里，目标叠加区域的面积大于虚拟三维道具模型的面积。进一步，电子设备可以在目标叠加区域中随机确定一个具体的位置，作为虚拟三维道具模型的显示位置。
125.也就是说，电子设备可以先确定虚拟三维道具模型可以叠加的区域范围，再从这个区域范围中为虚拟三维道具模型随机确定一个具体的显示位置。
126.示例性的，参考图5所示的场景应用示意图，电子设备可以将游筹码的虚拟三维道具模型51叠加到虚拟游戏桌52中。其中，虚拟游戏桌52的桌面上共具有4个区域(区域53至区域56)用于放置游戏筹码51。基于此，电子设备在确定游筹码的虚拟三维道具模型51的显示位置时，可以先确定游戏筹码的虚拟三维道具模型51的目标叠加区域，目标叠加区域包括区域53至区域56。进一步，电子设备可以在目标叠加区域中随机选择区域53，作为虚拟三维道具模型51的显示位置。
127.在本公开实施中，电子设备可以随机地确定虚拟三维道具模型的显示姿态和显示数量。
128.综上所述，电子设备在确定出至少一个虚拟三维道具模型后，可以以随机的显示位置、显示姿态和显示数量将至少一个虚拟三维道具模型叠加至虚拟三维桌游场景中。如此，增加了目标游戏场景的多样性以及丰富性，同时增加了生成的图像数据的多样性和丰富性。
129.在本公开的一些实施例中，参考图6所示，本公开实施例提供的图像数据生成方
法，还可以包括以下步骤：
130.s105、获取真实桌游场景图像。
131.实际应用中，不同的桌游场景中使用不同的桌游道具。例如，一些桌游场景中的游戏牌的字体的为花体，一些桌游场景中的游戏牌的字体为黑体。
132.基于此，本公开实施例中，电子设备可以使用基于神经网络技术对s104生成的二维图像数据进行风格迁移，以使生成的二维图像的风格更接近真实桌游场景图像，提升图像数据生成的质量。
133.具体地，电子设备可以获取真实桌游场景图像，以便于参考真实桌游场景图像中的风格，对s104生成的二维图像数据进行风格迁移。这里，电子设备可以获取单张真实桌游场景图像，或者多张真实桌游场景图像，本公开实施例对此不做限定。
134.s106、将真实桌游场景图像和二维图像数据分别进行风格处理，得到真实桌游场景特征图和二维图像特征图。
135.本公开实施例中，电子设备可以提取真实桌游场景图像中与风格相关的图像特征，得到真实桌游场景特征图。同时，电子设备也可以提取二维图像数据中与风格相关的图像特征，得到二维图像特征图。这样，得到的真实桌游场景特征图和二维图像特征图中可以包含丰富的风格信息。
136.其中，与风格相关的图像特征可以是字体的图像特征、或者游戏牌的形状特征等，本公开实施例对此不做限定。
137.s107、采用真实桌游场景特征图对二维图像特征图进行风格迁移，得到二维图像迁移特征图。
138.s108、基于二维图像迁移特征图进行反向传播，确定出风格迁移后的迁移图像数据。
139.其中，迁移图像数据用于进行识别模型的训练或测试使用。
140.在本公开实施例中，电子设备可以采用预先训练好风格迁移模型，对二维图像特征图进行风格迁移。风格迁移模型可以是基于神经网络技术构建。
141.具体地，电子设备可以采用风格迁移模型对二维图像特征图进行风格迁移处理，得到二维图像迁移特征图。这里的二维图像迁移特征图可能仅对二维图像数据的局部区域进行了风格迁移，因此，在得到二维图像迁移特征图之后，可以基于二维图像迁移特征图进行反向传播处理，将局部的风格迁移扩展到二维图像的全部，得到迁移后的迁移图像数据。
142.这样，通过风格迁移处理得到的迁移图像数据的图像风格可以更接近真实桌游场景，可以利用生成的图像数据训练多种不同真实桌游场景的识别模型，由此解决了采集大量不同真实桌游场景的图像的难度问题。如此，提升了图像数据的生成效率。
143.下面结合具体应用场景，对本公开实施例提供的图像数据生成方法进行详细描述。
144.本公开实施例提供的图像数据生成方法，可以包括以下步骤：
145.步骤a、构建桌游道具的虚拟三维道具模型。
146.本公开实施例中，步骤a的目的是通过算法自动重建出桌游场景中每个桌游道具的虚拟三维道具模型。其中，桌游道具可以是游戏筹码、骰子、扑克牌等。
147.这里，电子设备可以采集桌游道具在不同拍摄视角的视频数据，基于该桌游道具
在不同视角的时频数据，构建该桌游道具对应的虚拟三维道具模型。
148.具体地，步骤a包括以下步骤：
149.步骤a1、获取桌游道具在不同拍摄视角下的视频数据。
150.这里，可以将桌游道具放置在无背景干扰的纯色桌面上，采集包含小物体各个方向拍摄视角的视频数据。
151.步骤a2、基于不同拍摄视角下的视频数据，构建桌游道具对应的三维点云数据。
152.这里，电子设备可以对步骤a1中采集的视频进行sfm算法处理，初步重建出桌游道具的三维点云数据。
153.步骤a3、对三维点云数据进行渲染处理，得到虚拟三维道具模型。
154.这里，电子设备可以对桌游道具的三维点云数据进行渲染优化，包括表面平滑处理、纹理平滑处理、以及对称性处理等。表面平滑处理是对三维点云数据的表面进行平滑处理，得到更加光滑虚拟三维道具模型的表面轮廓；纹理平滑处理是对三维点云数据表面轮廓的纹理贴图进行平滑处理，对视频中多帧图像得到的纹理贴图进行筛选、融合、平滑处理；对称性平处理是对三维点云数据的轮廓形状进行修饰，使得生成的虚拟三维道具模型形状更加对称、均匀。
155.步骤b、基于虚拟三维道具模型，生成二维图像数据。
156.具体地，电子设备可以在虚拟三维桌游场景中，随机组合多个桌游道具的虚拟三维道具模型，得到虚拟目标游戏场景。
157.这里，电子设备可以为每个桌游道具的虚拟三维道具模型设置随机的显示位置、显示姿态以及显示数量，并按照设置好的显示位置、显示姿态以及显示数量将多个桌游道具叠加至虚拟三维桌游场景中，以得到虚拟目标游戏场景。
158.进一步地，电子设备对虚拟目标游戏场景进行平面投影处理，生成二维图像数据。
159.步骤c、对二维图像数据进行风格迁移。
160.具体的，电子设备可以采集真实桌游场景图像，参考真实桌游场景图像对步骤b生成的二维图像进行风格迁移，使其风格更接近与真实桌游场景中的图像风格。
161.由此可见，本公开实施例提供的图像数据生成方法，可以减少图像数据采集和标注过程中的人工参与，大幅提升了图像数据生成的效率。另外，电子设备可以基于sfm算法对桌游道具进行是三维建模，并对生成的二维图像数据进行风格迁移，提升了图像生成数据效率和质量。
162.图7为本公开实施例的图像数据生成装置的结构组成示意图一，如图6所示，该图像数据生成装置包括：
163.模型获取单元71，用于获取多种桌游道具分别对应的多个虚拟三维道具模型；其中，桌游道具为桌游场景中使用的游戏工具；
164.模型确定单元72，用于在虚拟三维桌游场景中，从所述多个虚拟三维道具模型中，随机确定包含至少一种桌游道具的至少一个虚拟三维道具模型；
165.叠加处理单元73，用于将所述至少一个虚拟三维道具模型叠加在所述虚拟三维桌游场景中，形成虚拟目标游戏场景；
166.图像生成单元74，用于对所述虚拟目标游戏场景进行平面投影处理，得到包含所述至少一种桌游道具的二维图像数据。
167.在一些实施例中，模型获取单元71，具体用于对所述多种桌游道具中每种桌游道具进行图像采集，得到所述每种桌游道具的视角图像序列；基于所述视角图像序列，对所述每种桌游道具进行三维模型构建，得到所述每种桌游道具对应的至少一个虚拟三维道具模型。
168.在一些实施例中，模型获取单元71，还用于基于所述视角图像序列，确定所述每种桌游道具中至少一个桌游道具对应的三维点云数据；对所述至少一个桌游道具对应的所述三维点云数据进行渲染处理，得到所述至少一个桌游道具对应的虚拟三维道具模型。
169.在一些实施例中，所述对所述至少一个桌游道具对应的所述三维点云数据进行渲染处理包括以下至少之一：
170.对所述三维点云数据进行表面平滑处理；所述表面平滑处理用于对所述三维点云数据的表面的点云进行滤波处理，得到对应虚拟三维道具模型的表面轮廓；
171.对所述三维点云数据进行纹理平滑处理；所述纹理平滑处理用于对对应虚拟三维道具模型的表面图像的纹理进行滤波处理；
172.对所述三维点云数据进行对称性处理；所述对称性处理用于调整所述三维点云数据的轮廓形状。
173.在一些实施例中，叠加处理单元73，具体用于将所述至少一个虚拟三维道具模型作为前景信息、所述虚拟三维桌游场景作为背景信息，进行叠加，得到所述虚拟目标游戏场景。
174.在一些实施例中，叠加处理单元73，用于确定所述至少一个虚拟三维道具模型中的每个虚拟三维道具模型的显示信息；基于所述至少一个虚拟三维道具模型的显示信息，将所述至少一个虚拟三维道具模型叠加在所述虚拟三维桌游场景中，形成所述虚拟目标游戏场景。
175.在一些实施例中，叠加处理单元73，还用于按照预设场景布局规则，确定所述至少一个虚拟三维道具模型中每个虚拟三维道具模型的显示位置；所述预设场景布局规则为预先设定的所述虚拟三维道具模型在所述三维桌游场景中的叠加规则；随机确定所述至少一个虚拟三维道具模型中每个虚拟三维道具模型的显示姿态；随机确定所述至少一个虚拟三维道具模型中每个虚拟三维道具模型的显示数量。
176.在一些实施例中，叠加处理单元73，还用于按照预设场景布局规则，分别确定所述至少一个虚拟三维道具模型对应的目标叠加区域；其中，每一种桌游道具的虚拟三维道具模型分别对应一个目标叠加区域；在所述目标叠加区域中，随机确定所述每个虚拟三维道具模型各自的显示位置。
177.在一些实施例中，图像生成单元74，具体用于基于多个投影视角，对所述虚拟目标游戏场景进行平面投影处理，得到包含所述至少一种桌游道具的多个二维图像数据。
178.在一些实施例中，图像数据生成装置还可以包括风格迁移处理单元，具体用于获取真实桌游场景图像；将所述真实桌游场景图像和所述二维图像数据分别进行风格处理，得到真实桌游场景特征图和二维图像特征图；采用所述真实桌游场景特征图对所述二维图像特征图进行风格迁移，得到二维图像迁移特征图；基于所述二维图像迁移特征图进行反向传播，确定出风格迁移后的迁移图像数据。
179.在一些实施例中，桌游道具包括以下中的至少一个：多个币面类型的游戏币，多个
牌面类型的游戏牌，以及骰子。
180.相应的，本公开实施例提供一种电子设备，图8为本公开实施例电子设备的结构示意图，如图8所示，包括存储器801、处理器802及存储在存储器801上并可在处理器802上运行的计算机程序；其中，处理器802用于运行计算机程序时，执行如前述实施例中的图像数据生成方法。
181.可以理解，电子设备还包括总线系统803；电子设备中的各个组件通过总线系统803耦合在一起。可理解，总线系统803用于实现这些组件之间的连接通信。总线系统803除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
182.存储器801配置为存储由处理器802计算机程序和应用，还可以缓存待处理器802，可以通过闪存(flash)或随机访问存储器(random access mem ory，ram)实现。
183.处理器802执行程序时实现上述任一项图像数据生成方法的步骤。
184.本公开实施例提供一种计算机存储介质，计算机存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现如上任一实施例的图像数据生成方法的步骤。
185.这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本公开存储介质和设备实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。
186.上述处理器可以为目标用途集成电路(application specific integrated circuit，asic)、数字信号处理器(digital signal processor，dsp)、数字信号处理装置(digital signal processing device，dspd)、可编程逻辑装置(programmable logic device，pld)、现场可编程门阵列(field programmable gate array，fpga)、中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器中的至少一种。可以理解地，实现上述处理器功能的电子器件还可以为其它，本公开实施例不作具体限定。
187.上述计算机存储介质/存储器可以是只读存储器(read only memory，rom)、可编程只读存储器(programmable read-only memory，prom)、可擦除可编程只读存储器(erasable programmable read-only memory，eprom)、电可擦除可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、磁性随机存取存储器(ferromagnetic random access memory，fram)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(compact disc read-only memory，cd-rom)等存储器；也可以是包括上述存储器之一或任意组合的各种终端，如移动电话、计算机、平板设备、个人数字助理等。
188.应理解，说明书通篇中提到的“一个实施例”或“一实施例”或“本公开实施例”或“前述实施例”或“一些实施例”意味着与实施例有关的目标特征、结构或特性包括在本公开的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“本公开实施例”或“前述实施例”或“一些实施例”未必一定指相同的实施例。此外，这些目标的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本公开的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。上述本公开实施例序号仅仅为了描述，不代表实施例的优劣。
189.在未做特殊说明的情况下，检测设备执行本公开实施例中的任一步骤，可以是检测设备的处理器执行该步骤。除非特殊说明，本公开实施例并不限定检测设备执行下述步骤的先后顺序。另外，不同实施例中对数据进行处理所采用的方式可以是相同的方法或不同的方法。还需说明的是，本公开实施例中的任一步骤是检测设备可以独立执行的，即检测设备执行上述实施例中的任一步骤时，可以不依赖于其它步骤的执行。
190.在本公开所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
191.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
192.另外，在本公开各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
193.本公开所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
194.本公开所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
195.本公开所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
196.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。
197.或者，本公开上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、检测设备、或者网络设备等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。
198.在本公开实施例中，不同实施例中相同步骤和相同内容的说明，可以互相参照。在本公开实施例中，术语“并”不对步骤的先后顺序造成影响。
199.以上所述，仅为本公开的实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。