数据生成方法、学习方法和估计方法与流程

1.本公开涉及数据生成方法、学习方法和估计方法。


背景技术：

2.最近，已经广泛地研究了基于包括深度学习的机器学习等的估计模型的生成。在执行机器学习的情况下，需要将大量训练数据输入到要生成的模型。此外，需要大量的训练数据以便也执行验证。为了收集要用于生成使用图像作为输入的模型的训练数据，需要获取实际的风景作为照片并且绘制图片。在收集了这样的训练数据之后，在许多情况下，执行训练的人需要对单独的训练数据应用注释。
3.数据的收集需要时间和精力，并且可能存在难以训练模型的情况，当使用所收集的数据时，可以从该模型获得期望的估计结果。在从由相机捕获的立体图像估计从立体相机的中心位置捕获的图像的情况下，需要从中心位置捕获的图像作为教学数据，但是由于诸如相机的尺寸的问题，可能在物理上难以获取图像。
4.此外，实际上不可能使用相同类型的或者不同类型的多个传感器在同一时钟时间利用在同一方向上定向的相机来捕获同一风景。在从获取rgb图像的相机的图像获取到目标的距离的情况下，例如，可以通过对准获取紧邻相机的tof图像的相机来执行成像，并且生成使用从tof图像获得的距离作为教学数据来估计到目标的距离的模型。然而，难以从tof图像准确地获取与已经获取rgb图像的传感器的平面的距离，而不管估计模型如何被训练，并且以这种方式训练的模型因此通常包括不足够小的误差。
5.引用列表
6.专利文献
7.专利文献1：jp h6-348840 a。


技术实现要素：

8.技术问题
9.因此，本公开实现了在各种传感器状态下从任意成像生成训练数据。
10.问题的解决方案
11.根据实施例，用于生成数据的方法是用于使用处理器从cg模型中生成用于机器学习的训练数据的方法，该方法包括：在cg模型中通过模拟生成在第一成像条件下获取的第一图像以及在与第一成像条件不同的第二成像条件下获取的第二图像；以及获取至少第一图像和第二图像作为训练数据中的输入图像数据。
12.包括在第一成像条件中的成像位置可以是与包括在第二成像条件中的成像位置不同的位置。
13.该方法还可以包括：在cg模型内通过模拟生成在第三成像条件下获取的第三图像，该第三成像条件包括从与第一成像条件和第二成像条件中的任一个的位置相同的位置或从与第一成像条件和第二成像条件中的两个的位置都不同的位置执行成像的条件；以及
获取至少第三图像作为训练数据中的输出图像数据。
14.作为成像条件，第一成像条件和第二成像条件还可以包括具有不同像角的光学系统。
15.作为成像条件，还可以获取在第三成像条件中以多个改变的像角捕获的第三图像。
16.作为成像条件，第一成像条件和第二成像条件还可以包括具有不同动态范围的光学系统。
17.第一成像条件的像素值可以不太可能比第二成像条件的像素值饱和，并且第二成像条件的噪声可以小于第一成像条件的噪声。
18.第一成像条件可以是传感器通过执行对数变换获取感测信息，并且第二成像条件可以是传感器在不执行对数变换的情况下获取感测信息。
19.第一成像条件和第二成像条件可以具有不同的曝光时间。
20.第一成像条件和第二成像条件在传感器中可以具有不同的电荷累积时间。
21.第三图像可以是具有高动态范围的图像。
22.作为成像条件，第一成像条件和第二成像条件还可以包括要由传感器感测的信息不同的条件。
23.第一成像条件可以是获取彩色信息的成像，并且第二成像条件可以是获取温度信息的成像。
24.第二成像条件是通过感测红外线的传感器执行的成像。
25.第一成像条件可以是获取灰度信息的成像，并且第二成像条件是获取彩色信息的成像。
26.第一成像条件可以是获取灰度信息的成像，并且第二成像条件可以是使用等离子体共振获取信息的成像。
27.第一成像条件中的传感器的像素尺寸和第二成像条件中的传感器的像素尺寸可以是不同的尺寸。
28.第一成像条件可以是获取彩色信息的成像，并且第二成像条件可以是获取距离信息的成像。
29.第三成像条件可以是获取与第一成像条件相同的位置和相同的方向上的距离信息的成像。
30.第二成像条件和第三成像条件可以是获取tof图像的成像。
31.第一成像条件和第二成像条件可以是通过成像系统实现的成像，该成像系统沿相反方向定向并且具有包括超广角镜头并且彼此不机械干涉的光学系统。
32.可以通过模拟生成在第四成像条件下获取的第四图像，该第四成像条件是沿与第三成像条件的方向不同的方向定向并且具有与第三成像条件的光学系统的主点相同的主点的光学系统的成像；以及可以获取第四图像作为训练数据的输出数据。
33.第二成像条件可以是从随机地偏离相对于第一成像条件的相对的预定位置的位置沿随机地偏离平行于第一成像条件的光轴的预定方向的光轴的方向成像。
34.可以获取第二成像条件的位置与预定位置的偏离以及第二成像条件的光轴的方向与预定方向的偏离作为训练数据的教学数据。
35.该方法还可以包括：设置第一预定位置、第二预定位置、第一光轴方向以及第二光轴方向，第一成像条件是从随机地偏离第一预定位置的位置沿随机地偏离第一光轴方向的方向成像，第二成像条件是从随机地偏离第二预定位置的位置沿随机地偏离第二光轴方向的方向成像。
36.该方法还可以包括：通过模拟生成在从第一预定位置对第一光轴方向成像的第三成像条件下获取的第三图像；通过模拟生成在从第二预定位置对第二光轴方向成像的第四成像条件下获取的第四图像；并且获取第三图像和第四图像作为训练数据的教学数据。
37.成像条件可以包括生成三个或更多个训练数据中的一组输入图像数据的条件。
38.成像条件可以包括生成两个或更多个训练数据中的一组输出图像数据的条件。
39.根据实施例，提供了一种学习方法，使用通过上述生成数据的方法生成的训练数据来执行估计模型的优化。
40.估计模型可以是神经网络模型。
41.根据实施例，提供了一种估计方法，使用估计模型来获取作为实际拍摄数据的输入数据的估计数据，该估计模型使用通过生成数据的方法生成的训练数据来优化。
42.估计模型可以是神经网络模型。
43.根据实施例，提供了一种数据生成装置，包括：存储器；处理器，其中，该处理器执行上述生成数据的方法。
44.根据实施例，提供了一种学习装置，包括：存储器；处理器，其中，该处理器执行上述学习方法。
45.根据实施例，提供了一种估计装置，包括：存储器；处理器，其中，该处理器执行上述估计方法。
46.根据实施例，提供了一种使处理器执行上述数据生成方法、学习方法或估计方法的程序。
47.根据实施例，提供了一种存储有用于执行上述方法中的任一个的程序的非暂时性计算机可读介质。
48.根据实施例，用于生成学习模型的方法是用于使用训练数据生成学习模型的方法，该训练数据使用处理器从cg模型生成并且用于机器学习，该方法包括：在cg模型中通过模拟生成在第一成像条件下获取的第一图像以及在与第一成像条件不同的第二成像条件下获取的第二图像，获取至少第一图像和第二图像作为训练数据中的输入图像数据。
49.在用于生成学习模型的方法中，输入图像数据的获取可以通过前述生成数据的方法中的任一个来生成。
50.根据实施例，提供了一种用于生成存储介质的方法，包括：将通过上述生成学习模型的方法生成的学习模型存储在存储介质中。
51.根据实施例，提供了一种用于生成电子装置的方法，包括：将通过上述生成学习模型的方法生成的学习模型存储在电子装置的存储介质中。
附图说明
52.图1是示出根据实施例的数据生成系统的示例的示图。
53.图2是示出根据实施例的训练装置的示例的示图。
54.图3是示出根据实施例的估计装置的示例的示图。
55.图4是示出根据实施例的数据生成系统的处理的流程图。
56.图5a是示出根据实施例的cg模型中的相机配置的示例的示图。
57.图5b是示出根据实施例的cg模型中的相机配置的示例的示图。
58.图5c是示出根据实施例的cg模型中的相机配置的示例的示图。
59.图5d是示出根据实施例的cg模型中的相机配置的示例的示图。
60.图6是示出根据实施例的现实世界中的相机配置的示例的示图。
61.图7是示出根据实施例的用于获取现实世界中的估计图像的相机配置的示例的示图。
62.图8是示出根据实施例的cg模型中的相机配置的示例的示图。
63.图9a是示出根据实施例的cg模型中的相机配置的示例的示图。
64.图9b是示出根据实施例的cg模型中的相机配置的示例的示图。
65.图9c是示出根据实施例的cg模型中的相机配置的示例的示图。
66.图9d是示出根据实施例的cg模型中的相机配置的示例的示图。
67.图9e是示出根据实施例的cg模型中的相机配置的示例的示图。
68.图10是示出根据实施例的现实世界中的相机配置的示例的示图。
69.图11是示出根据实施例的用于获取现实世界中的估计图像的相机配置的示例的示图。
70.图12是示出根据实施例的cg模型中的相机配置的示例的示图。
71.图13a是示出根据实施例的cg模型中的相机配置的示例的示图。
72.图13b是示出根据实施例的cg模型中的相机配置的示例的示图。
73.图13c是示出根据实施例的cg模型中的相机配置的示例的示图。
74.图14是示出根据实施例的现实世界中的相机配置的示例的示图。
75.图15是示出根据实施例的用于获取现实世界中的估计图像的相机配置的示例的示图。
76.图16是示出根据实施例的cg模型中的相机配置的示例的示图。
77.图17a是示出根据实施例的cg模型中的相机配置的示例的示图。
78.图17b是示出根据实施例的cg模型中的相机配置的示例的示图。
79.图18是示出根据实施例的cg模型中的相机配置的示例的示图。
80.图19是示出根据实施例的用于获取现实世界中的估计图像的相机配置的示例的示图。
81.图20是示出根据实施例的cg模型中的相机配置的示例的示图。
82.图21是示出根据实施例的用于获取现实世界中的估计图像的相机配置的示例的示图。
83.图22是示出包括执行ai处理的装置的系统的配置示例的框图。
84.图23是示出电子装置的配置示例的框图。
85.图24是示出边缘服务器或云服务器的配置示例的框图。
86.图25是示出光学传感器的配置示例的框图。
87.图26是示出处理单元的配置示例的框图。
88.图27是用于说明使用ai的处理的流程的流程图。
89.图28是用于说明校正处理的流程的流程图。
90.图29是用于说明使用ai的处理的流程的流程图。
91.图30是用于说明学习处理的流程的流程图。
92.图31是示出多个装置之间的数据流的示图。
具体实施方式
93.在下文中，将使用附图描述本公开的实施例。在本公开中，通过使用cg模型的模拟来生成并获取在各种状态下捕获的图像，并且将其用作用于机器学习的训练数据。在各种状态下捕获的图像例如是由具有相同性能或不同性能的多个相机捕获的各种方向或情形下的图像。
94.图1是示出根据实施例的数据生成系统的示例的示图。虽然数据生成系统1由单独的装置配置，但是数据生成系统1可以被配置为具有覆盖所有这些单独的装置的功能的数据生成装置。数据生成系统1包括cg生成器2和模拟器3。
95.cg生成器2是生成cg模型的装置。cg生成器2例如在风景cg模型中设置一个或多个对象。cg生成可以响应于来自用户的指示来实现。
96.模拟器3包括输入/输出接口(在下文中，描述为输入/输出i/f 300)、存储单元302、条件设定单元304以及图像生成单元306。模拟器3使用由cg生成器2生成的cg模型来执行模拟，并且生成用于机器学习的训练数据。模拟器3通过考虑光束的条件、相机的位置以及光学系统的条件以及cg模型中的传感器系统执行模拟来生成各种成像条件下的图像。模拟器3例如通过执行诸如光线追踪的渲染来生成图像。
97.输入/输出i/f 300在模拟器3与外部之间执行数据的发送和接收。例如，输入/输出i/f 300接收由cg生成器2生成的cg模型作为输入，并且将cg模型存储在存储单元302中。此外，输入/输出i/f 300向外部输出由模拟器3生成的图像。此外，输入/输出i/f 300可以接收来自用户的请求。
98.存储单元302存储至少模拟器3所需的数据。例如，可以存储经由输入/输出i/f 300输入的数据等。例如，可以存储由条件设定单元304设定的信息。此外，例如，可以存储由图像生成单元306生成的图像。
99.条件设定单元304设定cg模型内的成像条件。成像条件是获取cg模型中的图像的相机的条件或者诸如光源的外部的条件。相机的条件例如包括相机的透镜系统的条件和经由透镜系统接收光的传感器的条件。光源的条件是确定例如光源的类型、光源的方向等的条件。
100.图像生成单元306基于由条件设定单元304设定的条件，通过模拟生成在cg模型中获取的图像。通过数值计算来执行模拟。使用诸如光线追踪的渲染方法来执行该生成。图像生成单元306例如利用来自由条件设定单元304设定的光源的光执行照射，并且生成cg模型中的环境和对象的信息的渲染模型。基于关于相机的成像条件，针对可以获取什么图像来模拟渲染模型，以获取用于成像条件的cg模型的图像。
101.条件设定单元304还可以设定多个成像条件，并且在这种情况下，图像生成单元306针对同一cg模型生成可以在多个条件下获取的图像。例如，在条件设定单元304设定三
个成像条件(即，第一成像条件、第二成像条件和第三成像条件)的情况下，图像生成单元306分别基于第一成像条件、第二成像条件和第三成像条件模拟并且生成第一图像、第二图像和第三图像。第一图像、第二图像和第三图像作为训练数据从数据生成系统1输出。注意，虽然在以上描述中，成像条件的数量为三个，但是该数量不限于此，并且可以是两个或者可以是四个或四个以上。
102.图2是示出根据实施例的执行机器学习的训练装置(学习装置)的示例的示图。训练装置4包括输入/输出i/f 400、存储单元402和训练单元404，并且还包括作为训练的目标的模型406。例如，训练装置4执行使用由数据生成系统1输出的训练数据估计来自图像的某些结果的模型406的训练。
103.输入/输出i/f 400在训练装置4与外部之间执行数据等的输入和输出。
104.存储单元402存储至少训练装置4所需的数据。例如，可以存储经由输入/输出i/f 400输入的训练数据等。例如，可以存储训练单元404执行训练所需的数据。此外，例如，可以存储配置模型406的超参数、优化过程中的参数以及优化参数中的至少一个。
105.训练单元404使用经由输入/输出i/f 400输入的训练数据，使用机器学习的方法来训练模型406。可以通过通常已知的方法来执行机器学习。已经通过训练完成优化的模型可以经由输入/输出i/f 400输出或者可以存储在存储单元402中。
106.模型406是被适配为使得一旦一些数据被输入到其中，模型406就估计并输出关于该数据的不同数据的模型。模型406可以是神经网络模型。此外，模型406可以是基于各种统计模型的模型。一旦执行优化，模型406就被输出为学习模型。
107.训练装置4基于从数据生成系统1输出的多组训练数据执行模型406的优化。数据生成系统1生成训练装置4中的优化所需的训练数据组。训练数据还可以通过强化方法被转换为大量数据，或者数据生成系统1可以设定由优化估计模型所需的条件限制的各种成像条件，并且然后多次执行数据的获取。
108.图3是示出根据实施例的执行估计的估计装置的示例的示图。估计装置5包括输入/输出i/f 500、存储单元502和估计单元504，并且还包括用于估计的学习模型506。估计装置5通过将数据输入到学习模型506来输出估计结果。
109.输入/输出i/f 500在估计装置5与外部之间执行数据等的输入和输出。
110.存储单元502存储至少估计装置5所需的数据。例如，可以存储经由输入/输出i/f 500输入的数据等。例如，估计单元504可以存储执行估计所需的数据。此外，可以存储配置学习模型506的超参数和优化参数中的至少一个。
111.估计单元504从经由输入/输出i/f 500输入的数据，通过使用学习模型506获取估计数据，并且经由输入/输出i/f 500输出该估计数据或者将该估计数据存储到存储单元502中。
112.学习模型506是由训练装置4利用由数据生成系统1生成的训练数据优化的模型。一旦输入了适当的数据，学习模型506就输出对其执行预定估计的数据。
113.注意，训练装置4和估计装置5的组件可以包括在同一装置中。换句话说，训练装置4和估计装置5可以被配置为单个装置。利用该配置，可以在实现对已经完成一次优化的学习模型506的再训练的同时实现估计。
114.以这种方式，可以通过训练装置4使用由数据生成系统1生成的训练数据来优化估
计模型，并且可以使用该估计模型来形成估计装置5。
115.图4是示出通过数据生成系统1执行的处理的示例的流程图。
116.首先，数据生成系统1通过cg生成器2获取cg模型(s100)。cg模型不限于由cg生成器2生成的cg模型，并且可以使用预先生成的cg模型。在这种情况下，cg生成器2不是数据生成系统1中的必要配置。
117.接下来，基于cg模型中的成像条件来设定模拟器上的相机(s102)。除了相机的设定之外，可以基于成像条件设定关于光源等的信息。作为相机的设定，例如，基于由成像条件设定的相机的位置，安装基于成像条件的光学系统(诸如镜头)和光接收系统(诸如传感器)。
118.接下来，模拟器3基于成像条件模拟通过对cg模型的内部进行成像而获得的状态，并且根据成像条件获取图像(s104)。模拟器3基于在上述s102中设定在cg模型中的相机执行渲染，并且生成由相机获取的图像。
119.接下来，输出由模拟器3生成的图像(s106)。例如，将输出图像输入至训练装置4，并且通过基于机器学习的方法执行估计模型的优化。
120.在存在多个成像条件的情况下，在s102中可以设置多个成像条件，在s104中可以获取多个图像，并且在s106中可以输出多个图像。在另一示例中，可以针对多个成像条件中的每一个重复s102至s106。在设定三个成像条件的情况下，例如，可以通过在改变成像条件的同时重复s102至s106中的处理三次来获取三种图像。
121.在本公开中，将描述用于以这种方式从cg模型生成用于机器学习的训练数据的方法。该方法例如由计算机的处理器实现。
122.具体地，在cg模型中，由模拟器3生成将要在多个成像条件下获取的图像，并且数据生成系统1获取这些生成的图像中的至少一个作为训练数据。
123.在下文中，将关于成像条件和成像条件的估计来描述作为本公开的非限制性示例的一些实施例。
124.(第一实施例)
125.在第一实施例中，获取从cg模型中的不同位置捕获的至少两个图像以及从与两个图像中的一个图像相同的位置或与两个图像都不同的位置捕获的至少一个图像。
126.图5a是示出根据本实施例的成像条件的模拟上的相机作为示例的示图。这些相机被设置在cg模型中并且对cg模型中的环境和/或对象进行成像。成像不限于固定图像并且可以是视频图像。虽然在下面的描述中的示例中假设对象m1被成像，但是这不限于对象，并且可以是风景等。此外，不限于在没有工具的情况下可以由人看见的对象的成像，并且例如，可以通过显微镜、内窥镜或望远镜获取图像。
127.每个相机对cg模型内部的对象m1进行成像。
128.虽然使用三个相机，例如，相机c0、c1和c2，但是相机的数量不限于此，并且可以更多。成像条件与每个相机相对应。成像条件包括如图所示的相机的位置，并且还可以包括关于cg模型中的光源的状态(光照射状态)以及每个相机的镜头和传感器的信息。
129.相机c0是用于获取理想图像的相机，并且是获取与作为机器学习中的训练目标的模型的输出图像相对应的图像的相机。相机c1和c2是用于获取要输入至模型的图像的相机。在cg模型中，可以同时使用相机c1和c2执行成像，其中，相机c0被设置为与这些相机重
叠，如图5a所示。
130.上述模拟器3在将每个相机安装在cg模型中之后，通过模拟来生成由每个相机捕获的图像。数据生成系统1将所生成的图像输出为一组训练数据。
131.注意，虽然示出了相机的示图，但是相机不限于具有单独壳体的相机，并且可以使用包括在单个壳体内的多个成像系统(镜头、传感器等)，诸如移动终端。在这种情况下，由于镜头之间的位置是固定的，例如，可以使用固定位置作为相对位置将两个或更多个相机设置在cg模型中。
132.图5b至图5d是示出每个相机的对象m1的成像的状态的示图。如图5b至图5d所示，每个相机从不同位置同时对cg模型的内部进行成像。例如，相机c0、c1和c2是利用具有相同像角的镜头执行成像的模型。
133.(hdr合成)
134.例如，可以生成用于优化估计模型的训练数据，该估计模型通过这种设置执行高动态范围合成(hdr合成)。将描述用于执行hdr合成的成像条件的示例。
135.将相机c1是不太可能导致像素值的饱和但是可能导致噪声(大噪声)的相机的成像条件设定为成像条件。设定相机c2是可能导致像素值的饱和但是不太可能导致噪声(小噪声)的相机的成像条件。可以设定相机c0是不太可能导致像素值的饱和并且更可能具有较少噪声的相机的成像条件。此外，相机c0可以是能够适当地获取cg模型中的每个区域的像素值并且执行伽马校正等的相机。
136.在上述情况下，例如，相机c1可以包括在传感器接收像素超过允许量的光电子的情况下累积超过允许量的光电子的电路。尽管通过包括这种电路，噪声变得大于相机c2的噪声，但是可以获得不太可能导致电子的饱和的装置。另一方面，通过采用不包括这种电路的配置，尽管像素值的饱和比相机c1更可能发生，但可以获得相机c2作为具有小噪声的装置。然后，相机c0可以是不太可能导致饱和并且不太可能导致噪声的装置。
137.模拟器3使用相机c0、c1以及c2通过模拟生成由每个相机捕获的图像。数据生成系统1输出这三个图像作为一组训练数据。通过获取在同一cg模型内部同时捕获的图像，使用相机c1和c2的图像，在用于估计具有相机c0的动态范围的图像的估计模型的优化中，可以获得训练数据。注意，例如，可以通过在同一cg模型内部以各种方式改变成像条件(例如，光源的光量、光的照射方向、相机的位置和姿势)来获取多组训练数据。
138.图6是示出用于在现实世界中对目标t1进行成像的两个相机c1和c2的示图。训练装置4使用由上述数据生成系统1生成的图像来优化估计模型。估计装置5被配置为包括优化的估计模型并且使用图5a所示的相机c1和c2的成像条件下获取的图像作为输入图像。此外，在相机c0的成像条件下获取的图像被输出为估计图像。图6示出了图5a中的相机c1和c2的实际成像条件。相反，基于图6中的具有现实中装置的限制的成像条件，设置cg模型内部具有图5a所示的成像条件的相机。
139.另一方面，图7是示出现实世界由获取理想hdr图像的相机c0虚拟成像的情况的示图。
140.如上所述，例如，相机c1是不太可能导致像素图像的饱和但可能导致噪声的相机，并且相机c2是可能导致像素值的饱和并且不太可能导致噪声的相机。通过将由这两个相机获取的图像输入至通过使用图5a所示的训练数据优化的估计模型中，可以获取具有由图7
中的虚拟相机c0捕获的优化的动态范围的估计图像。
141.相机c0可以是由于相机c1和c2的物理限制(例如，现实中，壳体的尺寸或镜头位置的物理重叠)而不能设置的相机。在这种情况下，不可以利用相机c0与相机c1和c2的成像同时执行成像并且获取现实世界中的教学数据。即使在这种情况下，根据本实施例的数据生成系统1也可以通过使用cg模型来获取教学数据的理想图像。
142.虽然在图5a中三个相机设置在不同的位置，但是相机c0可以设置在与相机c1和c2中的任一个的位置相同的位置。例如，相机c0可以设置在与相机c1的位置相同的位置处。
143.例如，相机c0的位置可以与相机c1的位置相同。在这种情况下，例如，相同的位置是指镜头的主点的位置和相机c0和c1的传感器平面相同。在采用这种成像条件并且用户可以通过装置观看由相机c1捕获的图像的情况下，例如，估计装置5可以估计相机c1的高动态范围的图像。
144.此外，用于输入图像的相机的数量不限于两个，并且相机可以由三个或更多个相机构成。例如，在诸如具有三眼相机的智能电话的装置中，模拟器3可以获取使用每个镜头捕获的图像和用作教学数据以获得三个或更多个输入数据和作为一组训练数据的教学数据的图像。
145.注意，用于估计hdr图像的输入图像不限于由具有不同像素值的饱和度和噪声水平的装置获取的图像。例如，可以设定相机c1可以包括通过对数变换获取传感器的感测信息的传感器并且相机c2包括通过线性变换获取传感器的感测信息的传感器的成像条件。
146.在另一示例中，成像条件可以包括相机c1和c2的曝光时间长度不同，而不是镜头和传感器的性能。例如，相机c1的曝光时间可以被设定为适于获取亮对象的图像的短曝光时间，相机c2的曝光时间可以被设定为比相机c1的曝光时间足够长以适于获取暗对象的图像的曝光时间，并且这些可以用作成像条件。
147.根据本示例，可以适当地获取用于优化估计模型的训练数据，该估计模型使用由具有不同成像条件的两个或多个相机获取的图像来执行hdr合成。
148.(tof图像的合成)
149.尽管以上描述是基于获取可见光的相机的镜头、传感器等的差异，但是本发明不限于此。相机c1和c2的成像条件可以是获取不同种类的感测信息的装置。将描述获取不同种类的感测信息的一些装置。例如，相机c1可以是获取可见光的相机，并且相机c2可以是获取飞行时间(tof)图像的相机。然后，相机c0可以基于从相机c1的位置获取tof图像来生成图像。
150.通过假设相机c0，在实际中出现视差的相机c1和c2中，可以估计可以在由相机c1获取的rgb信息上以重叠方式显示由相机c2获取的tof信息的图像。例如，从在相机c2的位置处获取的tof信息，可以生成优化模型的训练数据，该模型从由相机c1和c2中的每一个获取的信息估计在相机c1的位置处的tof信息。尽管实际上不可能将用于获取tof图像的装置作为相机c0设置在与相机c1的位置相同的位置处，但是通过将相机设置在cg模型中，可以将用于获取tof图像的装置虚拟地设置在相机c1的位置处。
151.根据示例，可以生成用于在与用于获取rgb图像的装置的位置相同的位置处估计tof图像的训练数据。尽管可以将用于获取rgb图像的装置和用于获取tof图像的装置设置在较近位置处，但是即使它们设置在较近位置处，也总是产生视差。根据本方法，可以通过
模拟消除这种视差来生成图像，并且由此通过将用于获取rgb图像的装置和用于获取tof图像的装置设置在完全相同的位置处来获取数据。通过使用由此生成的训练数据优化估计模型，可以从具有视差的rgb图像和tof图像的组合来估计没有视差的rgb图像和tof图像的组合。因此，可以实现对象的位置的更精确的识别。
152.注意，距离信息的获取不限于基于tof的方法，并且可以通过其他方法来实现。此外，例如，相机c0可以位于图5a所示的相机c0的位置，而不是与相机c1的位置相同的位置。在这种情况下，相机c0可以具有两个成像条件，例如，在相机c0的位置处获取rgb图像和tof图像的条件，并且模拟器3可以通过模拟从相机c0的位置获取rgb图像和tof图像。
153.(高分辨率热图像)
154.将描述获取不同类型的感测信息的装置的另一示例。例如，相机c1可以是以高分辨率获取rgb图像的装置或者可以是以高分辨率获取灰度图像的装置，并且相机c2可以是获取热图像的装置。热图像可以通过获取温度的传感器(例如使用红外线、远红外线等的热成像)获取。相机c0可以通过模拟获取cg模型中的温度信息，获取温度信息，并且将温度信息转换为图像。在获取关于红外线的信息的情况下，相机c0可以是仅获取红外线的信息的装置或可以是与rgb信息一起获取红外线的装置。
155.通过使用这些图像作为训练数据，可以优化在没有视差的状态下覆盖rgb图像、灰度图像和热图像的估计模型。类似于以上描述，尽管难以在没有视差的状态下获取可见图像和热图像，但是不可能令人满意地获取现实世界中的训练数据，通过使用cg模型可以以更高精度(没有视差)获取训练数据。通过使用由此优化的估计模型，可以从具有视差的可见图像和热图像获取没有视差的可见图像和热图像。
156.(高分辨率图像)
157.在获取rgb图像的情况下，通常获取并合成经由滤波器、有机光电膜等而不同的颜色的光强度，并且因此与获取灰度图像的情况相比，分辨率劣化。例如，相对于灰度图像的四个像素定义彩色图像的一个像素。通过使用根据本实施例的方法还可以实现彩色图像的分辨率的增加。
158.例如，相机c1可以是获取高分辨率的灰度图像的装置，并且相机c2可以是包括拜耳阵列的滤色器的装置。此外，相机c0可以被设定为获取高分辨率的彩色图像的装置。
159.相机c0可以根据颜色的类型(例如，rgb三种颜色)在相同时刻在所有像素中获取以相同颜色滤波的图像。在cg模型中，还可以以这种方式设定感测在相同时刻和相同位置处获取的不同信息的装置。可以以这种方式从相机c0获取高分辨率的每种颜色的图像，并且由此获取高分辨率的彩色图像。
160.基于此，可以从由相机c1获取的高分辨率的灰度图像和由相机c2获取的较低分辨率的彩色图像生成用于估计由相机c0获取的高分辨率的彩色图像的训练数据。通过使用这样的训练数据，可以从具有视差的高分辨率的灰度图像和低分辨率的彩色图像生成用于估计高分辨率的彩色图像的模型。注意，在使用拜耳阵列的示例中，高分辨率的图像理论上具有高于低分辨率的图像的2
×
2倍的分辨率。
161.虽然在以上描述中采用了拜耳阵列，但是本发明不限于此。此外，虽然rgb已用于相机c0的合成，但是还可以使用补色系统(cmy)或者可以使用其他颜色。换句话说，还可以将本发明应用于提高红外相机的分辨率和获得彩色图像或者合成多光谱或超光谱图像。此
外，可以使用黑色(k)，并且在这种情况下，还可以将本发明应用于复印机等的打印机或扫描仪的性能的改进。在另一示例中，图像可以由包括基于等离子体共振的滤波器的传感器获取。在这种情况下，也可以将本发明应用于各种个人认证装置等。
162.(高灵敏度和高分辨率图像)
163.虽然以上已经描述了从由各种传感器获取的图像生成高分辨率图像，但是可以类似地生成高灵敏度的图像作为训练数据并且使用该图像作为估计模型的输出执行估计。
164.例如，相机c1可以设定使用像素尺寸小于相机c2的传感器的成像条件。通过采用这种设定，相机c1可以获取具有比相机c2更高的分辨率的图像，并且相机c2可以获取具有比相机c1更高的灵敏度的图像。此外，相机c0设定具有相机c1的分辨率并且具有与相机c2的像素相对应的灵敏度的成像条件。
165.数据生成系统1可以使用这些高分辨率图像和高灵敏度图像作为输入数据并且使用高分辨率和高灵敏度图像作为输出数据来生成训练数据。使用由此生成的训练数据优化的估计模型可以由包括具有不同尺寸的像素的相机获取的不同分辨率和灵敏度的图像来估计高分辨率和高灵敏度图像。
166.如上所述，根据本实施例，可以在cg模型内部自由地生成在估计模型的优化中用作输入/输出数据的训练数据。在现实世界中，由于基于每个相机的壳体的尺寸的物理干扰等，不可能设置相机c0使得其与相机c1和c2重叠。此外，即使不在相同的时刻执行，也难以将相机c0设置在相对于相机c1和c2的理想位置处。根据数据生成系统1，在这种情况下也可以自由地获取图像。
167.(第二实施例)
168.虽然在教学数据受到由于壳体等的影响引起的干扰的物理影响的情况下，通过在相同位置设定各种成像条件已经获取估计数据作为第一实施例中的成像条件，但是也可以进一步拓宽成像条件。在本实施例中，数据生成系统1生成模型的训练数据，该模型在示例中从由在不同位置处具有各种像角的多个装置获取的图像估计由具有预定像角的装置获取的图像。
169.图8是示出根据本实施例的cg模型中的获取要输入至估计模型的数据的模拟上的相机配置的示例的示图。如图8所示，在cg模型中，相机c1、c2和c3的成像条件被设定为包括不同位置处具有不同像角的光学系统的相机。
170.例如，相机c1通过包括具有标准像角的镜头来执行成像，相机c2通过包括具有长焦像角的镜头来执行成像，并且相机c3通过包括具有广角像角的镜头来执行成像。此外，每个相机被设置在它们在物理上彼此不干扰的位置处，使得可以将它们设置在现实空间中。另外，在这些成像条件下通过模拟获取图像。
171.图9a至图9e是示出针对图8中获取的输入数据用于获取教学数据的每个成像条件的示图。例如，如图9a所示，可能存在相机c0是包括具有超广角镜头的镜头的装置的成像条件。
172.在这种情况下，使用由图8所示的相机c1、c2和c3获取的图像，实现用于估计使用超广角镜头获取的图像的模型的训练。这类似地适用于图9b至图9e，并且生成并输出与每个像角对应的教学数据。
173.训练装置4可以基于每个教学数据来优化估计模型。例如，来自图8所示的相机c1、
c2和c3的图像可以作为输入图像被输入，以训练用于估计获取图9a所示的超广角图像的估计模型、获取图9b所示的广角图像的估计模型等的估计模型。
174.在另一示例中，训练装置4可以通过训练来优化用于估计每个教学数据的图像的一个模型。例如，训练装置4可以将从输出层输出的图像用作用于一个估计模型的五个图像，并且执行估计模型的训练，使得五个图像是在图9a、图9b、
…
、图9e的状态下生成的图像。
175.图10是示出在由此生成的估计模型中获取现实世界中的图像的相机的示图。估计装置5将由图10中的相机c1、c2和c3捕获的图像输入至基于在图8和图9a至图9e的成像条件下生成的图像生成的估计模型。
176.图11是示出从估计模型输出的图像的像角的示例的示图。如图11所示，估计装置5将前述图像输入至估计模型并且获取像角的图像。如上所述，估计模型可以基于估计图像的像角而不同，并且一个估计模型可以输出多个像角。
177.如上所述，根据本实施例，可以获取用于生成估计模型的训练数据，该估计模型用于将具有不同像角的复眼相机捕获的图像转换为以任意像角捕获的图像。
178.注意，虽然在上述描述中仅参考了像角，但是当然模拟器3也可以考虑景深，并且可以获取具有不同景深的图像。在这种情况下，例如，由估计装置5估计的图像可以是具有聚焦的特定目标t1的任意像角的图像。由此获取的图像例如是基于作为教学数据生成的景深，诸如模糊的适当效果被应用于除聚焦的对象之外的对象的图像。相反，还可以生成用于估计模型的教学数据，并且学习该模型，该模型用于相对于聚焦在预定距离或位置处并且在其他距离或位置处模糊的图像来估计聚焦在所有位置处的图像。
179.(第三实施例)
180.尽管在上述每个实施例中，获取作为估计模型的输入的图像的相机的光轴沿相同的方向定向，但是本发明不限于此。
181.图12是示出根据本实施例的cg模型内部的模拟上的相机配置的示例的示图。本实施例涉及例如通过能够获取360度的信息的一组相机实现的图像的获取。更具体地，例如，本实施例假设通过全方位相机实现的成像。
182.相机c1和c2例如包括沿相反方向定向并且具有大于180度的像角的鱼眼镜头。相机c1和c2被设置为使得它们不会彼此物理地和机械地干扰。难以使以这种方式设置的相机的主点的位置彼此一致。因此，不能完全去除拼接图像的接缝。因此，设置cg模型中主点彼此一致的两个相机，并且由模拟器3生成在这些相机的成像条件下捕获的图像。
183.图13a是示出放置在cg模型内部的主点彼此一致的模拟上的相机的示例的示图。如图13a所示，相机c0a和c0b设置在cg模型内部，使得镜头的主点彼此一致。图13b和图13c是为了容易理解重叠部分而分开示出相机c0a和c0b的示图。如在这些附图中所示，相机c0a和c0b被设置在cg模型内部，使得主点彼此一致，并且成像方向是相反方向。例如，成像条件是相机c0a和c0b被设置为使得相机c0a的光轴与相机c1的光轴一致，并且相机c0b的光轴与相机c2的光轴一致。
184.注意，通过将相机c0a、c0b设置在cg模型的内部，也可以执行控制使得不使相机彼此成像。例如，假设在生成由相机c0a捕获的图像时不设置相机c0b，并且假设在生成由相机c0b捕获的图像时不设置相机c0a。以这种方式，可以实现成像使得彼此的相机的壳体不干
扰捕获的图像。
185.数据生成系统1输出在图12中的成像条件下生成的图像数据和在图13中的成像条件下生成的图像数据组作为训练数据。训练装置4使用训练数据优化模型以从在图12的条件下获取的图像估计在图13的条件下获取的图像。换句话说，执行估计模型的优化，使得一旦输入由相机c1和c2捕获的图像，就输出由相机c0a和c0b捕获的图像。
186.估计装置5使用由此优化的模型从包括目标t1并且由如图14所示的相机c1和c2捕获的图像中估计包括由如图15所示的相机c0a和c0b捕获的目标t1的图像。由此估计的图像是镜头的主点的位置彼此一致的图像，并且每个图像中的重叠区域与由相机c1、c2捕获的原始图像相比变宽。因此，与由相机c1、c2捕获的图像的拼接相比，通过使用经由估计模型获取的相机c0a和c0b捕获的图像，可以获取能够更精确地实现接缝等的校正的图像。
187.如上所述，根据本实施例，即使在现实世界中由于物理问题而难以使主点彼此一致地同时执行成像的全方位相机中，也可以通过在cg模型内部使主点彼此一致的模拟上的相机同时执行成像来获取优化用于估计由具有彼此一致的主点和沿相反方向成像的相机获取的图像的模型的训练数据。
188.注意，图13a至图13c仅示出了示例，并且相机c0的成像条件不限于此。
189.图16是示出相机c0的另一成像条件的示图。可以使用具有沿不同方向定向的光轴和相反方向的图像的相机c0c和c0d，而不像图16中所示的相机c0a和c0b那样使相机与光轴一致。此外，除了图13a中的情况以外，图16中的相机还可以被添加以使得能够执行估计。
190.为了使得能够以这种方式使用三个或更多个相机，还可以设想为镜头设置除了超广角之外的像角。图17a和图17b是示出镜头不是超广角镜头的示例的示图。例如，相对于图12中的相机c1和c2，具有标准像角的三个或更多个相机可以被设置为用于获取教学数据的相机。图17a和图17b示出了该示例，并且模拟器3可以生成由具有一致的主点的四个相机c0a、c0b、c0c和c0d捕获的图像作为教学数据。例如，也可以通过采用例如包括标准像角的成像条件来抑制教学数据的失真。
191.此外，教学数据可以是拼接图像，而不是由相机c0捕获的图像。在这种情况下，例如，模拟器3可以生成捕获的图像，使得通过共享作为主点的相机c1和c2的主点的位置的中心的任意数量的多个相机c0可以获取准确的拼接图像。模拟器3从由此生成的多个图像通过算术运算获取拼接图像，并且将拼接图像作为训练数据与由相机c1和c2成像的数据成组而输出为训练数据。
192.一旦输入由相机c1和c2捕获的图像，训练装置4就执行输出作为教学数据的拼接图像的估计模型的优化。此外，估计装置5可以通过使用已经完成优化的估计模型从输入图像估计拼接图像。
193.(第四实施例)
194.在移动终端中，存在复眼相机的相对位置和光轴的方向根据利用形式或利用环境而偏离的可能性。如果当移动终端被携带时被放入口袋中，例如，可能存在由于壳体的失真而发生偏离的情况，并且存在由于所使用的温度而在壳体中发生失真的可能性。根据本实施例的数据生成系统1生成训练数据，该训练数据获取用于校正这样的相对位置的偏离和光轴的方向的偏离的信息。
195.图18是示出根据实施例的cg模型中的模拟上的相机配置的示例的示图。如图所
示，相机c1和c2'被设置在cg模型中。相机c2的正确位置和方向由虚线示出。相反，相机c2'以位置和方向偏离的方式设置。这里，例如，位置是指相机c2相对于相机c1的相对位置。在这种情况下，例如，教学数据可以是与相对位置的偏离和光轴的偏离。换句话说，相机c2相对于相机c1的相对位置的偏离以及相机c2的光轴相对于相机c1的光轴的偏离可以用作教学数据。
196.在另一示例中，相机c1和c2可以被设置为使得实现正确的相对位置和光轴之间的正确的相对角度，并且这些可以被定义为第一预定位置、第二预定位置、第一光轴方向以及第二光轴方向。在这种情况下，可以使相机c1的光轴的位置和方向中的至少一个随机地偏离第一预定位置和第一光轴方向，可以使相机c2的光轴的位置和方向中的至少一个随机地偏离第二预定位置和第二光轴方向，并且可以将该偏离转换为相对偏离并且用作教学数据。
197.这里，随机偏离被定义为微小偏离。微小偏离例如被定义为相机c1和c2偏离到包括c1和c2的壳体不会损坏的程度的位置或方向的偏离。
198.在以这种方式处于偏离状态的相机被设置在cg模型内部的情况下，模拟器3可以生成由这些相机捕获的图像。以所生成的图像和作为教学数据的位置和方向的偏离为一组用作训练数据。具有满足上述约束条件的各种偏离的成像条件可以被设置为生成训练数据。
199.一旦输入两个图像，训练装置4就执行输出相对位置的偏离和光轴方向的偏离的估计模型的优化。估计装置5通过使用由训练装置4优化的估计模型来从如图19所示的两个图像估计并输出相对位置的偏离和光轴的偏离。
200.虽然可以通过普通传感器来实现这样的配置，但是可以通过使用能够获取视差的单眼装置来进一步精确地实现该配置。模拟器3可以将具有这种传感器的相机设置为成像条件。作为获取单眼视差图像的传感器，例如，可以使用在对应于一个片上透镜的像素中具有2
×
2光接收元件的2
×
2片上透镜(ocl)元件。
201.图20是示出本实施例的另一示例的模拟上的相机配置的示例的示图。例如，教学数据可以不是如上所述的诸如位置偏离和光轴偏移的数字数据，相机c0a和c0b可以被设置为具有类似于前述实施例的相机c1和c2的理想位置和方向。此外，模拟器3可以生成由这些相机c0a和c0b成像的数据，并且该数据可以用作教学数据。即使在获取这种数据的情况下，也可以使用上述第一预定位置、第二预定位置、第一光轴方向和第二光轴方向。换句话说，可以通过相对于相机c1和c2在cg模型内部根据这些位置和方向设置相机c0a和c0b来实现获取。
202.图21是示出现实世界中的相机c1和c2的理想相对设置的示图。在图20所示的状态下通过获取训练数据，数据生成系统1可以生成优化估计模型的训练数据，该估计模型将具有如图19中的相对位置的偏离和光轴的偏离的图像校正为由如图21所示的相机捕获的图像。
203.如上所述，根据本实施例，可以获取用于生成估计模型的训练数据，该估计模型估计相机的相对位置的偏离和光轴的偏离或者估计校正了相对位置的偏离和光轴的偏离的图像。在任一种情况下，在难以获得现实世界中的正确答案数据的状态下，可以通过使用cg模型中的诸如设置等的成像条件来获取准确的数据，并且由此提高估计模型的估计精度。
204.上述每个实施例可以在可以适当地应用的范围内以重叠的方式应用。
205.本公开的各方面中的一些或全部可以由程序来实现。程序可以被存储在存储单元302、402和502中，使得通过软件的信息处理具体地通过硬件来实现。此外，处理的一部分或全部可以由处理器(诸如中央处理单元(cpu)或图形处理单元(gpu))执行，或者可以由各种模拟电路或数字电路(诸如现场可编程门阵列(fpga)、专用集成电路(asic)或数字信号处理器(dsp))通过硬件来实现。
206.《使用ai的应用示例》
207.应用根据本公开的技术(本技术)的配置可以使用诸如机器学习的人工智能(ai)。图22示出了包括执行ai处理的装置的系统的配置示例。
208.电子装置20001是诸如智能电话、平板型终端或移动电话的移动终端。电子装置20001包括应用根据本公开的技术的光学传感器20011。注意，光学传感器20011可以例如在电子装置20001中配置相机的功能，并且尽管在附图中未示出，但是可以包括一个或多个光学传感器20011。光学传感器是将光转换为电信号的传感器(图像传感器)。电子装置20001可以通过经由与预定通信方案兼容的无线通信连接到位于预定位置的基站20020，经由核心网络20030连接到诸如因特网的网络20040。
209.用于实现移动边缘计算(mec)的边缘服务器20002设置在更靠近移动终端的位置，诸如基站20020与核心网络20030之间的位置。云服务器20003连接到网络20040。边缘服务器20002和云服务器20003可以根据目的执行各种处理。注意，边缘服务器20002可以设置在核心网络20030内部。
210.电子装置20001、边缘服务器20002、云服务器20003或光学传感器20011执行ai处理。ai处理是使用诸如机器学习的ai的根据本公开的技术的处理。ai处理包括学习处理和推断处理。学习处理是生成学习模型的处理。此外，学习处理还包括稍后将描述的再学习处理。推断处理是使用学习模型来执行推断的处理。在下文中，为了与ai处理区分开，在不使用ai的情况下执行与根据本公开的技术有关的处理将被称为普通处理。
211.电子装置20001、边缘服务器20002、云服务器20003或光学传感器20011通过诸如执行程序的中央处理单元(cpu)的处理器或通过使用诸如专用于特定目的的处理器的专用硬件来实现ai处理。作为专用于特定目的的处理器，例如可以使用图形处理单元(gpu)。
212.图23示出了电子装置20001的配置示例。电子装置20001包括控制每个部件的操作并执行各种处理的cpu 20101、专用于图像处理和并行处理的gpu 20102、诸如动态随机存取存储器(dram)的主存储器20103、以及诸如闪存的辅助存储器20104。
213.辅助存储器20104记录用于ai处理的程序和诸如各种参数的数据。cpu 20101将记录在辅助存储器20104中的程序和参数扩展到主存储器20103中并且执行该程序。可选地，cpu 20101和gpu 20102将记录在辅助存储器20104中的程序和参数扩展到主存储器20103中并且执行该程序。因此，可以使用gpu 20102作为图形处理单元上的通用计算(gpgpu)。
214.注意，cpu 20101和gpu 20102可以被配置为片上系统(soc)。在cpu 20101执行用于ai处理的程序的情况下，可以不设置gpu 20102。
215.电子装置20001还包括应用根据本公开的技术的光学传感器20011、诸如物理按钮或触摸面板的操作单元20105、包括至少一个或多个传感器的传感器20106、显示诸如图像或文本的信息的显示器20107、输出声音的扬声器20108、诸如与预定通信方案兼容的通信
模块的通信i/f 20109以及连接这些组件的总线20110。
216.传感器20106可以包括诸如光学传感器(图像传感器)、声音传感器(麦克风)、振动传感器、加速度传感器、角速度传感器、压力传感器、气味传感器和生物传感器的各种传感器中的至少一个或多个。在ai处理中，如上所述，可以使用从传感器20106中的至少一个或多个传感器获取的数据以及从光学传感器20011获取的图像数据。以这种方式，通过使用从各种传感器获得的数据以及图像数据，可以通过多模态ai的技术来实现适应各种情况的ai处理。
217.注意，通过传感器融合技术整体处理由两个或更多个光学传感器获取的图像数据所获得的数据可以用于如上所述的ai处理。两个或更多个光学传感器可以是光学传感器20011和传感器20106中的光学传感器的组合，或者多个光学传感器可以包括在光学传感器20011中。例如，光学传感器包括rgb可见光传感器、诸如飞行时间(tof)的距离测量传感器、偏振传感器、基于事件的传感器、获取ir图像的传感器、能够获取多个波长的传感器等。换句话说，在上述实施例中的另一非限制性示例中，可以通过偏振传感器或基于事件的传感器来获得至少一个数据。
218.在电子装置20001中，诸如cpu 20101或gpu 20102的处理器可以执行ai处理。在电子装置20001的处理器执行推断处理的情况下，可以在光学传感器20011获取图像数据之后不花费时间的情况下开始处理，并且由此以高速执行处理。因此，根据电子装置20001，当推断处理用于诸如要求以短延迟时间发送信息的应用的目的时，用户可以执行没有任何由于延迟引起的不舒服感觉的操作。此外，在电子装置20001的处理器执行ai处理的情况下，与使用诸如云服务器20003的服务器的情况相比，可以以低成本实现处理而不需要使用通信线路、用于服务器的计算机装置等。
219.图24示出了边缘服务器20002的配置示例。边缘服务器20002包括控制每个部件的操作并执行各种处理的cpu 20201和专用于图像处理和并行处理的gpu 20202。边缘服务器20002还包括诸如dram的主存储器20203、诸如硬盘驱动器(hdd)或固态驱动器(ssd)的辅助存储器20204以及诸如网络接口卡(nic)的通信i/f 20205，并且这些组件连接到总线20206。
220.辅助存储器20204记录用于ai处理的程序和诸如各种参数的数据。cpu 20201将记录在辅助存储器20204中的程序和参数扩展到主存储器20203并且执行该程序。可选地，cpu 20201和gpu 20202通过将记录在辅助存储器20204中的程序和参数扩展到主存储器20203中并且执行该程序可以将gpu 20202用作gpgpu。注意，在cpu 20201执行用于ai处理的程序的情况下，可以不设置gpu 20202。
221.在边缘服务器20002中，诸如cpu 20201或gpu 20202的处理器可以执行ai处理。在边缘服务器20002的处理器执行ai处理的情况下，边缘服务器20002被设置在比云服务器20003更靠近电子装置20001的位置，并且因此可以实现处理的延迟的减小。此外，边缘服务器20002与电子装置20001和光学传感器20011相比具有更高的处理能力(诸如计算速度)，并且因此可以被配置用于通用目的。因此，在边缘服务器20002的处理器执行ai处理的情况下，只要可以接收数据就可以执行ai处理，而不管电子装置20001和光学传感器20011的规格和性能的差异。在边缘服务器20002执行ai处理的情况下，可以减轻电子装置20001和光学传感器20011的处理负担。
222.由于云服务器20003的配置与边缘服务器20002的配置类似，因此将省略描述。
223.在云服务器20003中，诸如cpu 20201或gpu 20202的处理器可以执行ai处理。与电子装置20001和光学传感器20011相比，云服务器20003具有诸如计算速度的高处理能力，并且因此可以被配置用于通用目的。因此，在云服务器20003的处理器执行ai处理的情况下，可以执行ai处理，而不管电子装置20001和光学传感器20011的规格和性能的差异。此外，在电子装置20001或光学传感器20011的处理器难以执行具有大负担的ai处理的情况下，云服务器20003的处理器可以执行具有大负担的ai处理，并将处理结果的反馈提供至电子装置20001或光学传感器20011的处理器。
224.图25示出了光学传感器20011的配置示例。例如，光学传感器20011可以被配置为具有层压了多个基板的层压结构的单芯片半导体器件。光学传感器20011由两个基板构成，即基板20301和基板20302被层压。注意，光学传感器20011的配置不限于层压结构，并且例如，包括成像单元的基板可以包括执行ai处理的处理器，诸如cpu或数字信号处理器(dsp)。
225.在作为上层的基板20301上安装有由以二维方式排列的多个像素配置的成像单元20321。在作为下层的基板20302上安装有：成像处理单元20322，执行关于由成像单元20321执行的图像的捕获的处理；输出i/f20323，将捕获图像和信号处理结果输出至外部；以及成像控制单元20324，控制由成像单元20321执行的图像的捕获。成像单元20321、成像处理单元20322、输出i/f 20323以及成像控制单元20324构成成像块20311。
226.此外，在作为下层的基板20302上安装有执行每个部件和各种处理的控制的cpu 20331、使用捕获的图像和来自外部的信息等执行信号处理的dsp 20332、诸如静态随机存取存储器(sram)或动态随机存取存储器(dram)的存储器20333以及从外部交换必要信息的通信i/f 20334。cpu 20331、dsp 20332、存储器20333和通信i/f 20334构成信号处理块20312。cpu 20331和dsp 20332中的至少一个处理器可以执行ai处理。
227.可以在作为层压多个基板的层压结构中的下层的基板20302上安装用于ai处理的信号处理块20312。因此，由于通过安装在作为上层的基板20301上的用于成像的成像块20311获取的图像数据通过安装在作为下层的基板20302上的用于ai处理的信号处理块20312进行处理，所以可以在单芯片半导体器件内执行一系列处理。
228.在光学传感器20011中，诸如cpu 20331的处理器可以执行ai处理。在光学传感器20011的处理器执行诸如推断处理的ai处理的情况下，在单芯片半导体器件内部执行一系列处理，信息不泄漏到传感器外部，并且因此可以提高信息的机密性。此外，由于不需要将诸如图像数据的数据发送到另一装置，因此光学传感器20011的处理器可以使用图像数据以高速执行诸如推断处理的ai处理。例如，当推断处理用于诸如要求实时特性的应用的目的时，可以充分确保实时特性。这里，确保实时特性指示可以以短延迟时间发送信息。此外，当光学传感器20011的处理器执行ai处理时，可以通过电子装置20001的处理器传递各种元数据来减少处理并实现低功耗。
229.图26示出处理单元20401的配置示例。电子装置20001、边缘服务器20002、云服务器20003或光学传感器20011的处理器通过根据程序执行各种处理而用作处理单元20401。注意，可以使相同装置或不同装置所具有的多个处理器用作处理单元20401。
230.处理单元20401包括ai处理单元20411。ai处理单元20411执行ai处理。ai处理单元20411包括学习单元20421和推断单元20422。
231.学习单元20421执行生成学习模型的学习处理。在学习处理中，生成在执行了用于校正包括在图像数据中的校正目标像素的机器学习的机器学习之后的学习模型。此外，学习单元20421可以执行更新所生成的学习模型的再学习处理。尽管将通过区分学习模型的生成与其更新来给出以下描述，但是学习模型的生成被假设为包括更新学习模型的含义，因为还可以陈述学习模型是通过更新学习模型而生成的。
232.此外，所生成的学习模型可以通过记录在电子装置20001、边缘服务器20002、云服务器20003、光学传感器20011等所具有的诸如主存储器或辅助存储器的记录介质中，在由推断单元20422执行的推断处理中被重新使用。以这种方式，可以生成基于学习模型执行推断处理的电子装置20001、边缘服务器20002、云服务器20003、光学传感器20011等。此外，所生成的学习模型可以被提供以通过记录在独立于电子装置20001、边缘服务器20002、云服务器20003、光学传感器20011等的存储介质或电子装置中而被另一装置使用。注意，电子装置20001、边缘服务器20002、云服务器20003、光学传感器20011等的生成被假设为不仅包括在制造时将学习模型新记录在其存储介质中，而且还包括更新已经记录的所生成的学习模型。
233.推断单元20422使用学习模型来执行推断处理。在推断处理中，使用学习模型来执行用于校正包括在图像数据中的校正目标像素的处理。校正目标像素是作为根据图像数据的图像中的多个像素中的满足预定条件的校正目标的像素。例如，在非限制性示例中，如在上述实施例中所描述的，通过校正处理，可以从在物理上重叠的位置处存在的相机获取图像，从在物理上不存在相机的位置处存在的相机获取图像，并且在假设难以物理设置的传感器的情况下获取图像。
234.作为机器学习方法，可以使用神经网络、深度学习等。神经网络是模仿人类脑神经回路的模型，并且包括三种类型的层，即输入层、中间层(隐藏层)和输出层。深度学习是使用具有多层结构的神经网络的模型，并且可以通过在每个层中重复特征学习来学习隐藏在大量数据中的复杂模式。
235.对于机器学习的问题设定，可以使用监督学习。例如，在监督学习中，基于具有给定标签的教学数据来学习特征量。以这种方式，可以导出未知数据的标签。作为教学数据，可以使用由光学传感器实际获取的图像数据、已经获取并统一管理的图像数据，例如由上述实施例中描述的模拟器生成的数据集等。
236.注意，不仅可以使用监督学习，而且可以使用非监督学习、半监督学习、强化学习等。在非监督学习中，分析没有标签的大量学习数据以提取特征量，并且基于所提取的特征量执行聚类等。以这种方式，可以基于大量未知数据执行趋势的分析和预测。半监督学习是监督学习和非监督学习的组合，并且是在监督学习中使特征量学习、在非监督学习中给出大量教学数据、并且在自动计算特征量的同时重复学习的方法。强化学习处理特定环境中的代理观察当前状态并确定要采取的行动的问题。
237.以这种方式，ai处理由电子装置20001、边缘服务器20002、云服务器20003或光学传感器20011的处理器中的任一个或多个装置通过用作ai处理单元20411的装置来执行。
238.ai处理单元20411仅需要包括学习单元20421和推断单元20422中的至少一个。换句话说，每个装置的处理器当然可以执行学习处理和推断处理两者，或者可以执行学习处理和推断处理中的一个。例如，在电子装置20001的处理器执行推断处理和学习处理两者的
情况下，包括学习单元20421和推断单元20422两者，而在仅执行推断处理的情况下，仅需要包括推断单元20422。
239.每个装置的处理器可以执行关于学习处理或推断处理的所有种类的处理，或者每个装置的处理器可以执行处理的一部分，并且其他装置的处理器然后可以执行其余的处理。此外，每个装置可以具有用于执行诸如学习处理和推断处理的ai处理中的每个功能的公共处理器，或可以单独具有用于所述功能的处理器。
240.注意，ai处理可以由除上述装置之外的不同装置来执行。例如，可以通过电子装置20001可以通过无线连接等与其连接的不同电子装置执行ai处理。具体地，在电子装置20001是智能电话的情况下，执行ai处理的不同电子装置可以是诸如另一智能电话、平板型终端、移动电话、个人计算机(pc)、游戏机、电视接收器、可穿戴终端、数字静态相机或数字摄像机的装置。
241.此外，虽然可以将诸如推断处理的ai处理应用于使用安装在诸如车辆的移动体上的传感器、用于远程医疗装置的传感器等的配置，但是在这样的环境中要求短延迟时间。在这样的环境中，可以通过执行ai处理的本地侧装置(例如，作为车载装置或医疗装置的电子装置20001)的处理器而不是经由网络20040执行ai处理的云服务器20003的处理器来缩短延迟时间。此外，即使在不存在建立与诸如因特网的网络20040的连接的环境的情况下或者在不能执行高速连接的环境中使用的装置的情况下，也可以通过本地侧装置的处理器(诸如电子装置20001或光学传感器20011)在更适当的环境中执行ai处理，例如执行ai处理。
242.注意，上述配置是示例，并且可以采用其他配置。例如，电子装置20001不限于诸如智能电话的移动终端，并且可以是诸如pc、游戏机、电视接收器、可穿戴终端、数字静态相机或数字摄像机的电子装置、车载装置或医疗装置。此外，电子装置20001可以通过与诸如无线局域网(lan)或有线lan的预定通信方案兼容的无线通信或有线通信连接到网络20040。ai处理不限于每个装置的诸如cpu或gpu的处理器，并且可以使用量子计算机、神经形态计算机等。
243.(处理的流程)
244.将参考图27中的流程图描述使用ai的处理的流程。
245.在步骤s20001中，处理单元20401从光学传感器20011获取图像数据。在步骤s20002中，处理单元20401对所获取的图像数据执行校正处理。在校正处理中，对图像数据的至少一部分执行使用学习模型的推断处理，并且获得校正数据，该校正数据是校正包括在图像数据中的校正目标像素之后的数据。在步骤s20003，处理单元20401输出通过校正处理获得的校正数据。
246.这里，将参考图28中的流程图描述上述步骤s20002中的校正处理的细节。
247.在步骤s20021中，处理单元20401指定包括在图像数据中的校正目标像素。在指定校正目标像素的步骤(下文中，称为检测步骤)中，执行推断处理或普通处理。
248.在作为检测步骤执行推断处理的情况下，由于包括在输入图像数据中的用于检测校正目标像素的信息(在下文中，称为检测信息)是通过图像数据被输入到学习模型而输出的，因此推断单元20422可以检测校正目标像素。这里，使用学习模型，该学习模型使用包括校正目标像素的图像数据作为输入并且使用包括在图像数据中的校正目标像素的检测信息作为输出。另一方面，在作为检测步骤执行普通处理的情况下，电子装置20001或光学传
感器20011的处理器或信号处理电路在不使用ai的情况下执行检测包括在图像数据中的校正目标像素的处理。
249.注意，在已知校正目标像素是图像数据中的所有像素的情况下，也可以跳过检测步骤。
250.如果在步骤s20021中检测到包括在图像数据中的校正目标像素，则处理进行到步骤s20022。在步骤s20022中，处理单元20401校正检测到的校正目标像素。在对校正目标像素进行校正的步骤(在下文中，称为校正步骤)中，执行推断处理或普通处理。
251.在作为校正步骤执行推断处理的情况下，由于通过将图像数据和校正目标像素的检测信息输入到学习模型来输出校正后的图像数据或校正后的校正目标像素的检测信息，所以推断单元20422可以对校正目标像素进行校正。这里，使用学习模型，该学习模型使用包括校正目标像素的图像数据和校正目标像素的检测信息作为输入并且使用校正后的图像数据或者校正后的校正目标像素的检测信息作为输出。另一方面，在作为校正步骤执行普通处理的情况下，电子装置20001或光学传感器20011的处理器或信号处理电路在不使用ai的情况下执行校正包括在图像数据中的校正目标像素的处理。
252.以这种方式，通过在检测校正目标像素的检测步骤中执行的推断处理或普通处理，以及通过在校正处理中校正检测到的的校正目标像素的校正步骤中执行的推断处理或普通处理，在检测步骤和校正步骤中的至少一个步骤中执行推断处理。换句话说，在校正处理中，对来自光学传感器20011的图像数据的至少一部分执行使用学习模型的推断处理。
253.此外，在校正处理中，可以通过使用推断处理来与校正步骤一体地执行检测步骤。在推断处理被执行为这样的校正步骤的情况下，由于通过将图像数据输入到学习模型而输出校正了校正目标像素的图像数据，因此推断单元20422可以校正包括在输入图像数据中的校正目标像素。这里，使用学习模型，该学习模型使用包括校正目标像素的图像数据作为输入并且使用已经校正了校正目标像素的图像数据作为输出。
254.顺便提及，处理单元20401可以使用校正数据生成元数据。图29中的流程图示出了生成元数据的情况下的处理。
255.在步骤s20051和s20052中，与上述步骤s20001和s20002类似，获取图像数据，并且执行使用所获取的图像数据的校正处理。在步骤s20053中，处理单元20401使用在校正处理中获得的校正数据生成元数据。在生成元数据的步骤(在下文中，称为生成步骤)中，执行推断处理或普通处理。
256.在作为生成步骤执行推断处理的情况下，因为通过将校正数据输入到学习模型而输出关于输入的校正数据的元数据，所以推断单元20422可以生成元数据。这里，使用学习模型，该学习模型使用校正数据作为输入并且使用元数据作为输出。例如，元数据包括诸如点云和数据结构的三维数据。注意，可以通过端到端机器处理来执行步骤s20051至s20054中的处理。另一方面，在作为生成步骤执行普通处理的情况下，电子装置20001或光学传感器20011的处理器或信号处理电路在不使用任何ai的情况下执行从校正数据生成元数据的处理。
257.如上所述，电子装置20001、边缘服务器20002、云服务器20003或光学传感器20011执行检测校正目标像素的检测步骤和对校正目标像素进行校正的校正步骤，或者校正包括在图像数据中的校正目标像素的校正步骤，作为使用来自光学传感器20011的图像数据的
校正处理。此外，电子装置20001、边缘服务器20002、云服务器20003或光学传感器20011还可以执行使用在校正处理中获得的校正数据生成元数据的生成步骤。
258.此外，通过将诸如校正数据和元数据的数据记录在可读存储介质中，还可以生成记录诸如校正数据和元数据的数据的存储介质以及诸如其上安装有存储介质的电子装置的装置。存储介质可以是诸如包括在电子装置20001、边缘服务器20002、云服务器20003或光学传感器20011中的主存储器或辅助存储器的存储介质，或者可以是独立于其的存储介质或电子装置。
259.在校正处理中执行检测步骤和校正步骤的情况下，可以在检测步骤、校正步骤和生成步骤中的至少一个步骤中使用学习模型来执行推断处理。具体地，通过在检测步骤中执行推断处理或普通处理、然后在校正步骤中执行推断处理或普通处理以及在生成步骤中进一步执行推断处理或普通处理，在至少一个步骤中执行推断处理。
260.此外，在校正处理中仅执行校正步骤的情况下，可以在校正步骤中执行推断处理，并且可以在生成步骤中执行推断处理或普通处理。具体地，通过在校正步骤中执行推断处理之后在生成步骤中执行推断处理或普通处理，在至少一个步骤中执行推断处理。
261.如上所述，推断处理可以在所有步骤，即，检测步骤、校正步骤和生成步骤中执行，或者推断处理可以在某些步骤中执行并且普通处理可以在其余步骤中执行。在下文中，将描述在每个步骤中执行推断处理的情况下的处理。
262.(a)在检测步骤中执行推断处理的情况下的处理
263.当在校正处理中执行检测步骤和校正步骤的情况下在检测步骤中执行推断处理时，推断单元20422使用学习模型，该学习模型使用包括校正目标像素的图像数据作为输入并且使用包括在图像数据中的校正目标像素的检测信息作为输出。学习模型通过由学习单元20421执行的学习处理而生成，被提供给推断单元20422，并且然后在执行推断处理时使用。
264.将参考图30中的流程图如下描述当在校正处理中执行检测步骤和校正步骤的情况下在检测步骤中执行推断处理时提前执行的学习处理的流程。换句话说，学习单元20421获取由光学传感器实际获取的图像数据、已经获取并统一管理的图像数据、由模拟器生成的数据集等作为教学数据(s20061)，并且使用所获取的教学数据生成学习模型(s20062)。作为学习模型，生成使用包括校正目标像素的像素数据作为输入并且使用包括在图像数据中的校正目标像素的检测信息作为输出的学习模型，并且然后将该学习模型输出至推断单元20422(s20063)。
265.(b)在校正步骤中执行推断处理的情况下的处理
266.当在校正处理中执行检测步骤和校正步骤的情况下在校正步骤中执行推断处理时，推断单元20422使用学习模型，该学习模型使用包括校正目标像素的图像数据和校正目标像素的检测信息作为输入并且使用已经校正了校正后的像素数据或者校正目标像素的检测信息作为输出。通过由学习单元20421执行的学习处理生成学习模型。
267.将参考图30中的流程图如下描述当在校正处理中执行检测步骤和校正步骤的情况下在校正步骤中执行推断处理时提前执行的学习处理的流程。换句话说，例如，学习单元20421从如上述实施例中所描述的模拟器获取数据集等作为教学数据(s20061)，并且使用所获取的教学数据生成学习模型(s20062)。作为学习模型，生成使用包括校正目标像素的
图像数据和校正目标像素的检测信息作为输入并且使用校正后的图像数据或校正后的校正目标像素的检测信息作为输出的学习模型，并且然后将该学习模型输出至推断单元20422(s20063)。
268.注意，教学数据不仅可以使用从模拟器提供的数据集，而且还可以使用由光学传感器实际获取的图像数据、已经获取并统一管理的图像数据等。
269.(c)在校正步骤中执行推断处理的情况下的处理
270.在校正处理中仅执行校正步骤的情况下，当在校正步骤中执行推断处理时，推断单元20422使用学习模型，该学习模型使用包括校正目标像素的图像数据作为输入并且使用校正了校正目标像素的图像数据作为输出。在由学习单元20421执行的学习处理中生成学习模型。
271.将参考图30中的流程图如下描述当在校正处理中仅执行校正步骤的情况下在校正步骤中执行推断处理时提前执行的学习处理的流程。换句话说，学习单元20421例如从前述实施例中所描述的模拟器获取数据集等作为教学数据(s20061)，并且使用所获取的教学数据生成学习模型(s20062)。作为学习模型，生成使用包括校正目标像素的图像数据作为输入并且使用校正了校正目标像素的图像数据作为输出的学习模型，并且然后将该学习模型输出至推断单元20422(s20063)。
272.注意，如果教学数据不限于从模拟器提供的数据集，并且可以进一步使用由光学传感器实际获取的图像数据或已经获取并统一管理的图像数据，则没有问题。
273.顺便提及，诸如学习模型、图像数据和校正数据的数据当然可以在单个装置中使用，并且还可以在多个装置之间交换并且可以在这些装置中使用。图31示出了多个装置之间的数据流。
274.电子装置20001-1至20001-n(n是等于或大于1的整数)由单独的用户拥有，并且它们中的每一个可以经由基站(未示出)连接到网络20040，诸如因特网。在制造时，学习装置20501连接至电子装置20001-1，并且可以在辅助存储器20104中记录由学习装置20501提供的学习模型。学习装置20501使用如前述实施例中所述的方法由模拟器20502生成的数据集作为教学数据，例如，以生成学习模型并将该学习模型提供给电子装置20001-1。注意，教学数据不限于从模拟器20502提供的数据，并且还可以包括由光学传感器实际获取的图像数据、已经获取并统一管理的图像数据等。
275.尽管未在附图中示出，但是类似于电子装置20001-1在制造阶段中，学习模型可以被记录在电子装置20001-2至20001-n中。在下文中，在不需要区分电子装置20001-1至20001-n中的每一个的情况下，电子装置20001-1至20001-n将被称为电子装置20001。
276.除了电子装置20001之外，学习模型生成服务器20503、学习模型提供服务器20504、数据提供服务器20505以及应用服务器20506被连接到网络20040，使得可以相互交换数据。每个服务器可以被设置为云服务器。
277.学习模型生成服务器20503具有与云服务器20003的配置相似的配置，并且可以使用诸如cpu的处理器执行学习处理。学习模型生成服务器20503使用教学数据生成学习模型。虽然所示出的配置示出了电子装置20001在制造时记录学习模型的情况作为示例，但是可以从学习模型生成服务器20503提供学习模型。学习模型生成服务器20503经由网络20040将所生成的学习模型发送至电子装置20001。电子装置20001接收从学习模型生成服
务器20503发送的学习模型并将该学习模型记录在辅助存储器20104中。以这种方式，生成包括学习模型的电子装置20001。
278.换句话说，在制造阶段电子装置20001不记录学习模型的情况下，通过从学习模型生成服务器20503新记录学习模型来生成记录新学习模型的电子装置20001。此外，在制造阶段电子装置20001已经记录学习模型的情况下，通过从学习模型生成服务器20503将所记录的学习模型更新为学习模型来生成记录更新的学习模型的电子装置20001。电子装置20001可以使用适当更新的学习模型来执行推断处理。
279.学习模型不限于从学习模型生成服务器20503直接提供到电子装置20001，并且统一管理各种学习模型的学习模型提供服务器20504可以经由网络20040提供学习模型。学习模型提供服务器20504可以通过不仅向电子装置20001提供学习模型而且向不同装置提供学习模型来生成包括学习模型的不同装置。此外，学习模型可以被记录并提供在诸如闪存的可拆卸存储卡中。电子装置20001可以从附接到插槽的存储卡读取并记录学习模型。以这种方式，即使在电子装置20001在恶劣环境中使用的情况下，电子装置20001不具有通信功能，或者电子装置2001具有通信功能的同时可以发送的信息量较小，也可以获取学习模型。
280.电子装置20001可以经由网络20040向其他装置提供诸如图像数据、校正数据和元数据的数据。例如，电子装置20001可以经由网络20040将诸如图像数据和校正数据的数据发送到学习模型生成服务器20503。以这种方式，学习模型生成服务器20503可以使用从一个或多个电子装置20001收集的诸如图像数据和校正数据的数据作为教学数据来生成学习模型。通过使用更多的教学数据，可以提高学习处理的精度。
281.诸如图像数据和校正数据的数据不限于从电子装置20001直接提供到学习模型生成服务器20503，并且可以由统一管理各种数据的数据提供服务器20505提供。数据提供服务器20505可以不仅从电子装置20001而且还从其他装置收集数据，并且可以不仅向学习模型生成服务器20503而且还向其他装置提供数据。
282.学习模型生成服务器20503可以对已经生成的学习模型执行用于将从电子装置20001或数据提供服务器20505提供的诸如图像数据和校正数据的数据添加到教学数据的再学习处理并更新学习模型。更新后的学习模型可以被提供给电子装置20001。在学习模型生成服务器20503执行学习处理或再学习处理的情况下，可以执行该处理，而不管电子装置20001的规格和性能的差异。
283.此外，在用户对校正数据或元数据(例如，用户输入正确信息)执行修改操作的情况下，电子装置20001可以使用关于再学习处理的修改处理的反馈数据。例如，通过将来自电子装置20001的反馈数据发送到学习模型生成服务器20503，学习模型生成服务器20503可以使用来自电子装置20001的反馈数据来执行再学习处理，并且更新学习模型。注意，电子装置20001可以在用户执行修改操作时使用由应用服务器20506提供的应用。
284.再学习处理可以由电子装置20001执行。在电子装置20001使用图像数据或反馈数据执行再学习处理以更新学习模型的情况下，可以改进装置中的学习模型。以这种方式，生成包括更新的学习模型的电子装置20001。此外，电子装置20001可以将在再学习处理中获得的更新之后的学习模型发送到学习模型提供服务器20504，使得在更新之后的学习模型被提供给其他电子装置20001。以这种方式，可以在多个电子装置20001之间共享更新之后的学习模型。
285.可选地，电子装置20001可以将再学习的学习模型的差异信息(关于更新之前的学习模型和更新之后的再学习模型的差异信息)作为更新信息发送到学习模型生成服务器20503。学习模型生成服务器20503可以基于来自电子装置20001的更新信息生成改进的学习模型并且将该学习模型提供给其他电子装置20001。与交换所有信息的情况相比，可以保护隐私，并且通过交换这种差异信息来降低制造成本。注意，安装在电子装置20001上的光学传感器20011可以执行与电子装置20001类似的再学习处理。
286.应用服务器20506是可以经由网络20040提供不同应用的服务器。应用使用诸如学习模型、校正数据和元数据的数据来提供预定功能。电子装置20001可以通过执行经由网络20040从应用服务器20506下载的应用来实现预定功能。可选地，应用服务器20506还可以例如经由应用编程接口(api)从电子装置20001获取数据，并且在应用服务器20506上执行应用。
287.如上所述，根据包括应用本技术的装置的系统，在装置之间交换和分布诸如学习模型、图像数据和校正数据的数据，并且可以使用这些数据提供各种服务。例如，可以提供经由学习模型提供服务器20504提供学习模型的服务，以及经由数据提供服务器20505提供诸如图像数据和校正数据的数据的服务。此外，可以经由应用服务器20506提供用于提供应用的服务。
288.可选地，从电子装置20001的光学传感器20011获取的图像数据可以被输入到由学习模型提供服务器20504提供的学习模型，并且可以提供作为其输出而获得的校正数据。此外，可以生成并提供诸如其上安装有由学习模型提供服务器20504提供的学习模型的电子装置的装置。此外，诸如学习模型、校正数据以及元数据的数据可以被记录在可读存储介质中，并且因此可以生成并且提供记录数据的存储介质或者诸如其上安装有存储介质的电子装置的装置。存储介质可以是诸如磁盘、光盘、磁光盘或半导体存储器的非易失性存储器，也可以是诸如sram、dram的易失性存储器。
289.上述实施例可以具有以下形式。
290.(1)一种用于使用处理器从cg模型中生成数据的方法，该数据是用于机器学习的训练数据，该方法包括：在cg模型中通过模拟生成在第一成像条件下获取的第一图像以及在与第一成像条件不同的第二成像条件下获取的第二图像；以及获取至少第一图像和第二图像作为训练数据中的输入图像数据。
291.(2)根据(1)的生成数据的方法，其中，包括在第一成像条件中的成像位置是与包括在第二成像条件中的成像位置不同的位置。
292.(3)根据(2)的生成数据的方法，还包括：在cg模型内通过模拟生成在第三成像条件下获取的第三图像，该第三成像条件包括从与第一成像条件和第二成像条件中的任一个的位置相同的位置或从与第一成像条件和第二成像条件中的两个的位置都不同的位置执行成像的条件；以及获取至少第三图像作为训练数据中的输出图像数据。
293.(4)根据(3)的生成数据的方法，其中，作为成像条件，第一成像条件和第二成像条件还包括具有不同像角的光学系统。
294.(5)根据(4)的生成数据的方法，其中，作为成像条件，还获取在第三成像条件中以多个改变的像角捕获的第三图像。
295.(6)根据(3)的生成数据的方法，其中，作为成像条件，第一成像条件和第二成像条
件还包括具有不同动态范围的光学系统。
296.(7)根据(6)的生成数据的方法，其中，第一成像条件的像素值不太可能比第二成像条件的像素值饱和，并且第二成像条件的噪声小于第一成像条件的噪声。
297.(8)根据(6)或(7)的生成数据的方法，其中，第一成像条件是传感器通过执行对数变换获取感测信息，并且第二成像条件是传感器在不执行对数变换的情况下获取感测信息。
298.(9)根据(6)至(8)中任一项的生成数据的方法，其中，第一成像条件和第二成像条件具有不同的曝光时间。
299.(10)根据(6)至(9)中任一项的生成数据的方法，其中，第一成像条件和第二成像条件在传感器中具有不同的电荷累积时间。
300.(11)根据(6)至(10)中任一项的生成数据的方法，其中，第三图像是具有高动态范围的图像。
301.(12)根据(3)的生成数据的方法，其中，作为成像条件，第一成像条件和第二成像条件还包括要由传感器感测的信息不同的条件。
302.(13)根据(12)的生成数据的方法，其中，第一成像条件是获取彩色信息的成像，并且第二成像条件是获取温度信息的成像。
303.(14)根据(13)的生成数据的方法，其中，第二成像条件是通过感测红外线的传感器执行的成像。
304.(15)根据(13)的生成数据的方法，其中，第一成像条件是获取灰度信息的成像，并且第二成像条件是获取彩色信息的成像。
305.(16)根据(13)的生成数据的方法，其中，第一成像条件是获取灰度信息的成像，并且第二成像条件是使用等离子体共振获取信息的成像。
306.(17)根据(13)的生成数据的方法，其中，第一成像条件中的传感器的像素尺寸和第二成像条件中的传感器的像素尺寸是不同的尺寸。
307.(18)根据(12)的生成数据的方法，其中，第一成像条件是获取彩色信息的成像，并且第二成像条件是获取距离信息的成像。
308.(19)根据(18)的生成数据的方法，其中，第三成像条件是获取与第一成像条件相同的位置和相同的方向上的距离信息的成像。
309.(20)根据(18)或(19)的生成数据的方法，其中，第二成像条件和第三成像条件是获取tof图像的成像。
310.(21)根据(3)的生成数据的方法，其中，第一成像条件和第二成像条件是通过成像系统实现的成像，该成像系统沿相反方向定向并且具有包括超广角镜头并且彼此不机械干涉的光学系统。
311.(22)根据(21)的生成数据的方法，还包括：通过模拟生成在第四成像条件下获取的第四图像，该第四成像条件是沿与第三成像条件的方向不同的方向定向并且具有与第三成像条件的光学系统的主点相同的主点的光学系统成像；以及获取第四图像作为训练数据的输出数据。
312.(23)根据(2)的生成数据的方法，其中，第二成像条件是从随机地偏离相对于第一成像条件的相对的预定位置的位置沿随机地偏离平行于第一成像条件的光轴的预定方向
的光轴的方向成像。
313.(24)根据(23)的生成数据的方法，其中，获取第二成像条件的位置与预定位置的偏离以及第二成像条件的光轴的方向与预定方向的偏离作为训练数据的教学数据。
314.(25)根据(2)的生成数据的方法，还包括：设置第一预定位置、第二预定位置、第一光轴方向以及第二光轴方向，第一成像条件是从随机地偏离第一预定位置的位置沿随机地偏离第一光轴方向的方向成像，第二成像条件是从随机地偏离第二预定位置的位置沿随机地偏离第二光轴方向的方向成像。
315.(26)根据权利要求25的生成数据的方法，还包括：通过模拟生成在从第一预定位置对第一光轴方向成像的第三成像条件下获取的第三图像；以及通过模拟生成在从第二预定位置对第二光轴方向成像的第四成像条件下获取的第四图像，获取第三图像和第四图像作为训练数据的教学数据。
316.(27)根据(1)至(23)中任一项的生成数据的方法，其中，成像条件包括生成三个或更多个训练数据中的一组输入图像数据的条件。
317.(28)根据(1)至(27)中任一项的生成数据的方法，其中，成像条件包括生成两个或更多个训练数据中的一组输出图像数据的条件。
318.(29)一种学习方法，使用通过根据(1)至(28)中任一项的生成数据的方法生成的训练数据来执行估计模型的优化。
319.(30)根据(29)的学习方法，其中，估计模型是神经网络模型。
320.(31)一种估计方法，使用估计模型来获取作为实际拍摄数据的输入数据的估计数据，该估计模型使用通过根据(1)至(28)中任一项的生成数据的方法生成的训练数据来优化。
321.(32)根据(31)的估计方法，其中，估计模型是神经网络模型。
322.(33)一种数据生成装置，包括：存储器；处理器，其中，该处理器执行根据(1)至(28)中任一项的生成数据的方法。
323.(34)一种学习装置，包括：存储器；处理器，其中，该处理器执行根据(29)或(30)的学习方法。
324.(35)一种估计装置，包括：存储器；处理器，其中，该处理器执行根据(31)或(32)的估计方法。
325.(36)一种使处理器执行根据(1)至(28)中任一项的生成数据的方法的程序。
326.(37)一种使处理器执行根据(29)或(30)的学习方法的程序。
327.(38)一种使处理器执行根据(31)或(32)的估计方法的程序。
328.(39)一种存储有根据(36)至(38)中任一项的程序的非暂时性计算机可读介质。
329.(40)一种用于使用训练数据生成学习模型的方法，该训练数据使用处理器从cg模型中生成并且用于机器学习，该方法包括：
330.在cg模型中通过模拟生成在第一成像条件下获取的第一图像以及在与第一成像条件不同的第二成像条件下获取的第二图像；以及
331.获取至少第一图像和第二图像作为训练数据中的输入图像数据。
332.(41)根据(40)的生成学习模型的方法，其中，输入图像数据的获取通过根据(1)至(27)中任一项的方法来执行。
333.(42)一种用于生成存储介质的方法，包括：将通过根据(40)或(41)的生成学习模型的方法生成的学习模型存储在存储介质中。
334.(43)一种用于生成电子装置的方法，包括：将通过根据(40)或(41)的生成学习模型的方法生成的学习模型存储在电子装置的存储介质中。
335.本公开的方面不限于上述实施例并且包括可以设想的各种变形，并且本公开的效果不限于上述内容。每个实施例中的组件可以适当地组合应用。换句话说，在不脱离从权利要求及其等同物中指定的内容导出的本公开的概念理念和精神的情况下，可以执行各种添加、改变以及部分删除。
336.参考标记列表
337.1数据生成系统
338.2cg发生器
339.3模拟器
340.300输入/输出i/f
341.302存储单元
342.304条件设定单元
343.306图像生成单元
344.4训练装置
345.400输入/输出i/f
346.402存储单元
347.404训练单元
348.406模型
349.5估计装置
350.500输入/输出i/f
351.502存储单元
352.504估算单元
353.506学习模型。