信息处理设备、3D模型生成方法及程序与流程

信息处理设备、3d模型生成方法及程序
技术领域
1.本公开内容涉及信息处理设备、3d模型生成方法和程序。


背景技术：

2.传统上，已经提出了一种通过使用通过感测真实3d空间获得的信息，例如，通过使用通过从不同视点对被摄体成像获得的多视图视频，在观看空间中生成3d对象以生成对象看起来好像对象位于观看空间中的视频(体积视频)的方法。
3.体积视频的生成需要关于三维空间的坐标信息。例如，在专利文献1中，基于指示从摄像装置到被摄体表面的距离的深度图来获得被摄体的3d形状。
4.引文列表
5.专利文献
6.专利文献1：wo 2018/074252 a


技术实现要素：

7.技术问题
8.然而，在专利文献1中，仅可以获得被摄体的面对摄像装置的前表面，即，被摄体的前表面侧的3d形状。因此，需要基于从被摄体的背表面侧捕获的深度图来获得被摄体的背表面侧的3d形状。
9.因此，存在难以生成被摄体的准确形状的问题。
10.本公开内容提出了一种信息处理设备、3d模型生成方法和程序，其被配置成生成被摄体的准确形状。
11.问题的解决方案
12.为了解决上述问题，根据本公开内容的实施方式的信息处理设备包括：距离获取单元，其基于被摄体的表面的3d形状，获取投影点与第一点之间的第一距离以及投影点与第二点之间的第二距离，从投影点延伸到被摄体的直线在该第一点处与被摄体接触，从第一点延伸进入被摄体的内部的直线从该第二点贯穿到被摄体的外部。
附图说明
13.图1是示出根据第一实施方式的信息处理系统的示意性配置的框图。
14.图2是示出成像设备的示例的图。
15.图3是示出由信息处理系统执行的处理的示例的流程图。
16.图4是示出信息处理系统的硬件配置的示例的硬件框图。
17.图5是示出编码单元的功能配置的示例的功能框图。
18.图6是示出生成深度图的方法的图。
19.图7是示出第一层深度图和第二层深度图的经量化深度值的图。
20.图8是示出第一层深度图和第二层深度图的示例的图。
21.图9是示出由平铺单元生成的图像的示例的图。
22.图10是示出解码单元的功能配置的示例的功能框图。
23.图11是示出由深度有效区域确定单元从每个深度图读取深度值的方法的图。
24.图12是示出由深度有效区域确定单元确定深度值的有效性/无效性的方法的图。
25.图13是示出由深度有效区域确定单元执行的处理的示例的流程图。
26.图14是示出在每个深度图上设置的三角形图块(patch)的图。
27.图15是示出各个三角形图块的有效点的数目的图。
28.图16是示出顶点坐标改变处理的图。
29.图17是示出如何生成关于被摄体的三维网格数据的示意图。
30.图18是示出由三角形图块生成单元执行的网格数据生成处理的示例的流程图。
31.图19是示出渲染单元的功能配置的示例的功能框图。
32.图20是示出第二实施方式中的由平铺单元生成的待编码的图像的示例的图。
33.图21是示出第二实施方式的解码单元和渲染单元的功能配置的示例的功能框图。
34.图22是示出可见性确认的图。
35.图23是示出根据第三实施方式的信息处理系统的功能的图。
36.图24是示出根据第四实施方式的信息处理系统的功能的图。
具体实施方式
37.下面将参照附图详细描述本公开内容的实施方式。注意，在以下实施方式中，相同的部分由相同的附图标记或符号表示，并且将省略其重复描述。
38.此外，将按照以下所示项目的顺序描述本公开内容。
39.1.第一实施方式
40.1-1.信息处理系统的功能配置
41.1-2.由信息处理系统执行的处理
42.1-3.信息处理系统的硬件配置
43.1-4.编码单元的详细配置
44.1-5.解码单元的详细配置
45.1-6.深度有效性确定处理
46.1-7.网格数据生成处理
47.1-8.渲染单元的详细配置
48.1-9.第一实施方式的修改例
49.1-10.第一实施方式的效果
50.2.第二实施方式
51.2-1.平铺图像的配置
52.2-2.可见性确认
53.2-3.第二实施方式的效果
54.3.第三实施方式
55.3-1.第三实施方式的功能
56.3-2.第三实施方式的效果
57.4.第四实施方式
58.4-1.第四实施方式的功能
59.4-2.第四实施方式的效果
60.5.本公开内容的应用示例
61.5-1.内容的制作
62.5-2.虚拟空间中的体验
63.5-3.与远程位置通信的应用
64.5-4.其他方面
65.(1.第一实施方式)
66.[1-1.信息处理系统的配置]
[0067]
首先，将参照图1描述应用本公开内容的信息处理系统10a的概述。图1是示出根据第一实施方式的信息处理系统的示意性配置的框图。
[0068]
如图1所示，信息处理系统10a包括数据获取单元11、3d模型生成单元12、编码单元13a、发送单元14、接收单元15、解码单元16a、渲染单元17a和显示单元18。
[0069]
数据获取单元11获取用于生成作为要成像的对象的被摄体90的3d模型90m的图像数据。例如，如图2所示，获取由被布置成包围被摄体90的多个成像装置70(70a、70b、...)捕获的多个视点图像作为图像数据。在该配置中，优选地多个视点图像是由多个摄像装置彼此同步地捕获的图像。此外，例如，数据获取单元11可以获取通过移动一个摄像装置从多个视点捕获被摄体的图像获得的图像数据。注意，数据获取单元11可以基于图像数据来执行校准以获取每个成像设备的内部参数和外部参数。此外，例如，数据获取单元11可以获取指示从多个视点到被摄体90的距离的多条深度信息。
[0070]
3d模型生成单元12基于用于生成被摄体90的3d模型90m的图像数据来生成具有关于被摄体的三维信息的模型。例如，3d模型生成单元12通过使用所谓的视觉外壳(visual hull)，根据从多个视点捕获的图像(例如，从多个视点捕获的轮廓图像)雕刻被摄体的三维形状，来生成被摄体的3d模型。在该配置中，3d模型生成单元12可以通过使用指示从多个视点到被摄体的距离的多条深度信息，进一步变形使用视觉外壳以高准确度生成的3d模型90m。此外，3d模型生成单元12可以根据被摄体90的一个捕获图像生成被摄体90的3d模型90m。
[0071]
由3d模型生成单元12以帧的时间序列生成的3d模型90m也可以称为3d模型的运动图像。此外，3d模型90m是使用由成像设备捕获的图像生成的，因此，3d模型90m也可以称为实况3d模型。在3d模型中，例如，可以以通过被称为多边形网格的顶点之间的连接表达的三维网格数据的形式来表达指示被摄体90的表面形状的形状信息。例如，三维网格数据包括网格的顶点的三维坐标和指示是否将哪些顶点进行组合以形成三角形网格的索引信息。注意，3d模型的表达不限于此，并且可以通过使用由点位置信息表达的所谓的点云的表达方法来描述3d模型。颜色信息数据也被生成为与以上表达的3d形状数据相关联的纹理。对于纹理，考虑即使从任何方向观看也提供颜色常量的视点无关的纹理或提供取决于观看方向的颜色变化的视点相关的纹理。
[0072]
编码单元13a将关于由3d模型生成单元12生成的3d模型90m的数据转换成适合于数据的传输和累积的格式。在本实施方式中，将具有诸如三维网格数据的格式的三维形状
数据输入转换成从一个或多个视点投影的深度信息图像，即所谓的深度图。将作为二维图像的深度信息和颜色信息压缩并输出至发送单元14。深度信息和颜色信息可以作为一个图像一同发送，或者可以作为两个单独的图像发送。两者都是二维图像数据的形式，并且也可以使用诸如高级视频编码(avc)的二维压缩技术进行压缩。
[0073]
发送单元14将由编码单元13a形成的发送数据发送至接收单元15。发送单元14在离线执行由数据获取单元11、3d模型生成单元12和编码单元13a进行的一系列处理之后，将发送数据发送至接收单元15。此外，发送单元14可以将根据上述一系列处理生成的发送数据实时发送至接收单元。
[0074]
注意，3d模型生成单元12、编码单元13a和发送单元14构成编码设备40a。编码设备40a是本公开内容中的信息处理设备的示例。
[0075]
接收单元15接收从发送单元14发送的发送数据。
[0076]
解码单元16a从由接收单元15接收到的比特流中恢复二维图像，并从恢复的二维图像中恢复用于由渲染单元17a进行的绘图的网格和纹理信息。
[0077]
注意，接收单元15、解码单元16a和渲染单元17a构成解码设备50a。解码设备50a是本公开内容中的信息处理设备的示例。
[0078]
渲染单元17a通过用绘图摄像装置的视点对3d模型90m的网格进行投影并且映射表示颜色或图案的纹理来执行纹理映射。本实施方式的特征在于，此时的绘图可以从任意设置的视点观看，而与图像捕获时的摄像装置位置无关。纹理映射包括考虑用户的观看视点的所谓的视点相关方法(vd方法)和不考虑用户的观看视点的所谓的视点无关的方法(vi方法)。在vd方法中，要映射至3d模型的纹理根据观看视点的位置而改变，并且因此具有可以实现与vi方法的质量相比具有较高的质量的渲染的优点。另一方面，在vi方法中，不考虑观看视点的位置，并且因此具有相对于vd方法中的处理量需要较少处理量的优点。注意，基于由显示设备对用户的观看视点(感兴趣区域)的检测，将关于观看视点的数据从显示设备输入至渲染单元17a。
[0079]
显示单元18在显示设备的显示单元上显示由渲染单元17a渲染的结果。显示设备可以是2d监测器或3d监测器，例如，头戴式显示器、空间显示器、移动电话、电视机或pc。
[0080]
注意，图1中的信息处理系统10a示出了从获取作为用于生成内容的素材的捕获图像的数据获取单元11到控制由用户观看的显示设备的显示控制单元的一系列处理步骤。然而，这并不意味着所有的功能块对于实现本实施方式都是必需的，而是意味着可以针对每个功能块或多个功能块的组合来实现本实施方式。例如，在图1中，提供发送单元14和接收单元15以示出通过内容数据的分发从创建内容的一侧到观看内容的一侧的一系列处理步骤。然而，在从内容的创建到内容的观看由同一信息处理设备(例如，个人计算机)执行的情况下，不需要提供发送单元14和接收单元15。
[0081]
在一些情况下，信息处理系统10a可以由同一实现者针对所有功能块来实现，或者可以由不同的实现者针对各个功能块来执行。例如，公司a通过数据获取单元11、3d模型生成单元12和编码单元13a生成3d内容。此外，3d内容通过b公司的发送单元14(平台)分发，并且c公司的显示设备执行3d内容的接收、渲染、显示控制。在一些情况下，可能存在多个实现者彼此协作的情况。
[0082]
此外，上述每个功能块可以在云计算上实现。例如，渲染单元17a可以由显示设备
实现或者可以由服务器实现。在这种配置中，在显示设备与服务器之间交换信息。
[0083]
在图1中，数据获取单元11、3d模型生成单元12、编码单元13a、发送单元14、接收单元15、渲染单元17a和显示单元18被统称为信息处理系统10a。然而，在本说明书的信息处理系统10a中，将彼此有关的两个或更多个功能块称为信息处理系统，并且例如，排除显示单元18，数据获取单元11、3d模型生成单元12、编码单元13a、发送单元14、接收单元15、解码单元16a和渲染单元17a可以统称为信息处理系统10a。
[0084]
[1-2.由信息处理系统执行的处理]
[0085]
接下来，将参照图3描述由信息处理系统10a执行的处理。图3是示出由信息处理系统执行的处理的示例的流程图。
[0086]
当处理开始时，在步骤s11中，数据获取单元11获取用于生成被摄体的3d模型的图像数据。
[0087]
接下来，在步骤s12中，3d模型生成单元12基于用于生成被摄体的3d模型的图像数据来生成具有关于被摄体的三维信息的3d模型。
[0088]
在步骤s13中，编码单元13a将由3d模型生成单元12生成的3d模型的形状和纹理数据编码为适合传输/累积的格式。
[0089]
然后，在步骤s14中，发送单元14发送编码数据，并且在步骤s15中，接收单元15接收所发送的数据。
[0090]
在步骤s16中，解码单元16a执行解码处理以将3d模型转换成显示所需的形状和纹理数据。然后，在步骤s17中，渲染单元17a通过使用形状和纹理数据执行渲染。在步骤s18中，在显示单元上显示渲染的结果。然后，当步骤s18的处理完成时，信息处理系统10a的处理结束。
[0091]
[1-3.信息处理系统的硬件配置]
[0092]
接下来，将参照图4描述信息处理系统10a的硬件配置。图4是示出信息处理系统的硬件配置的示例的硬件框图。
[0093]
在图4所示的计算机中，cpu 21、rom 22和ram 23经由总线24彼此连接。输入/输出接口25也连接至总线24。输入单元26、输出单元27、存储单元28、通信单元29和驱动器30连接至输入/输出接口25。
[0094]
例如，输入单元26包括键盘、鼠标、麦克风、触摸面板、输入终端等。例如，输出单元27包括显示器、扬声器、输出终端等。例如，存储单元28包括硬盘、ram盘、非易失性存储器等。例如，通信单元29包括网络接口等。驱动器30驱动可移动介质，例如，磁盘、光盘、磁光盘或半导体存储器。
[0095]
在如上所述配置的计算机中，cpu 21经由输入/输出接口25和总线24将存储在存储单元28中的程序加载到ram 23中，并且执行上述一系列处理步骤。ram 23还适当地存储cpu 21执行各种处理所需的数据。
[0096]
例如，可以通过将由计算机执行的程序记录在作为封装介质等的可移动介质上来对该程序进行应用。在该配置中，当可移动介质安装至驱动器时，程序可以经由输入/输出接口被安装在存储单元28中。
[0097]
此外，还可以经由诸如局域网、因特网和数字卫星广播的有线或无线传输介质来提供程序。在该配置中，允许程序被通信单元29接收并且被安装在存储单元28中。
[0098]
[1-4.编码单元的详细配置]
[0099]
接下来，将参照图5描述编码单元13a的详细配置。图5是示出编码单元的功能配置的示例的功能框图。
[0100]
编码单元13a从3d模型生成单元12接收被摄体90的三维网格数据和颜色信息纹理数据c(参见图9)。然后，编码单元13a将三维网格数据和颜色信息纹理数据c转换成适合传输/累积的比特流数据，并输出比特流数据。如图5所示，编码单元13a包括第一层深度图生成单元131、第二层深度图生成单元132、颜色信息打包单元133、平铺单元134a和图像压缩处理单元135。
[0101]
基于由3d模型生成单元12获取的3d形状，第一层深度图生成单元131获取第一点p1与投影点q之间的第一距离d1，在该第一点p1处，从作为起始点的投影点q延伸到被摄体90的直线与被摄体90接触。然后，第一层深度图生成单元131生成将从投影点q观看的到被摄体90的表面的距离可视化的图像，即，第一层深度图dm1。注意，第一层深度图生成单元131是本公开内容中的距离获取单元的示例。
[0102]
基于由3d模型生成单元12获取的3d形状，第二层深度图生成单元132获取作为起始点的投影点q与第二点p2之间的第二距离d2，从投影点q开始并从第一点p1延伸进入被摄体90的内部的直线从该第二点p2贯穿到被摄体90的外部。然后，第二层深度图生成单元132生成将从投影点q观看的到被摄体90的背表面的距离可视化的图像，即，第二层深度图dm2。注意，第二层深度图生成单元132是本公开内容中的距离获取单元的示例。注意，在一些情况下，从作为起始点的投影点q延伸到被摄体90的直线可以多次贯穿被摄体90。在这样的配置中，生成多对第一点p1和第二点p2。换言之，每当直线贯穿被摄体90时，生成一对第一点p1和第二点p2。
[0103]
如上所述，被摄体90的三维形状在3d模型生成单元12中被恢复。因此，当从任何视点对被摄体90的三维形状执行透视变换时，到被摄体90的前表面的距离可以表达为图像。该图像提供上述第一层深度图dm1和第二层深度图dm2。
[0104]
注意，例如，透视变换通过公式(1)来计算。
[0105]
[数学式1]
[0106][0107]
公式(1)指示通过将包括旋转分量r11至r33和平移分量t1至t3的摄像装置外部参数的矩阵和由fx、fy和cx、cy表示的摄像装置内部参数的矩阵与被摄体90上的点(x，y，z)相乘获得投影平面的二维坐标(u，v)和深度s。
[0108]
第一层深度图dm1具有二维阵列数据，在该二维阵列数据中存储有到从投影点q可见的被摄体90的三维网格的所有投影面的最前面的点的距离，即，从投影点q到最近点的距离。
[0109]
在本实施方式中，除了第一层深度图dm1之外，还使用记录到被摄体90背侧的表面的距离的第二层深度图dm2。图6是示出生成深度图的方法的图。
[0110]
第一层深度图生成单元131在最小值和最大值的范围内量化作为第一距离d1计算的深度s，并且将深度s存储在如图6所示的投影平面r(u,v)上的点ps处。例如，最小值是从投影点q到图6中的近平面sn的距离near，并且例如，最大值是从投影点q到图6中的远平面sf的距离far。
[0111]
在本实施方式中，例如，将深度存储在8位亮度值中，以通过高级视频编码(avc)进行压缩。换言之，第一距离d1通过公式(2)所示的计算公式被转换成经量化深度值d1。注意，在被摄体90未不存在的区域中存储d1＝0。注意，在下文中，经量化的深度值d1被简称为深度值d1。
[0112]
[数学式2]
[0113][0114]
第二层深度图生成单元132使用与用于第一层的透视投影参数相同的透视投影参数，但是将计算为穿过被摄体90的内部延伸到被摄体90的背侧上的点的第二距离d2的深度s存储在图6所示的投影平面r(u,v)上的点ps处。在深度图的被摄体90被投影的区域中，第二距离d2具有大于第一距离d1的值的值。第二层的经量化深度值d2通过公式(3)来计算，其中将公式(2)中的距离near和距离far互换，使得经量化深度值d2具有大小与第一层的深度值d1的大小相反的值。注意，在被摄体90不存在的区域中存储表示无效值的d2＝0。该无效值(d2＝0)是与第二距离d2等于距离near时获得的值相同的值。注意，公式(2)中的round(x)是将x舍入为整数的函数。在下文中，将经量化的深度值d2简称为深度值d2。
[0115]
[数学式3]
[0116][0117]
注意，尽管图6示出了通过以投影点q作为投影中心的透视投影生成深度图的示例，但是可以使用除了透视投影之外的投影方法，例如，平行投影来生成深度图。
[0118]
接下来，将参照图7和图8描述第一层深度图dm1和第二层深度图dm2的具体示例。图7是示出第一层深度图和第二层深度图的经量化深度值的图。图8是示出第一层深度图和第二层深度图的示例的图。
[0119]
如图7所示，编码单元13a将要存储在第一层深度图dm1中的、被摄体90不存在的区域(无效区域)中的深度值d1作为距离far存储在近平面sn中。此外，将要存储在第二层深度图dm2中的、被摄体90不存在的区域(无效区域)中的深度值d2作为比距离far小的距离near存储在远平面sf中。注意，距离far是本公开内容中的第一距离值的示例。距离near是本公开内容中的第二距离值的示例。因此，可以确定d1《d2的区域是指示被摄体90的区域。
[0120]
此外，编码单元13a反转第一层与第二层之间的量化方向，如公式(2)和公式(3)中所表达的。因此，如图7所示，将与量化之后的无效区域对应的深度值d1和d2设置为相等的值，即，将深度值d1和深度值d2都设置为0。
[0121]
如图8的上图所示的，如果第一层与第二层之间的量化方向相同，则布置在一个图像中的第一层深度图dm1和第二层深度图dm2在边界上具有深度值的间隙。另一方面，如图8
的下图所示的，反转第一层与第二层之间的量化方向不会在布置在一个图像中的第一层深度图dm1与第二层深度图dm2之间的边界上生成深度值的间隙。因此，在对布置在一个图像中的第一层深度图dm1和第二层深度图dm2进行编码时，可以提高图像的压缩效率。
[0122]
注意，此处描述的量化方法是示例，并且可以应用除了公式(2)和公式(3)中给出的线性量化之外的量化方法。例如，可以应用公式(4)中给出的倒数量化。根据公式(4)，随着距离增加，使用较粗的步长执行量化。
[0123]
[数学式4]
[0124][0125]
返回至图5，颜色信息打包单元133执行将从3d模型生成单元12输入的多条颜色信息纹理数据c布置(打包)在一个图像中的处理。该处理使得可以减少要发送至解码设备50a的图像的数目。注意，颜色信息纹理数据c是本公开内容中的纹理信息的示例。
[0126]
平铺单元134a执行将由颜色信息打包单元133打包的第一层深度图dm1、第二层深度图dm2和颜色信息纹理数据c收集到一个图像中的处理。存储在第一层深度图dm1和第二层深度图dm2中的值(深度值d1和d2)被转换成y/cb/cr(亮度信号和色差信号)的信号格式，以布置在布置有颜色信息的同一图像中。换言之，深度值d1和d2被存储在亮度值中。此外，当图像是每像素8位时，恒定值例如指示灰度的128的恒定值被存储在色差中。此外，平铺单元134a输出指示深度图和颜色信息纹理数据c是否被存储在一个收集的图像的哪个位置处的图像布置信息。例如，图像布置信息包括指示是否原始图像被布置在一个图像中并在一个图像中移动多少的偏移值、用于深度图的量化的距离near和far的值、投影点q的位置等。
[0127]
图9是示出由平铺单元生成的图像的示例的图。平铺单元134a将第一层深度图dm1、第二层深度图dm2和颜色信息纹理数据c收集在一个平铺图像t1中。如图9所示，颜色信息纹理数据c是通过由多个成像设备70(参见图2)捕获被摄体90获得的实际图像。
[0128]
图像压缩处理单元135使用通用视频编解码器对在平铺单元134a中收集在一个图像中的图像进行压缩。具体地，使用广泛使用的编解码器，例如，avc或hevc。
[0129]
注意，在以上公式(2)和(3)中，在假设深度值d1和d2是8位的情况下，以0至255的值对深度值d1和d2进行量化。然而，可以在hevc等中处理10位的值，并且可以用10位(0至1023)对深度值d1和d2进行量化。
[0130]
由图像压缩处理单元135生成的比特流和由平铺单元134a生成的图像布置信息经由发送单元14被发送至解码设备50a。换言之，发送单元14将第一距离d1和第二距离d2彼此相关联地发送至重构被摄体90的三维形状的解码设备50a。
[0131]
[1-5.解码单元的详细配置]
[0132]
接下来，将参照图10描述解码单元16a的详细配置。图10是示出解码单元的功能配置的示例的功能框图。
[0133]
如图10所示，解码单元16a包括图像解压缩处理单元161、深度有效区域确定单元162、三角形图块生成单元163和颜色信息纹理裁剪单元164。包括解码单元16a的解码设备50a(参见图1)基于从编码设备40a发送的信息即被摄体90的表面的3d形状，来获取投影点q与第一点p1之间的第一距离d1以及投影点q与第二点p2之间的第二距离d2，并且将投影点q
的位置、第一距离d1和第二距离d2相关联以生成被摄体90的3d模型90m，从投影点q延伸到被摄体90的直线在该第一点p1处与被摄体90接触，从第一点p1延伸进入被摄体90的内部的直线从该第二点p2贯穿到被摄体90的外部。
[0134]
图像解压缩处理单元161将由图像压缩处理单元135压缩的比特流解压缩为图像。注意，编码和解码是成对的，并且因此，例如，通过avc解码处理对avc编码比特流进行解码。
[0135]
深度有效区域确定单元162基于存储在由第一层深度图生成单元131获取的第一层深度图dm1中的第一距离d1与存储在由第二层深度图生成单元132获取的第二层深度图dm2中的第二距离d2之间的大小关系来识别被摄体90的区域。更具体地，深度有效区域确定单元162将被摄体90被投影到其上的区域确定为有效区域，并且将被摄体90未被投影到其上的区域确定为无效区域。在被确定为有效区域的区域中，存储的深度值d1和d2用于重构被摄体90的形状。同时，被确定为无效区域的区域的数据被丢弃而不用于渲染。注意，深度有效区域确定单元162是本公开内容中的区域确定单元的示例。此外，稍后将描述由深度有效区域确定单元162执行的处理的细节。
[0136]
三角形图块生成单元163在被摄体90的内部和被摄体90的外部之间的边界上生成可用于渲染处理的形状数据，即所谓的网格数据。此外，三角形图块生成单元163通过将基于存储在与投影点q有关的第一层深度图dm1中的第一距离d1获得的被摄体90的前表面侧端部和基于存储在与投影点q有关的第二层深度图dm2中的第二距离d2获得的被摄体90的背表面侧端部连接来形成封闭空间。注意，三角形图块生成单元163是本公开内容中的封闭空间生成单元的示例。稍后将描述由三角形图块生成单元163执行的处理的细节。
[0137]
基于关于由图像解压缩处理单元161解码的图像的信息和由平铺单元134a生成的图像布置信息，颜色信息纹理裁剪单元164生成要在随后的渲染单元17a中被映射至三维网格数据的颜色信息纹理数据c。
[0138]
[1-6.深度有效性确定过程]
[0139]
接下来，将参照图11和图12描述由深度有效区域确定单元162执行的深度有效区域确定处理。图11是示出由深度有效区域确定单元从每个深度图读取深度值的方法的图。图12是示出由深度有效区域确定单元确定深度值的有效性/无效性的方法的图。
[0140]
图11的左侧所示的第一层深度图dm1和第二层深度图dm2通过放大右侧所示的第一层深度图dm1和第二层深度图dm2的部分(被摄体的肩膀的部分)来获得。在图11中，白圆圈表示被摄体内部的点，即，存储有有效的深度值d1或深度值d2的点。此外，黑圆圈表示被摄体外部的点，即，存储有无效的深度值d1或深度值d2的点。换言之，图11的左侧所示的第一层深度图dm1和第二层深度图dm2实际上应该由具有存储深度值的点的弯曲表面来表示，但是为了便于理解而绘图在平面上。
[0141]
第一层深度图dm1和第二层深度图dm2的读取点如图11所示以四方形栅格布置。可以自由地设置栅格的栅格间隔。此外，深度图的每个读取点的位置不一定需要与每个深度图的每个像素位置匹配。当读取点和像素位置不匹配时，使用由插值滤波器插值的深度值。
[0142]
稍后描述的三角形图块生成单元163以连接三个深度读取点的三角形为单位执行绘图处理，并且因此读取点的栅格间隔越小，绘图处理的量越大。另一方面，当读取点的栅格间隔设置得大时，绘图处理的负荷减小，并且这使得能够调整解码设备50a的处理负荷。
[0143]
在从深度读取点读取的深度值d1和d2中，将被摄体90的前表面的深度值d1存储在
有效区域中的第一层中，即，被摄体90所位于的区域。将被摄体90的背表面的深度值d2存储在第二层中。同时，在无效区域即被摄体90不存在的区域中，在第一层中存储far值，并且在第二层中存储near值。因此，如图12的左图所示，在有效区域中满足d1≤d2。注意，在被摄体90在深度方向上非常薄的情况下，认为前表面和背表面具有量化的相等的深度值，并且因此也包括d1＝d2。同时，在无效区域中满足d1》d2。
[0144]
深度值d1和d2在传输中被压缩，并且因此，深度值d1和d2由于压缩误差而劣化。特别地，存在被摄体90的边界可以在深度值上具有大的间隙的可能性。然而，在本实施方式中，被摄体90的有效区域是通过第一层与第二层之间的相对比较来确定的，并且第一层和第二层的有效区域彼此完全匹配，如图12的右图所示。
[0145]
接下来，将参照图13描述由深度有效区域确定单元162执行的深度有效区域确定处理。图13是示出由深度有效区域确定单元执行的处理的示例的流程图。
[0146]
深度有效区域确定单元162设置深度读取点(步骤s21)。
[0147]
深度有效区域确定单元162从第一层深度图dm1获取第一层的深度值d1(步骤s22)。
[0148]
随后，深度有效区域确定单元162从第二层深度图dm2获取第二层的深度值d2(步骤s23)。
[0149]
深度有效区域确定单元162确定第一层的深度值d1是否等于或小于第二层的深度值d2(步骤s24)。当确定第一层的深度值d1等于或小于第二层的深度值d2(步骤s24：是)时，处理进行至步骤s25。另一方面，当确定第一层的深度值d1并不是等于或小于第二层的深度值d2(步骤s24：否)时，处理进行至步骤s26。
[0150]
如果在步骤s24中为是，则深度有效区域确定单元162确定深度读取点包括在被摄体90的区域中并且将有效标志设置到深度读取点(步骤s25)。然后，处理进行至步骤s27。
[0151]
另一方面，如果在步骤s24中为否，则深度有效区域确定单元162确定深度读取点不包括在被摄体90的区域中并且将无效标志设置到深度读取点(步骤s26)。然后，处理进行至步骤s27。
[0152]
深度有效区域确定单元162确定深度平面是否已被完全处理(步骤s27)。当确定深度平面已被完全处理(步骤s27：是)时，深度有效区域确定单元162完成图13的处理。另一方面，当不是确定深度平面已被完全处理(步骤s27：否)时，处理返回至步骤s21，并且针对不同的深度读取点重复上述一系列处理步骤。
[0153]
注意，可以首先将有效标志设置到所有深度读取点，使得当在步骤s24中确定为否时，可以拿掉对应的深度读取点处的有效标志。
[0154]
[1-7.网格数据生成处理]
[0155]
接下来，将参照图14和图15描述由三角形图块生成单元163执行的网格数据生成过程。图14是示出在每个深度图上设置的三角形图块(patch)的图。图15是示出各个三角性图块的有效点的数目的图。
[0156]
从四方形栅格上的读取点读取的深度值d1和d2及其有效标志从深度有效区域确定单元162输入至三角形图块生成单元163。图14的左图示出了检测到深度读取点及其有效标志的状态的示例。
[0157]
如图14的右图所示，三角形图块生成单元163生成图形结构，在该图形结构中两个
直角三角形被分配给四方形栅格的一个单元。图形结构具有三角形形状，在该三角形形状中三个相邻的深度读取点作为顶点连接。注意，图14的右图示出了一个层，并且实际上，针对第一层深度图dm1和第二层深度图dm2生成相似的图形结构。
[0158]
三角形图块生成单元163以这样的方式生成的三角形图块为单位执行下面的处理。然后，三角形图块生成单元163基于三角形图块将经过的坐标变换处理的三角形组(网格数据)传递给随后的渲染单元17a。
[0159]
如图15所示，三角形图块生成单元163针对每个三角形图块计数有效点的数目n。具体地，有效点的数目n是指示感兴趣的三角形图块的三个顶点中有多少属于被摄体90的内部的值。有效点的数目n是指示感兴趣的三角形图块是否属于被摄体90的内部的评价尺度。
[0160]
换言之，有效点的数目n取0、1、2和3中的任意值。n＝0指示三角形图块完全位于被摄体90外部。另一方面，n＝3指示三角形图块完全位于被摄体90内部。n＝1和n＝2指示三角形图块在被摄体90的内部和外部延伸。
[0161]
如图15的右图所示的，当n＝0和n＝1时，三角形图块生成单元163删除三角形图块。然后，删除连接对应三角形的三个顶点的图形结构。
[0162]
另一方面，当n＝2和n＝3时，三角形图块生成单元163不删除三角形图块而是留下三角形图块。然后，当n＝3时，针对三角形图块的三个顶点中的每一个执行公式(1)的逆变换(逆透视变换)，以获得来自投影平面r(u,v)上的坐标位置的(x，y，z)和存储在坐标位置处的深度s。当n＝2时，对三角形图块的两个有效顶点执行上述逆透视变换。然后，对一个无效顶点执行稍后描述的顶点坐标改变处理。注意，除了n＝2之外，可以独立地处理第一层和第二层。
[0163]
接下来，将参照图16描述当n＝2时由三角形图块生成单元163执行的顶点坐标改变处理。图16是示出顶点坐标改变处理的图。
[0164]
图16的左上图示出了第一层深度图dm1和第二层深度图dm2被布置成彼此靠近的状态。图16的右上图示出了仅提取了满足n＝2的一组三角形图块的状态。如图16的右上图所示，当在一个深度图中生成满足n＝2的三角形图块时，在相对的深度图中也在相同位置处生成满足n＝2的三角形图块。
[0165]
如图16的左上图所示，第一层深度图dm1的三角形图块的顶点由a1、b1和c1表示。然后，第二层深度图dm2的三角形图块的顶点由a2、b2和c2表示。
[0166]
三角形图块生成单元163对属于被摄体90的外部的无效的顶点a1和a2执行顶点改变处理。
[0167]
换言之，如图16的左下图所示，三角形图块生成单元163用有效的相对深度图的顶点b2的值(深度值d2)代替无效顶点a1。换言之，顶点a1被认为定位在顶点b2处。此外，三角形图块生成单元163用有效的相对深度图的顶点c1的值(深度值d1)代替无效顶点a2。换言之，顶点a2被认为定位在顶点c1处。以这种方式，用相对的深度图的有效顶点的值(深度值)交替代替无效顶点使得利用两个三角形图块连接的四方形b1-c1-c2-b2连接。因此，彼此分离的边b1-c1和边b2-c2在无间隙的面对的情况下彼此连接。换言之，从投影点观看的被摄体90的前表面与背表面之间的边界无缝地连接，形成封闭立方体(封闭空间)。注意，通过用顶点c2的深度值d2代替顶点a1并且用顶点b1的深度值d1代替顶点a2，也可以获得类似的效
果。
[0168]
对深度平面上满足n＝2的所有三角形图块执行上述处理，被摄体90的前表面与背表面之间的边界无缝地连接，如图16的右下图所示。
[0169]
注意，在图16中，为了便于理解描述，描述了基本相等的第一层的深度值d1和第二层的深度值d2。然而，在实际中，每个顶点的三维坐标是根据第一层的深度值d1和第二层的深度值d2通过公式(1)的逆变换计算的，顶点被布置在三个维空间中，由此再现了表示保持在两个层的深度平面之间的被摄体90的封闭立体形状。
[0170]
图17是示出如何生成关于被摄体的三维网格数据的示意图。如图17所示，获得被摄体90的面向投影点q的区域和被摄体90相对投影点q的背表面侧上的的区域无缝地连接的三维网格数据。
[0171]
接下来，将参照图18描述由三角形图块生成单元163执行的网格数据生成处理。图18是示出由三角形图块生成单元执行的网格数据生成处理的示例的流程图。
[0172]
三角形图块生成单元163针对如图14的右图所示的那样生成的每个三角形图块对有效点的数目n进行计数(步骤s31)。
[0173]
三角形图块生成单元163确定在步骤s31中计数的有效点的数目n是否为2或更大(步骤s32)。当确定有效点的数目n为2或更大时，即有效点的数目n为2或3(步骤s32：是)时，处理进行至步骤s33。另一方面，在确定为有效点的数目n不为2或更大(步骤s32：否)时，即，在确定有效点的数目n为0或1时，处理进行至步骤s34。
[0174]
如果在步骤s32中为是，则三角形图块生成单元163计算被确定为有效的顶点的三维坐标(步骤s33)。然后，处理进行至步骤s35。
[0175]
另一方面，如果在步骤s32中为否，则三角形图块生成单元163不针对感兴趣的三角形图块生成三角形网格(步骤s34)。然后，擦除感兴趣的三角形图块，使得不在其上执行渲染。然后，处理进行至步骤s38。
[0176]
在步骤s33之后，三角形图块生成单元163确定对于感兴趣的三角形图块有效点的数目n是否为3(步骤s35)。当确定有效点的数目n是3(步骤s35：是)时，处理进行至步骤s37。另一方面，当确定有效点的数目n不是3(步骤s35：否)时，即，当确定有效点的数目n为2时，处理进行至步骤s36。
[0177]
如果在步骤s35中为否，则三角形图块生成单元163执行上述顶点坐标改变处理(参见图16)(步骤s36)。
[0178]
在步骤s36之后或者如果在步骤s35中为是，则三角形图块生成单元163针对感兴趣的三角形图块生成三角形网格(步骤s37)。
[0179]
三角形图块生成单元163确定是否处理了所有三角形图块(步骤s38)。当确定处理了所有三角形图块(步骤s38：是)时，三角形图块生成单元163完成图18的处理。另一方面，当确定未处理所有三角形图块(步骤s38：否)时，处理返回至步骤s31，并且针对不同的三角形图块重复上述一系列处理步骤。
[0180]
[1-8.渲染单元的详细配置]
[0181]
接下来，将参照图19描述渲染单元17a的详细配置。图19是示出渲染单元的功能配置的示例的功能框图。
[0182]
如图19所示，渲染单元17a包括深度图生成单元171、可见性确认单元172和绘图单
元173。
[0183]
深度图生成单元171生成从与观看颜色信息纹理数据c的投影点q相同的投影点q观看的、由三角形图块生成单元163生成的被摄体90的三维网格数据的深度图。换言之，深度图生成单元171生成分别对应于多个颜色信息纹理数据c的多个深度图。
[0184]
可见性确认单元172将由深度图生成单元171生成的深度图中的每一个与三维网格数据的三维坐标进行比较，以执行确定感兴趣的三维网格数据是否从投影点q可见的可见性确认。该确定对由于多个对象的交叠而从投影点q不可见的网格单元进行确定。注意，可见性确认将在后面详细描述(参见图22)。
[0185]
绘图单元173绘制由可见性确认单元172确定为可见(具有可见性)的网格的三维形状。此外，绘图单元173将对应的颜色信息纹理数据c映射至所绘制的网格。该配置使得能够生成从任何投影点q观察到的被摄体90的图像。
[0186]
[1-9.第一实施方式的修改例]
[0187]
注意，第一实施方式可以以各种修改形式来实现。例如，在平铺图像t1(参见图9)中，第一层深度图dm1、第二层深度图dm2和颜色信息纹理数据c不一定需要在一个图像中。换言之，第一层深度图dm1和第二层深度图dm2可以收集在一个图像中，而颜色信息纹理数据c可以在另一个图像中。此外，第一层深度图dm1、第二层深度图dm2和颜色信息纹理数据c可以各自在一个图像中(在该配置中，不需要执行平铺)。此外，所有的颜色信息纹理数据c可以在分开的图像中(在该配置中，既不需要执行打包处理也不执行平铺处理)。注意，要由发送单元14发送的多个图像需要增加比特流的图像通道数量，但是使用一般多通道流传输的机制能够实现通道之间的同步。
[0188]
此外，发送单元14可以同时发送平铺图像t1和语音信息。
[0189]
此外，平铺图像t1可以是静止图像数据或运动图像数据。在平铺图像t1是静止图像数据的情况下，图像压缩处理单元135执行诸如jpeg的静止图像压缩处理。此外，在平铺图像t1是运动图像数据的情况下，图像压缩处理单元135执行诸如mpeg2、avc、hevc、vvc或av1的运动图像压缩处理。
[0190]
注意，要发送的平铺图像t1不一定需要被压缩或解压缩。在该配置中，图像压缩处理单元135(参见图5)和图像解压缩处理单元161(参见图10)是不必要的。
[0191]
此外，存储在第一层深度图dm1中的深度值d1和存储在第二层深度图dm2中的深度值d2可以具有任意位长度。换言之，除了实施方式中描述的8位之外，还可以采用10位、12位等。注意，深度值d1和d2的位长度越长，被摄体90的深度可以被表达得越精细。
[0192]
此外，可以将平铺图像t1作为累积数据累积在存储单元中，而不是经由发送单元14和接收单元15传输，使得可以从存储单元读取累积的数据并再现累积的数据。
[0193]
此外，数据获取单元11至发送单元14不一定需要执行实时处理操作。换言之，也可以将要发送的平铺图像t1暂时累积在存储单元等中，并且将累积的数据读取并发送至解码设备50a。
[0194]
注意，数据获取单元11至发送单元14的实时处理操作可以用于实时通信，例如，实况流。
[0195]
[1-10.第一实施方式的效果]
[0196]
如上所述，在第一实施方式的编码设备40(信息处理设备)中，第一层深度图生成
单元131(距离获取单元)基于被摄体90的表面的3d形状来获取投影点q与第一点p1之间的第一距离d1，从投影点q延伸到被摄体90的直线在该第一点p1处与被摄体90接触。此外，基于被摄体90的表面的3d形状，第二层深度图生成单元132(距离获取单元)获取投影点q与第二点p2之间的第二距离d2，从作为起始点的投影点q开始并且从第一点p1延伸进入被摄体90内部的直线从该第二点p2贯穿到被摄体90的外部。
[0197]
这种配置使得当从同一位置观察被摄体90时，可以同时获取被摄体90的前表面和背表面的形状。
[0198]
此外，根据第一实施方式的编码设备40(信息处理设备)，当第一点p1不存在时，第一层深度图生成单元131(距离获取单元)获取距离far(第一距离值)，作为第一距离d1。此外，当第二点p2不存在时，第二层深度图生成单元132(距离获取单元)获取小于距离far的距离near(第二距离值)，作为第二距离d2。
[0199]
这种配置使得可以容易地识别被摄体90的区域和被摄体90不存在的区域。
[0200]
此外，根据第一实施方式的编码设备40(信息处理设备)，第一层深度图生成单元131(距离获取单元)和第二层深度图生成单元132(距离获取单元)将距离far(第一距离值)和距离near(第二距离值)设置为相等的值。
[0201]
因此，当由第一层深度图生成单元131生成的第一层深度图dm1和由第二层深度图生成单元132生成的第二层深度图dm2并排布置时，深度图之间的边界在深度值上没有间隙。因此，当将第一层深度图dm1和第二层深度图dm2布置在一个图像中并进行编码时，可以提高图像的压缩效率。
[0202]
此外，在第一实施方式的编码设备40(信息处理设备)中，发送单元14将由第一层深度图生成单元131获取的第一距离d1和由第二层深度图生成单元131获取的第二距离d2彼此相关联地发送至重构被摄体90的三维形状的解码设备50a。
[0203]
这种配置使得可以将被摄体的前表面侧的坐标和背表面侧的坐标彼此相关联地发送。因此，可以提高信息的传输效率。
[0204]
此外，第一实施方式的解码设备50a(信息处理设备)获取由第一层深度图生成单元131获取的第一距离d1和由第二层深度图生成单元132获取的第二距离d2，并且基于第一距离d1与第二距离d2之间的大小关系来识别被摄体90的区域。
[0205]
这种配置使得可以仅通过简单的比较计算来识别被摄体90的位置范围。
[0206]
此外，在第一实施方式的解码装置50a(信息处理装置)中，三角形图块生成单元163(封闭空间生成单元)连接从投影点q观看的被摄体90的前表面侧端部和从投影点q观看的被摄体90的背表面侧端部。基于与投影点q有关的多个第一距离d1获得被摄体90的前表面侧端部，并且基于与投影点q有关的多个第二距离d2获得被摄体90的背表面侧端部。
[0207]
因此，被摄体90的前表面和背表面被连接，从而生成被摄体90的没有间隙的3d模型90m。
[0208]
此外，在第一实施方式的解码设备50a(信息处理设备)中，在三角形的相邻三个点(顶点a1、b1和c1)的第一距离d1中的两个点(顶点b1和c1)的第一距离d1表示被摄体90的前表面并且剩余的一个点(顶点a1)的第一距离d1不表示被摄体90的前表面的情况下，三角形图块生成单元163(封闭空间生成单元)用三个点(顶点a1、b1和c1)对应的第二距离d2中的表示被摄体90的背表面的两个点中的任何一个点(顶点b2和c2中的任何一个点)来代替剩
余的一个点(顶点a1)，并且用表示被摄体90的前表面的两个点(顶点b1和c1)中的与代替剩余的一个点(顶点a1)的点相对的点的一个点(在用顶点b2替代剩余的一个点的情况下为顶点c2，并且在用顶点c2代替剩余的一个点的情况下为顶点b2)替代三个点(顶点a1、b1和c1)对应的第二距离d2中的不表示被摄体90的背表面的一个点(顶点a2)。
[0209]
因此，可以通过简单的算术处理在无间隙的情况下连接被摄体90的前表面和背表面。
[0210]
(2.第二实施方式)
[0211]
[2-1.平铺图像的配置]
[0212]
第二实施方式的信息处理系统10b(未示出)包括编码设备40b(未示出)来替代已经在第一实施方式中描述的信息处理系统10b(参见图1)的编码设备40a。此外，提供解码设备50b(未示出)来替代解码设备50a。
[0213]
编码设备40b包括未示出的编码单元13b和发送单元14。此外，解码设备50b包括接收单元15和解码单元16b(参见图20)。此外，解码设备50b包括渲染单元17b(参见图20)来替代渲染单元17a。
[0214]
接下来，将描述信息处理系统10b的编码单元13b的功能。编码单元13b针对多条颜色信息纹理数据c，生成从与获取各条颜色信息纹理数据c的投影点相同的投影点q获取的多个第一层深度图d。注意，编码单元13b包括平铺单元134b(未示出)来替代图5所示的编码单元13a中的平铺单元134a。
[0215]
图20是示出由第二实施方式中的平铺单元生成的要编码的图像的示例的图。
[0216]
图20所示的平铺图像t2与在第一实施方式中描述的平铺图像t1(参见图9)的不同之处在于平铺图像t2包括与多条颜色信息纹理数据c一一对应的多个第一层深度图d。换言之，平铺单元134b生成平铺图像t2，在该平铺图像t2中，从多个投影点q观看的关于被摄体90的多条颜色信息纹理数据c和从与从其获取多条颜色信息纹理数据c的投影点相同的多个投影点观看的第一层深度图d彼此相关联。注意，在第一实施方式中描述的第一层深度图dm1包括在如图20所示的平铺图像t2中布置的多个第一层深度图d中。平铺图像t2也包括在第一实施方式中描述的第二层深度图dm2。平铺单元134b是本公开内容中的颜色/距离获取单元的示例。
[0217]
当解码单元16b重构被摄体90的三维形状时，包括在平铺图像t2中的多个第一层深度图d用于稍后描述的可见性确认(参见图22)。
[0218]
接下来，将参照图21描述信息处理系统10b的解码单元16b和渲染单元17b的功能。图21是示出第二实施方式的解码单元和渲染单元的功能配置的示例的功能框图。
[0219]
解码单元16b具有除了在第一实施方式中描述的解码单元16a(参见图10)之外还包括深度图裁剪单元165的配置。深度图裁剪单元165基于与各条颜色信息纹理数据c对应的第一层深度图d，从多条颜色信息纹理数据c中裁剪出被摄体90的区域。更具体地，当在任何第一层深度图d中存储了有效的深度值时，与存储深度值的坐标对应的颜色信息纹理数据c被确定为被摄体90的区域并被裁剪出。
[0220]
与在第一实施方式中描述的渲染单元17a(参见图19)的配置相比，渲染单元17b具有不包括深度图生成单元171的配置。
[0221]
尽管在信息处理系统10a中，深度图的生成是由信息处理系统10b中的渲染单元
17a针对可见性确认来执行的，但是深度图的生成是由解码单元16b来执行的。此外，解码单元16b实际上并不创建深度图，而是仅执行对由编码单元13b生成的多个第一层深度图d的获取。然后，解码单元16b的深度图裁剪单元165使用第一层深度图d裁剪出与被摄体90的区域对应的颜色信息纹理数据c。
[0222]
因此，可以减少具有高计算负荷的处理，即，深度图的生成。
[0223]
[2-2.可见性确认]
[0224]
接下来，将参照图22描述可见性确认。图22是示出可见性确认的图。
[0225]
在生成从多个不同的投影点q观看的被摄体90的图像的情况下，需要确定被摄体90的前表面上的点是否从每个投影点q可见。换言之，投影平面r(u,v)上记录的颜色信息纹理数据c是最接近投影点q的表面，并且被该表面遮挡的背侧的表面从投影点q是不可见的。
[0226]
具体地，在图22中，被摄体90上的点pa(第一点的示例)从投影点qa可视化，并且点pa的深度值(第一距离)被记录在投影平面ra上。同时，当从不同的投影点qb观察点pa时，点pa被前侧的点pb遮挡并且不能被可视化。点pb的深度值(不同于第一距离的距离)被存储在投影平面rb中。
[0227]
因此，在图22中，根据存储在投影平面ra中的深度值计算的点pa的三维坐标与根据存储在投影平面rb中的深度值计算的点pb的三维坐标不匹配。换言之，当从投影点qa观看的根据深度值的点pa的三维位置与根据朝向从与投影点qa不同的投影点qb观看的点pa的方向对应的深度值的三维位置不匹配时，可见性确认单元172确定从投影点qa观看的点pa从不同于投影点qa的投影点qb是不可见的。
[0228]
然后，当绘制从投影点qb观看的被摄体90的图像时，绘图单元173不使用点pb处的颜色信息纹理数据c，而是使用投影到以下投影点的颜色信息纹理数据c，该投影点更靠近投影点qb并且确定使点pa可视化。此外，可以混合并且使用被投影到更靠近投影点qb并且使点pa可视化的颜色信息纹理数据c。
[0229]
[2-3.第二实施方式的效果]
[0230]
如上所述，在第二实施方式的编码设备40b(信息处理设备)中，平铺单元134b(颜色/距离获取单元)彼此相关联地获取从多个投影点q观看的关于被摄体90的颜色信息纹理数据c(纹理信息)和从与从其获取颜色信息纹理数据c的投影点相同的多个投影点q观看的第一距离d1。
[0231]
这种配置使得可以提供第一层深度图d中的一个，该第一层深度图d是与第二层深度图dm2配对的第一层深度图dm1。因此，可以减少由发送单元14发送的数据量。
[0232]
此外，在第二实施方式的解码设备50b(信息处理设备)中，当从投影点qa观看的根据第一距离d1的点pa的三维位置与根据朝向从与投影点qa不同的投影点qb观看的点pa的方向对应的第一距离d1的三维位置不匹配时，可见性确认单元172基于由平铺单元134b(颜色/距离获取单元)获取的信息来确定从投影点qa观看的点pa从投影点qb不可见。
[0233]
因此，可以通过使用平铺图像t2的简单处理来执行可见性确认。
[0234]
(3.第三实施方式)
[0235]
[3-1.第三实施方式的功能]
[0236]
在第一实施方式和第二实施方式中，在被摄体90具有复杂形状的情况下，由于发生遮挡而难以将被摄体90的表面的3d形状连续地转换为数据。为了解决这样的问题，根据
第三实施方式的信息处理系统10b将被摄体90分解为多个对象，针对分解之后的对象从同一投影点q生成多个第一层深度图dm1和第二层深度图dm2，从而连续地将被摄体90的表面转换为数据。
[0237]
注意，根据第三实施方式的信息处理系统10b的配置(硬件配置和功能配置)与在第二实施方式中描述的信息处理系统10b(编码设备40b和解码设备50b)的配置相同，并且因此省略其描述。
[0238]
接下来，将参照图23描述根据第三实施方式的信息处理系统的功能。图23是示出根据第三实施方式的信息处理系统的功能的图。
[0239]
在信息处理系统10b中包括的编码设备40b中，3d模型生成单元12将被摄体90分解为多个对象。然后，第一层深度图生成单元131和第二层深度图生成单元132针对分解之后的对象生成从同一投影点q观看的多个第一层深度图dm1和多个第二层深度图dm2。换言之，第一层深度图生成单元131和第二层深度图生成单元132针对被摄体90被分解成的对象，获取从同一投影点q观看的第一距离d1和第二距离d2。如第一实施方式中所述，当从作为起点的投影点q延伸到被摄体90的直线多次贯穿被摄体90时，每当该直线贯穿被摄体90时，生成一对第一点p1和第二点p2。
[0240]
例如，如图23所示，3d模型生成单元12将要建模的被摄体90分解为箭头形状的第一对象和矩形形状的第二对象。然后，第一层深度图生成单元131和第二层深度图生成单元132生成从投影点q观看的第一对象的第一层深度图dm1和第二层深度图dm2。
[0241]
然而，由于信息处理系统10b需要重构从投影点q观看的被摄体90的视频(视图相关渲染)，因此第一层深度图dm1是从投影点q观看的整个被摄体90的深度图。
[0242]
换言之，第一层深度图生成单元131针对被摄体90生成存储由图23中所示的虚线指示的深度值的第一层深度图dm1。然后，第二层深度图生成单元132针对箭头形状的第一对象生成第二层深度图dm2，该第二层深度图dm2存储由表示第一对象的背表面侧的深度值的粗线指示的深度值。第一层深度图dm1和第二层深度图dm2配对并用于被摄体90的重构。
[0243]
接下来，第一层深度图生成单元131生成从投影点q观看的矩形形状的第二对象的第一层深度图dm1。注意，此处生成的第一层深度图dm1被称为第三层深度图，以区别于上述第一层深度图dm1。
[0244]
然后，第二层深度图生成单元132生成从投影点q观看的第二对象的第二层深度图dm2。注意，此处生成的第二层深度图dm2被称为第四层深度图，以区别于上述第二层深度图dm2。以这种方式生成的第三层深度图和第四层深度图被配对并用于被摄体90的重构。
[0245]
渲染单元17b使用被摄体90被分解成的对象的成对深度图来通过上述方法执行对象的渲染。然后，将对象与从投影点观察渲染的对象时的最近点组合为被摄体90的前表面，从而连续重构被摄体90的表面。
[0246]
注意，在被摄体90具有更复杂形状的情况下，可以将被摄体90分解为更多对象，使得可以重复与上述处理相同的处理以生成更多对深度图。
[0247]
[3-2.第三实施方式的效果]
[0248]
如上所述，在第三实施方式的编码设备40b(信息处理设备)中，第一层深度图生成单元131和第二层深度图生成单元132(距离获取单元)针对被摄体90被分解成的对象获取距同一投影点q的第一距离d1和第二距离d2。然后，基于第一距离d1和第二距离d2重构的各
个对象被组合以重构被摄体90的图像。
[0249]
这种配置使得即使在被摄体90具有复杂形状时也可以连续重构被摄体90的图像。
[0250]
(4.第四实施方式)
[0251]
[4-1.第四实施方式的功能]
[0252]
在第一实施方式和第二实施方式中，在被摄体90具有复杂形状的情况下，由于发生遮挡而难以将被摄体90的表面的3d形状连续地转换为数据。为了解决这样的问题，根据第四实施方式的信息处理系统10b将被摄体90分解为多个对象，针对分解之后的对象，根据多个投影点生成第一层深度图dm1和第二层深度图dm2，从而连续地将被摄体90的表面转换为数据。
[0253]
注意，根据第四实施方式的信息处理系统10b的配置(硬件配置和功能配置)与在第二实施方式中描述的信息处理系统10b(编码设备40b和解码设备50b)的配置相同，因此省略其描述。
[0254]
接下来，将参照图24描述根据第四实施方式的信息处理系统的功能。图24是示出根据第四实施方式的信息处理系统的功能的图。
[0255]
在信息处理系统10b中包括的编码设备40b中，3d模型生成单元12将被摄体90分解为多个对象。然后，针对分解之后的对象，第一层深度图生成单元131和第二层深度图生成单元132生成从不同的投影点q1、q2、...观看的第一层深度图dm1和第二层深度图dm2。换言之，针对被摄体90被分解成的对象，获取从不同的投影点q1、q2、...观看的第一距离d1和第二距离d2。如第一实施方式中所述，当从作为起点的投影点q延伸到被摄体90的直线多次贯穿被摄体90时，每当该直线贯穿被摄体90时，生成一对第一点p1和第二点p2。
[0256]
例如，如图24所示，3d模型生成单元12将要建模的被摄体90分解为箭头形状的第一对象和矩形形状的第二对象。然后，第一层深度图生成单元131和第二层深度图生成单元132生成从投影点q1观看的第一对象的第一层深度图dm1和第二层深度图dm2。此外，第一层深度图生成单元131和第二层深度图生成单元132生成从投影点q2观看的第一对象的第一层深度图dm1和第二层深度图dm2。
[0257]
然而，由于信息处理系统10b需要重构从投影点q1和q2观看的被摄体90的视频(视图相关渲染)，因此第一层深度图dm1是从投影点q1和q2观看的整个被摄体90的深度图。
[0258]
换言之，第一层深度图生成单元131生成从投影点q1观看的整个被摄体90的第一层深度图dm1。因此，生成存储由图24所示的虚线所示的深度值的第一层深度图dm1。然后，第二层深度图生成单元132生成第二层深度图dm2，该第二层深度图dm2存储由表示箭头形状的第一对象的背表面侧的深度值的粗线指示的深度值。第一层深度图dm1和第二层深度图dm2配对并用于被摄体90的重构。
[0259]
接下来，第一层深度图生成单元131生成从投影点q2观看的整个被摄体90的第一层深度图dm1。因此，生成存储由图24所示的虚线所示的深度值的第一层深度图dm1。然后，第二层深度图生成单元132生成第二层深度图dm2，该第二层深度图dm2存储由表示矩形形状的第二对象的背表面侧的深度值的粗线指示的深度值。第一层深度图dm1和第二层深度图dm2配对并用于被摄体90的重构。
[0260]
[4-2.第四实施方式的效果]
[0261]
如上所述，在第四实施方式的编码设备40b(信息处理设备)中，针对被摄体90被分
解成的对象，第一层深度图生成单元131和第二层深度图生成单元132(距离获取单元)获取距不同投影点q1和q2的第一距离d1和第二距离d2。然后，基于第一距离d1和第二距离d2重构的各个对象被组合以重构被摄体90的图像。
[0262]
这种配置使得即使在被摄体90具有复杂形状时也可以连续重构被摄体90的图像。
[0263]
(5.本公开内容的应用示例)
[0264]
[5-1.内容的制作]
[0265]
例如，由3d模型生成单元12生成的被摄体90的3d模型90m和由另一服务器管理的3d模型可以被组合以产生视频内容。此外，例如，当背景数据存储在诸如lidar的成像设备中时，将由3d模型生成单元12生成的被摄体90的3d模型90m与背景数据组合使得可以创建其中被摄体90似乎位于由背景数据指示的场所处的内容。
[0266]
[5-2.虚拟空间中的体验]
[0267]
例如，由3d模型生成单元12生成的被摄体90可以布置在作为用户使用化身(avatar)执行通信的空间的虚拟空间中。在这种配置中，用户可以使用化身以实况观看被摄体90。
[0268]
[5-3.用于与远程位置通信的应用]
[0269]
例如，将由3d模型生成单元12生成的被摄体90的3d模型90m从发送单元14发送至远程位置使得远程位置处的用户可以通过远程位置处的再现设备观看被摄体90的3d模型90m。例如，被摄体90的3d模型90m的实时发送使得被摄体90和远程位置的用户可以彼此实时通信。例如，可以假设被摄体90是教师而用户是学生，或者被摄体90是医生而用户是患者等。
[0270]
[5-4.其他方面]
[0271]
例如，还可以基于由3d模型生成单元12生成的多个被摄体90的3d模型90m来生成运动等的自由视点视频。此外，个人可以将由3d模型生成单元12生成的他本身/她本身分发至分发平台。如上所述，本说明书中描述的实施方式中的内容适用于各种技术和服务。
[0272]
尽管已经根据若干实施方式描述了本公开内容，但是这些实施方式可以由任何设备来实现。该设备优选地具有必要的功能块以获得必要的信息。
[0273]
此外，例如，一个流程图的各个步骤可以由一个设备执行，或者可以在多个设备之间共享并由多个设备执行。此外，当在一个步骤中包括多个处理时，多个处理可以由一个设备执行，或者可以在多个设备之间共享并由多个设备执行。换言之，还可以执行一个步骤中包括的多个处理作为包括多个步骤的处理。相反，被描述为多个步骤的处理可以作为一个步骤来共同执行。
[0274]
此外，例如，由计算机执行的程序可以根据本说明书中的描述按时间顺序执行程序的处理步骤，或者可以在诸如调用的必要定时处并行或单独地执行处理步骤。换言之，可以在一致的范围内以与上述顺序不同的顺序来执行各个步骤的处理。此外，程序的处理步骤可以与另一个程序的处理并行或组合执行。
[0275]
此外，例如，与本技术有关的多个技术可以在一致的范围内独立地实现。当然，多个任意的本技术可以彼此组合来实现。例如，在任何实施方式中描述的本技术可以与另一实施方式中描述的本技术组合实现。此外，上述本技术中的任一项可以与上面未描述的另一技术组合实现。
[0276]
应当注意，本文中描述的效果仅仅是示例，并且本发明不限于这些效果并且可以具有其他效果。本公开内容的实施方式不限于上述实施方式，并且在不脱离本公开内容的主旨和范围的情况下可以进行各种修改和变更。
[0277]
注意，本公开内容还可以具有以下配置。
[0278]
(1)一种信息处理设备，包括：
[0279]
距离获取单元，其基于被摄体的表面的3d形状来获取投影点与第一点之间的第一距离以及所述投影点与第二点之间的第二距离，从所述投影点延伸到所述被摄体的直线在所述第一点处与所述被摄体接触，从所述第一点延伸进入所述被摄体的内部的直线从所述第二点贯穿到所述被摄体的外部。
[0280]
(2)根据(1)所述的信息处理设备，其中，
[0281]
所述距离获取单元：
[0282]
当不存在所述第一点时，获取预定的第一距离值作为所述第一距离，并且
[0283]
当不存在所述第二点时，获取小于所述第一距离值的预定的第二距离值作为所述第二距离。
[0284]
(3)根据(2)所述的信息处理设备，
[0285]
所述距离获取单元将所述第一距离值和所述第二距离值设置为相等的值。
[0286]
(4)根据(1)至(3)中任一项所述的信息处理设备，还包括：
[0287]
发送单元，所述发送单元将由所述距离获取单元获取的所述第一距离和所述第二距离彼此相关联地发送至用于重构被摄体的三维形状的解码设备。
[0288]
(5)根据(1)至(4)中任一项所述的信息处理设备，还包括：
[0289]
颜色/距离获取单元，所述颜色/距离获取单元彼此相关联地获取从多个投影点观看的被摄体的纹理信息、以及从与从其获取到所述纹理信息的投影点相同的多个投影点观看的第一距离。
[0290]
(6)根据(1)至(5)中任一项所述的信息处理设备，其中，
[0291]
所述距离获取单元针对被摄体被分解成的各对象，分别获取距同一投影点的所述第一距离和所述第二距离。
[0292]
(7)根据(1)至(5)中任一项所述的信息处理设备，其中，
[0293]
所述距离获取单元针对被摄体被分解成的各对象，分别获取距彼此不同的投影点的所述第一距离和所述第二距离。
[0294]
(8)一种信息处理设备，包括：
[0295]
区域确定单元，所述区域确定单元：
[0296]
基于被摄体的表面的3d形状，获取投影点与第一点之间的第一距离，从所述投影点延伸到所述被摄体的直线在所述第一点处与所述被摄体接触，或者在不存在所述第一点时，获取预定的第一距离值作为所述第一距离；
[0297]
获取所述投影点与第二点之间的第二距离，从所述第一点延伸进入所述被摄体的内部的直线从所述第二点处贯穿到所述被摄体的外部，或者在不存在所述第二点时，获取小于所述第一距离值的预定的第二距离值作为所述第二距离；以及
[0298]
基于所述第一距离与所述第二距离之间的大小关系来识别所述被摄体的区域。
[0299]
(9)根据(8)所述的信息处理设备，还包括：
[0300]
封闭空间生成单元，所述封闭空间生成单元将从所述投影点观看的所述被摄体的前表面侧端部与从所述投影点观看的所述被摄体的背表面侧端部连接，所述被摄体的前表面侧端部基于与所述投影点有关的多个所述第一距离，所述被摄体的背表面侧端部基于与所述投影点有关的多个所述第二距离。
[0301]
(10)根据(9)所述的信息处理设备，其中，
[0302]
所述封闭空间生成单元：
[0303]
当三角形形状的相邻三个点的第一距离中的两个点的第一距离表示所述被摄体的前表面、并且剩余的一个点的第一距离不表示所述被摄体的前表面时，
[0304]
用所述剩余的一个点代替与所述三个点对应的第二距离中的、表示所述被摄体的背表面的两个点中的任何一个点，并且
[0305]
用与所述三个点对应的第二距离中的、不表示所述被摄体的背表面的一个点代替表示所述被摄体的前表面的两个点中的、在被所述剩余的一个点代替的点的相反侧处的一个点。
[0306]
(11)根据(8)所述的信息处理设备，还包括：
[0307]
颜色/距离获取单元，所述颜色/距离获取单元彼此相关联地获取从多个投影点观看的所述被摄体的纹理信息、以及从与从其获取到所述纹理信息的投影点相同的多个投影点观看的第一距离；以及
[0308]
可见性确认单元，所述可见性确认单元基于由所述颜色/距离获取单元获取的信息，在第一点的根据从投影点观看的第一距离的三维位置与根据和从不同于所述投影点的投影点观看的朝向第一点的方向对应的第一距离的三维位置不匹配时，确定从所述投影点观看的第一点从与所述投影点不同的投影点是不可见的。
[0309]
(12)一种3d模型生成方法，包括：
[0310]
基于被摄体的表面的3d形状，获取投影点与第一点之间的第一距离以及所述投影点与第二点之间的第二距离，从所述投影点延伸到所述被摄体的直线在所述第一点处与所述被摄体接触，从所述第一点延伸进入所述被摄体的内部的直线从所述第二点处贯穿到所述被摄体的外部；以及通过将所述投影点的位置、所述第一距离和所述第二距离彼此相关联，来生成所述被摄体的3d模型。
[0311]
(13)一种程序，用于使计算机用作：
[0312]
距离获取单元，其基于被摄体的表面的3d形状来获取投影点与第一点之间的第一距离以及所述投影点与第二点之间的第二距离，从所述投影点延伸到所述被摄体的直线在所述第一点处与所述被摄体接触，从所述第一点延伸进入所述被摄体的内部的直线从所述第二点处贯穿到所述被摄体的外部。
[0313]
附图标记列表
[0314]
10a、10b 信息处理系统
[0315]
11 数据获取单元
[0316]
12 3d 模型生成单元
[0317]
13a、13b 编码单元
[0318]
14 发送单元
[0319]
15 接收单元
[0320]
16a、16b 解码单元
[0321]
17a、17b 渲染单元
[0322]
18 显示单元
[0323]
40a、40b 编码设备(信息处理设备)
[0324]
50a、50b 解码设备(信息处理设备)
[0325]
70(70a，70b，70c，70d，70e) 成像设备
[0326]
90 被摄体
[0327]
90m 3d 模型
[0328]
131 第一层深度图生成单元(距离获取单元)
[0329]
132 第二层深度图生成单元(距离获取单元)
[0330]
133 颜色信息打包单元
[0331]
134a、134b 平铺单元(颜色/距离获取单元)
[0332]
135 图像压缩处理单元
[0333]
161 图像解压缩处理单元
[0334]
162 深度有效区域确定单元(区域确定单元)
[0335]
163 三角形图块生成单元(封闭空间生成单元)
[0336]
164 颜色信息纹理裁剪单元
[0337]
165 深度图裁剪单元
[0338]
171 深度图生成单元
[0339]
172 可见性确认单元
[0340]
173 绘图单元
[0341]
c 颜色信息纹理数据(纹理信息)
[0342]
d1、d2 经量化深度值(深度值)
[0343]
dm1、d 第一层深度图
[0344]
dm2 第二层深度图
[0345]
d1 第一距离
[0346]
d2 第二距离
[0347]
n 有效点的数目
[0348]
p1 第一点
[0349]
p2 第二点
[0350]
q、q1、q2、qa、qb 投影点
[0351]
r、ra、rb 投影平面
[0352]
t1、t2 平铺图像
[0353]
far 距离(第一距离值)
[0354]
near 距离(第二距离值)