信息处理装置和方法与流程

本公开内容涉及信息处理装置和方法，更具体地，涉及能够使用场景描述将多个视频分量同时用于一个对象的信息处理装置和方法。

背景技术：

1、在相关技术中，存在gl传输格式(gltf)(注册商标)2.0，其是用于在三维空间中放置和呈现3d(three-dimensional，三维)对象的场景描述(scene description)的格式(例如，见非专利文献1)。

2、此外，在运动图像专家组(mpeg)-i场景描述中，已经提出了在时间方向上扩展gltf 2.0并处理动态内容的方法(例如，见非专利文献2)。

3、此外，提出了对包括纹理视频和动态网格的3d对象视频的呈现支持(例如，见非专利文献3)。此外，在包括纹理视频和动态网格的3d对象中，存在以视图相关纹理(vd纹理)格式对纹理视频进行编码的技术(例如，见专利文献1和专利文献2)。在vd纹理方法的情况下，可以显示比常规纹理视频具有更高图像质量的3d对象。

4、vd纹理是根据视点来映射到网格上的纹理视频，并且在vd纹理方法的情况下，针对一个动态网格准备从不同方向映射的多个vd纹理。这种vd纹理允许将多个vd纹理同时映射到一个网格上。

5、近年来，与vd纹理方法一样，人们也期望支持mpeg-i场景描述中的一个3d对象可以同时使用的多个视频分量的3d数据。

6、注意，在场景描述的mesh.primitives.attribute层中，已经存在针对每个图块划分访问器的方法(例如，见非专利文献4)。此外，存在将多个lod纹理链接到场景描述的材料(material)层以使得可以根据视点位置的变化切换要使用的纹理的方法(例如，见非专利文献5)。注意，上述3d对象视频的比特流可以存储在例如国际标准化组织基本媒体文件格式(isobmff)中(例如，见非专利文献6)。

7、引用列表

8、非专利文献

9、非专利文献1：saurabh bhatia,patrick cozzi,alexey knyazev,tony parisi，“khronos gltf2.0”，https：//github.com/khronosgroup/gltf/tree/master/specification/2.0，2017年6月9日

10、非专利文献2：“potential improvement of iso/iec dis23090-14scenedescription for mpeg media”，iso/iec jtc 1/sc 29/wg 03n0321,2021-08-03

11、非专利文献3：“technologies under consideration on scene descriptionfor mpeg media”，iso/iec jtc 1/sc 29/wg 03n292,2021-07-26

12、非专利文献4：imed bouazizi,thomas stockhammer，“attribute registrationfor v3c”，iso/iec jtc 1/sc 29/wg 03m57411,2021-07-07

13、非专利文献5：saurabh bhatia,gary hsu,adam gritt,john copic,marcappelsmeier,dag frommhold，“msft_lod”，https：//github.com/khronosgroup/gltf/blob/main/extensions/2.0/vendor/msft_lo d/readme.md

14、非专利文献6：“information technology-jpeg 2000image coding system-part12：iso base media file format”，iso/iec fdis14496-12：2018,2020-12

15、专利文献

16、专利文献1：wo 2021/079592

17、专利文献2：wo 2021/193213

技术实现思路

1、本发明要解决的问题

2、然而，在常规的mpeg-i场景描述中，无法在场景描述中描述可以同时用于一个3d对象的多个视频分量。

3、针对这种情况提出了本公开内容，并且本公开内容能够使用场景描述将多个视频分量同时用于一个对象。

4、问题的解决方案

5、根据本技术的一个方面的信息处理装置是如下的信息处理装置，该信息处理装置包括：文件处理单元，其基于分量索引将3d对象视频中包括的视频分量存储在与该视频分量对应的缓冲器中；以及显示图像生成单元，其基于分量索引从缓冲器中获取视频分量，并且使用所获取的视频分量生成显示图像，其中，在一个3d对象中能够同时使用多个视频分量，并且在场景描述的材料层中定义的用于3d对象视频的扩展中，为3d对象视频中包括的视频分量设置分量索引，并且视频分量中的每一个的分量索引具有不同的值。

6、根据本技术的一个方面的信息处理方法是如下的信息处理方法，该信息处理方法包括：基于分量索引将3d对象视频中包括的视频分量存储在与该视频分量对应的缓冲器中；以及基于分量索引从缓冲器中获取视频分量，并且使用所获取的视频分量生成显示图像，其中，在一个3d对象中能够同时使用多个视频分量，并且在场景描述的材料层中定义的用于3d对象视频的扩展中，为3d对象视频中包括的视频分量设置分量索引，并且视频分量中的每一个的分量索引具有不同的值。

7、根据本技术的另一个方面的信息处理装置是如下的信息处理装置，该信息处理装置包括文件生成单元，该文件生成单元生成场景描述文件，并且在场景描述文件的材料层中定义的用于3d对象视频的扩展中为该3d对象视频中包括的视频分量设置分量索引，视频分量中的每一个的分量索引具有不同的值，其中，在一个3d对象中能够同时使用多个视频分量。

8、根据本技术的另一个方面的信息处理方法是如下的信息处理方法，该信息处理方法包括：生成场景描述文件，并且在场景描述文件的材料层中定义的用于3d对象视频的扩展中为该3d对象视频中包括的视频分量设置分量索引，视频分量中的每一个的分量索引具有不同的值，其中，在一个3d对象中能够同时使用多个视频分量。

9、在根据本技术的一个方面的信息处理装置和方法中，基于分量索引将3d对象视频中包括的视频分量存储在与该视频分量对应的缓冲器中，基于分量索引从缓冲器中获取视频分量，并且使用所获取的视频分量生成显示图像。

10、在根据本技术的另一个方面的信息处理装置和方法中，生成场景描述文件，并且在场景描述文件的材料层中定义的用于3d对象视频的扩展中为该3d对象视频中包括的视频分量设置分量索引，视频分量中的每一个的分量索引具有不同的值。

技术特征：

1.一种信息处理装置，包括：

2.根据权利要求1所述的信息处理装置，其中，

3.根据权利要求2所述的信息处理装置，其中，

4.根据权利要求3所述的信息处理装置，其中，

5.根据权利要求1所述的信息处理装置，其中，

6.根据权利要求5所述的信息处理装置，其中，

7.根据权利要求6所述的信息处理装置，其中，

8.根据权利要求6所述的信息处理装置，其中，

9.根据权利要求1所述的信息处理装置，其中，

10.一种信息处理方法，包括：

11.一种信息处理装置，包括：

12.根据权利要求11所述的信息处理装置，其中，

13.根据权利要求12所述的信息处理装置，其中，

14.根据权利要求13所述的信息处理装置，其中，

15.根据权利要求11所述的信息处理装置，其中，

16.根据权利要求15所述的信息处理装置，其中，

17.根据权利要求16所述的信息处理装置，其中，

18.根据权利要求16所述的信息处理装置，其中，

19.根据权利要求11所述的信息处理装置，其中，

20.一种信息处理方法，包括：

技术总结
本公开内容涉及能够使用场景描述将多个视频分量同时用于一个对象的信息处理装置和方法。在场景描述文件的材料层中定义的3D对象视频扩展中，为3D对象视频中包括的视频分量设置分量索引，每个视频分量的分量索引具有不同的值。基于分量索引将视频分量存储在对应的缓冲器中，基于分量索引从缓冲器中获取视频分量，并且使用所获取的视频分量生成显示图像。本公开内容可以应用于例如信息处理装置、信息处理方法等。

技术研发人员：高桥辽平,平林光浩
受保护的技术使用者：索尼集团公司
技术研发日：
技术公布日：2024/5/8