三维室内场景的重建方法、装置、计算机设备及存储介质

本技术涉及三维场景重建，特别是涉及一种三维室内场景的重建方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术：

1、单视角室内场景重建是从单幅图像构建完整3d场景的一个长期问题，涉及到房间布局估计、目标检测和姿态估计，以及3d形状重建等细分技术手段。传统的技术方案中曾提出使用3d房间边界框恢复房间布局，后续再物体位姿恢复。

2、例如传统技术方案中所提出的通过3d边界框(bounding boxes)估计房间布局和室内物体，从而实现3d室内场景重建；但是，该方法无法提供详细信息关于物体的形状。又例如，基于网格检索的方法改进了实例形状，但是，其准确性和效率取决于数据库的大小和多样性。又例如，基于体素的方法分辨率有限，而传统技术方案中采用total3d和im3d以简化形式重建场景，没有详细的形状和复杂的背景。又例如，针对场景中实例相互遮挡的问题，传统技术方案提出通过自注意通道过滤(self-attention channel filtering)的方式来分离混合特征。综上所述传统技术方案所提出解决方案，并不能效的还原室内场景中实例的拓扑结构；由于未对导致场景内的实例进行正确还原，进而实例类别和拓扑关系的准确率较低。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种场景还原准确率更高的三维室内场景的重建方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种三维室内场景的重建方法。所述方法包括：

3、获取室内场景图像，提取所述室内场景图像中的物体位姿信息以及物体边界框，所述位姿信息用于表征所述室内场景图像中物体相较于图像采集装置的位置以及姿态，所述图像采集装置为采集所述室内场景图像的装置；

4、根据所述物体边界框对所述室内场景图像中的物体进行特征提取，得到物体对应的初始实例特征；

5、过滤所述初始实例特征中的混合特征，得到物体实例特征；

6、根据所述室内场景图像中的物体，生成实例模板，并根据所述实例模板对所述物体实例特征进行实例特征变形，得到实例偏移量；

7、通过预设的像素对齐隐函数、所述实例模板、所述实例偏移量、所述物体位姿信息、以及所述物体实例特征，重建得到三维室内场景。

8、在其中一个实施例中，所述根据所述物体边界框对所述室内场景图像中的物体进行特征提取，得到物体对应的初始实例特征包括：

9、构建室内场景图像对应的水密网格；

10、对所述水密网格进行点云采样，得到室内场景中物体对应的点云模型；

11、将所述室内场景中物体对应的点云模型所处的世界坐标系，转换为模型坐标系；

12、根据所述模型坐标系中的点云模型，提取室内场景中物体对应的像素位置信息；

13、根据所述物体对应的像素位置信息进行特征提取，得到室内场景对应的场景特征；

14、通过边界框对所述场景特征进行识别并筛选，得到室内场景中物体对应的初始实例特征。

15、在其中一个实施例中，所述过滤所述初始实例特征中的混合特征，得到物体实例特征包括：

16、将初始实例特征输入至预设的特征选择器，计算得到初始实例特征中混合特征的特征权重；

17、根据所述混合特征的特征权重、以及所述初始实例特征计算得到混合特征；

18、过滤所述初始实例特征中的混合特征，得到中间态特征；

19、提取所述混合特征中的局部实例特征；

20、将所述局部实例特征、以及所述中间态特征进行组合，得到物体实例特征。

21、在其中一个实施例中，所述对所述混合特征进行特征分离，得到局部实例特征包括：

22、对所述混合特征进行下采样，得到下采样特征；

23、通过双线性插值算法，对所述下采样特征进行特征维度恢复，得到维度恢复特征；

24、将所述维度恢复特征与所述下采样特征进行卷积运算，得到局部实例特征。

25、在其中一个实施例中，所述根据所述室内场景图像中的物体，生成实例模板包括：

26、从室内场景图像中提取得到物品实例图像；

27、将所述物品实例图像进行潜在特征编码，得到实例类别的潜在变量；

28、将所述实例类别的潜在变量输入至预设的模板特征生成器，生成实例模板。

29、在其中一个实施例中，所述根据所述实例模板对所述物体实例特征进行实例特征变形，得到实例偏移量包括：

30、将所述物体实例特征，输入至已训练的自注意力模型，预测得到初始偏移量；

31、将实例模板、所述物体实例特征、以及所述初始偏移量进行拼接形成组合数据；

32、将所述组合数据输入至预设的多层感知器，通过所述多层感知器中的激活函数计算得到贡献权重；

33、根据所述贡献权重、所述实例模板、以及所述物体实例特征，计算得到实例偏移量。

34、在其中一个实施例中，所述通过预设的像素对齐隐函数、所述实例模板、所述实例偏移量、所述物体位姿信息、以及所述物体实例特征，重建得到三维室内场景包括：

35、获取室内场景图像中像素点的深度值；

36、根据所述深度值、实例模板、以及物体实例特征，通过预设的像素对齐隐函数，生成得到三维物体模型；

37、根据所述深度值、实例模板、以及实例偏移量，通过预设的像素对齐隐函数，生成背景实例；

38、根据物体位姿信息，将所述三维物体模型与所述背景实例进行组合，得到三维室内场景。

39、在其中一个实施例中，所述根据物体位姿信息，将所述三维物体模型与所述背景实例进行组合，得到三维室内场景包括：

40、将所述三维物体模型对应的隐式表达信息，与所述背景实例的隐式表达信息进行组合，得到室内场景的隐式表达信息；

41、根据所述室内场景的隐式表达信息，转换得到室内场景的多边形网格；

42、根据物体位姿信息，对所述多边形网格中多边形的位置信息进行校正；

43、将校正后的多边形网格进行转换，得到三维室内场景。

44、第二方面，本技术还提供了一种三维室内场景的重建装置。所述装置包括：

45、信息提取模块，用于获取室内场景图像，提取所述室内场景图像中的物体位姿信息以及物体边界框，所述位姿信息用于表征所述室内场景图像中物体相较于图像采集装置的位置以及姿态，所述图像采集装置为采集所述室内场景图像的装置；

46、特征提取模块，用于根据所述物体边界框对所述室内场景图像中的物体进行特征提取，得到物体对应的初始实例特征；

47、特征过滤模块，用于过滤所述初始实例特征中的混合特征，得到物体实例特征；

48、特征变形模块，用于根据所述室内场景图像中的物体，生成实例模板，并根据所述实例模板对所述物体实例特征进行实例特征变形，得到实例偏移量；

49、场景重建模块，用于通过预设的像素对齐隐函数、所述实例模板、所述实例偏移量、所述物体位姿信息、以及所述物体实例特征，重建得到三维室内场景。

50、第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

51、获取室内场景图像，提取所述室内场景图像中的物体位姿信息以及物体边界框，所述位姿信息用于表征所述室内场景图像中物体相较于图像采集装置的位置以及姿态，所述图像采集装置为采集所述室内场景图像的装置；

52、根据所述物体边界框对所述室内场景图像中的物体进行特征提取，得到物体对应的初始实例特征；

53、过滤所述初始实例特征中的混合特征，得到物体实例特征；

54、根据所述室内场景图像中的物体，生成实例模板，并根据所述实例模板对所述物体实例特征进行实例特征变形，得到实例偏移量；

55、通过预设的像素对齐隐函数、所述实例模板、所述实例偏移量、所述物体位姿信息、以及所述物体实例特征，重建得到三维室内场景。

56、第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

57、获取室内场景图像，提取所述室内场景图像中的物体位姿信息以及物体边界框，所述位姿信息用于表征所述室内场景图像中物体相较于图像采集装置的位置以及姿态，所述图像采集装置为采集所述室内场景图像的装置；

58、根据所述物体边界框对所述室内场景图像中的物体进行特征提取，得到物体对应的初始实例特征；

59、过滤所述初始实例特征中的混合特征，得到物体实例特征；

60、根据所述室内场景图像中的物体，生成实例模板，并根据所述实例模板对所述物体实例特征进行实例特征变形，得到实例偏移量；

61、通过预设的像素对齐隐函数、所述实例模板、所述实例偏移量、所述物体位姿信息、以及所述物体实例特征，重建得到三维室内场景。

62、第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

63、获取室内场景图像，提取所述室内场景图像中的物体位姿信息以及物体边界框，所述位姿信息用于表征所述室内场景图像中物体相较于图像采集装置的位置以及姿态，所述图像采集装置为采集所述室内场景图像的装置；

64、根据所述物体边界框对所述室内场景图像中的物体进行特征提取，得到物体对应的初始实例特征；

65、过滤所述初始实例特征中的混合特征，得到物体实例特征；

66、根据所述室内场景图像中的物体，生成实例模板，并根据所述实例模板对所述物体实例特征进行实例特征变形，得到实例偏移量；

67、通过预设的像素对齐隐函数、所述实例模板、所述实例偏移量、所述物体位姿信息、以及所述物体实例特征，重建得到三维室内场景。

68、本技术提供的三维室内场景的重建方法、装置、计算机设备、存储介质和计算机程序产品；方案利用对象检测技术从输入室内场景图像中获取室内对象的边界框和物体位姿信息，然后通过特征提取的方式，从图像中提取得到物体的初始实例特征。方案进一步分离出初始实例特征中的混合特征部分，得到完整的物体实例特征；能够从在杂乱的场景信息中分离得到更准确、有效的物体实例特征。在得到物体实例特征的基础上，通过物体对应的实例模板，对物体实例特征进行实例特征变形，得到实例偏移量；方案根据不同物体生成相应的实例模板和实例偏移量，不仅能够更准确的提取实例特征，还能够拟合不同类别物体的拓扑结构。最后，方案基于像素对齐隐函数，根据前述获取的实例模板、实例偏移量、物体实例特征、以及物体位姿信息，重建得到三维室内场景；方案利用像素对齐隐函数对图像中不可见区域有着更精准的重建，能够更为准确地重建出三维室内场景。