一种基于深度学习的装修家具自动布局方法及系统与流程

1.本发明涉及家具布局领域，特别是涉及一种基于深度学习的装修家具自动布局方法及系统。


背景技术：

2.目前现有技术中，对于装修家具的自动布局主要以规则来表达设计师的灵感，或者以启发式的最优解来计算家具的在空间的最佳位置。然而第一种方法主要问题在于，设计师的抽象的设计灵感很难具体；其次，要表达所有户型的设计，规则难以枚举，最重要的是一旦用规则来进行布局，无法满足用户的多样化设计需求。第二种方法主要对核心家具进行相对位置上的约束，并且构造评估函数，不断地去更新核心家具的位置，让其按较大的评估分数的方向去做位置调整，且该方法不适合复杂的空间，计算耗时时间长，无法及时输出相应的布局效果图。


技术实现要素：

3.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于深度学习的装修家具自动布局方法及系统，用于解决现有技术中的以上问题。
4.为实现上述目的及其他相关目的，本发明提供一种基于深度学习的装修家具自动布局方法，所述方法包括：根据家具平面布局户型空间样本构建深度学习训练的样本；基于所述样本建立家具自动布局深度学习模型并训练；接收输入的户型图并输出家具平面布局图；将输出的家具平面布局图作为所述家具平面布局户型空间样本进行模型迭代。
5.于本发明一实施例中，所述方法中所述构建深度学习训练的样本包括：对户型样本进行精品家具设计以作为所述家具平面布局户型空间样本；获取所述家具平面布局户型空间样本的每一户型空间的矢量数据；平移并转化所述户型空间的矢量数据和家具点位信息；根据转化后的所述户型空间的矢量数据绘制3通道的rgb图片；标注所述家具平面布局户型空间样本核心家具的boundingbox。
6.于本发明一实施例中，所述方法中所述根据转化后的所述户型空间的矢量数据绘制3通道的rgb图片包括：将所述家具平面布局户型空间样本按空间类型在第一通道以不同的像素值绘制；将所述家具平面布局户型空间样本按门的类型在第二通道以不同的像素值绘制；将所述家具平面布局户型空间样本按窗的类型在第三通道以不同的像素值绘制。
7.于本发明一实施例中，所述方法中基于所述样本建立家具自动布局深度学习模型包括：对深度学习训练的样本3通道rgb图片大小尺寸通过opencv的resize函数进行统一化处理以生成448*448*3大小图片；通过cspnet卷积网络抽取统一化处理后的3通道rgb图片的语义特征生成14*14*45数组，其中，45表示所述3通道rgb图片的9个锚框与每个锚框对应5个值的乘积，每个锚框对应5个值分别为期望目标对应的类别数值、目标的中心位置横坐标数值、纵坐标数值，目标的宽和高；将所述每个锚框对应5个值分别和标注信息计算类别损失和回归损失。
8.于本发明一实施例中，所述方法对深度学习训练的样本3通道rgb图片大小尺寸进行统一化处理之前还包括：对所述3通道rgb图片在较短的尺寸维度进行补零操作。
9.于本发明一实施例中，所述方法还包括：通过focalloss进行计算类别损失。
10.于本发明一实施例中，所述方法还包括：通过giou损失进行计算回归损失以预测目标位置，其中，giouloss的计算公式为：giouloss＝1
‑
giou；giou；其中，a为3通道rgb图片中家具物体的目标框信息，b为目标家具物体预测框信息，c为根据a、b最小外接外接矩形信息。
11.为实现上述目的及其他相关目的，本发明提供基于深度学习的装修家具自动布局系统，所述系统包括：深度学习训练的样本构建模块，用于对原始户型样本进行处理以获取所述深度学习训练的样本；家具自动布局深度学习模型建立模块，用于对深度学习训练的样本信息继续处理以建立所述家具自动布局深度学习模型；输入输出模块：用于接收输入的户型图并输出家具平面布局图。
12.为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其中存储有计算机程序，所述计算机程序被处理器加载执行时，实现所述的基于深度学习的装修家具自动布局方法。
13.为实现上述目的及其他相关目的，本发明提供一种电子设备，包括：处理器、存储器及通信接口；其中，所述存储器用于存储计算机程序；所述处理器用于加载执行所述计算机程序，以使所述电子设备执行所述的基于深度学习的装修家具自动布局方法；所述通信接口用于实现访问装置与其他设备之间的通信。
14.如上所述，本发明提供的一种基于深度学习的装修家具自动布局方法及系统，解决了传统家具布局模型复杂，准确率低，设计表达弱，泛化能力差的问题。本发明以户型空间的聚类为结果，统计了一定数量的户型数据，并基于此进行家具布局的设计制作深度学习的具有科学性和分布均衡性的样本，能够很好的指导模型进行学习。该模型采用位置回归和类别预测的深度学习模型，将设计师的灵感以家具的类型和位置在不同的户型空间中表达出来。
附图说明
15.图1显示为本发明一实施例中的基于深度学习的装修家具自动布局方法的流程示意图。
16.图2显示为本发明一实施例中的构建深度学习训练的样本方法的流程示意图。
17.图3显示为本发明一实施例中的建立家具自动布局深度学习模型方法的的流程示意图。
18.图4显示为本发明一实施例中的户型样本聚类示意图。
19.图5显示为本发明一实施例中的3通道rgb图片的示意图。
20.图6显示为本发明一实施例中的电子设备的结构示意图。
21.图7显示为本发明一实施例中的基于深度学习的装修家具自动布局系统的模块示意图。
22.图8显示为本发明一实施例中的电子设备的结构示意图。。
具体实施方式
23.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
25.为了解决现有技术中传统家具布局模型复杂，准确率低，设计表达弱，泛化能力差的问题，本发明提供一种基于深度学习的装修家具自动布局方法及系统。
26.如图1所示，本实施例提供一种基于深度学习的装修家具自动布局方法，该方法包括如下步骤：
27.s11：根据家具平面布局户型空间样本构建深度学习训练的样本。
28.具体地，根据图2所示的如下步骤构建深度学习训练的样本。
29.s111:对户型图样本进行设计以生成家具平面布局户型空间样本。
30.具体地，根据户型空间聚类结果，分析户型各个空间的类型分布，在每个类型选择一定数量均衡分布的样本进行大师方案的设计以完成精品方案库的构建。需要说明的是，对于进行大师方案设计的样本数量越多越好。
31.在此之前，根据户型数据样本库获取户型样本的矢量数据，并基于户型样本的矢量数据对空间类型进行数据划分。由于每张户型样本每个户型空间都有墙线，门，窗的矢量数据，因此根据这3个维度进行对户型样本所有户型空间类别进行聚类。聚类结果如图4所示：第1列为根据户型空间样本墙线进行的聚类，构建5个墙线聚类中心，第2列为在每类墙线中心的基础上，进行了门的聚类，如第3类墙线中心，构建了2个门的聚类中心，第3列为在每类墙线和相应类别的门的基础上，进行了窗的聚类，如第3类墙线的第1类门的聚类中心上，构建了2个窗的聚类中心。
32.s112:平移并转化家具平面布局户型空间样本矢量数据和家具的点位信息。
33.具体地，将家具平面布局户型空间样本矢量数据和家具的点位信息进行平移，并转化为正整数。
34.s113:根据转化后的的矢量数据绘制三通道rgb图片。
35.具体地，将转化后的户型空间样本的矢量数据绘制成3通道的rgb图片，将各个空间根据空间类型以不同的像素值在第一通道绘制；将各个类型的门，比如标准门和推拉门推拉门用不同的像素值在第二通道绘制；将各个类型的窗，比如标准窗，落地窗和飘窗用不同的像素值在第三通道绘制，如图5所示。
36.s114:在三通道rgb图片中的标注核心家具的boundingbox。
37.具体地，对进行大师方案的设计后的户型样本中的核心家具区域的boundingbox进行标注，即将核心家具区域的左上角和右下角的点在3通道rgb图片对应位置标注出来。
例如将客餐厅的沙发区、电视区和餐桌区，卧室的卧室床区，衣柜区，书桌区等区域位置的左上角和右下角的点在在3通道rgb图片对应位置标注出来。
38.综上，三通道rgb图片和各个区域或其组合类型的boundingbox为家具平面布局户型空间样本数据。
39.s12：基于所述样本建立家具自动布局深度学习模型并训练。
40.具体地，根据图3所示的如下步骤建立深度学习训练的样本。
41.s121:将rgb图的尺寸大小进行统一化处理。
42.具体地，由于绘制而成的三通道rgb图片样本的大小不一致，在通过卷积神经网络进行语义特征提取之前，将样本的尺度大小进行统一化处理。
43.较佳地，将三通道rgb图片通过opencv的resize函数进行图片大小放缩，生成448*448*3的图片。需要说明的是，由于各个样本的长宽比不一致，需提前在图片长宽尺寸较短的维度进行补零操以保证图片能进行等比例放缩。
44.s122:提取统一化处理后的rgb通道图的语义特征。
45.具体地，通过cspnet卷积网络抽取三通道rgb图的语义特征，并将语义特征转换成期望的家具类型和位置信息。
46.进一步地，在经过cspnet卷积网络后，将448*448*3图片数据生成14*14*45的数组。其中，将448*448均分为14*14等分，每等份负责相应的区域；45为5*9，9表示卷积后的每个点对应原448*448*3图片的9个锚框，长宽比例不一致，每个锚框对应5个值，分别为对应目标的类别数值、目标的中心x，中心y，目标的宽和目标的高。
47.需要说明的是，使用cspnet卷积网络进行目标的定位检测和目标的类型预测，可以提升网络的学习能力，同时提升处理速度和减少内存消耗。
48.s123:构建深度学习模型的损失函数。
49.具体地，通过构建类别损失函数和回归损失函数进行反向传播以优化模型参数。
50.进一步地，通过focalloss进行计算类别损失。
51.进一步地，通过计算giou损失计算回归损失以预测目标位置。如图6所示，a为3通道rgb图片中家具物体区域的目标框信息，，b为目标家具物体区域预测框信息，c为a、b最小外接外接矩形框信息。
52.进一步地，giouloss的计算公式为：
53.giouloss＝1
‑
giou；
[0054][0055][0056]
当giouloss越趋近于0时，预测位置区域目标位置。
[0057]
s124:训练迭代深度学习模型。
[0058]
具体地，将s11构建的深度学习训练的样本输入到s12建立的建立家具自动布局深度学习模型，不断进行迭代训练，最终计算并优化模型参数。
[0059]
s13：接收输入的户型图并输出家具平面布局图。
[0060]
具体地，家具自动布局深度学习模型在接收到用户输入的户型图后输出家具平面布局图。
[0061]
s14：将输出的家具平面布局图作为所述家具平面布局户型空间样本进行模型迭代。
[0062]
具体地，将根据s13输出的家具平面布局图反向转换为矢量数据作为后处理模块，作为所述家具平面布局户型空间样本进行模型训练和迭代。
[0063]
实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。基于这样的理解，本发明还提供一种计算机程序产品，包括一个或多个计算机指令。所述计算机指令可以存储在计算机可读存储介质中。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。
[0064]
参阅图7，本实施例提供一种基于深度学习的装修家具自动布局系统70，作为一款软件搭载于电子设备中，以在运行时执行前述方法实施例所述的基于深度学习的装修家具自动布局方法。由于本系统实施例的技术原理与前述方法实施例的技术原理相似，因而不再对同样的技术细节做重复性赘述。
[0065]
本实施例的基于深度学习的装修家具自动布局系统70具体包括：深度学习训练的样本构建模块71、家具自动布局深度学习模型建立模块72、输入输出模块73。深度学习训练的样本构建模块71用于对原始户型样本进行处理以获取所述深度学习训练的样本；家具自动布局深度学习模型建立模块72用于对深度学习训练的样本信息继续处理以建立所述家具自动布局深度学习模型；输入输出模块73用于接收输入的户型图并输出家具平面布局图。
[0066]
本领域技术人员应当理解，图7实施例中的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个或多个物理实体上。且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，家具自动布局深度学习模型建立模块72可以为单独设立的处理元件，也可以集成在某一个芯片中实现，此外，也可以以程序代码的形式存储于存储器中，由某一个处理元件调用并执行数据处理模块72的功能。其它模块的实现与之类似。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
[0067]
参阅图8，本实施例提供一种电子设备，电子设备可以是便携式电脑、智能手机、平板电脑等设备。详细的，电子设备至少包括通过总线81连接的：存储器82、处理器83，通信接口84，其中，通信接口84用于用于实现数据访问装置与其他设备之间的通信其中，存储器82用于存储计算机程序，处理器83用于执行存储器82存储的计算机程序，以执行前述方法实施例中的全部或部分步骤。
[0068]
上述提到的系统总线可以是外设部件互连标准(peripheral pomponent interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存
储器(non
‑
volatile memory)，例如至少一个磁盘存储器。
[0069]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field－programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0070]
综上所述，本发明提供的一种基于深度学习的装修家具自动布局方法及系统，本发明以户型空间的聚类为结果，统计了一定数量的户型数据，并基于此进行家具布局的设计制作深度学习的样本，将这些具有科学性和分布均衡性的样本输入基于位置回归和类别预测的深度学习模型中进行不断的学习，并且不断的增加学习样本进行模型的迭代，最后在输入户型图后将设计师的灵感以家具的类型和位置在不同的户型空间中表达出来，以达到快速生成家装设计效果图的效果。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
[0071]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。