基于深度学习的户型图比例尺检测方法、装置及电子设备与流程

1.本发明涉及家装设计领域，特别是涉及一种基于深度学习的户型图比例尺检测方法、装置及电子设备。


背景技术：

2.目前，在家装行业户型图自动识别、家居自动布局及家装数字化建设，都需要检测户型内所有构件的物理尺寸，那么对于户型图比例尺的检测显得尤为重要。现有技术中户型图比例尺主要是通过手动输入而计算获得，以及采用常规的ocr技术，前者人工方式主要有效率低下、准确率低和无法打通户型识别的全自动链路等问题，后者存在比例尺区域定位的泛化能力不够以及比例尺识别率低等问题。


技术实现要素：

3.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于深度学习的户型图比例尺检测方法、装置及电子设备，用于解决现有技术中的以上问题。
4.为实现上述目的及其他相关目的，本发明提供一种基于深度学习的户型图比例尺检测方法、装置及电子设备，所述方法包括：获取户型图标尺区域位置；获取所述标尺区域中的物理尺寸区域位置；识别所述物理尺寸区域内的物理尺寸值；构造标尺端点模板对并与所述标尺区域进行匹配，在匹配度超过预设阈值时获取所述标尺端点模板对的位置并计算所述标尺端点对的位置；根据所述标尺端点对的位置计算所述标尺的像素数量；对所述物理尺寸及所述标尺进行配对并根据所述标尺的像素数量计算所述户型图比例尺；验证所述户型图比例尺准确性。
5.于本发明一实施例中，所述方法还包括：将所述户型图转化为灰度图并计算所述灰度图的像素直方图；根据所述像素直方图确定所述灰度图像素转化阈值；根据所述像素转化阈值将所述灰度图转化为黑白图。
6.于本发明一实施例中，所述方法还包括根据训练完成的户型图检测模型检测所述户型图所在矩形区域并获取所述区域顶点坐标；对所述户型图所在矩形区域根据所述顶点坐标向外围区域扩展；对所述扩展区域进行膨胀腐蚀处理，所述处理后的扩展区域为所述标尺区域；获取所述标尺区域坐标位置。
7.于本发明一实施例中，所述方法还包括：检测所述标尺区域中物理尺寸并定位获取所述物理尺寸所在位置坐标；通过腐蚀膨胀拆分所述物理尺寸中数字；根据预先建立的数字预测模型预测所述物理尺寸中数字对应数值。
8.于本发明一实施例中，所述方法还包括：根据户型图标尺端点类型构建对应标尺端点模板对；通过所述标尺端点模板遍历所述户型图的标尺区域，根据所述标尺端点模板与所述户型图的标尺区域重合像素数值数量计算所述标尺端点模板与所述标尺区域的匹配度。
9.于本发明一实施例中，所述方法还包括：根据所述物理尺寸区域位置与标尺端点
对连线所在位置将所述物理尺寸值与所述标尺进行配对；根据配对成功的物理尺寸及标尺像素数量确定对应标尺的比例尺；根据偏差数值小于预设阈值的标尺比例尺数值确定所述户型图比例尺，其中，所述预设阈值可动态调整。
10.于本发明一实施例中，所述方法还包括：对比确定所述户型图比例尺和所述标尺像素数量的乘积与所述标尺物理尺寸值的偏差值；当存在标尺偏差值小于预设偏差值阈值时，所述户型图比例尺准确率符合标准，否则重新检测。
11.为实现上述目的及其他相关目的，本发明提供一种基于深度学习的户型图比例尺检测装置，所述装置包括：位置获取模块，用于定位并获取所述标尺区域位置、物理尺寸区域位置、标尺端点对位置；文本识别模块，用于处理并预测所述物理尺寸区域内物理尺寸值；构造模块，用于根据标尺端点类型构建所述标尺端点模板对；匹配模块，用于将所述标尺端点模板对与所述标尺区域进行匹配；计算模块，用于计算户型图比例尺；验证模块，用于验证户型图比例尺的准确性。
12.为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其中存储有计算机程序，所述计算机程序被处理器加载执行时，实现所述基于深度学习的户型图比例尺检测方法。
13.为实现上述目的及其他相关目的，本发明提供一种电子设备，包括：处理器、存储器；其中，所述存储器用于存储计算机程序；所述处理器用于加载执行所述计算机程序，以使所述电子设备执行所述基于深度学习的户型图比例尺检测方法。
14.如上所述，本发明提供的一种基于深度学习的户型图比例尺检测方法、装置及电子设备，通过目标检测提取标尺区域，提高了比例尺检测的精准率和计算速度，通过文本识别和像素级模板匹配定位极大提高检测的召回率，以及采用反向统计实现检测结果的自我验证提高比例尺检测的精确率，从而提升家装设计师的设计效率，打通户型识别的全自动链路，加快家装行业数字化建设的发展。
附图说明
15.图1显示为本发明一实施例中的基于深度学习的户型图比例尺检测方法的流程示意图。
16.图2显示为本发明一实施例中的基于深度学习的户型图比例尺检测方法的待检测户型图的示意图。
17.图3显示为本发明一实施例中的基于深度学习的户型图比例尺检测装置结构示意图。
18.图4显示为本发明一实施例中的电子设备的示意图。
具体实施方式
19.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
20.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护
的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.在本发明的描述中，需要说明的是，术语“第一”、“第二”、等仅用于区分描述，而不能理解为指示或暗示相对重要性。
22.当前户型图一般指的是平面空间布局图，通常户型图的四周提供了空间外围墙体的尺寸标注，方便用户房屋整体的长度信息。但在进行家居自动布局及家装数字化建设，还需要计算户型内所有构件的物理尺寸，而为计算所有构件的物理尺寸则需检测所述户型图的比例尺，基于此，本发明提供一种基于深度学习的户型图比例尺检测方法、装置及电子设备，下面通过实施例进行详细介绍。
23.参照图1，本实施例提供一种基于深度学习的户型图比例尺检测方法，该方法包括如下步骤：
24.s11：检测户型图标尺区域位置。
25.具体地，将户型图进行二值化，其中二值化是将彩色户型图转换为灰度图，然后将灰度图根据像素转化阈值进一步转化为黑白图。需要说明的是，由于户型图的多样性，该像素转化阈值需自适应于所有户型图。具体而言，首先计算户型图灰度处理后的像素直方图，然后统计其分布情况，最后找到白色像素255前一个凹点对应的像素值，将该值作为上述像素转化阈值，即将其中大于该转化阈值的像素值转为白色像素值255，小于该阈值的像素值转为黑色像素值0，以将灰度图转化为黑白图。
26.进一步地，通过训练完成的efficientdet目标检测模型对户型图进行户型矩形区域检测，即根据户型图户型区域的左上角坐标及右下角坐标提取户型矩形区域，根据检测出来的户型区域的矩形边框的上下左右四周，分别向上和向下扩展或者向左和向右拓展。优选地，通过向上和向右拓展到户型图的上下边缘，形成两个区域，然后在该区域内通过opencv实现闭运算，即先膨胀再腐蚀，将灰黑像素先向外扩展蔓延，再整体向内收缩，将多段标尺形成上下两个整块标尺区，如图2所示，户型图上方区域h1、下方区域h2对应的矩形区域即为该户型图标尺区域。最后获取标尺区域左上角坐标和右下角坐标。
27.s12：获取所述标尺区域中的物理尺寸区域位置。
28.具体地，根据不同户型图存在的不同字体的数字通过深度学习方法并通过数字样本增广，建立数字目标检测模型，通过对标尺区域中物理尺寸进行目标检测并定位获取所述物理尺寸所在位置坐标，优选地获取该物理尺寸区域的左上角和右下角坐标。如图2所示，该户型图b对应的区域即为该户型图当中一个物理尺寸所在区域。
29.s13：识别所述物理尺寸区域内的物理尺寸值。
30.具体地，根据s12获取物理尺寸区域后对区域内数字进行拆分识别。具体而言通过opencv库的开运算，即先腐蚀后膨胀，对灰黑像素向内收缩再扩张，将定位到的物理尺寸区域内的所有数字进行拆分。
31.进一步地，对每个数字通过卷积神经网络提取该区域的语义特征，建立数字预测模型预测该数字属于0～9的概率，对比该数字属于0～9概率的大小，选择最高概率的数字作为该数字的预测值。例如通过softmax函数预测该数字属于0～9的概率。
32.s14：构造标尺端点模板对并与所述标尺区域进行匹配，在匹配度超过预设阈值时
获取所述标尺端点模板对的位置并计算所述标尺端点对的位置。
33.具体地，根据目前在线平台的户型图样，对户型图标尺端点进行分类，例如k型、i型等标尺端类型。统计户型图片中标尺端点区域占用像素量，根据该像素量构建针对不同类型标尺端点模板对。该标尺端点模板对由一对相向的标尺端点模板组成，即由标尺左右两端组成，一对标尺端点构成一段标尺，如图2中a1和a2对应的标尺端点所示。
34.进一步地，根据步骤s11，该户型图已做二值化处理，故采用一对2维数组构造标尺端点模板对，其中使用像素值255表示空白区域，像素值0表示标尺。例如根据大数据统计，户型图中标尺端点区域占用像素量不超过10x 10，故可以构建10x 10的二维数组作为标尺端点模板对。
35.进一步地，用每组模板对遍历二值化后的户型图的标尺区域，在遍历过程中计算模板数组中像素值为0的值和标尺区域像素值为0值重复的数量，通过像素值为0的重复数量与模板像素总量计算匹配度。
36.进一步地，在匹配度大于预设阈值时，获取标尺端点模板对的位置坐标，并根据该位置计算对应标尺端点对的位置。其中，所述预设阈值为经大量测试获得。
37.s15：根据所述标尺端点对的位置确定所述标尺的像素数量。
38.具体地，通过标尺端点对的位置坐标计算该段标尺对应的像素点数量，若通过对户型图上下区域扩展检测户型图标尺区域，则标尺端点对的两个横坐标的差值即为标尺像素数量，若通过对户型图左右区域扩展检测户型图标尺区域，则标尺端点对的两个纵坐标的差值即为标尺像素数量。
39.s16：对所述物理尺寸及所述标尺进行配对并根据所述标尺的像素数量确定所述户型图比例尺。
40.具体地，根据步骤s12获取的物理尺寸区域位置与步骤s15获取的标尺端点对位置进行物理尺寸值和标尺的配对。
41.进一步地，若物理尺寸区域矩形框与标尺端点对位置处于同一标尺区域且物理尺寸区域矩形框在标尺端点对之间，对应的标尺和物理尺寸值配对成功。即若该段标尺处于户型图上标尺区域或下标尺区域内，则需物理尺寸区域矩形框横坐标在标尺端点对横坐标之间，对应的标尺和物理尺寸值配对成功；若该标尺处于户型图左标尺区域或右标尺区域内，则需物理尺寸区域矩形框纵坐标在标尺端点对纵坐标之间，对应的标尺和物理尺寸值配对成功。
42.进一步地，根据配对成功的物理尺寸值及标尺像素数量计算对应标尺的比例尺，由此可得户型图内多个比例尺。
43.需要说明的是，由于标尺像素点数量计算可能会有一定误差，使得计算的多个比例尺也会存在一定的偏差值。在偏差值大于阈值时，将该比例尺过滤掉，根据剩余比例尺计算该户型图比例尺，其中，该阈值根据统计学原理综合确定。
44.s17：验证所述户型图比例尺准确性。
45.具体地，根据步骤s16获取的户型图比例尺与步骤s15获取的标尺对应像素数量反向验证该户型图比例尺的准确性，即将每段标尺对应像素数量与步骤s16获取的户型图比例尺乘积与对应标尺的物理尺寸值进行对比，当有一段标尺的乘积与对应的物理尺寸值偏差小于预设偏差值阈值时，该户型图比例尺准确率符合标准，否则需重新进行比例尺检测。
如图2所示，c表示该户型图比例尺，该比例尺为19.45，标尺a1a2之间像素数量经步骤s15计算所得为150个像素点，比例尺与标尺a1a2像素点数量乘积为2918，对比该段标尺物理尺寸值2899，偏差值在19，若比例尺验证预设偏差值阈值设为10，标尺a1a2偏差值则大于预设值，继续验证下一段标尺偏差值，若所有标尺偏差值都大于预设值，则重新进行比例尺检测。
46.实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。基于这样的理解，本发明还提供一种计算机程序产品，包括一个或多个计算机指令。所述计算机指令可以存储在计算机可读存储介质中。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。
47.参阅图3，本实施例提供一种基于深度学习的户型图比例尺检测装置30，作为一款装置搭载于电子设备中，以在运行时执行前述方法实施例所述的基于深度学习的户型图比例尺检测方法。由于本装置实施例的技术原理与前述方法实施例的技术原理相似，因而不再对同样的技术细节做重复性赘述。
48.本实施例的基于深度学习的户型图比例尺检测装置30具体包括：位置获取模块31、文本识别模块32、构造模块33、匹配模块34、计算模块35、验证模块36。位置获取模块31用于定位并获取所述标尺区域位置、物理尺寸区域位置、标尺端点对位置；文本识别模块32用于处理并预测所述物理尺寸区域内物理尺寸值；构造模块33用于根据标尺端点类型构建所述标尺端点模板对；匹配模块34用于将所述标尺端点模板对与所述标尺区域进行匹配；计算模块35用于计算户型图比例尺；验证模块36用于验证户型图比例尺的准确性。
49.本领域技术人员应当理解，图3实施例中的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个或多个物理实体上。且上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，匹配模块34可以为单独设立的处理元件，也可以集成在某一个芯片中实现，此外，也可以以程序代码的形式存储于存储器中，由某一个处理元件调用并执行匹配模块34的功能。其它模块的实现与之类似。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
50.参阅图4，本实施例提供一种电子设备，电子设备可以是便携式电脑、智能手机、平板电脑等设备。详细的，电子设备至少包括通过总线41连接的：存储器42、处理器43，其中，存储器42用于存储计算机程序，处理器43用于执行存储器42存储的计算机程序，以执行前述方法实施例中的全部或部分步骤。
51.上述提到的系统总线可以是外设部件互连标准(peripheral pomponent interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存
储器(non
‑
volatile memory)，例如至少一个磁盘存储器。
52.上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field－programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
53.综上所述，本发明提供的一种基于深度学习的户型图比例尺检测方法、装置及电子设备，能通过文本识别和像素级模板匹配定位提高模型的召回率，通过统计学习方法实现检测结果的自我验证，提高比例尺检测的精确率，从而提升家装设计师的设计效率，加快家装行业数字化建设的发展。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
54.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。