设施平面图中包括的标记分析装置及方法与流程

本发明涉及设施平面图中包括的标记分析装置及方法。

背景技术：

1、现有的获取三维空间信息的方法有利用全景相机的拍照方式。这就存在为了获取三维空间信息而必须亲自前往相关场所拍摄照片，拍摄于照片的实际场所的物品等暴露而可能侵犯隐私的问题。此外，利用全景相机拍照成本高昂，拍摄的图像由二维图像数据组成，存在无法提取和利用实际空间物理信息的问题。

2、另外，现有的三维空间信息获取方法有通过手工方式进行的三维建模文件制作方式。这需要专业人员亲自进行建模，因此存在人工成本高、制作时间长的问题。

3、因此，作为一种无需直接拍摄三维空间就能从二维平面图的信息中自动提取三维空间信息的技术有韩国授权专利公报第10-1638378号(基于二维图形的三维自动立体建模方法及程序)。韩国授权专利公报第10-1638378号基于二维平面图给出的空间信息和数值进行三维建模，因此可以提供高可信度的三维空间信息。

4、不过，在平面图中窗户和门的标记都构成为矩形。为了训练自动区分这些窗户和门的标记的神经网络，在使用边界框(bounding box)进行标注时存在一个局限性，即以往必须手动指定边界框，然后对其进行标注，再加上边界框只能以不可旋转的矩形形态进行标注。

5、由于具有这种局限性，因此若在平面图上门和窗户标记对角线配置，或者门和窗户的标记与其他标记相邻的情况下无法准确地标注，因此存在无法提高神经网络训练准确度的问题。

技术实现思路

1、技术问题

2、本发明的实施例要解决的课题是提供一种在平面图上自动区分门和窗户标记，以像素为单位对所区分的门和窗户的区域进行标注，以此提高用于在平面图区分窗户和门的训练的准确度的技术。

3、但本发明的实施例要实现的技术课题不限于以上所述的课题，可在本领域普通技术人员显而易见的范围内从以下要说明的内容导出各种技术课题。

4、技术方案

5、根据本发明的一个实施例的设施平面图中包括的标记分析装置包括：一个以上的存储器，其存储使得执行预定的操作的指令；以及一个以上的处理器，其可操作地连接于所述一个以上的存储器且构成为运行所述指令，所述处理器执行的操作可包括：获取多个设施平面图的操作；检测与所述多个设施平面图各自包括的矩形及与所述矩形连接的弧的操作；根据所述矩形及所述弧特定窗户区域和门区域的操作；将特定的所述窗户区域的像素标注为窗户的类别，将特定的所述门区域的像素标注为门的类别的操作；以及向基于预定的图像分割算法设计的神经网络模型输入所述多个设施平面图及以像素为单位标注的数据以训练导出所述多个设施平面图中包括的窗户和门的类别及标注的所述像素的位置的相关关系的所述神经网络模型的加权值，以此生成根据所述相关关系判别设施平面图中包括的窗户和门的位置及类别的神经网络模型的操作。

6、并且，检测的所述操作可包括：将设施平面图中包括的除黑色以外的所有部分变成白色的操作；以及根据所述黑色构成的线段或连接白色区域边缘的轮廓检测所述矩形及所述弧的操作。

7、并且，检测的所述操作可包括：去除所述设施平面图中包括的文字的操作。

8、并且，变成所述白色的操作可包括：对于设施平面图中包括的像素的rg b信息为(0，0，0)的像素保持rgb信息，将设施平面图中包括的像素的rgb信息不是(0，0，0)的像素的rgb信息变成(255，255，255)的操作。

9、并且，特定所述窗户区域和门区域的操作可包括：将所述矩形中与所述弧连接的第一矩形检测为门区域的操作；以及将所述矩形中未与所述弧连接的第二矩形检测为窗户区域的操作。

10、并且，在检测为所述门区域的操作中，存在与所述第一矩形连接且构成垂直的线段，所述弧与所述第一矩形的末端及所述线段的末端连接的情况下，可将所述第一矩形检测为门区域。

11、并且，特定所述窗户区域和门区域的操作可包括：所述矩形中宽度小于预设值或大于预设值的情况下从所述检测去除的操作。

12、并且，标注的所述操作可包括：将所述窗户及所述门以外的所有区域的像素标注为空的类别的操作。

13、并且，检测的所述操作可包括：生成从所述设施平面图通过ocr检测算法去除了文字的第一平面图的操作；生成通过以下数学式1及数学式2变换了所述第一平面图的像素信息的第二平面图的操作；

14、[数学式1]

15、dst(i)＝round(max(0，min(α*src(i)-β，255)))

16、(src(i)：像素信息的变更前元素值(x，y，z)，α：10，β：-350，dst(i)：像素信息的变更后元素值(x′，y′，z′))

17、[数学式2]

18、y＝0.5*r+o.3334*g+0.1667*b

19、(r：在数学式1求出的dst(i)的(x′，y′，z′)中的x′，g：在数学式1求出的dst(i)的(x′，y′，z′)中的y′，b：在数学式1求出的dst(i)的(x′，y′，z′)中的z′，y：一维元素值)

20、生成构成所述第二平面图的线段构成的矩形中仅大于预设宽度或小于预设宽度的部分用黑色示出的第三平面图的操作；生成将构成所述第一平面图的像素中颜色元素值为0以上30以下、彩度元素值为80以上220以下、明度元素值为150以上225以下的值的像素变换成白色的第四平面图的操作；生成在所述第一平面图适用所述第三平面图的黑色区域和所述第四平面图的白色区域的第五平面图的操作；生成通过以下数学式3至数学式5变换了所述第五平面图的像素信息的第六平面图的操作；

21、[数学式3]

22、dst(i)＝round(max(0，min(α*src(i)-β，255)))

23、(src(i)：像素信息的变更前元素值(x，y，z)，α：3，β：-350，dst(i)：像素信息的变更后元素值(x′，y′，z′))

24、[数学式4]

25、y＝0.5*r+0.3334*g+0.1667*b

26、(r：在数学式3求出的dst(i)的(x′，y′，z′)中的x′，g：在数学式3求出的dst(i)的(x′，y′，z′)中的y′，b：在数学式3求出的dst(i)的(x′，y′，z′)中的z′，y：一维元素值)

27、[数学式5]

28、y′＝(y＜40，y′＝oor y≥40，y′＝255)

29、(y：在数学式4求出的一维元素值)

30、生成连接所述第六平面图的白色区域边缘的轮廓检测矩形的操作。

31、并且，检测的所述操作可包括：生成在所述设施平面图通过ocr检测算法去除文字了的第一平面图的操作；生成通过以下数学式6至数学式8变换了所述第二平面图的像素信息的第七平面图的操作；

32、[数学式6]

33、dst(i)＝round(max(0，min(α*src(i)-β，255)))

34、(src(i)：像素信息的变更前元素值(x，y，z)，α：57，β：-12500，dst(i)：像素信息的变更后元素值(x′，y′，z′))

35、[数学式7]

36、y＝0.5*r+0.3334*g+0.1667*b

37、(r：在数学式6求出的dst(i)的(x′，y′，z′)中的x′，g：在数学式6求出的dst(i)的(x′，y′，z′)中的y′，b：在数学式6求出的dst(i)的(x′，y′，z′)中的z′，y：一维元素值)

38、[数学式8]

39、y′＝(y＝0，y′＝oor y≠0，y′＝255)

40、(y：在数学式7求出的一维元素值)

41、生成连接了所述第七平面图的白色区域边缘的轮廓的操作；以及根据道格拉斯-普克算法对所述轮廓近似化以检测近似化的所述轮廓中相当于凸包(convex hull)的轮廓，将所述凸包(convex hull)构成的宽度在预定范围以内的情况检测为弧的操作。

42、并且，生成所述神经网络模型的操作可包括：设置成向根据mask r-cn n算法设计的神经网络的输入层输入所述多个设施平面图，设置成向输出层输入所述多个设施平面图中包括的窗户和门的类别及标注的所述像素的位置以训练用于导出所述多个设施平面图中包括的窗户和门的类别及标注的所述像素的位置之间的相关关系的神经网络的加权值的操作。

43、根据本发明的一个实施例，可包括包含所述装置生成的神经网络模型的装置。

44、根据本发明的一个实施例的由设施平面图中包括的标记分析装置执行的设施平面图中包括的标记分析方法可包括：获取多个设施平面图的步骤；检测与所述多个设施平面图各自包括的矩形及与所述矩形连接的弧的步骤；根据所述矩形及所述弧特定窗户区域和门区域的步骤；将特定的所述窗户区域的像素标注为窗户的类别，将特定的所述门区域的像素标注为门的类别的步骤；以及向基于预定的图像分割(image segmentation)算法设计的神经网络模型输入所述多个设施平面图及以像素为单位标注的数据以训练用于导出所述多个设施平面图中包括的窗户和门的类别及标注的所述像素的位置的相关关系的所述神经网络模型的加权值，以此生成根据所述相关关系判别设施平面图中包括的窗户和门的位置及类别的神经网络模型的步骤。

45、技术效果

46、根据本发明的实施例，能够生成在平面图上自动区分门和窗户标记并以像素为单位对所区分的门和窗户的区域进行标注以在平面图中准确地区分窗户和门的模型。

47、根据本发明的实施例生成的图像分割模型和韩国授权专利公报第10-1638378号(基于二维图的三维自动立体建模方法及程序)的技术一起使用的情况下，能够更准确地区分二维平面图的门和窗户，因此能够执行高效率的三维建模。

48、此外，还可提供通过本说明书直接或间接了解到的多种效果。