建筑物楼层平面图信息的自动识别和使用的制作方法

文档序号:29435890发布日期:2022-03-30 08:42阅读:485来源:国知局
建筑物楼层平面图信息的自动识别和使用的制作方法

1.以下公开内容大体上涉及用于自动确定建筑物的属性及其楼层平面图的技术,以及用于自动识别具有满足目标标准的属性的建筑物楼层平面图以及用于随后以一种或多种自动方式使用所识别的楼层平面图的技术,以便至少部分地基于建筑物的房间的属性来自动确定具有与一个或更多个其他指示的建筑物的楼层平面图具有相似性的楼层平面图的一个或更多个建筑物,和/或至少部分地基于用于互连房间的邻接标准或至少部分地基于与房间内部和视图相关的其他指定属性自动确定具有带属性的楼层平面图的一个或更多个建筑物。


背景技术:

2.在例如建筑分析、财产检查、房地产采集和开发、总承包、改进成本估计等的各种领域和环境中,可能希望知道房屋、办公室或其他建筑物的内部,而不必物理地行进到和进入建筑物。然而,可能难以有效地捕获、表示和使用这样的建筑物内部信息,包括识别满足感兴趣的标准的建筑物,并且包括向远程位置处的用户显示在建筑物内部捕获的可视信息(例如,使用户能够完全理解内部的布局和其他细节,包括以用户选择的方式控制显示)。此外,尽管建筑物的楼层平面图可以提供关于建筑物内部的布局和其他细节的一些信息,但是楼层平面图的这种使用具有一些缺点,包括楼层平面图会难以构造和维护、难以精确地缩放和填充关于房间内部的信息、难以可视化和以其他方式使用等。
附图说明
3.图1a至图1b是描述在本公开的实施例中使用的示例性建筑物内部环境和计算系统的图,包括生成和呈现表示建筑物内部的信息,和/或确定和进一步使用关于建筑物的楼层平面图的基于属性的评估的信息。
4.图2a至图2k示出了自动识别具有满足目标标准的属性的建筑物楼层平面图,并随后以一种或多种自动方式使用所识别的楼层平面图的示例。
5.图3是示出适于运行执行本公开中所描述的至少一些技术的系统的实施例的计算系统的框图。
6.图4示出了根据本公开的实施例的用于图像捕获和分析(ica)系统例程的流程图的示例实施例。
7.图5a至图5b示出了根据本公开的实施例的用于映射信息生成管理器(migm)系统例程的流程图的示例性实施例。
8.图6a至图6b示出了根据本公开的实施例的用于楼层平面图相似度确定管理器(fpsdm)系统例程的流程图的示例性实施例。
9.图7示出了根据本公开的实施例的用于构建地图查看器系统例程的流程图的示例性实施例。
具体实施方式
10.本公开描述了用于使用计算设备来执行自动操作的技术,所述自动操作涉及识别具有满足目标标准的属性的建筑物楼层平面图,并且随后以一种或多种其他自动方式使用所识别的楼层平面图,和/或涉及从所采集的关于那些建筑物的信息来确定建筑物的属性及其楼层平面图。在至少一些实施例中,建筑物楼层平面图的这种识别至少部分地基于生成并使用为楼层平面图生成并与楼层平面图相关联的邻接图,以表示建筑物的房间与建筑物的其他属性之间的互连,并且在一些情况下进一步基于生成并使用简明地表示邻接图的信息的嵌入向量-在至少一些实施例中,这种楼层平面图可以是用于从在建筑物的内部的一个或更多个采集位置处采集的全景图像或其他图像(例如,直线透视图像)生成或以其他方式与之相关联(例如,不具有或不使用来自任何深度传感器或其他距离测量设备的关于从图像的采集位置到周围建筑物中的墙壁或其他对象的距离的信息)的竣工的多室建筑物(例如,房屋,办公建筑物等)。此外,在至少一些实施例中,建筑物的属性及其楼层平面图的这种确定可以包括至少生成用于特定建筑物的楼层平面图的部分初始邻接图,并且使用该初始邻接图(和/或对应的嵌入向量)来预测关于建筑物的房间的附加信息,以便将初始邻接图(或对应的嵌入向量)作为输入提供给一个或更多个经训练的机器学习模型(例如,一个或更多个经训练的神经网络),用于根据所采集的关于建筑物的各种信息来预测房间的类型和/或根据所采集的关于建筑物的各种信息来预测建筑物中的房间之间的连接的类型,以及用于更新初始邻接图和/或相应的嵌入向量和/或底层楼层平面图的这种预测信息。建筑物楼层平面图中的信息可以以各种方式使用(例如,以将楼层地图识别为匹配一个或更多个指定标准),并且关于被识别为具有满足目标标准的属性的建筑物楼层平面图的信息可以在各种实施例中以各种方式进一步使用,诸如用于控制移动设备(例如,自主车辆)的导航,用于在相应gui(图形用户界面)中的一个或更多个客户端设备上进行显示或其他呈现等。下面包括关于具有满足目标标准的属性的建筑物楼层平面图的自动识别和使用的附加细节,并且在至少一些实施例中,可以经由楼层平面图相似度确定管理器(“fpsdm”)系统的自动操作来执行这里描述的一些或全部技术,如下面进一步讨论的。
11.如上所述,fpsdm系统的自动操作可以包括在至少一些实施例中生成并随后使用用于楼层平面图的邻接图,而在其他实施例中以其他格式生成用于楼层平面图的邻接信息。建筑物的这种楼层平面图可以包括关于建筑物的各种信息(例如,房间、房间之间的门道和其他房间间连接、外部门道、窗户等)的2d(二维)表示,并且可以进一步与关于建筑物(在某些情况下包括3d,或建筑物的三维模型和/或2.5d,或建筑物的二维半模型;在建筑物的房间中捕获的图像,包括全景图像等)的各种类型的补充或另外的附加信息(例如,用于多个属性的数据)相关联,如下面更详细讨论的。这种邻接图可以存储或以其他方式包括建筑物的一些或全部这种属性数据,例如至少一些这种属性数据被存储在邻接图的节点中或以其他方式与邻接图的节点相关联,所述邻接图的节点表示楼层平面图的一些或全部房间(例如,每个节点包含关于由节点表示的房间的属性的信息),和/或至少一些这种属性数据被存储在节点之间的边缘中或以其他方式与邻接图的节点之间的边缘相关联,所述节点之间的边缘表示经由门或其他房间间的开口在邻近房间之间的连接,或者在一些情况下进一步表示共享至少一个墙壁的至少一部分和可选地全墙壁的邻近房间,而在这两个房间之间没有任何直接的房间间开口(例如,每个边缘包含关于由边缘互连的节点表示的房间之间
的连接状态的信息,例如在两个房间之间是否存在房间间开口,和/或一种类型的房间间开口或两个房间之间的其他类型的邻接,例如没有任何直接的房间间墙壁开口)。在其他实施例和情形中,可以表示两个或更多个邻近房间的组,包括在一些实施例和情形中具有三个或更多个邻近房间的组而不是两个邻近房间的对。在一些实施例和情形中,邻接图可以进一步表示建筑物外部的至少一些信息,例如邻近建筑物和外部之间的门或其他开口的外部区域和/或与建筑物具有相同性质的其他结构(例如,车库、大棚、水池房、单独的客房、岳母/婆婆单元、水池、露台、平台、人行道、花园、庭院等)-这样的外部区域和/或其他结构可以以各种方式在邻接图中表示,例如通过用于每个这样的外部区域或其他结构的单独节点,或者作为与相应节点或边缘相关联的属性信息,或者整体与邻接图(对于整个建筑物)相关联。在至少一些实施例中,邻接图还可以具有用于相应房间和房间间连接的相关联的属性信息,以便表示在邻接图内在楼层平面图上可用并且以其他方式与楼层平面图相关联的一些或全部信息(或者在一些实施例和情况中,建筑物的3d模型中并且与建筑物的3d模型相关联的信息)-例如,如果存在与楼层平面图相关联的图像,对应的可视属性可以被包括在邻接图内。在具有除了邻接图之外的形式的邻接信息的实施例中,一些或全部上面指示类型的信息可以被存储在邻接信息中或以其他方式与邻接信息相关联,包括关于房间的信息、关于房间之间的邻接的信息、关于邻近房间之间的连接状态的信息、关于建筑物的属性的信息等。下面包括关于邻接图的生成和使用的附加细节,包括关于图2d至图2k的示例及其相关描述。
12.还如上所述,fpsdm系统的自动操作还可以包括生成嵌入向量,并且随后使用嵌入向量来简洁地表示至少一些实施例中的建筑物的平面图的邻接图,以便以使能从嵌入向量重构楼层平面图的方式来概括楼层平面图的语义含义和空间关系。在各种实施例中,例如通过使用表示学习,可以以各种方式生成这样的嵌入向量,并且在至少一些这样的实施例中,可以以人类读者不容易辨别的格式对这样的嵌入向量进行编码。用于生成这种嵌入向量的技术的非排他性示例包括在以下文献中,这些文献通过引用整体并入在本文中:jiwoong park等人的“用于无人监督的图形表示学习的对称图形卷积自动编码器(symmetric graph convolution autocoder for unsupervised graph representation learning)”,2019国际计算机视觉会议,2019年8月7日;william lhamilton等人的“关于大图形的感应表示学习(inductive representation learning on large graphs)”,2017年第31届神经信息处理系统会议,2017年6月7日;以及thomas n.kipf等人的“可变图形自动编码器(varitional graph auto-encoders)”,2017年第30届神经信息处理系统会议(贝叶斯深度学习研讨会),2016年11月21日。下面包括关于嵌入向量的生成和使用的其他细节,包括关于图2d-图2k的示例及其相关描述。
13.此外,如上所述,楼层平面图可以具有与各个房间和/或与房间间连接和/或与作为整体的相应建筑物相关联的各种信息,并且用于这种楼层平面图的相应邻接图和/或嵌入向量可以包括一些或全部这种相关联的信息(例如,表示为邻接图中的房间的节点的属性和/或邻接图中的房间间连接的边缘的属性和/或表示为以下项的属性:邻接图作为一个整体,具有在相关嵌入向量中编码的相应信息)。这种相关联的信息可以包括各种类型的信息,包括关于以下非排他性示例中的一个或更多个的信息:房间类型,房间尺寸,窗户和门的位置以及房间中的其他房间间开口,房间形状,用于每个外部窗户的视图类型,关于在房
间中拍摄的图像的信息和/或副本,关于在房间中捕获的音频或其他数据的信息和/或副本。关于一个或更多个房间的特征的各种类型的信息(例如,根据图像分析自动识别,由fpsdm系统的操作员用户和/或由最终用户提供,最终用户查看关于楼层平面图的信息和/或由ica和/或migm系统的操作员用户作为捕获关于建筑物的信息和为建筑物生成楼层平面图的一部分等),房间间连接的类型,房间间连接的尺寸等。此外,在至少一些实施例中,可以为楼层平面图确定一个或更多个附加的主观属性并将其与楼层平面图相关联,例如通过一个或更多个训练的分类神经网络对楼层平面图信息(例如,用于楼层平面图的邻接图)进行分析(例如,以识别诸如开放的楼层平面图的楼层平面图特征;典型/正常与非典型/奇数/不寻常的楼层平面图;标准与非标准楼层平面图;可达性友好的楼层平面图,例如通过关于一个或更多个特征可达的,例如残疾人和/或高龄;等)-在至少一些这样的实施例中,一个或更多个分类神经网络是fpsdm系统的一部分,并且通过使用标识具有每个可能特征的楼层平面图的标记数据的监督学习来训练,而在其他实施例中,这样的分类神经网络可以代之以使用无监督聚类。下面包括关于确定和使用用于楼层平面图的属性信息的附加细节,包括关于图2d-图2k的示例及其相关联的描述。
14.在邻接图(或其他邻接信息)和可选的嵌入向量被生成用于建筑物的楼层平面图之后,所生成的信息可以被fpsdm系统用作指定的标准,以在各种实施例中以各种方式自动确定其他建筑物的一个或更多个其他类似的楼层平面图。
15.例如,在一些实施例中,识别初始楼层平面图,并且生成用于初始楼层平面图的对应嵌入向量,并将其与用于其他候选楼层平面图的生成的嵌入向量进行比较,以便确定初始楼层平面图的嵌入向量与一些或全部候选楼层平面图的嵌入向量之间的差异,并且较小的差异对应于较高的相似度。在各种实施例中,可以以各种方式确定两个这样的嵌入向量之间的差异,包括作为非排他性的示例,通过使用以下距离测量中的一个或更多个:欧几里德距离,余弦距离,图形编辑距离,由用户指定的定制距离测量等;和/或以其他方式确定相似性,而不使用这种距离测量。在至少一些实施例中,可以以所述方式识别和使用多个这样的初始楼层平面图,以确定用于多个初始楼层平面图的一组嵌入向量与用于多个其他候选楼层平面图中的每一个的嵌入向量之间的组合距离,例如通过确定用于每个初始楼层平面图到给定的其他候选楼层平面图的单独距离,以及通过以一种或多种方式组合多个单独确定的距离(例如,平均值或其他平均值,累积总数等),用于生成多个初始楼层平面图的嵌入向量组到给定的其他候选楼层平面图的组合距离。下面包括关于比较用于楼层平面图的嵌入向量以确定楼层平面图的相似性的附加细节,包括关于图2d-图2k的示例及其相关描述。
16.此外,在一些实施例中,识别初始楼层平面图,并且生成用于初始楼层平面图的对应的邻接信息(可选地以邻接图的形式,但是可选地能够存储在数据库或其他数据结构或其他格式中),并且将其与所生成的和/或所提供的用于多个其他候选楼层平面图的邻接信息(例如,以邻接图的形式,或者相反以与用于初始楼层平面图的邻接信息相同的格式)进行比较,以确定初始楼层平面图的邻接信息与一些或全部候选楼层平面图的邻接信息之间的差异(例如,使用距离测量或其他相似性测量)。作为非排他性的示例,在至少一些这样的实施例中,通过向训练的相似性神经网络提供两个邻接图并接收作为输出的相似度的指示(例如,二进制是或否,来自相似度的范围或枚举列表的值等),通过直接比较两个邻接图(例如,利用图形编辑距离和/或同构,置信传播,特征值法和/或其他特征提取,迭代方法,
利用索引的子图匹配,近似约束子图匹配,挖掘相干稠密子图,张量分析,图形范围,经由凸松弛的子图匹配等),通过直接比较格式不同于邻接图的两组邻接信息等,可以执行这种对两个这样的邻接信息组之间的相似性的确定-在至少一些实施例中,一个或更多个这样的相似性神经网络是fpsdm系统的一部分,并且使用未标记或标记的数据来训练以识别类似的楼层平面图,例如经由使用标记的数据的监督学习,或者替代地经由使用未标记的数据的无监督聚类。在至少一些实施例中,可以以所述方式识别和使用多个这样的初始楼层平面图,以确定用于多个初始楼层平面图的两个或更多个邻接信息组和用于多个其他候选楼层平面图中的每一个的附加邻接信息组之间的组合相似度,例如通过确定用于每个初始楼层平面图到给定的其他候选楼层平面图的个体相似度,以及通过以一种或多种方式组合多个个体确定的相似度(例如,平均值或其他平均值,累积总数等),用于为多个初始楼层平面图的邻接图组生成与给定的其他候选楼层平面图的邻接图组的组合相似度。下面包括关于比较邻接图或为楼层平面图生成的其他邻接信息的附加细节,以更一般地确定楼层平面图和/或相关建筑物的相似性,包括关于图2d-图2k及其相关描述的示例。
17.此外,在一些实施例中,接收除了一个或更多个初始楼层平面图之外的一个或更多个明确指定的标准(是除了接收一个或更多个初始楼层平面图之外还是代替接收一个或更多个初始楼层平面图),并且将用于多个候选楼层平面图中的每一个的对应的邻接图和/或嵌入向量与指定的标准进行比较,以便确定哪些候选楼层平面图满足指定的标准(例如,是高于所定义的相似性阈值的匹配)。所指定的标准可以是各种实施例和情况中的各种类型,例如一个或更多个以下非排他性示例:与房间和/或房间间连接和/或建筑物的特定属性相对应的搜索项作为整体(可以独立地验证和/或复制客观属性,和/或通过使用相应的分类神经网络来确定主观属性);识别两个或两个以上房间或其他区域之间的邻接信息的信息;关于可从建筑物的窗户或其他外部开口获得的视图的信息;关于建筑物的窗户或其他结构元件的方向的信息(例如,以便确定经由那些窗户或其他结构元件可获得的自然照明信息,可选地在指定的日期和/或季节和/或时间);等。这种指定标准的非排他性说明性示例包括以下:邻近卧室的浴室(即,没有居间的大厅或其他房间);与家庭房间邻近的平台(可选地在它们之间具有特定类型的连接,例如法式门);面向南的2间卧室;具有瓷砖覆盖岛和面向北的视图的厨房;主卧室,具有海洋的视图或具有更一般的水的视图;这种指定标准的任何组合;等。以下包括关于规范和标准的使用的附加细节,以识别匹配的或其他类似的楼层平面图,包括通过使用邻接图和/或用于楼层平面图的嵌入向量,包括关于图2d-图2k的示例及其相关联的描述。
18.如上所述,在至少一些实施例中,fpsdm系统的自动操作可以进一步包括以一种或多种其他自动方式使用被识别为与指定标准(例如,用于比较的一个或更多个指示的初始楼层平面图,指定属性或其他邻接信息等)充分相似(例如,高于所定义的相似性阈值)的一个或更多个目标楼层平面图。
19.例如,在一些实施例中,识别与指定标准相似的多个目标楼层平面图,并将其用于进一步的自动分析以确定该组目标楼层平面图的特征。用于该组目标楼层平面图的这种确定的特征的非排他性说明性示例可以包括以下中的一个或更多个:不同于指定标准的目标楼层平面图的公共或共享属性(例如,由全部或指定的最小量的目标楼层平面图共享);目标楼层平面图的聚集特征(例如,来自目标楼层平面图的全部或指定的最小量),例如由多
个目标楼层平面图代表的建筑物的平均值或累积总评估值;等。在各种实施例中,来自进一步的自动分析的信息然后可以以各种方式用于进一步的自动操作(例如,由fpsdm系统,由其他系统等)。以下包括关于使用多个识别的目标楼层平面图用于进一步自动分析的其他细节,包括关于图2d-图2k的示例及其相关描述。
20.此外,在一些实施例中,识别与特定最终用户相关联的指定标准相似的一个或更多个目标楼层平面图(例如,基于由最终用户选择的和/或被识别为最终用户先前感兴趣的一个或更多个初始目标楼层平面图),并且在进一步的自动活动中使用,以个性化与最终用户的交互。在各种实施例中,这种进一步的自动个性化交互可以是各种类型。下面包括关于使用一个或更多个识别的目标楼层平面图用于进一步的自动最终用户个性化的附加细节,包括关于图2d-图2k的示例及其相关描述。
21.此外,在一些实施例中,识别类似于与特定最终用户相关联的特定标准的一个或更多个目标楼层平面图(例如,基于由最终用户选择的一个或更多个初始目标楼层平面图和/或基于由最终用户指定的一个或更多个搜索标准等被识别为最终用户先前感兴趣的),并且用于进一步的自动活动中以向最终用户显示或以其他方式呈现关于一个或更多个目标楼层平面图的信息和/或与这些楼层平面图相关联的附加信息。在各种实施例中,这种进一步的自动呈现活动可以是各种类型。以下包括关于用于进一步的最终用户呈现的所标识的目标楼层平面图的使用的附加细节,包括关于图2d-图2k的示例及其相关联的描述。
22.在一些实施例中,所描述的与具有满足目标标准的属性的建筑物楼层平面图的自动识别相关的技术可以进一步包括附加操作。例如,在至少一些实施例中,可以使用机器学习技术来学习邻接图的属性和/或其他特征,以在生成的相应嵌入向量中进行编码,该嵌入向量例如是最能使随后自动识别具有满足目标标准(例如,卧室数;浴室数;房间之间的连通性;每个房间的大小和/或尺寸;每个房间中的窗户/门的数量;可从外部窗户获得的视图的类型,例如水,山,后院或财产的其他外部区域等;在每个房间中的窗户/门的位置;等)的属性的建筑物楼层平面图。以下包括关于在至少一些实施例中可以由fpsdm系统执行的各种自动操作的附加细节。
23.在至少一些实施例和情形中,为建筑物采集并与建筑物的楼层平面图相关联的一些或全部图像可以是全景图像,其每一个都在建筑物中或建筑物周围的多个采集位置中的一个处采集,以便在每一个这样的采集位置处从该采集位置处的一个或更多个视频(例如,从智能电话或用户在该采集位置处转向所持有的其他移动设备采集的360
°
视频)生成全景图像,或者在多个方向上从采集位置(例如,从用户在该采集位置转向所持有的智能电话或其他移动设备)采集多个图像,或者同时捕获全部图像信息(例如,使用一个或更多个鱼眼透镜)等。应当理解,这种全景图像在某些情况下可以在球面坐标系中表示,并围绕水平和/或垂直轴提供多达360
°
的覆盖,使得观看起始全景图像的用户可以将起始全景图像内的观看方向移动到不同的方向,以使得在起始全景图像内将渲染不同的图像(或“视图”)(包括,如果在球面坐标系中表示全景图像,则将正在渲染的图像转换为平面坐标系)。此外,可以以各种方式获得和使用关于捕获这种全景图像的采集元数据,例如,当移动设备由用户携带或以其他方式在采集位置之间移动时从imu(惯性测量单元)传感器或移动设备的其他传感器获得的数据。以下包括与建筑物的全景图像或其他图像的采集和使用有关的附加细节。
24.如上所述,在至少一些实施例中,fpsdm系统的自动操作可以进一步包括分析所采集的关于建筑物的信息,以确定建筑物及其房间的进一步属性。例如,如上所述,可以分析在建筑物中和周围采集的图像以确定一个或更多个房间的各种类型的特征,包括关于房间之间的门和其他非门开口。此外,在至少一些实施例中,这种确定建筑物的属性和它们的楼层平面图可以包括生成用于特定建筑物的至少部分楼层平面图和/或用于建筑物的至少部分初始邻接图,并且使用该初始邻接图和/或相应的嵌入向量来预测关于建筑物的房间的附加信息。例如,这种建筑物的属性及其楼层平面图的确定可以包括提供初始(可选地部分)邻接图和/或相应的嵌入向量作为对一个或更多个训练的机器学习模型(例如,一个或更多个训练的神经网络)的输入,所述训练的机器学习模型从关于建筑物所采集的各种信息预测房间的类型,所述信息例如基于关于房间形状,尺寸,其他邻近房间或建筑物内的位置的信息,在房间内识别的特征(例如,根据图像分析)等。此外,这种建筑物的属性及其楼层平面图的确定可以包括提供初始(可选地部分)邻接图和/或相应的嵌入向量作为对一个或更多个训练的机器学习模型(例如,一个或更多个训练的神经网络)的输入,所述训练的机器学习模型是用于房间类型预测的相同或不同的机器学习模型,其根据所采集的关于建筑物的各种信息来预测建筑物中的房间间连接或其他邻接的类型,诸如基于房间的类型,一个或更多个房间的其他属性,建筑物内的位置,关于房间间连接或其他邻接识别的特征(例如,根据图像分析)等。这种预测的房间类型信息和/或房间间连接/邻接类型信息可以在各种实施例中以各种方式使用,包括更新初始邻接图数据结构和/或相应的嵌入向量数据结构和/或底层楼层平面图数据结构,以及更新的数据结构和它们的能够以各种方式使用的信息(例如,将建筑物和/或其楼层图识别为匹配一个或更多个指定标准,用于向一个或更多个最终用户显示或其他呈现等。以下包括关于分析所采集的关于建筑物的信息以确定建筑物及其房间的进一步属性的附加细节,包括预测房间类型和/或房间间连接/邻接类型,例如关于图2d-图2k的示例及其相关联的描述。
25.所描述的技术在各种实施例中提供各种益处,包括允许更有效和快速地并且以先前不可获得的方式识别和使用多室建筑物和其他结构的楼层平面图,包括识别与指定标准匹配的建筑物楼层平面图以自动识别(例如,基于与一个或更多个其他楼层平面图的一个或更多个相似性;关于哪些房间互连的邻接信息以及相关的房间间关系信息;至少部分地根据补充信息确定的关于房间内部和视图的信息,例如根据在建筑物处所捕获的一个或更多个图像的分析;关于楼层平面图的特征的主观属性等)。这种自动技术允许这种匹配的楼层平面图的识别比以前现有的技术更快速地确定,并且在至少一些实施例中,具有更高的精确度,包括通过使用从实际建筑环境(而不是从关于建筑应该如何理论地构造的平面图)获得的信息,以及使能捕获在建筑最初构造之后发生的结构元件和/或视觉外观元件的改变。这种所描述的技术还提供了至少部分地基于与指定标准相匹配的建筑物楼层平面图的识别来通过移动设备(例如,半自主或全自主车辆)允许对建筑物进行改进的自动导航的益处,包括显著降低用于尝试以其他方式学习建筑物的布局的计算能力和时间。此外,在一些实施例中,所描述的技术可以用于提供改进的gui,其中用户可以更准确和快速地识别与指定标准匹配的建筑物楼层平面图,并且获得关于这种建筑物的信息(例如,用于导航一个或更多个建筑物的内部),包括响应于搜索请求,作为向用户提供个性化信息的一部分,作为向用户提供关于建筑物的值估计和/或其他信息的一部分(例如,在分析关于一个或更多个
目标建筑物楼层平面图的信息之后,所述楼层平面图类似于一个或更多个初始楼层平面图,或者以其他方式与指定的标准匹配)等。还通过所描述技术提供了各种其他益处,其中一些在在本文中的其他地方进一步描述。
26.如上所述,fpsdm系统的自动操作可以包括识别具有满足目标标准的属性的建筑物楼层平面图,并且随后以一种或多种其他自动方式使用所识别的楼层平面图。在至少一些实施例中,这种fpsdm系统可以与一个或更多个独立的ica(图像捕获和分析)系统和/或一个或更多个独立的migm(映射信息和生成管理器)系统一起操作,以便从ica和/或migm系统获得和使用用于建筑物的楼层平面图和其他相关信息,而在其他实施例中,这种fpsdm系统可以将这种ica和/或migm系统的一些或全部功能并入作为fpsdm系统的一部分。在还其他实施例中,fpsdm系统可以在不使用ica和/或migm系统的一些或全部功能的情况下操作,例如,如果fpsdm系统从其他源(例如,从由一个或更多个用户手动创建或提供这样的建筑物楼层平面图和/或相关信息)获得关于建筑物楼层平面图和相关信息的信息。
27.关于这种ica系统的功能,在至少一些实施例中,其可以执行自动操作以在与建筑物相关联的各种采集位置处(例如,在建筑物的多个房间的内部中)采集图像(例如,全景图像),并且可选地进一步采集与图像采集过程和/或捕获设备在采集位置之间的移动有关的元数据-在至少一些实施例中,这种采集和随后的采集信息的使用可以在不具有或不使用来自深度传感器或其他距离测量设备的关于从图像的采集位置到周围建筑物或其他结构中的墙壁或其他物体的距离的信息的情况下发生。例如,在至少一些这样的实施例中,这样的技术可以包括使用一个或更多个移动设备(例如,具有一个或更多个鱼眼透镜并且安装在可旋转三角架上或者以其他方式具有自动旋转机构的照相机;具有一个或更多个鱼眼透镜的照相机,所述鱼眼透镜足以在没有旋转的情况下水平地捕获360度;由用户握持和移动的智能电话,以便在围绕垂直轴的360
°
圆中旋转用户的身体和握持的智能电话;由用户或用户衣服握持或安装在用户或用户衣服上的照相机;安装在基于空中和/或地面的无人机或其他机器人设备上的照相机;等)以从房屋(或其他建筑物)的多个房间内的多个采集位置的序列捕获可视数据。关于实现ica系统的设备的操作的附加细节包括在本文中的其他地方,以便执行这样的自动操作,并且在一些情况下以一种或多种方式进一步与一个或更多个ica系统操作员用户交互以提供进一步的功能。
28.关于这种migm系统的功能,它可以在至少一些实施例中执行自动操作,以分析已经为建筑物内部(以及可选地建筑物的外部)采集的多个360
°
全景图像(以及可选地其他图像),并且确定用于这些全景图像中的一些或全部的连接房间的房间形状和通道的位置,以及在至少一些实施例和情形中确定建筑物的一些或全部房间的墙壁元件和其他元件。两个或更多个房间之间的连接通道的类型可以包括一个或更多个门道开口和其他房间间非门口墙壁开口、窗户、楼梯、非房间走廊等,并且图像的自动分析可以至少部分地基于识别通道的轮廓,识别通道内不同于它们外部的内容(例如,不同的颜色或阴影)等。自动操作还可以包括使用所确定的信息来生成用于建筑物的楼层平面图,并且可选地生成用于建筑物的其他映射信息,例如通过使用房间间通道信息和其他信息来确定相关的房间形状彼此之间的相对位置,并且可选地将距离缩放信息和/或各种其他类型的信息添加到所生成的楼层平面图。此外,在至少一些实施例中,migm系统可以执行进一步的自动操作,以确定附加信息并将其与建筑物楼层平面图和/或楼层平面图内的特定房间或位置相关联,以便分析在
建筑物内部内捕获的图像和/或其他环境信息(例如,音频),以确定特定属性(例如,颜色和/或材料类型和/或特定元素的其他特性,诸如地板,墙壁,天花板,台面,家具,夹具,器具等;特定元素的存在和/或不存在,诸如厨房中的岛;等),或以其他方式确定相关属性(例如,建筑元件所面对的方向,诸如窗户;来自特定窗户或其他位置的视图;等)。以下包括关于实现migm系统的计算设备的操作的附加细节,以便执行这种自动操作,并且在一些情况下以一种或多种方式进一步与一个或更多个migm系统操作员用户交互以提供进一步的功能。
29.为了说明的目的,下面描述一些实施例,其中特定类型的信息是针对特定类型的结构并且通过使用特定类型的设备以特定方式采集、使用和/或呈现的。然而,将理解,所描述的技术可以以其他方式在其他实施例中使用,并且因此发明不限于所提供的示例性细节。作为一个非排他性的示例,尽管在一些实施例中以特定方式生成和使用特定类型的数据结构(例如,楼层图,邻接图,嵌入向量等),但是将理解,在其他实施例中可以类似地生成和使用描述楼层平面图和其他相关联的信息的其他类型的信息,包括用于与房屋分开的建筑物(或其他结构或布局),并且在其他实施例中,可以以其他方式来使用被识别为匹配指定标准的楼层平面图。此外,术语“建筑物”在本文中是指任何部分或完全封闭的结构,通常但不一定包括一个或更多个可视地或以其他方式划分该结构的内部空间的房间-这种建筑物的非限制性示例包括房屋,公寓建筑或其中的单独公寓,公寓,办公建筑,商业建筑或其他批发和零售结构(例如,购物商场,百货商场,仓库等),在具有其他个主建筑(例如,在具有房屋的房地产上的分离的车库或棚)的房地产上的补充结构等。在本文中所使用的关于建筑物内部,采集位置或其他位置(除非上下文另外清楚地指示)的术语“采集”或“捕获”可以指任何媒体,传感器数据和/或与空间特性和/或视觉特性和/或建筑物内部或其子集的其他可感知特性相关的其他信息的记录,存储或日志,例如通过记录设备或通过从记录设备接收信息的其他设备。如这里所使用的,术语“全景图像”可以指这样的视觉表示,其基于、包括或可分离成多个离散分量图像,所述多个离散分量图像源自在不同方向上基本上相似的物理位置,并且描绘了比单独描绘的任何离散分量图像更大的视场,包括从物理位置具有足够广角视角的图像,以包括在单个方向上超出从人的凝视可察觉的角度的角度。如在本文中所用的术语采集位置的“序列”通常是指两个或更多个采集位置,每个采集位置以相应的顺序至少被访问一次,无论其他非采集位置是否在它们之间被访问,以及无论对采集位置的访问是否在单个连续的时间段期间发生,或者在多个不同的时间发生,或者由单个用户和/或设备或由多个不同的用户和/或设备发生。此外,出于示例性目的,在附图和文本中提供了各种细节,但并不旨在限制发明的范围。例如,附图中的元件的尺寸和相对位置不必按比例绘制,并且省略了一些细节和/或提供了更大的显著性(例如,通过尺寸和定位)以增强易读性和/或清晰度。此外,在附图中可以使用相同的附图标记来标识相同或相似的元件或动作。
30.图1a是在一些实施例中可以参与所描述的技术的各种计算设备和系统的示例框图。特别地,从在建筑物内部(例如,一个或更多个链接的全景图像、其他透视图像、音频等)中捕获的数据生成的信息165在图1a中示出,以便已经由内部捕获和分析(“ica”)系统160生成,该系统在该示例中在一个或更多个服务器计算系统180上执行,例如关于一个或更多个建筑物或其他结构-图1b示出了这样的链接的全景图像的一个示例,用于特定的房屋198
和图2a-图2d示出了采集用于生成全景图像的图像的示例,如下面进一步讨论的,并且与ica系统的自动操作相关的附加细节被包括在本文中的其他地方,包括关于图4。migm(映射信息生成管理器)系统160进一步在图1a中的一个或更多个服务器计算系统180(无论是ica系统在其上执行的相同或不同的服务器计算系统)上执行,以基于所捕获的建筑物内部信息165(例如,链接的全景图像)和可选地相关联的元数据(例如,关于这些全景图像的采集和链接的元数据)的使用来生成并提供建筑物楼层平面图155和/或其他映射相关的信息-图2d示出了这种平面图的一个示例,如下面进一步讨论的,并且与migm系统的自动操作相关的附加细节被包括在本文中的其他地方,包括关于图5a-图5b。
31.一个或更多个客户端计算设备175的一个或更多个用户(未示出)还可以通过一个或更多个计算机网络170与fpsdm(楼层平面图相似度确定管理器)系统140(以及可选地ica系统160和/或migm系统160)交互,以便帮助识别具有满足目标标准的属性的建筑物楼层平面图,并且随后以一种或多种其他自动方式使用所识别的楼层平面图-用户的这种交互可以包括例如指定用于搜索相应的楼层平面图或以其他方式向用户提供关于感兴趣的目标标准的信息的目标标准,或获得并可选地与一个或更多个特定识别的楼层平面图和/或与附加的关联信息交互(例如,在楼层平面图内或楼层平面图附近的采集位置处在楼层平面图视图和特定图像的视图之间改变;改变显示全景图像的相应视图的水平和/或垂直观看方向,以便确定当前用户观看方向所指向的全景图像的一部分等)。此外,楼层平面图(或其一部分)可以链接到一个或更多个其他类型的信息或与一个或更多个其他类型的信息相关联,包括用于多层或其他多层级建筑物的楼层平面图以具有用于互连(例如,通过连接楼梯通道)的不同层或层级的相关联的子楼层平面图,用于要链接到三维(“3d”)或与三维(“3d”)相关联的建筑物的二维(“2d”)楼层平面图渲染建筑物等。此外,虽然在图1a中未示出,但是在一些实施例中,客户端计算设备175(或其他设备,未示出)可以以附加方式接收和使用关于所标识的楼层平面图的信息和/或其他与映射相关的信息,以便控制或辅助那些设备(例如,自主车辆或其他设备)的自动导航活动,无论是代替显示所标识的信息还是除了显示所标识的信息之外。
32.图1a还示出了在一个或更多个服务器计算系统180上执行的fpsdm系统140,以识别具有满足目标标准的属性的建筑物楼层平面图,并提供关于这种所识别的建筑物楼层平面图的信息,从而以一种或多种其他自动方式启动所识别的楼层平面图的后续使用。在所示实施例中,fpsdm系统140存储关于楼层平面图(例如,以包括一些或全部楼层平面图155和/或其他楼层平面图)的信息142以及与那些楼层平面图相关联的信息(例如,在楼层平面图所对应的建筑物的内部捕获的图像和其他数据,诸如具有关于捕获这种数据的楼层平面图上的位置的信息),并且使用该信息142来生成相关的邻接图和嵌入向量145,以进一步用于识别具有满足目标标准的属性的建筑物楼层平面图142-这种目标标准在一些实施例和情形中可以由特定用户提供或以其他方式与特定用户相关联(例如,由用户指定的属性,由那些用户指示的楼层平面图,先前被识别为用户感兴趣的楼层平面图等),并且关于各种用户的相应信息143可以进一步存储和用于识别建筑物楼层平面图,所述建筑物楼层平面图具有满足目标标准的属性以及随后以一种或多种其他自动方式使用所识别的楼层平面图。此外,所示实施例中的fpsdm系统140还可以包括一个或更多个经过训练的机器学习模型144(例如,一个或更多个经过训练的神经网络),并且以各种方式使用经过训练的机器学习
no.990074.403)
35.图1b描绘了示例性建筑物内部环境的框图,在该环境中已经生成了链接的全景图像,并且准备好用于生成和提供相应的建筑物楼层平面图,以及用于向用户呈现链接的全景图像。特别地,图1b包括具有内部的建筑物198,该内部至少部分地通过多个全景图像来捕获,例如由携带具有图像采集能力的移动设备185的用户(未示出)通过建筑物内部到多个采集位置210的序列来捕获。ica系统的实施例(例如,服务器计算系统180上的ica系统160;在用户的移动设备上执行的ica系统的一些或全部的副本,例如在设备185上的存储器152中执行的ica应用软件系统154;等)可以自动地执行或帮助捕获表示建筑物内部的数据,以及进一步分析所捕获的数据以生成提供建筑物内部的可视表示的链接的全景图像。尽管用户的移动设备可以包括各种硬件部件,例如一个或更多个摄像机或其他成像系统135,一个或更多个传感器148(例如,陀螺仪148a、加速度计148b、罗盘148c等,例如移动设备的一个或更多个imu或惯性测量单元的一部分;高度计;光检测器;等)、gps接收机、一个或更多个硬件处理器132、存储器152、显示器149、麦克风等,在至少一些实施例中,移动设备可能不能访问或使用设备来测量建筑物中相对于移动设备的位置的对象的深度,使得可以部分或全部基于不同图像中的匹配元素和/或通过使用来自所列硬件组件中的其他硬件组件的信息来确定不同全景图像与其采集位置之间的关系,但不使用来自任何这种深度传感器的任何数据。此外,尽管提供方向指示器109用于观察者的参考,但是在至少一些实施例中,移动设备和/或ica系统可以不使用这种绝对方向信息,以便不考虑实际的地理位置或方向来代替地确定全景图像210之间的相对方向和距离。
36.在操作中,与移动设备相关联的用户到达建筑物内部的第一房间内的第一采集位置210a(在该示例中,从外部门190-1到起居室的入口通道),并且当移动设备围绕第一采集位置处的垂直轴旋转时(例如,当用户将移动设备相对于用户的身体保持静止的同时,以圆圈将他或她的身体转向)捕获从该采集位置210a可见的建筑物内部的一部分(例如,第一房间的一些或全部,以及可选地一个或更多个其他邻近或附近房间的小部分,诸如通过门,厅,楼梯或其他与第一房间的连接通道)的视图。用户和/或移动设备的动作可以通过使用在移动设备上执行的一个或更多个程序来控制或促进,例如ica应用系统154、可选浏览器162、控制系统147等,并且可以通过记录视频和/或拍摄一个或更多个图像的系列来执行视图捕获,包括捕获描绘多个对象或其他元素(例如,结构细节)的可视信息,多个对象或其他元素在从采集位置捕获的图像(例如,视频帧)中可见。在图1b的示例中,这样的物体或其他元件包括在结构上是墙壁的一部分的各种元件(或“墙壁元件”),例如门道190和197以及它们的门(例如,具有摆动和/或滑动门)、窗户196、墙壁间边界(例如,角落或边缘)195(包括建筑物198的西北角落中的角落195-1,以及第一房间的西北角落中的角落195-2)-此外,图1b的示例中的这种物体或其他元件还可以包括房间内的其他元件,例如家具191-193(例如,躺椅191;椅子192;桌子193;等)、悬挂在墙壁上的图片或绘画或电视或其他物体194(例如194-1和194-2),灯具等。用户还可以可选地提供要与采集位置相关联的文本或听觉标识符,诸如用于采集位置210a的“条目”或用于采集位置210b的“起居室”,而在其他实施例中,ica系统可以自动生成这样的标识符(例如,通过自动分析建筑物的视频和/或其他记录的信息以执行相应的自动确定,诸如通过使用机器学习),或者可以不使用标识符。
37.在第一采集位置210a已经被充分捕获(例如,通过移动设备的完全旋转)之后,用
户可以前进到下一采集位置(例如,采集位置210b),可选地在采集位置之间的移动期间记录移动数据,例如来自硬件组件的视频和/或其他数据(例如,来自一个或更多个imu,来自照相机等)。在下一个采集位置,用户可以类似地使用移动设备以从该采集位置捕获一个或更多个图像。该过程可以从建筑物的一些或全部房间重复,并且可选地在建筑物外部重复,如针对采集位置210c-210j所示。用于每个采集位置的采集的视频和/或其他图像被进一步分析以生成用于每个采集位置210a-210j的全景图像,包括在一些实施例中匹配不同图像中的对象和其他元素。除了生成这种全景图像之外,还可以执行进一步的分析以便将至少一些全景“链接”在一起(为了说明起见,示出了它们之间的一些相应的线215),以便确定彼此可见的采集位置对之间的相对位置信息,以存储相应的全景间链接(例如,分别在采集位置a和b,b和c以及a和c之间的链接215-ab、215-bc和215-ac),以及在一些实施例和情况下进一步链接彼此不可见的至少一些采集位置(例如,采集位置210b和210e之间的链接215-be(未示出))。
38.在2019年11月23日提交的名称为“连接和使用从移动设备采集的建筑物数据(connecting and using building data acquired from mobile devices)”的共同未决的第16/693,286号美国非临时专利申请中包括了与生成和使用全景图像之间的链接信息的实施例相关的附加细节,包括使用行进路径信息和/或元素或在多个图像中可见的其他特征(其包括通常针对获得和使用链接信息来互连在一个或更多个建筑物或其他结构内捕获的图像的多个全景的示例bica系统的公开),其通过引用整体包含在本文中。(attorney docket no.990074.402c1)
39.关于图1a-图1b提供了各种细节,但是将理解,所提供的细节是出于说明的目的而包括的非排他性示例,并且可以以其他方式执行其他实施例,而没有一些或全部这样的细节。
40.图2a-图2k示出了自动识别具有满足目标标准的属性的建筑物楼层平面图并且随后以一种或多种自动方式使用所识别的楼层平面图的示例,例如图1b中所讨论的建筑物198。
41.特别地,图2a示出了示例图像250a,例如在从图1b的房屋198的起居室中的采集位置210b开始的东北方向上拍摄的非全景透视图像(或者从该采集位置拍摄的并且以直线方式格式化的360度全景图像的东北面向的子集视图)-在该示例中进一步显示方向指示器109a以示出图像沿其拍摄的东北方向。在示出的示例中,所显示的图像包括内置元件(例如,灯具130a),家具(例如,椅子192-1),两个窗户196-1以及悬挂在起居室的北墙壁上的图片194-1。在该图像中没有进入或离开起居室(例如,门或其他墙壁开口)的房间间通道是可见的。然而,在图像250a中可见多个房间边界,包括起居室的北墙壁的可见部分与起居室的天花板和地板之间的水平边界,起居室的东墙壁的可见部分与起居室的天花板和地板之间的水平边界,以及北墙壁与东墙壁之间的墙壁间垂直边界195-2。
42.图2b继续图2a的示例,并且示出了从图1b的房屋198的起居室中的采集位置210b沿西北方向拍摄的附加透视图像250b,进一步显示方向指示器109b以示出拍摄图像所沿的西北方向。在该示例图像中,窗户196-1中的一个窗户的一小部分以及窗户196-2的一部分和新的照明器材130b继续是可见的。此外,在图像250b中以类似于图2a的方式的方式可见水平和垂直房间边界。
43.图2c继续图2a-图2b的示例,并且示出了在图1b的房屋198的起居室中以西南方向拍摄的第三透视图像250c,例如从采集位置210b拍摄的第三透视图像250c-进一步显示方向指示器109c以示出拍摄图像所沿的西南方向。在该示例图像中,窗户196-2的一部分继续是可见的,就像躺椅191和视觉水平和垂直房间边界以类似于图2a和图2b的方式一样。该示例图像还示出了用于起居室的房间间通道,在该示例中,该房间间通道是进入和离开起居室的门190-1(图1b标识为房屋外部的门)。应当理解,可以从采集位置210b和/或其他采集位置采集各种其他透视图像,并以类似的方式显示。
44.图2d继续图2a-图2c的示例,并且示出了全景图像255d,其与在图1b的采集位置210处捕获的图像分离地采集,用于生成建筑物198的平面图(与建筑物198的平面图的示例显示相关的附加细节在下面关于图2d和本文中的其他地方讨论),相反,在该示例中在生成建筑物198的平面图之后的时间采集全景图像255d,以及用于将全景图像255d与建筑物198的楼层平面图上对应于全景图像255d的采集位置的位置相关联。在该示例中,全景图像255d是从起居室的西北象限中的采集位置采集的180
°
全景图像,并且包括围绕垂直轴(例如,大约示出起居室的北象限的半圆)的180
°
水平覆盖,并且图像的视觉内容的x轴和y轴与房间中的相应水平和垂直信息(例如,两个墙壁之间的边界,墙壁和地板之间的边界,窗户和门的底部和/或顶部等)对齐。在该示例中,图像捕获从对应于全景图像255d的0
°
的相对开始水平方向的西方向上的照相机方位开始,并且继续在半圆中,该全景图像的相对90
°
水平方向随后对应于北方向,并且该全景图像的相对180
°
水平方向对应于东方向。如果全360
°
全景图像已经代替地从相同的开始方向被捕获,则它将包括与以上针对180
°
全景图像所述的相同的方向信息,并且还将包括对应于南方向的360
°
全景图像的相对270
°
水平方向,以及返回西方向的360
°
全景图像的相对360
°
结束水平方向。使用这样的全景图像255d,可以以类似于图2a-图2b的透视图像250a-250b的方式的方式向最终用户(未示出)显示全景图像的各子集,其中示例子集250d被示为全景图像255d的一部分-尽管未单独地示出在全景图像255d上,但是其类似于第一透视图像250a的子集部分可用于全景图像255d的右部分,而全景图像255d的左子集部分包含类似于透视图像250b的可视数据的可视数据。由于全景图像255d在该示例中不延伸到全360
°
水平度,因此其对应于透视图像250c的子集部分是不可用的,但是如果从采集位置265代替地采集360
°
全景图像(如以下关于图像角度描述符270进一步讨论的),则这种360
°
全景图像将包括具有类似于透视图像250c的视觉信息的视觉信息的子集部分。
45.图2d还示出了用于房屋198的2d楼层平面图的一个示例255d,例如可以在gui中呈现给最终用户,并且起居室是房屋的最西方的房间(如方向指示器209所反映的)-将理解,在一些实施例中,可以类似地生成和显示示出墙壁高度信息的3d或2.5d楼层平面图,无论是作为这种2d楼层平面图的补充还是替代。在该示例中,在2d楼层平面图255d上示出了各种类型的信息。例如,这种类型的信息可以包括以下中的一个或更多个:添加到一些或全部房间(例如,用于起居室的“起居室”)的房间标签;为一些或全部房间添加的房间尺寸;特征的视觉指示,所述特征例如为一些或全部房间添加的安装的固定设备或器具(例如,厨房器具、浴室物品等)或其他内置元件(例如,厨房岛);为附加类型的关联和链接信息(例如,最终用户可选择用于进一步显示的其他全景图像和/或透视图像,最终用户可选择用于进一步呈现的音频注释和/或声音记录等)的位置的一些或全部房间添加的视觉指示;为诸如门
和窗户的结构特征的一些或全部房间添加的视觉指示;视觉外观信息的视觉指示(例如,颜色和/或材料类型和/或纹理,用于安装的物品,例如地板覆盖物或墙壁覆盖物或表面覆盖物);来自特定窗户或其他建筑物位置的视图和/或建筑物外部的其他信息(例如,外部空间的类型;存在于外部空间中的物品;其他相关的建筑物或结构,例如棚、车库、水池、平台、露台、走道、花园等)的视觉指示;识别用于一种或多种类型的信息的可视指示符的关键字或图例269;等。当作为gui的一部分被显示时,一些或全部这样的所示信息可以是用户可选择的控件(或与这样的控件相关联),其允许最终用户选择和显示一些或全部相关联的信息(例如,选择360
°
全景图像指示符用于采集位置210b以查看该全景图像的一些或全部(例如,以类似于图2a-图2d的方式)。此外,在该示例中,添加用户可选择控件228以指示为楼层平面图显示的当前楼层,并允许最终用户选择要显示的不同楼层。在一些实施例中,楼层或其他层级的改变也可以直接从楼层平面图进行,例如通过选择所示楼层平面图中的相应连接通道(例如,楼梯到楼层2)。将理解,在一些实施例中可以添加各种其他类型的信息,在一些实施例中可以不提供所示类型的信息中的一些,并且在其他实施例中可以以其他方式显示和选择所链接的和相关联的信息的可视指示和用户选择。
46.与提供migm系统或相关系统的至少一些这样的功能的系统的实施例有关的用于生成楼层平面图和相关信息和/或呈现楼层平面图和相关信息的附加细节包括:在2018年11月14日提交且名称为“来自互连图像的自动映射信息生成(automated mapping information generation from inter-connected images)”的共同未决的第16/190,162号美国非临时专利申请(其包括示例楼层图生成管理器(或fmgm)系统的公开,其通常针对用于使用在建筑物中和建筑物周围采集的图像来生成和显示建筑物的楼层图或其他楼层平面图的自动操作)中;在2019年11月12日提交且名称为“使用三维建筑物模型呈现集成建筑物信息(presenting integrated building information using three-dimensional building model)”的第16/681,787号美国非临时专利申请(其包括一个示例fmgm系统的公开,该系统通常涉及用于显示建筑物的楼层图或其他楼层平面图和相关信息的自动操作)中;在2020年4月6日提交且名称为“提供用于三维建筑物模型的模拟照明信息(providing simulated lighting information for three-dimensional building model)”的第16/841,581号美国非临时专利申请(其包括一个示例fmgm系统的公开,该系统通常针对用于显示建筑物的楼层图或其他楼层平面图和相关信息的自动操作)中;在2019年10月28日提交且名称为“从自动分析建筑物的内部的视频生成用于建筑物的楼层图(generating floor maps for buildings from automated analysis of video of the buildings'interiors)”的第62/927,032号美国临时专利申请(其包括一个示例视频到楼层图(或fpsdm)的公开,该系统通常针对用于使用在建筑物中和建筑物周围采集的视频数据生成建筑物的楼层图或其他楼层平面图的自动操作)中;在2020年3月2日提交且名称为“用于生成建筑物的映射信息的自动工具(automated tools for generating mapping information for buildings)”的第16/807,135号美国非临时专利申请(其包括一个示例migm系统的公开,该系统通常针对使用在建筑物中和周围采集的图像来生成建筑物的楼层图或其他楼层平面图的自动操作)中;以及在2020年9月4日提交且名称为“自动分析图像内容以确定图像的采集位置(automated analysis of image contents to determine the acquisition location of the image)”的第17/013,323号美国非临时专利申请(其包括一个示例migm
系统的公开,该系统通常针对使用在建筑物中和周围采集的图像来生成建筑物的楼层图或其他楼层图的自动操作,以及一个示例ilmm系统,该系统用于至少部分地基于对图像的内容的分析来确定图像在楼层平面图上的采集位置)中;其中的每个通过引用整体包含在本文中。(attorney docket no.990074.403)(attorney docket no.990074.407)(attorney docket no.990074.408)(attorney docket no.990074.409p1)(attorney docket no.990074.406)(attorney docket no.990074.410)
47.图2e继续图2a-图2d的示例,并且示出了包括先前在图2d中示出的楼层平面图230d的表示230e的信息255e,其中表示230e缺少在楼层平面图230d中示出的一些细节,但是还包括用于示出邻接图的至少一部分的信息,所述邻接图由用于楼层平面图的fpsdm系统(未示出)生成,并且出于说明的目的在该示例中覆盖在楼层平面图的视图上。在该示例中,邻接图包括表示房屋的至少一些房间(诸如起居室的节点245b,走廊的节点245a等)的各种节点245,以及各种节点之间的边缘235(诸如节点245b和245j之间的边缘235b-j,节点245a和245b之间的边缘235a-b,节点245a和245f之间的边缘235a-f等),表示房间之间的连接,在该示例中的邻接图是稀疏图,其仅包括其房间经由门或其他非门开口互连的节点之间的节点间边缘(并且不包括其房间邻近的节点之间的边缘,例如共享至少一个墙壁的至少一部分的节点之间的边缘,但未连接以允许在那些房间之间的直接通道)。虽然房屋的至少一些房间用邻接图中的关联节点来表示,但是在至少一些实施例中,为了邻接图的目的,房屋内的一些空间可能不被视为房间(即,在邻接图中可能不具有单独的节点),例如对于衣柜、小区域(例如食品柜或碗柜)、连接区域(例如楼梯和/或走廊)等-在该示例实施例中,楼梯具有对应的节点245h,并且步入式衣柜可以可选地具有节点245l,而食品柜不具有节点,尽管在其他实施例中,这些空间都不具有节点,或者这些空间的全部组合或任何组合可以具有节点。此外,在该示例实施例中,建筑物外部的与建筑物入口/出口邻近的区域还具有表示它们的节点,例如与前庭院(其可由入口门从建筑物访问)相对应的节点245j和与露台(其可由露台门访问)相对应的节点245i-在其他实施方式中,这种外部区域可以不被表示为节点(并且代替地在一些实施例中可以被表示为与邻近外部门或其他开口和/或与它们的房间相关联的属性)。类似地,在该示例实施例中,关于从窗户或从其他建筑物位置可见的区域的信息也可以由节点来表示,诸如对应于从起居室中的西窗户可访问的视图的可选节点245k,尽管在其他实施例中,这样的视图可以不被表示为节点(并且可以代替地在一些实施例中被表示为与对应的窗户或其他建筑物位置和/或其房间相关联的属性)。将注意,虽然在楼层平面图表示230e上示出一些边缘穿过墙壁(例如,在走廊的节点245a和卧室1的节点245f之间的边缘235a-f),但是与这样的边缘连接的节点相对应的房间之间的实际连接是基于门或其他非门开口连接(例如,基于靠近走廊的东北端示出的走廊和卧室1之间的内部门)。此外,尽管在信息255e中未示出,但是用于房屋的邻接图还可以在未示出的房屋的其他区域中继续,例如第二楼层。
48.图2e包括用于楼层平面图230e的邻接图的附加图示240e,但是没有示出相应的楼层平面图,并且具有针对邻接图所示的附加细节。特别地,在该示例中,示出了来自信息255e的邻接图的各种节点和边缘,以及与第二楼层的房间(未示出)相对应的附加节点245m和245n,以及潜在地添加到邻接图的附加节点和边缘,用于进一步的房间和房间间连接信息(或者在其他实施例中,也包括非连接邻接信息)。在邻接图240e的示例中,为了观察者的
利益,示出了房间间连接信息的类型的视觉指示,例如墙壁开口268b和内部门268c的视觉指示(以及在该示例中,在起居室和前庭院上方的起居室的向西视图之间的窗户268a),尽管这样的信息可以替代地是边缘的属性的一部分,并且没有视觉地示出。例如,每个边缘235可以包括关于由边缘表示的房间间连接/邻接的属性的信息249,其中示出了对应于边缘235a-f的示例信息249a-f,其在该示例中可以包括用于诸如以下的一个或更多个的属性的信息:房间间连接类型;房间间连接尺寸(例如,宽度;高度和/或深度);等。类似地,每个节点245可以包括关于由节点表示的房间的属性的信息247,其中示出了与节点245c相对应的示例信息247c,在该示例中,节点245c可以包括用于诸如以下的一个或更多个属性的信息:房间类型;房间尺寸;在窗户和门的房间中的位置以及其他房间间开口;关于房间的形状的信息(是否关于2d形状和/或3d形状);用于每个窗户的视图的类型,以及可选地每个窗户所面对的方向信息;可选地,用于门和其他房间间开口的方向信息;关于房间的其他特征的信息,例如来自对查看楼层平面图的最终用户提供的相关联的图像和/或信息以及可选地其相关联的图像(例如,所使用的材料的视觉外观和类型,例如颜色和/或纹理和/或用于地毯或其他地板材料的类型,以及用于墙壁覆盖物和用于天花板的类型等;灯具或其他内置元件;家具或房间内的其他物品;等);关于在房间中拍摄的图像的信息和/或图像的副本(可选地,具有用于每个图像的房间内的相关联的位置信息);关于在房间中捕获的音频或其他数据和/或音频或其他数据的副本的信息(可选地,具有在房间内针对音频剪辑或其他数据段中的每个的相关联的位置信息);等。
49.图2f继续图2a-图2e的示例,并且再次示出了图2e中所示的邻接图240e,但是为了简洁起见,图2e的一些细节未在图2f中示出-例如,而用于节点和边缘的属性信息未在图2f中示出,这种信息仍然存在于图2f中所示的邻接图240e中。图2f还示出了fpsdm系统的表示学习图形编码器组件265的使用,该fpsdm系统将邻接图信息作为输入,并生成表示楼层平面图230e的邻接图240e的结果嵌入向量275e。如在本文中的其他地方更详细讨论的,嵌入向量可以是包括在邻接图240e中的一些或全部信息的简明表示,例如用于随后在执行多个建筑物的楼层平面图之间的比较中使用,或者用于以其他方式识别匹配指定标准的楼层平面图。此外,图形编码器265可使用各种特定算法来产生嵌入向量275e,且在一些实施例中,fpsdm系统的组件265或相关联的组件(未示出)可自动学习邻接图的信息类型以包括在所得的嵌入向量中,如在本文中的其他地方更详细论述。
50.图2g继续图2a-图2f的示例,并且再次示出了图2f中所示的嵌入向量275e,以及关于用于其他建筑物的其他楼层平面图的一个或更多个其他嵌入向量的信息275z。如在本文中的其他地方更详细讨论的,比较两个建筑物的两个楼层平面图以确定它们的相似性可以包括使用fpsdm系统的组件266来确定那两个楼层平面图的两个嵌入向量之间的距离(或其他差异或相似性的测量),以便产生一个或更多个最佳匹配的楼层平面图嵌入结果290。在该示例中,楼层平面图嵌入向量的数据库268(或其他存储)可以是可用的,其存储用于建筑物的各种相应的楼层平面图的各种先前生成的嵌入向量275a-275d和275f-275x,其中嵌入向量275e在该示例中用作初始嵌入向量,其与数据库268中的一些或全部嵌入向量(无论是同时或连续)进行比较,以确定该初始嵌入向量与存储在数据库中的那些其他嵌入向量之间的距离。此外,在至少一些实施例和情况下,一个或更多个最佳匹配楼层平面图嵌入结果290的确定可以不仅基于初始嵌入向量275e,而且可选地基于一个或更多个其他初始楼层
平面图嵌入向量275z,以便类似地将一个或更多个其他初始楼层平面图嵌入向量275z中的每个与存储在数据库268中的一些或全部嵌入向量进行比较(不管是同时还是连续),以便确定那些其他初始嵌入向量和那些数据库嵌入向量中的每一个之间的距离,并且最佳匹配嵌入结果290是基于数据库中的嵌入向量与所使用的初始嵌入向量的距离相似性信息的组合。在其他实施例中,确定器组件266可替代地接收一个或更多个初始嵌入向量和与初始嵌入向量相比较的多个其他嵌入向量作为输入,而不使用先前产生和存储的嵌入向量的这种数据库。在已经生成最佳匹配的楼层平面图嵌入结果290之后,在各种实施例中,它们还可以以一种或多种自动方式使用,以便提供用于向最终用户呈现的最佳匹配嵌入向量的相应的楼层平面图和它们的关联信息,以提供用于基于最终用户感兴趣的一个或更多个初始平面图(例如,由最终用户选择或先前被识别为最终用户感兴趣的楼层平面图等)来提供与最终用户的进一步自动的个性化交互的相应的楼层平面图和它们的关联信息,以提供相应的楼层平面图及其相关联的信息以便彼此进行比较分析(例如,确定共同的特性,聚集特性等)并且可选地提供给一个或更多个初始楼层平面图嵌入向量等。
51.图2h继续图2a-2g的示例,并示出类似于图2e的楼层平面图230e的楼层平面图230h。楼层平面图230h缺少楼层平面图230e的一些细节(例如,邻接图的可选节点245k和245l),但是楼层平面图230h被完全连接以包括表示房间间非连接邻接的边缘237,以及表示房间间连接的先前边缘235。例如,具有节点245f的卧室1先前在楼层平面图230e中仅具有单个边缘235a-f来表示卧室1和走廊之间的门道,而楼层平面图230h中的节点245f包括两个附加的邻接类型边缘237b-f和237e-f来分别表示卧室1与起居室和厨房的邻接。尽管连接性边缘235和非连接邻接边缘237在楼层平面图230h中所示的邻接图中单独示出,但是在其他实施例中,这种邻接图的初始版本可以替代仅具有单一类型的边缘,例如如果房间间连接/邻接的类型最初不是已知的,则具有关于图2j-图2k所讨论的附加细节。
52.图2i继续图2a-图2h的示例,并且示出了关于建筑物的完全连接的邻接图(例如图2h中所示,并且在一些情况下仅具有单一类型的边缘,例如如果房间间连接/邻接的类型最初不是已知的)中的信息可以如何被用于预测关于建筑物及其楼层平面图的附加类型的信息255i。在图2i的示例中,提供初始邻接图281a作为fpsdm组件282的输入,以生成用于楼层平面图的相应嵌入向量283,例如以类似于图2f的组件265和嵌入向量275e的方式-在其他实施例中,可以不使用这样的组件282(例如,如果邻接图直接用于预测而没有中间嵌入向量),和/或组件282的输出可以以与如在本文中的其他地方描述的嵌入向量不同的方式进行编码。在图2i的示例中,所生成的嵌入向量283被提供作为对一个或更多个经过训练的机器学习模型(例如,一个或更多个经过训练的神经网络)的输入,所述经过训练的机器学习模型使用在嵌入向量中编码的信息来预测建筑物及其房间的附加属性-这种经过训练的机器学习模型可以包括至少一个机器学习模型284、至少一个机器学习模型285和至少一个机器学习模型286,所述机器学习模型284被训练来识别房间间的门连接(以及可选地,非门开口连接),所述机器学习模型285被训练来识别房间间非连接邻接(例如,两个邻近房间之间的墙壁),所述机器学习模型286被训练来识别房间的类型。
53.然后,至少一个机器学习模型286提供输出289,该输出289指示的建筑物中的一些或全部房间的预测房间类型,该信息289被存储并可选地用于生成邻接图的更新版本281b,和/或用于以其他方式更新关于建筑物的信息(例如,更新建筑物的楼层平面图,嵌入向量
等)。此外,至少一个机器学习模型284提供指示用于建筑物的至少一些房间间连接/邻接的预测的房间间门连接(以及可选地非门开口连接)的输出284o,并且至少一个机器学习模型285提供指示用于建筑物的至少一些房间间连接/邻接的预测的房间间非连接邻接(例如,两个邻近房间之间的一个或更多个墙壁)的输出285o。然后,在该示例实施例中,信息284o和285o被提供给fpsdm组件287,该fpsdm组件287聚集来自经过训练的机器学习模型284和285的不同的房间间连接/邻接预测,所述经过训练的机器学习模型284和285提供输出288,该输出288指示针对建筑物中的一些或全部房间的预测的房间间连接/邻接类型,该信息288被存储并且可选地用于生成邻接图的更新版本281b和/或以其他方式更新关于建筑物的信息(例如,更新建筑物的楼层平面图、嵌入向量等)。下面包括关于用于执行关于图2i讨论的至少一些自动操作的附加示例的附加细节。
54.图2j继续图2a-图2i的示例,并且示出了与图2h的楼层平面图230h相对应的完全连接的邻接图240j,以便示出图2i的至少一个经过训练的机器学习模型286的操作,该模型预测了与建筑物的房间相对应的图形的节点的房间类型信息。出于说明的目的,图2j中示出了三个房间节点:用于走廊的房间节点245a,用于卧室2的房间节点245c和用于浴室的房间节点245d,例如关于可用于房间类型预测的建筑物信息的类型-此外,节点245示出为具有标签,例如“走廊”、“卧室1”等。在该示例中,在至少一些实施例中,对于邻接图,这种信息可能是未知的(例如,可以在完成房间类型预测之后添加)。尽管用于任何节点245的任何节点属性信息247和/或用于任何边缘235和237的任何边缘属性信息249可用于房间类型预测,但可帮助将节点245a的房间类型识别为“走廊”类型的因素可包括例如房间的形状和/或大小(例如,长和窄)。来自房间的大量房间间连接,建筑物中心的位置,其他互连的房间(例如,卧室和浴室)的类型等。此外,可以帮助将节点245c的房间类型识别为“卧室”类型的因素可以包括例如房间的形状和/或大小(例如,矩形和接近正方形)、其他互连的房间的类型(例如,到“浴室”类型的房间,而不到诸如厨房或起居室的房间类型)。在建筑物外部处的位置(例如,具有窗户),所附接的衣柜(未示出)的存在等。类似地,可以帮助将节点245d的房间类型识别为“浴室”类型的因素可以包括例如房间的形状和/或尺寸(例如,矩形和相对小),内置特征(例如,抽水马桶,水槽,淋浴器等)的存在,其他互连房间的类型(例如,“卧室”型房间,而不是诸如厨房的房间类型)等。将理解,在至少一些实施例中可以进一步使用各种其他信息,如在本文中的其他地方更详细讨论的。
55.图2k继续图2a-图2j的示例,并且示出了与图2h的楼层平面图230h相对应的完全连接的邻接图240k,以便示出图2i的经过训练的机器学习模型284和285以及组件287的操作,该操作预测邻接图的边缘的房间间连接/邻接类型信息。出于说明的目的,用于卧室的三个边缘在图2k中示出(用于走廊的边缘234a-c,用于浴室的边缘235c-d,以及用于起居室的边缘237b-c),例如关于可用于房间间连接/邻接类型预测的建筑物信息的类型-此外,在该示例中,虽然边缘被分成连接性边缘235和非连接邻接边缘237,但是在至少一些实施例中,对于邻接图,这种边缘类型信息可能是未知的(例如,可以在房间间连接/邻接预测完成之后添加)。虽然用于任何节点245的任何节点属性信息247和/或用于任何边缘235和237的任何边缘属性信息249可用于房间间连接/邻接类型预测,但可帮助将卧室2和走廊之间的边缘235a-c的边缘类型识别为房间间连接类型(以及可选地,房间间连接类型内的“门”子类型)的因素可包括例如边缘连接的房间的类型(例如,走廊和卧室)、可从一个或两个房间
(例如,从一个或两个房间中拍摄的图像的自动分析)中可见的房间间连接的形状、大小和/或其他可视特征、从其他个房间中拍摄的图像中看到邻近房间的至少一部分的能力等。类似地,可以帮助将卧室2和浴室之间的边缘235c-d的边缘类型识别为房间间连接类型(以及可选地,房间间连接类型内的“门”子类型)的因素可以包括例如边缘连接的房间的类型(例如,卧室和浴室)、从一个或两个房间(例如,从一个或两个房间中拍摄的图像的自动分析)可见的房间间连接的形状、尺寸和/或其他视觉特征、从在其他个房间中拍摄的图像中看到邻近房间的至少一部分的能力等。此外,可以帮助将卧室2和起居室之间的边缘237b-c的边缘类型识别为房间间非连接邻接类型(以及可选地,房间间非连接邻接类型内的“墙壁”子类型)的因素可以包括例如边缘连接的房间的类型(例如,卧室和起居室)、房间的邻近区域的形状、大小和/或其他视觉特征,所述邻近区域从一个或两个房间可见(例如,显示没有任何开口的实心墙壁,例如从对一个或两个房间中拍摄的图像的自动分析)、没有从其他个房间中拍摄的图像中看到邻近房间的至少一部分的能力等。将理解,在至少一些实施例中可以进一步使用各种其他信息,如在本文中的其他地方更详细讨论的。
56.在至少一些实施例中,房间类型信息和房间间连接/邻接信息的预测包括各种自动操作。例如,可以首先为建筑物的楼层平面图构造邻接图,其中每个节点表示房间,并且边缘表示两个房间的连接或其他邻接。可捕获并用于预测的节点特征的示例包括以下非排他性列表中的一些或全部:房间的门,窗户和开口的数量;房间类型;房间的周边;房间的最大长度和宽度;房间的面积;房间面积与房间边界盒面积之比;链码形状描述符;表示形心距离(例如,从形状中心到边界点的距离)的形状描述符;在房间中捕获一个或更多个图像(例如,全景图像)的顺序相对于其他房间的顺序;从对在房间中捕获的一个或更多个图像(例如,全景图像)的分析中提取房间的特征;房间的中心坐标;等。
57.在至少一些实施例中,诸如图2i的示例,同时预测房间间连接类型边缘和房间间非连接邻接类型边缘两者,尽管在其他实施例中,可以代替地在不同时间预测它们,同时一起预测它们,或者仅预测两种类型中的一种。作为一个示例实施例,首先生成不完整的邻接图,包括在某些情况下通过隐藏随机数量的边缘。然后将所生成的邻接图作为输入提供给编码器组件(例如,图2i的组件282),该编码器组件为每个节点产生嵌入。在一些实施例中,边缘类型的处理可以被分成两个分支,以便预测第一分支中的房间间连接类型边缘(例如,经由门),以及预测第二分支中的房间间非连接邻接类型边缘(例如,墙壁),其中两种类型的预测信息聚集在一起(例如,如关于图2i中的元素284、284o、285、285o、287和288所示)。
58.例如,考虑一个示例实施例,其中g=(a,x)是一个无向图,其邻接矩阵为a∈r
nxn
,并且节点属性x={x1,x2,

xn},xi∈rf,其中n是图中节点的数量,f是每个节点的特征的数量。模型的目标是学习编码函数h=g(a,x)和三个解码函数pi=di(h)(i∈{1,2,3}),其中h是来自编码器的嵌入,pi是边缘预测的输出。编码器g通过聚集节点邻域的信息将初始特征x变换成新的特征表示,然后将信息传递到一个或更多个经过训练的机器学习模型(例如,一个或更多个图形神经网络(或ggns))的下一层。然后,解码器d使用新的表示来预测边缘是否存在于两个节点之间的概率。编码器可以是例如基本图形注意力网络(gat),并且解码器可以是例如完全连接的层,以预测节点对(i,j)之间的连接性得分。在该示例中,通过组合每个任务的损失函数来预测两种不同类型的边缘,其中每个任务的二进制交叉熵损失被最小化,并且所提出的系统的损失函数表示如下:
59.i=i
connectivity
+α1i
adjacency
+α2i
connectivity+adjacency
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
60.其中i表示总损失,i
connectivity
是房间间连通性的损失(其可以被认为是其中邻近房间相互连接的特殊类型的房间邻接,例如可以通过门道或房间之间的其他开口可视地识别),i
adjacency
是不相互连接的两个房间(例如缺少从任一房间到其他房间的任何可视信息的两个房间)的邻接的损失,并且i
connectivity+adjacency
是两个房间之间的房间间连接和两个不互连的房间的邻接的损失。术语α1和α2分别是与i
adjacency
和i
connectivity+adjacency
项相关的重要性权重。
61.在上面讨论的示例实施例中,编码器基于图形注意力网络(gat),其试图生成能够帮助预测链接的新特征表示。在该示例中,输入图形首先被传递到几个图形注意力层,以通过聚集其邻居的属性来捕获结构信息。图形注意力层将为每个节点产生嵌入。此外,初始特征x本身可以包含一些房间属性(例如,房间形状),这也有助于改善链路预测性能。因此,通过连接初始特征x和图形注意力层的输出来添加长跳跃连接。编码器的最终输出将是h=[x,g(a,x)]。此外,示例实施例的解码器输出两个节点通过边缘连接的概率。在图2i的示例中,解码器被用于预测连接性,非连接邻接以及连接性或非连接邻接的组合。用于预测连接性边缘和非连接邻接边缘的两个解码器d1和d2具有相同的结构,每个解码器包含两个完全连接的层,分别为连接性边缘和非连接邻接边缘给出p1=d1(h)和p2=d2(h)的预测输出。然后,连接性边缘预测和非连接邻接边缘预测由完全连接层聚集,以预测连接性或非连接邻接的组合。p1和p2被级联并馈送到其他解码器d3,该解码器为作为连接性或非连接邻接的组合的边缘提供预测输出p3=d3([p1,p2])。
[0062]
在这些示例实施例中,训练一个或更多个机器学习模型以预测给定建筑物信息(例如,确定的房间属性)的不同类型的连接(即,连接性边缘,非连接邻接边缘,以及连接性边缘或非连接邻接边缘的组合)。作为一个示例,假设a是从楼层平面图的初始边缘生成的初始邻接图的邻接矩阵,所述楼层平面图的初始边缘是连接性边缘或非连接邻接边缘的组合-然后随机去除边缘的子集以生成不完全邻接矩阵
ā
。被去除的边缘被表示为正边缘e
pos
,然后随机采样相同量的负边缘e
neg
,这意味着两个房间没有连接。每个正边缘由节点对(i,j)组成,使得a(i,j)=1,并且每个负边缘由节点对(i,j)组成,使得a(i,j)=0。针对全部连接性边缘,非连接邻接边缘以及连接性边缘或非连接邻接边缘的组合来采样正边缘和负边缘。在给定节点属性x和不完全邻接矩阵
ā
的情况下,在全部类型的正边缘和负边缘上训练一个或更多个机器学习模型,并通过最小化预测与相应的地面真值之间的二进制交叉熵损失来优化。
[0063]
已经参考图2a-2k提供了各种细节,但是应当理解,所提供的细节是出于说明的目的而包括的非排他性示例,并且可以以其他方式执行其他实施例,而没有一些或全部这样的细节。
[0064]
如上所述,在一些实施例中,所描述的技术包括使用机器学习来学习邻接图的属性和/或其他特性,以在生成的相应嵌入向量中进行编码,所述嵌入向量例如是最佳地使得能够随后自动识别具有满足目标标准的属性的建筑物楼层平面图的属性和/或其他特性,并且在至少一些实施例中使用嵌入向量来基于这样的学习的属性或其他特性来识别正被编码的目标建筑物楼层平面图。特别地,在至少一些这样的实施例中,使用图形表示学习来
搜索映射函数,该映射函数可以将图形中的节点映射到d维向量,使得在所学习的空间中,图形中的类似节点具有类似的嵌入。与诸如图形内核方法的传统方法不同(例如,参见s.v.n.vishwanathan等人的“图像内核(graph kernels)”,journal of machine learning research,11:1201-1242,2010;以及nils m.kriege等人的“图像内核综述(a survey on graph kernels)”,arxiv:1903.11835,2019),图形神经网络消除了手工设计特征的过程,并直接从节点或(子)图的原始特征中学习高级嵌入。
[0065]
存在用于扩展和重新定义图域中的卷积的各种技术,这些卷积可以被分类为频谱方法和空间方法。频谱方法采用图形的频谱表示,并且专用于特定的图形结构,使得在一个图形上训练的模型不适用于具有不同结构的图形(例如,参见joan bruna等人的“关于图形的频谱网络和本地连接网络(spectral networks and locally connected networks on graphs)”,2014年学习代表国际会议,2014;michael defferrard等人的“具有快速局部化频谱滤波的关于图形的卷积神经网络(convolutional neural networks on graphs with fast localized spectral filtering),2016年神经信息处理系统论文集(proceedings of neural information processing systems,2016),第3844-3852页;以及thomas n.kipf等人的“具有图形卷积网络的半监督分类(semi-supervised classification with graph convolutional networks)”,2017年学习代表国际会议,2017。通过计算图形拉普拉斯算子的特征分解,在傅立叶域中定义频谱方法的卷积运算,并且可以通过图形拉普拉斯算子的切比雪夫展开来近似滤波器,以减少昂贵的特征分解,从而生成局部滤波器,其中滤波器可选地被限制为在远离当前节点一步的邻近节点上工作。
[0066]
关于空间方法,它包括通过递归地聚集来自节点的本地邻居的信息来学习节点的嵌入。可以以各种方式处理各种数量的邻近节点和相应的聚集功能。例如,每个节点的固定数目的邻居可以是样本,并且可以使用不同的聚集函数,诸如平均值,最大值和长短期存储器网络(lstm)(例如,参见will hamilton等人的“关于大图形的归纳表示学习(inductive representation learning on large graphs)”,2017年神经信息处理系统论文集,第1024

1034页。可选地,可以认为每个邻近节点对中心节点贡献不同,贡献因素通过自注意力模型而可学习(例如,参见p.velickovic等人的“图形注意力网络(graph attention networks)”,2018年学习表示国际会议,2018。此外,每个注意力头在不同的表示子空间中捕获特征相关性,并且可以被不同地处理,例如通过使用卷积子网络来加权每个注意力头的重要性(例如,参见jiani zhang等人的“gaan:用于学习大和空间图形的门控注意力网络(gaan:gated attention networks for learning on large and spatial graphs)”,2018年人工智能的不确定性论文集,2018)。
[0067]
此外,在一些实施例中,为建筑物创建邻接图和/或相关联的嵌入向量可以进一步部分地基于为建筑物提供的部分信息(例如,由fpsdm系统的运营商用户,由一个或更多个最终用户等)。这种部分信息可以包括例如以下的一个或更多个:所提供的建筑物房间的一些或全部房间名称,其中房间之间的连接将被自动确定或以其他方式建立;在所提供的建筑物的房间之间的一些或全部的房间连接,其中可能的房间名称用于自动确定或以其他方式建立的房间;提供的一些房间名称和房间间连接,其中其他房间间连接和/或可能的房间名称被自动确定或以其他方式建立。在这样的实施例中,自动技术可以包括使用部分信息作为完成或以其他方式生成建筑物楼层平面图的一部分,随后楼层平面图用于创建相应的
邻接图和/或嵌入向量。
[0068]
图3是示出执行fpsdm系统340的实施方式的一个或更多个服务器计算系统300以及执行ica系统388和migm系统389的实施方式的一个或更多个服务器计算系统380的实施例的框图-服务器计算系统和fpsdm和/或ica和/或migm系统可以使用形成适于并配置为当在组合操作中时执行本文中所述的至少一些技术的电子电路的多个硬件组件来实施。一个或更多个计算系统和设备还可以可选地执行建筑物地图查看器系统345(例如在该示例中的服务器计算系统300)和/或可选的其他程序335和383(例如在该示例中的分别为服务器计算系统300和380)。在所示实施例中,每个服务器计算系统300包括一个或更多个硬件中央处理单元(“cpu”)或其他硬件处理器305、各种输入/输出(“i/o”)组件310、储存器320和存储器330,其中所示i/o组件包括显示器311、网络连接312、计算机可读介质驱动器313和其他i/o设备315(例如,键盘、鼠标或其他定点设备、麦克风、扬声器、gps接收器等)。每个服务器计算系统380可以具有类似的组件,尽管为了简洁起见,在该示例中仅示出了一个或更多个硬件处理器381、存储器387、储存器384和i/o组件382。
[0069]
服务器计算系统300和执行fpsdm系统340、服务器计算系统380和执行ica和migm系统388-389以及执行建筑物地图查看器系统345,在该所示的实施例中,可以彼此通信以及与其他计算系统和设备通信,例如经由一个或更多个网络399(例如,因特网,一个或更多个蜂窝电话网络等),包括与用户客户端计算设备390(例如,用于查看楼层地图,以及可选的相关联的图像和/或其他相关信息,例如通过执行未示出的建筑物地图查看器系统的副本),和/或移动视频采集设备360(例如,用于采集视频以及可选的附加图像和/或其他信息,用于要建模的建筑物或其他环境)和/或可选地接收和使用楼层地图以及可选地接收和使用用于导航目的的其他生成的信息(例如,由半自主或完全自主的车辆或其他设备使用)的其他可导航设备395交互。在其他实施例中,所描述的功能性中的一些可以在较少计算系统中组合,以便在单个系统或设备中组合fpsdm系统340和建筑物地图查看器系统345,在单个系统或设备中组合fpsdm系统340和设备360的视频采集功能性,在单个系统或设备中组合ica和migm系统388-389以及设备360的视频采集功能性,在单个系统或设备中组合fpsdm系统340和ica和migm系统388-389以及设备360的视频采集功能性等。
[0070]
在所示实施例中,fpsdm系统340的实施例在服务器计算系统300的存储器330中执行,以便执行至少一些所描述的技术,例如通过使用处理器305以配置处理器305和计算系统300以执行实现那些所描述的技术的自动操作的方式来执行系统340的软件指令。示出的fpsdm系统的实施例可以包括未示出的一个或更多个组件,以各自执行fpsdm系统的功能的部分,并且存储器可以进一步可选地执行一个或更多个其他程序335-作为一个具体示例,在至少一些实施例中,ica和/或migm系统的副本可以作为其他程序335中的一个来执行,诸如代替服务器计算系统380上的ica和/或migm系统388-389或除了服务器计算系统380上的ica和/或migm系统388-389之外。fpsdm系统340还可以在其操作期间在存储器320上(例如,在一个或更多个数据库或其他数据结构中)存储和/或检索各种类型的数据,诸如各种类型的用户信息322,楼层平面图和其他相关联的信息324(例如,生成并保存的2.5d和/或3d模型,与相关联的楼层平面图一起使用的建筑物和房间尺寸,附加图像和/或注释信息等),生成的楼层平面图邻接图和/或相关联的嵌入向量326,和/或各种类型的可选附加信息329(例如,与一个或更多个建筑物内部或其他环境的呈现或其他使用有关的各种分析信息)。
[0071]
此外,ica和migm系统388-389的实施例在所示实施例中的服务器计算系统380的存储器387中执行,以便执行与生成用于建筑物的链接全景图像和楼层平面图相关的技术,例如通过使用处理器381以配置处理器381和计算系统380以执行实现那些技术的自动操作的方式来执行系统388和/或389的软件指令。示出的ica和migm系统的实施例可以包括未示出的一个或更多个组件,以分别均执行ica和migm系统的部分功能,并且存储器可以进一步可选地执行一个或更多个其他程序383。ica和/或migm系统388-389还可以在操作期间在储存器384上(例如,在一个或更多个数据库或其他数据结构中)存储和/或检索各种类型的数据,诸如为一个或更多个建筑物采集的视频和/或图像信息386(例如,360
°
视频或用于分析以生成楼层地图的图像,以向客户端计算设备390的用户提供以供显示等),楼层平面图和/或其他生成的映射信息387,其他信息385(例如,用于与相关联的楼层平面图一起使用的附加图像和/或注释信息,用于与相关联的楼层平面图一起使用的建筑物和房间尺寸,与一个或更多个建筑物内部或其他环境的呈现或其他使用相关的各种分析信息等)-虽然在图3中未示出,但是ica和/或migm系统可以进一步存储和使用附加类型的信息,诸如关于要分析和/或提供给fpsdm系统的其他类型的建筑物信息,关于ica和/或migm系统运营商用户和/或最终用户等。
[0072]
用户客户端计算设备390(例如,移动设备)、移动图像采集设备360、可选的其他可导航设备395和其他计算系统(未示出)中的一些或全部可以类似地包括针对服务器计算系统300所示的相同类型的组件中的一些或全部。作为一个非限制性示例,移动图像采集设备360均被示出为包括一个或更多个硬件cpu 361、i/o组件362、储存器364和存储器367、一个或更多个成像系统365和imu硬件传感器369(例如,用于采集视频和/或图像,相关联的设备移动数据等)。在所示示例中,浏览器和一个或更多个客户端应用368(例如,专用于fpsdm系统和/或ica系统和/或migm系统的应用)中的一个或两个在存储器367内执行,以便参与与fpsdm系统340、ica系统388、migm系统389和/或其他计算系统的通信。虽然没有针对其他可导航设备395或其他计算设备/系统390说明特定组件,但将理解,其可包含类似和/或附加组件。
[0073]
还将理解,图3内包括的计算系统300和380以及其他系统和设备仅仅是说明性的,而不是意图限制本发明的范围。系统和/或设备可以代替地每个包括多个交互计算系统或设备,并且可以连接到未具体示出的其他设备,包括经由蓝牙通信或其他直接通信,通过诸如因特网的一个或更多个网络,经由web,或经由一个或更多个专用网络(例如,移动通信网络等)。更一般地,设备或其他计算系统可以包括硬件的任何组合,其可以交互和执行所述类型的功能,可选地当用特定软件指令和/或数据结构编程或以其他方式配置时,包括但不限于台式计算机或其他计算机(例如,平板计算机,平板等)、数据库服务器、网络存储设备和其他网络设备、智能电话和其他蜂窝电话、消费电子产品、可佩戴设备、数字音乐播放器设备、手持游戏设备、pda、无线电话、因特网器具和包括适当通信能力的各种其他消费产品。此外,在一些实施例中,由所示fpsdm系统340提供的功能可以分布在各种组件中,可以不提供fpsdm系统340的一些所述功能,和/或可以提供其他附加功能。
[0074]
还将理解,尽管在使用时将各种项目示出为存储在存储器中或存储在储存器上,但是出于存储器管理和数据完整性的目的,可以在存储器和其他储存设备之间传送这些项目或它们的部分。可选地,在其他实施例中,软件组件和/或系统中的一些或全部可在其他
设备上的存储器中执行,并经由计算机间通信与所示出的计算系统通信。因此,在一些实施例中,当由一个或更多个软件程序(例如,由在服务器计算系统300上执行的fpsdm系统340,由在服务器计算系统300或其他计算系统/设备上执行的建筑物地图查看器系统345等)和/或数据结构配置时,可以由包括一个或更多个处理器和/或存储器和/或储存器的硬件工具来执行所描述的技术中的一些或全部,诸如通过执行一个或更多个软件程序的软件指令和/或通过存储这样的软件指令和/或数据结构,并且以便执行如在流程图和本文中的其他公开中所描述的算法。此外,在一些实施例中,系统和/或组件中的一些或全部可以以其他方式来实现或提供,例如通过由在固件和/或硬件中部分或全部实施的一个或更多个工具(例如,而不是由配置特定cpu或其他处理器的软件指令整体或部分实施的工具)组成,包括但不限于一个或更多个专用集成电路(asic)、标准集成电路、控制器(例如,通过执行适当的指令,并且包括微控制器和/或嵌入式控制器)、现场可编程门阵列(fpga)、复杂可编程逻辑器件(cpld)等。组件、系统和数据结构中的一些或全部也可以存储(例如,作为软件指令或结构化数据)在诸如硬盘或闪存驱动器或其他非易失性储存设备、易失性或非易失性存储器(例如,ram或闪存ram)、网络储存设备或便携式介质制品(例如,dvd盘、cd盘、光盘、闪存设备等)上以由适当的驱动器或经由适当的连接来读取。在一些实施例中,系统,组件和数据结构还可以经由生成的数据信号(例如,作为载波或其他模拟或数字传播信号的一部分)在各种计算机可读传输介质上传输,所述计算机可读传输介质包括基于无线和基于有线/电缆的介质,并且可以采取各种形式(例如,作为单个或多路复用模拟信号的一部分,或作为多个离散数字数据包或帧)。在其他实施例中,这种计算机程序产品也可以采用其他形式。因此,本公开的实施例可以用其他计算机系统配置来实践。
[0075]
图4示出了ica系统例程400的实施例的示例流程图。该例程可以由例如图1a的ica系统160、图3的ica系统388和/或如本文中另外描述的ica系统执行,以便在建筑物或其他结构内的采集位置处采集360
°
全景图像和/或其他图像或视频,例如用于后续生成相关的楼层平面图和/或其他映射信息。尽管关于在特定采集位置处采集特定类型的图像来讨论示例例程400的部分,但是将理解,可以使用该例程或类似例程来采集视频或其他数据(例如,音频),无论是代替这些图像还是除了这些图像之外。此外,虽然所示的实施例从目标建筑物的内部采集和使用信息,但是将理解,其他实施例可以对其他类型的数据执行类似的技术,包括对非建筑物结构和/或对一个或更多个感兴趣的目标建筑物外部的信息。此外,可以在用户用来采集图像信息的移动设备上,和/或由远离这种移动设备的系统执行一些或全部例程。
[0076]
例程的所示实施例在框405处开始,在框405处接收指令或信息。在框410处,例程确定所接收的指令或信息是否指示采集表示建筑物内部的数据,并且如果不是,则继续到框490。否则,例程进行到框412以接收在第一采集位置处开始图像采集过程的指示(例如,来自移动图像采集设备的用户)。在框412之后,例程进行到框415,以便执行采集位置图像采集活动,以便采集用于感兴趣的目标建筑物内部中的采集位置的360
°
全景图像,从而提供围绕垂直轴的至少360
°
的水平覆盖。该例程还可以可选地从用户获得关于采集位置和/或周围环境的注释和/或其他信息,例如用于稍后在呈现关于该采集位置和/或周围环境的信息时使用。
[0077]
在框415完成之后,例程继续到框420,以确定是否存在更多的采集位置,在采集位
置处例如基于移动设备的用户所提供的相应信息来采集图像。如果是这样,则例程继续到框422,以在移动设备沿着远离当前采集位置的行进路径并且朝向建筑物内部内的下一个采集位置的移动期间可选地启动链接信息(例如加速度数据)的捕获。如在本文中的其他地方所述,所捕获的链接信息可以包括在这种移动期间记录的附加传感器数据(例如,来自移动设备上的一个或更多个imu或惯性测量单元或以其他方式由用户携带)和/或附加视频信息。可以响应于来自移动设备的用户的显式指示或者基于从移动设备记录的信息的一个或更多个自动分析来执行启动对这种链接信息的捕获。此外,在一些实施例中,在移动到下一个采集位置期间,该例程还可以可选地监视移动设备的运动,并且向用户提供一个或更多个关于移动设备的运动,被捕获的传感器数据和/或视频信息的质量,相关的照明/环境条件,捕获下一个采集位置的可取性以及捕获链接信息的任何其他合适的方面的引导提示。类似地,例程可以可选地从用户获得关于行进路径的注释和/或其他信息,例如用于稍后在呈现关于该行进路径的信息或所得的全景间连接链接中使用。在框424中,例程确定移动设备已经到达下一个采集位置(例如,基于来自用户的指示,基于用户停止至少预定时间量的向前移动等),用作新的当前采集位置,并且返回到框415,以便执行用于新的当前采集位置的采集位置图像采集活动。
[0078]
如果在框420中代替地确定没有采集当前建筑物或其他结构的图像信息的任何更多采集位置,则例程进行到框425,以可选地分析建筑物或其他结构的采集位置信息,以便识别可能的附加覆盖(和/或其他信息)来在建筑物内部采集。例如,ica系统可以向用户提供关于在捕获多个采集位置期间采集的信息并且可选地相应的链接信息的一个或更多个通知,例如,如果它确定记录的信息的一个或更多个部分具有不充分的或不期望的质量,或者没有看起来提供建筑物的完全覆盖(例如,对于图像采集还没有发生的一个或更多个另外的采集位置),并且如果是这样,则例程可以返回到框422以启动附加的相应数据采集活动。在框425之后,如果例程没有返回到框422,则例程代替地继续到框435,以在所采集的360
°
全景图像随后用于生成相关映射信息之前,可选地对所采集的360
°
全景图像进行预处理。在框477中,图像和任何相关的生成或获得的信息被存储以供以后使用。图5a-图5b示出了用于从这样生成的全景信息生成建筑物内部的楼层平面图表示的例程的一个示例。
[0079]
如果在框410中代替地确定在框405中陈述的指令或其他信息不是要采集表示建筑物内部的图像和其他数据,则例程继续到框490以适当地执行任何其他指示的操作,例如任何内务处理任务,以配置要在系统的各种操作中使用的参数(例如,至少部分地基于由系统的用户指定的信息,诸如捕获一个或更多个建筑物内部的移动设备的用户,ica系统的运营商用户等),以获得并存储关于系统用户的其他信息,以响应对所生成和存储信息的请求等。
[0080]
在框477或490之后,例程进行到框495以确定是否继续,例如直到接收到要终止的显式指示,或者代替地仅在接收到要继续的显式指示时才进行。如果确定继续,则例程返回到框405以等待附加的指令或信息,并且如果不是,则前进到步骤499并结束。
[0081]
图5a-图5b示出了用于映射信息生成管理器(migm)系统例程500的流程图的示例实施例。例如,可以通过执行图1a的migm系统160、图3的migm系统389和/或如在本文中的其他地方所述的migm系统来执行该例程,以便至少部分地基于所定义区域的图像来生成用于所定义区域的楼层平面图和可选的其他映射信息(例如,3d计算机模型)。在图5a-图5b的示
例中,所生成的映射信息包括建筑物(例如房屋)的2d楼层平面图和3d计算机模型,但是在其他实施例中,可以为其他类型的建筑物确定和生成其他类型的映射信息并以其他方式使用,如在本文中的其他地方所讨论的。
[0082]
例程的所示实施例在框505处开始,在框505处接收信息或指令。例程继续到框510,以确定在框505中接收到的指令是否指示为指示的建筑物生成映射信息,并且如果是这样,则例程继续执行框515-588以这样做,否则继续到框590。
[0083]
在框515中,例程确定图像信息是否已经可用于建筑物,或者是否这样的信息代替地需要采集。如果在框515中确定需要采集信息,则例程继续到框520以采集这样的信息,可选地等待一个或更多个用户或设备以在整个建筑物中移动并且在建筑物的多个房间中的多个采集位置处采集全景图像或其他图像,并且可选地进一步分析图像和/或关于它们的采集的元数据信息以互连图像,如在本文中的其他地方更详细地讨论的-图4提供用于执行这样的图像采集的ica系统例程的一个示例实施例。如果在框515中代替地确定不需要采集图像,则例程代替地继续到框530,以从建筑物的多个房间中的多个采集位置获得现有的全景或其他图像,可选地连同图像的互连信息以及与采集位置之间的移动相关的元数据信息的采集,例如在某些情况下可能连同相应的指令一起在框505中被提供。
[0084]
在框520或530之后,例程继续到框535,以可选地获得关于建筑物的附加信息(无论是基于在初始图像采集期间和/或之后执行的活动),例如基于所采集的注释信息和/或来自一个或更多个外部源(例如,在线数据库,由一个或更多个最终用户提供的信息等)的信息和/或来自所采集的图像的分析的信息(例如,初始全景图像和/或附加图像,例如对于在不同于初始全景图像的采集位置的位置处的附加图像)-这样的附加获得的信息可以包括:例如建筑物的外部尺寸和/或形状、关于内置特征(例如,厨房岛)的信息、关于安装的固定设备和/或器具(例如,厨房器具、浴室物品等);关于建筑物内部位置的视觉外观信息(例如,颜色和/或材料类型和/或纹理,用于安装的物品,例如地板覆盖物或墙壁覆盖物或表面覆盖物),关于来自特定窗户或其他建筑物位置的视图的信息,关于建筑物外部的区域的其他信息(例如,其他相关的建筑物或结构,例如棚、车库、水池、平台、露台,走道,花园等;外部空间的类型;存在于外部空间中的物品;等)。
[0085]
在框535之后,例程继续到框550,以为具有一个或更多个采集位置和相关联的所采集图像的建筑物内部的每个房间确定房间的房间形状以及可选地根据其采集位置在房间内的位置(例如以自动方式)来确定的,该房间形状是根据在房间内部拍摄的图像中的数据。在框555中,例程还使用图像中的视觉数据和/或用于它们的采集元数据来为建筑物中的每个房间确定进出房间的任何连接通道(例如,以自动方式)。在框560中,例程还使用图像中的视觉数据和/或用于它们的采集元数据来为建筑物中的每个房间确定房间中的任何墙壁元素及其位置(例如,以自动方式),诸如用于窗户,墙壁间边界等。将理解,尽管在该示例中框550-560被示为单独的操作,但是在一些实施例中,可以执行图像的单个分析以采集或确定多种类型的信息,例如关于框550-560所讨论的那些信息。
[0086]
在框565中,例程然后确定房间形状的估计位置以创建初始2d楼层平面图,诸如通过连接其相应房间中的房间间通道,通过可选地围绕所确定的采集位置定位来定位房间形状(例如,如果采集位置定位相互连接),以及通过可选地应用一个或更多个约束或优化。这种楼层平面图可以包括例如用于各种房间的相对位置和形状信息,而不提供用于作为整体
的各个房间或建筑物的任何实际尺寸信息,并且还可以包括建筑物的多个链接或相关联的子地图(例如,以反映不同的层,层级,部分等)。该例程还将门、墙壁开口和其他识别的墙壁元件在楼层平面图上的位置关联起来。
[0087]
在框565之后,例程可选地执行一个或更多个步骤575-580,以确定附加信息并将附加信息与楼层平面图相关联。在框575中,该例程可选地估计一些或全部房间的尺寸,例如从图像和/或它们的采集元数据的分析或者从为建筑物的外部获得的总体尺寸信息中估计尺寸,并且将估计的尺寸与楼层平面图相关联-将理解,如果足够详细的尺寸信息可用,则可以从楼层平面图生成建筑图,蓝图等。在框575之后,例程继续到框580,以可选地将进一步的信息与楼层平面图(例如,与建筑物内的特定房间或其他位置)相关联,诸如附加图像和/或注释信息。在框585中,该例程进一步估计一些或全部房间中的墙壁的高度,例如从图像的分析和图像中已知对象的可选尺寸,以及当图像被采集时关于照相机的高度信息估计墙壁的高度,并且进一步使用这些信息来生成建筑物的3d计算机模型,其中3d模型和楼层平面图彼此相关联。
[0088]
在框585之后,例程继续到框588,以存储所生成的映射信息和可选的其他所生成的信息,并且可选地进一步使用所生成的映射信息,以便提供所生成的2d楼层平面图和/或3d计算机模型,以便在一个或更多个客户端设备上显示,从而将所生成的信息提供给一个或更多个其他设备,以便在那些设备和/或相关联的车辆或其他实体的自动导航中使用等。
[0089]
如果在框510中代替地确定在框505中接收的信息或指令不是要为指示的建筑物生成映射信息,则例程代替地继续到框590以适当地执行一个或更多个其他指示的操作。这种其他操作可以包括例如接收和响应对先前生成的计算机模型和/或楼层平面图和/或其他生成的信息的请求(例如,对由fpsdm系统使用的这种信息的请求,对在一个或更多个客户端设备上显示的这种信息的请求,对将其提供给一个或更多个其他设备以在自动导航中使用的这种信息的请求等),获得和存储关于在稍后的操作中使用的建筑物的信息(例如,关于房间的尺寸,数量或类型,总平方英尺,邻近或附近的其他建筑物,邻近或附近的植被,外部图像等的信息)等。
[0090]
在框588或590之后,例程继续到框595,以确定是否继续,例如直到接收到要终止的显式指示,或者代替地仅在接收到要继续的显式指示时才继续。如果确定继续,则例程返回到框505以等待并接收附加指令或信息,否则继续到框599并结束。
[0091]
图6a-图6b示出了用于楼层平面图相似度确定管理器(fpsdm)系统例程600的流程图的示例实施例。该例程可以通过例如执行图1a的fpsdm系统140、图3的fpsdm系统340和/或如关于图2d-图2k和在本文中的其他地方所述的fpsdm系统来执行,以便执行与用于建筑物楼层平面图的预测信息(例如,房间类型,房间间连接的类型等)相关的自动操作,以识别具有满足目标标准的属性的建筑物楼层平面图,并提供关于所识别的楼层平面图的信息,以便随后以一种或多种自动方式使用。在图6a-图6b的示例实施例中,楼层平面图用于房屋或其他建筑物,并且楼层平面图信息的分析包括生成和使用对应的邻接图以及在一些情况下,将嵌入向量和经过训练的神经网络或其他经过训练的机器学习模型一起使用来预测某些楼层平面图信息,但是在其他实施例中,其他类型的数据结构和分析可以用于其他类型的结构或用于非结构位置,并且所识别的建筑物和/或它们的楼层平面图可以以不同于关于例程600所讨论的方式的其他方式来使用,如在本文中的其他地方所讨论的。此外,尽管
例程的示例实施例可以使用邻接图和/或嵌入向量和/或其他指定标准(例如,搜索项)来识别匹配或以其他方式类似于该信息的建筑物楼层平面图,但是例程的其他实施例可以仅使用一种这样的类型的信息和/或可以使用其他附加类型的信息和分析。
[0092]
例程的所示实施例在框605处开始,在框605处接收信息或指令。例程继续到框610以确定在框605中接收的指令或其他信息是否指示使用一个或更多个指示的初始建筑物来确定一个或更多个其他类似的目标建筑物,并且如果是这样,则例程继续执行框615-660以这样做,否则继续到框670。
[0093]
在框615中,对于一个或更多个指示的初始建筑物中的每一个(例如,如在框605中接收的指令或信息中所标识的),例程执行若干活动,作为确定那些指示的建筑物与各种其他建筑物(例如,来自数据库或其他组的存储的楼层平面图和用于各种建筑物的相关联的信息,其可选地包括先前提供给例程600的其他初始建筑物)的相似性的一部分。在所示示例中,在框615中由例程对每个指示的建筑物执行的活动包括生成或以其他方式获得信息(例如,检索存储信息)以表示建筑物,以便表示来自邻接图中的建筑物的楼层平面图的一些或全部信息,所述邻接图包括关于房间邻接和/或互连性的信息以及关于各种其他房间和建筑物属性的信息,和/或表示紧凑形式的建筑物信息的一些或全部的嵌入向量。如果建筑物的代表性信息尚未生成并可用于检索,则该技术可包括获得建筑物的楼层平面图,该楼层平面图包括关于门和其他房间间开口、窗户等的位置、房间标签和/或类型的信息,以及与楼层平面图相关联的任何其他可用建筑物信息(例如,在建筑物的一个或更多个房间中采集的图像和/或其他信息)。在框615中由例程对每个指示的建筑物执行的活动可以进一步包括将其他可用的建筑物信息(如果有的话)与建筑物的楼层平面图的相应房间和房间间开口相关联,如果还没有完成,并且可选地分析所采集的其他建筑物信息以确定相应房间或房间间开口(或作为整体的建筑物)的附加属性,与那些附加的确定的属性相关联,然后也与建筑物楼层平面图(例如,具有相应的房间或房间间开口,或具有作为整体的建筑物)相关联。在框615中由例程对每个指示的建筑物执行的活动可以进一步包括生成用于建筑物楼层平面图的邻接图,该邻接图包括用于房间(以及可选地用于其他区域,例如建筑物外部的邻近空间,包括从建筑物到外部的门外或其他开口的区域)的节点,并且具有表示房间间连通性(例如,基于房间间的门或其他房间间开口)和/或其他房间间邻接的边缘,以及与邻接图中的房间和房间间连接/邻接的对应节点和边缘一起存储或以其他方式相关联地存储的来自楼层平面图的属性及其相关联的附加信息。在框615中由例程为每个指示的建筑物执行的活动可以进一步包括可选地将建筑物的邻接图提供给一个或更多个经过训练的分类神经网络,每个经过训练的分类神经网络根据一个或更多个主观因素(例如,可达性友好、开放的楼层平面图、非典型的楼层平面图等)对建筑物楼层平面图进行分类,并且类似地将任何所得的分类属性与楼层平面图及其邻接图一起存储。
[0094]
在框615之后,例程继续到框617,以确定是否使用来自框615的信息来为指示的建筑物生成一种或多种类型的附加代表性信息的预测,以便向指示的建筑物的楼层平面图和/或邻接图添加新信息,和/或校正或以其他方式补充指示的建筑物的楼层平面图和/或邻接图中的现有信息。如果不是,则继续到框620。否则,例程继续到框619,以针对每个指示的建筑物将指示的建筑物的邻接图和/或来自它的信息子集提供给一个或更多个经过训练的机器学习模型(例如,一个或更多个经过训练的神经网络),以获得关于指示的建筑物的
一种或多种类型的信息的预测。在所示实施例中,预测信息包括用于建筑物中的一些或全部房间的房间类型以及一些或全部房间之间的房间间连接类型(例如,通过门或其他开口连接,与居间墙壁邻近但不以其他方式连接,不邻近等),尽管在其他实施例中,可以仅预测两种类型信息中的一种,和/或可以预测其他类型的建筑物属性信息。然后,在框619中预测的信息被用于更新指示的建筑物的楼层平面图和邻接图。
[0095]
在框619之后,或者如果在框617中确定不预测进一步的建筑物信息,则例程继续到框620,以确定是否使用嵌入向量将指示的初始建筑物与其他建筑物进行比较,并且如果不是,则继续到框655,以使用其邻接图来比较建筑物对。否则,例程继续到框622,以对于每个指示的初始建筑物使用表示学习来生成指示的建筑物的楼层平面图嵌入向量,该楼层平面图嵌入向量简明地表示包括在建筑物的邻接图中的信息。在框622之后,例程继续到框625,以针对多个其他建筑物(例如,全部可用/已知的其他建筑物、满足一个或更多个定义的测试的可用其他建筑物的子集、在框605中接收的信息中提供或另外指示的其他建筑物的组等)中的每一个确定针对其他建筑物的存储的嵌入向量之间的距离(或其他差异或相似性的其他测量)的值(或如果没有预先生成和存储,可选地动态地生成并使用针对该其他建筑物的新嵌入向量)以及用于在框622中生成的每个指示的初始建筑物的嵌入向量-如果存在多个指示的初始建筑物,则该例程还通过组合该其他建筑物和全部多个指示的初始建筑物之间的确定的距离值来为每个其他建筑物生成组合的距离值(例如,平均值,累积总数等)。如在其他地方所讨论的,可以使用一个或更多个不同的距离测量来确定距离值。在框625之后,例程继续到框635,在框635中,它使用在框625中确定的距离值(如果存在多个指示的初始建筑物,则使用组合的距离值)来对多个其他建筑物进行排序,并且选择一个或更多个最佳匹配来用作所标识的目标建筑物(例如,全部匹配都高于所定义的阈值,单个最佳匹配等,并且可选地基于在框605中接收的指令或其他信息),利用那些选择的具有最小确定距离值(即,与一个或更多个指示的建筑物的最高相似性)的一个或更多个最佳匹配。
[0096]
如果在框620中代替地确定不使用用于比较的嵌入向量,则例程代替地继续到框655,在框655中,对于多个其他建筑物之一(无论是关于框625讨论的相同的其他建筑物还是不同的其他建筑物组,例如满足一个或更多个标准的全部可用其他建筑物的子集,所述标准可以与框625中使用的标准相同或不同)和一个或更多个指示的初始建筑物之一的每个组合,该例程向一个或更多个经过训练的相似性机器学习模型(例如,一个或更多个经过训练的神经网络)提供用于该其他建筑物和指示的建筑物的信息(例如,用于两个建筑物的邻接图、用于两个建筑物的楼层平面图等),以确定两个建筑物之间的相似度(例如,双模型是或否值,从多个可能的相似性值的范围或枚举中,两个建筑物具有高于定义的阈值的相似性的概率或其他可能性)-如果存在多个指示的初始建筑物,则该例程还通过组合来自全部多个指示的初始建筑物中的其他建筑物的确定的相似度值来为其他建筑物中的每一个生成组合的相似度值(例如,平均值,累积总数等)。在框655之后,例程继续到框660,在框660处,例程使用在框655中确定的相似度值(如果存在多个指示的建筑物,则使用组合的相似度值)对多个其他建筑物进行排序,并且选择一个或更多个最佳匹配来用作所标识的目标建筑物(例如,全部匹配都高于所定义的阈值,单个最佳匹配等,并且可选地基于在框605中接收的指令或其他信息),其中所选择的一个或更多个最佳匹配具有最大的所确定的相似度值。
[0097]
如果在框610中代替地确定不是确定与一个或更多个指示的建筑物类似的其他目标建筑物,则例程代替地继续到框670,在框670中确定在框605中接收的指令或其他信息是否指示确定与一个或更多个指定标准匹配或以其他方式类似的其他目标建筑物,并且如果不是,则继续到框690。在一些实施例和情形中(例如,基于在框605中接收的指令),可以仅考虑与全部指定标准完全匹配的其他建筑物,而在其他实施例和情形中,可以考虑仅与指定标准部分匹配的其他建筑物。如果在框670中确定为确定匹配或以其他方式类似于一个或更多个指定标准的其他目标建筑物,则例程代替地继续到框675,在框675中,对于多个其他建筑物中的每一个(无论是关于框625讨论的相同的其他建筑物还是不同的其他建筑物组,例如满足一个或更多个测试的全部可用其他建筑物的子集,所述测试可以可选地不同于框625中使用的测试),分析存储的其他建筑物的邻接图信息(或其他建筑物的动态生成的邻接图信息,如果先前没有生成并存储),以确定与指定标准的匹配程度。将理解,可以使用各种匹配标准,如在本文中的其他地方所讨论的。在框675之后,例程继续到框680,在框680中,例程使用在框675中确定的匹配程度来对多个其他建筑物进行排序,并且选择一个或更多个最佳匹配来用作所识别的目标建筑物(例如,全部匹配都高于所定义的阈值,单个最佳匹配等,并且可选地基于在框605中接收的指令或其他信息),其中所选择的一个或更多个最佳匹配具有最大的所确定的匹配程度(即,与一个或更多个指定标准的最高相似性)。
[0098]
在框635、660或680之后,例程继续到框688,在框688中它存储在框615-680中确定和生成的一些或全部信息,并返回关于一个或更多个选择的最佳匹配目标建筑物的信息。
[0099]
如果在框670中代替地确定在框605中接收的信息或指令不是要确定与一个或更多个指定标准相匹配的一个或更多个其他目标建筑物,则例程代替地继续到框690,以适当地执行一个或更多个其他指示的操作。这样的其他操作可以包括例如接收和响应对先前标识的建筑物楼层平面图信息的请求(例如,对用于在一个或更多个客户端设备上显示的这样的信息的请求,对用于将其提供给一个或更多个其他设备以便在自动导航中使用的这样的信息的请求等),训练一个或更多个神经网络或其他机器学习模型以识别和预测楼层规划信息的类型(例如,房间类型,房间之间连接的类型等),训练一个或更多个神经网络或其他机器学习模型以基于建筑物信息中的相似性(例如,楼层平面图,邻接图,编码向量等)来识别建筑物之间的相似性,训练一个或更多个分类神经网络或其他机器学习模型以根据一个或更多个主观因素(例如,可达性友好、开放楼层平面图、非典型楼层平面图、非标准楼层平面图等)来对建筑物楼层平面图进行分类,使用机器学习技术来学习邻接图的属性和/或其他特征以在生成的相应嵌入向量(例如,最佳属性和/或其他特征,以允许随后自动识别具有满足目标标准的属性的建筑物楼层平面图)中进行编码,生成和存储建筑物的代表性信息(例如,楼层平面图,邻接图,嵌入向量等)以供以后使用,获得和存储关于例程的用户的信息(例如,当前用户的搜索和/或选择偏好)等。
[0100]
在框688或690之后,例程继续到框695,以确定是否继续,例如直到接收到要终止的显式指示,或者代替地仅在接收到要继续的显式指示时才继续。如果确定继续,则例程返回到框605以等待并接收附加指令或信息,否则继续到框699并结束。
[0101]
图7示出了用于建筑物地图查看器系统例程700的流程图的示例实施例。该例程可以通过例如执行图1a的地图查看器客户端计算设备175及其软件系统(未示出)、建筑物地
图查看器系统345和/或图3的客户端计算设备390和/或如在本文中的其他地方所述的映射信息查看器或呈现系统来执行,以便基于用户特定的标准选择要显示给用户的一个或更多个建筑物楼层平面图,接收和显示一个或更多个相应的楼层平面图和/或其他映射信息(例如,3d计算机模型、2.5d计算机模型等),以及可选地显示与楼层平面图中的特定位置相关联的附加信息(例如,图像)或其他映射信息。在图7的示例中,所呈现的映射信息是针对建筑物(诸如房屋)的内部的,但是在其他实施例中,可以针对其他类型的建筑物或环境呈现其他类型的映射信息,并且以其他方式使用,如在本文中的其他地方所讨论的。
[0102]
例程的所示实施例在框705处开始,在框705处接收指令或信息。在框705之后,例程继续到框750,在框750处,它确定在框705中接收的指令或其他信息是否指示基于一个或更多个指示的其他建筑物选择一个或更多个目标建筑物以供呈现,并且如果不是,则继续到框760。否则,例程继续到框752,在框752处,它获得要使用的一个或更多个初始建筑物的指示,例如从当前用户选择(例如,如用户当前选择的和/或在框705中接收的信息或指令中指示的)和/或从先前被识别为用户感兴趣的一个或更多个建筑物(例如,基于先前的用户选择或其他先前的用户活动)获得。然后,该例程调用fpsdm例程,并向关于一个或更多个指示的初始建筑物的信息提供相应的指令,以确定与初始建筑物最相似的一个或更多个其他建筑物,并从一个或更多个返回的其他建筑物(例如,具有最高相似性等级的返回的其他建筑物,或使用在框705中接收的指令或其他信息中指示的其他选择技术)中选择最佳匹配目标建筑物以进一步使用。
[0103]
在框752之后,或者如果在框750中替代地确定在框705中接收的指令或其他信息不是要基于其他建筑物选择一个或更多个目标建筑物,则例程继续到框760以确定在框705中接收的指令或其他信息是要使用指定标准选择一个或更多个目标建筑物,并且如果不是要继续到框770,则从用户获得要使用的目标建筑物的指示(例如,基于当前用户选择,例如从显示的列表或其他用户选择机制;基于在框705中接收到的信息;等)。否则,如果在框760中确定从指定标准中选择一个或更多个目标建筑物,则例程代替地继续到框762,在框762中,它获得要使用的一个或更多个搜索标准的指示,例如从当前用户选择或者如在框705中接收的信息或指令中指示的,然后调用fpsdm例程,并向一个或更多个指定标准提供相应的指令,以确定满足搜索标准的一个或更多个建筑物。然后,从一个或更多个返回的建筑物(例如,具有最高相似性等级的返回的其他建筑物,或者使用在框705中接收的指令或其他信息中指示的其他选择技术)中选择最佳匹配的目标建筑物。在一些实施例和情况中,例程700的用户可以指示基于一个或更多个其他建筑物和一个或更多个指定标准选择目标建筑物,并且如果是这样,则可以执行两个框752和762,例如在fpsdm例程的框762中的调用不仅提供搜索标准,而且提供来自框752的一个或更多个确定的其他建筑物,以供fpsdm例程用作多个其他建筑物,以被认为潜在地满足搜索标准。在其他实施例中,用户可以指定搜索标准或其他建筑物(但不是两者),或者替代地,可以仅提供两种类型搜索中的一种的功能。
[0104]
在框762或770之后,例程继续到框710,以确定在框705中接收的指令或其他信息是要显示关于目标建筑物的信息还是以其他方式呈现关于目标建筑物的信息(例如,经由包括关于目标建筑物内部的信息的楼层平面图),例如来自框752、762或770的目标建筑物,并且如果不是,则继续到框790。否则,例程进行到框712,以获得目标建筑物的楼层平面图和/或其他生成的映射信息(例如,3d计算机模型)以及可选地指示的建筑物内部和/或周围
位置的相关联的或链接的信息(例如,在建筑物内或周围拍摄的附加图像),并选择所检索的信息的初始视图(例如,至少一些3d计算机模型的楼层平面图的视图等)。在框715中,例程然后显示或以其他方式呈现所检索的信息的当前视图,并且在框717中等待用户选择。在框717中的用户选择之后,如果在框720中确定用户选择对应于当前目标建筑物位置(例如,改变该目标建筑物的所显示的映射信息的当前视图),则例程继续到框722,以根据用户选择更新当前视图,然后返回到框715,以相应地更新所显示的或以其他方式呈现的信息。用户选择和当前视图的相应更新可以包括例如显示或以其他方式呈现用户选择的一条关联的链接信息(例如,与确定的采集位置的所显示的视觉指示相关联的特定图像),改变当前视图如何显示(例如,放大或缩小;如果合适,则旋转信息;选择将被显示或以其他方式呈现的楼层平面图和/或3d计算机模型的新部分,例如一些或全部的新部分先前不可见,或者替代为是先前可见信息的子集的新部分;等)。
[0105]
如果在框710中代替地确定在框705中接收的指令或其他信息不是要呈现表示建筑物内部的信息,则例程代替地继续到框790以适当地执行任何其他指示的操作,例如任何内务处理任务,以配置要在系统的各种操作中使用的参数(例如,至少部分地基于由系统的用户指定的信息,诸如捕获一个或更多个建筑物内部的移动设备的用户,fpsdm系统的运营商用户等),以获得并存储关于例程的用户的其他信息(例如,当前用户的呈现和/或搜索偏好),以响应对所生成并存储信息的请求等。
[0106]
在框790之后,或者如果在框720中确定用户选择不对应于当前目标建筑物位置,则例程进行到框795以确定是否继续,例如直到接收到要终止的显式指示,或者代替地仅在接收到要继续的显式指示时才进行。如果确定继续(例如,如果用户在框717中做出与要呈现的新的目标建筑物位置相关的选择),则例程返回框705以等待附加指令或信息(或者如果用户在框717中做出与要呈现的新的建筑物位置相关的选择,则在过去框705继续),并且如果不是,则前进到步骤799并结束。在所示实施例中,在框752和762中的例程选择要使用的最佳匹配目标建筑物,可选地从多个返回的其他建筑物候选者中选择-在至少一些实施例中,可以进一步保存并随后使用未被首先选择为最佳匹配的其他这样的返回的其他建筑物的队列(例如,对于用户连续显示或以其他方式呈现用于多个这样的其他建筑物的信息),例如在框717中的用户选择可选地指示从这样的队列选择和使用下一个返回的其他建筑物,并且如果是这样,则在返回到框705之后,例程在例程的下一次迭代中前进到框770。
[0107]
在以下条款中进一步描述了本文中描述的非排他性示例实施例。
[0108]
a01.一种计算机实现的方法,包括:
[0109]
通过计算设备并为多个房屋中的每一个获得关于房屋的信息,关于房屋的信息包括至少具有房屋的房间的形状和相对位置的房屋的楼层平面图;
[0110]
由计算设备并经由对多个房屋的楼层平面图的分析来确定与一个或更多个指示的主观属性相关联的楼层平面图的特征;
[0111]
通过计算设备并为多个指示房屋中的每一个确定用于该指示房屋的楼层平面图是否具有与一个或更多个指示主观属性中的至少一个相关联的所确定的特征中的至少一些特征相匹配的特征,其中多个指示房屋包括不是多个房屋的一部分的一个或更多个房屋;
[0112]
通过计算设备接收对多个指示的房屋中的一个房屋的指示以及一个或更多个搜
索标准;
[0113]
通过计算设备并通过至少使用一个指示房屋的楼层平面图为一个指示房屋生成邻接图,邻接图表示一个指示房屋并且存储与一个指示房屋相关联的属性,该属性包括为一个指示房屋确定的至少一个主观属性,其中邻接图具有多个节点,多个节点中的每一个与一个指示房屋的多个房间中的一个相关联,并且存储关于与相关联的房间相对应的一个或更多个属性的信息,以及其中邻接图还具有多个节点之间的多个边缘,多个边缘中的每一个都在两个节点之间,并且对于两个节点表示关联房间在一个指示的房屋中的邻接;
[0114]
通过计算设备并使用表示学习生成嵌入向量,嵌入向量表示来自邻接图的信息,邻接图对应于指示的房屋的多个属性的子集,该属性包括为一个指示的房屋确定的至少一个主观属性;
[0115]
通过计算设备并且从多个指示房屋的与一个指示房屋分开的多个其他房屋中确定与一个指示房屋相似并且满足一个或更多个搜索标准的至少一个其他房屋,包括:
[0116]
通过计算设备并且针对多个其他房屋中的每一个确定一个指示房屋的所生成的嵌入向量与附加嵌入向量之间的相似度,附加嵌入向量与其他房屋相关联以表示其他房屋的至少一些属性并且至少部分地基于其他房屋的附加邻接图,其中其他房屋的至少一些属性包括关于其他房屋的能够被独立地验证的客观属性,并且还包括关于其他房屋的由一个或更多个第一经过训练的机器学习模型预测的一个或更多个附加主观属性,并且还包括由一个或更多个第二经过训练的机器学习模型预测的、其他房屋的至少一些房间的房间类型,并且还包括由一个或更多个第三经过训练的机器学习模型预测的、其他房屋的房间之间的至少一些邻接的房间间连接类型,并且其中其他房屋的附加邻接图包括关于其他房屋的房间之间的邻接的信息,并且还包括关于其他房屋的内部的视觉属性的信息,至少部分地基于对在其他房屋的内部中拍摄的一个或更多个图像的可视数据的分析来确定关于其他房屋的内部的视觉属性的信息;
[0117]
通过计算设备并且针对多个其他房屋中的每一个确定其他房屋的附加邻接图中的信息是否与一个或更多个搜索标准匹配,其中一个或更多个搜索标准包括至少一个指示的内部视觉属性并且包括至少一个指示的客观属性并且包括至少一个指示的主观属性并且包括至少两种类型的房间之间的至少一种指示类型的邻接并且包括至少两种类型的房间之间的至少一种指示类型的房间间连接;以及
[0118]
通过计算设备选择多个其他房屋中的一个或更多个,多个其他房屋中的每一个都具有与一个指示房屋的所生成的嵌入向量具有确定的相似度的相关联的附加嵌入向量,附加嵌入向量高于确定的阈值,并且附加嵌入向量被确定为在附加邻接图中具有与一个或更多个搜索标准相匹配的其他房屋的信息,并且使用所选择的一个或更多个其他房屋作为所确定的至少一个其他房屋;以及
[0119]
通过计算设备呈现关于所确定的至少一个其他房屋的属性的信息,以使得能够确定与指示的房屋相关联的多个属性的一个或更多个关系。
[0120]
a02.如条款a01的计算机实现的方法,还包括:
[0121]
至少部分地基于房屋的楼层平面图通过计算设备并为多个房屋中的每一个生成表示房屋并存储与房屋相关联的属性的邻接图,其中邻接图具有多个节点并存储关于与房屋相关联的对应于相关联的房间的一个或更多个属性的信息,多个节点中的每一个与房屋
的多个房间中的一个相关联,以及其中邻接图还具有多个节点之间的多个边缘,多个边缘中的每一个都在两个节点之间,并且表示两个节点在相关联的房间的房屋中的邻接;
[0122]
通过计算设备学习用于以嵌入向量表示房屋的属性的子集,其中学习至少部分地基于使用图形表示学习来搜索映射函数,以相似的图形节点在所学习的空间中具有相似的嵌入的这样的方式来利用d维向量将多个房屋的邻接图中的节点映射到所学习的空间,
[0123]
以及其中,用于指示的房屋的嵌入向量的生成在学习之后执行,并且包括使用所生成的嵌入向量的所学习的属性的子集。
[0124]
a03.一种计算机实现的方法,包括:
[0125]
通过计算设备获得关于具有多个房间的指示的建筑物的信息,包括为指示的建筑物确定的楼层平面图,楼层平面图包括关于多个房间的包括至少二维形状和相对位置的信息;
[0126]
通过计算设备并至少使用楼层平面图生成邻接图,邻接图表示指示的建筑物并且存储与指示的建筑物相关联的属性,其中邻接图具有多个节点,多个节点中的每一个与多个房间中的一个相关联并且存储关于与相关联的房间相对应的一个或更多个属性的信息,以及其中邻接图还具有多个节点之间的多个边缘,多个边缘中的每一个在两个节点之间并且表示对于两个节点相关联的房间在指示的建筑物中的邻接;
[0127]
通过计算设备并使用表示学习生成嵌入向量,以表示来自邻接图的与指示的建筑物的多个属性的子集相对应的信息;
[0128]
通过计算设备并从多个其他建筑物确定与指示的建筑物类似的至少一个其他建筑物,包括:
[0129]
通过计算设备并为多个其他建筑物中的每一个确定所生成的用于指示的建筑物的嵌入向量与和其他建筑物相关联的附加嵌入向量之间的相似度,以表示其他建筑物的至少一些属性;以及
[0130]
通过计算设备选择多个其他建筑物中的一个或更多个,多个其他建筑物中的每一个都具有与所生成的用于指示的建筑物的嵌入向量具有确定相似度的相关联的附加嵌入向量,所生成的用于指示的建筑物的嵌入向量高于所确定的阈值,并且使用所选择的一个或更多个其他建筑物作为所确定的至少一个其他建筑物;
[0131]
以及
[0132]
通过计算设备呈现关于所确定的至少一个其他建筑物的属性的信息,以使得能够确定与指示的建筑物相关联的多个属性的一个或更多个关系。
[0133]
a04.一种计算机实现的方法,包括:
[0134]
通过计算设备并且对于多个建筑物中的每一个获得关于建筑物的信息,该关于建筑物的信息包括建筑物的至少具有建筑物的多个房间的形状和相对位置的楼层平面图,并且包括用于每个楼层平面图是否满足一个或更多个指示的主观属性中的每一个的一个或更多个标签;
[0135]
通过计算设备并经由对多个建筑物的楼层平面图和包括有楼层平面图的标签的分析,学习与一个或更多个指示的主观属性相关联的楼层平面图的特征;
[0136]
通过计算设备并且对于与多个建筑物分离的多个指示的建筑物中的每一个,确定用于指示的建筑物的楼层平面图是否具有与所确定的特征中的至少一些匹配的特征,以便
与一个或更多个指示的主观属性中的至少一个相关联;
[0137]
通过计算设备接收包括一个或更多个指示的主观属性中的至少一个指定的主观属性的一个或更多个搜索标准;
[0138]
通过计算设备并从多个指示的建筑物确定与一个或更多个搜索标准相匹配的指示的建筑物,包括确定指示的建筑物具有至少一个指定的主观属性;以及
[0139]
通过计算设备呈现关于指示的建筑物的信息,以使得能够确定与一个或更多个搜索标准的一个或更多个关系。
[0140]
a05.一种计算机实现的方法,包括:
[0141]
通过计算设备获得关于具有多个房间的指示的建筑物的信息,包括为指示的建筑物确定的至少包括多个房间的形状和相对位置的楼层平面图;
[0142]
通过计算设备并且至少使用楼层平面图生成邻接图,邻接图表示指示的建筑物并且存储与指示的建筑物相关联的多个属性,其中邻接图具有多个节点,多个节点中的每一个与多个房间中的一个房间相关联并且存储关于与相关联的房间相对应的多个属性中的一个或更多个的信息,以及其中邻接图还具有多个节点之间的多个边缘,多个边缘中的每一个在两个节点之间并且表示对于两个节点相关联房间在指示的建筑物中的邻接;
[0143]
通过计算设备并从多个其他建筑物确定与指示的建筑物类似的其他建筑物之一,包括:
[0144]
通过计算设备并为多个其他建筑物中的每一个确定所生成的用于指示的建筑物的邻接图与表示其他建筑物的附加邻接图之间的相似度,并且存储其他建筑物的至少一些属性,包括将所生成的和附加的邻接图提交给提供相似度的一个或更多个经过训练的机器学习模型;以及
[0145]
通过计算设备并为用作确定的一个其他建筑物选择具有高于确定的阈值的确定的相似度的多个其他建筑物中的一个;以及通过计算设备呈现关于所确定的一个其他建筑物的属性的信息,以使得能够确定与指示的建筑物相关联的多个属性的一个或更多个关系。
[0146]
a06.一种计算机实现的方法,包括:
[0147]
通过计算设备并为多个建筑物中的每个获得关于建筑物的信息,关于建筑物的信息包括至少具有建筑物的多个房间的形状和相对位置的建筑物的楼层平面图;
[0148]
至少部分地基于建筑物的楼层平面图通过计算设备并为多个建筑物中的每一个生成表示建筑物并存储与建筑物相关联的属性的邻接图,其中邻接图具有多个节点,多个节点中的每一个与建筑物的多个房间中的一个相关联,并存储关于与建筑物相关联的对应于相关联的房间的属性中的一个或更多个属性的信息,以及其中邻接图还具有在多个节点之间的多个边缘,多个边缘中的每一个都在两个节点之间并且表示对于两个节点关联房间在建筑物中的邻接;
[0149]
通过计算设备接收至少部分地基于指示的至少两种类型的房间的邻接的一个或更多个搜索标准;
[0150]
通过计算设备并且从多个建筑物确定与一个或更多个搜索标准相匹配的指示的建筑物,包括搜索指示的建筑物的邻接图以标识邻接图中的一个或更多个边缘,一个或更多个边缘表示指示的建筑物中满足指示的邻接的一个或更多个邻接;以及
[0151]
通过计算设备呈现关于指示的建筑物的属性的信息,以使得能够确定与一个或更多个搜索标准的一个或更多个关系。
[0152]
a07.一种计算机实现的方法,包括:
[0153]
通过计算设备并且对于多个建筑物中的每一个获得关于建筑物的信息,关于建筑物的信息包括用于建筑物的至少具有建筑物的多个房间的形状和相对位置的楼层平面图,以及在建筑物内部拍摄的一个或更多个图像;
[0154]
通过计算设备并针对多个建筑物中的每一个分析在建筑物内部拍摄的一个或更多个图像,以识别该内部的一个或更多个视觉属性;
[0155]
通过计算设备并至少使用建筑物的楼层平面图为多个建筑物中的每一个生成表示建筑物并存储与建筑物相关联的属性的邻接图,属性包括建筑物内部的一个或更多个视觉属性,其中邻接图具有多个节点,多个节点中的每一个与建筑物的多个房间中的一个相关联,并存储关于与相关联的房间相对应的一个或更多个属性的信息,其中存储的用于多个节点中的至少一个的信息包括与至少一个节点的相关联的房间有关的建筑物的视觉属性中的至少一个,以及其中邻接图还具有多个节点之间的多个边缘,多个边缘中的每一个在两个节点之间并且表示对于两个节点相关联的房间在建筑物中的邻接;
[0156]
至少部分地基于一个或更多个房间的一个或更多个指示的视觉属性而通过计算设备来接收一个或更多个搜索标准;
[0157]
通过计算设备确定多个建筑物中的指示的建筑物与一个或更多个搜索标准匹配,包括搜索指示的建筑物的邻接图以识别指示的建筑物的多个房间中的至少一个,多个房间的关联节点具有存储的包括满足一个或更多个指示的视觉属性的至少一个视觉属性的信息;以及
[0158]
通过计算设备呈现关于指示的建筑物的属性的信息,以使得能够确定与一个或更多个搜索标准的一个或更多个关系。
[0159]
a08.一种计算机实现的方法,包括:
[0160]
通过计算设备并且对于多个建筑物中的每一个获得关于建筑物的信息,关于建筑物的信息包括用于建筑物的至少具有建筑物的多个房间的形状和相对位置的楼层平面图;
[0161]
通过计算设备并至少使用建筑物的楼层平面图为多个建筑物中的每一个生成表示建筑物并存储与建筑物相关联的属性的邻接图,邻接图包括能够被独立验证的关于建筑物的客观属性,其中邻接图具有多个节点,多个节点中的每一个与建筑物的多个房间中的一个相关联,并存储关于与相关联的房间相对应的一个或更多个属性的信息,以及其中邻接图还具有在多个节点之间的多个边缘,多个边缘中的每一个在两个节点之间,并且表示对于两个节点相关联房间在建筑物中的邻接;
[0162]
通过计算设备并为多个建筑物中的每一个预测建筑物的一个或更多个附加主观属性,通过将关于建筑物的信息提供给一个或更多个经过训练的机器学习模型并接收指示一个或更多个附加主观属性的输出,并更新建筑物的邻接图以进一步存储关于建筑物的一个或更多个附加主观属性的信息;
[0163]
通过计算设备并在更新之后,通过搜索指示的建筑物的所更新的邻接图以确定所更新的邻接图中的存储信息满足至少一个指示的主观属性和至少一个指示的客观属性,来确定多个建筑物中的指示的建筑物与对应于至少一个指示的主观属性和至少一个指示的
客观属性的一个或更多个指定标准相匹配;以及
[0164]
通过计算设备呈现关于指示的建筑物的属性的信息,以使得能够确定与一个或更多个指定标准的一个或更多个关系。
[0165]
a09.一种计算机实现的方法,包括:
[0166]
通过计算设备并且对于多个建筑物中的每一个获得关于建筑物的信息,关于建筑物的信息包括用于建筑物的至少具有建筑物的多个房间的形状和相对位置的楼层平面图;
[0167]
通过计算设备并至少使用建筑物的楼层平面图为多个建筑物中的每一个生成表示建筑物并存储与建筑物相关联的属性的邻接图,邻接图包括能够被独立验证的关于建筑物的客观属性,其中邻接图具有多个节点,多个节点中的每一个与建筑物的多个房间中的一个相关联,并存储关于与相关联的房间相对应的一个或更多个属性的信息,以及其中邻接图还具有在多个节点之间的多个边缘,多个边缘中的每一个在两个节点之间,并且表示对于两个节点相关联房间在建筑物中的邻接;
[0168]
通过计算装置并为多个建筑物中的每一个预测建筑物的多个房间的房间类型,通过将关于建筑物的信息提供给一个或更多个经过训练的机器学习模型并接收指示多个房间的房间类型的输出,并更新建筑物的邻接图以进一步存储关于房间类型的信息;
[0169]
通过计算设备并在更新之后,通过搜索指示的建筑物的所更新的邻接图以确定所更新的邻接图中存储信息满足至少一个指示的房间类型,来确定多个建筑物中的指示的建筑物与对应于至少一个指示的房间类型的一个或更多个指定标准相匹配;以及
[0170]
通过计算设备呈现关于指示的建筑物的属性的信息,以使得能够确定与一个或更多个指定标准的一个或更多个关系。
[0171]
a10.一种计算机实现的方法,包括:
[0172]
通过计算设备并且对于多个建筑物中的每一个获得关于建筑物的信息,关于建筑物的信息包括用于建筑物的至少具有建筑物的多个房间的形状和相对位置的楼层平面图;
[0173]
通过计算设备并至少使用建筑物的楼层平面图为多个建筑物中的每一个生成表示建筑物并存储与建筑物相关联的属性的邻接图,邻接图包括能够被独立验证的关于建筑物的客观属性,其中邻接图具有多个节点,多个节点中的每一个与建筑物的多个房间中的一个相关联,并存储关于与相关联的房间相对应的一个或更多个属性的信息,以及其中邻接图还具有在多个节点之间的多个边缘,多个边缘中的每一个在两个节点之间,并且表示对于两个节点关联房间在建筑物中的邻接;
[0174]
通过计算设备并且针对多个建筑物中的每一个以及针对表示该建筑物的两个房间之间的该建筑物的邻接图中的邻接的边缘中的每一个,通过将关于该建筑物的信息提供给一个或更多个经过训练的机器学习模型并且接收指示该连通性状态的输出来预测该两个房间是否通过房间间墙壁开口连接的连通性状态,并且更新该建筑物的邻接图以进一步存储关于该建筑物的邻接图中的每一个边缘的连通性状态的信息;
[0175]
通过计算设备并在更新之后,通过搜索指示的建筑物的所更新的邻接图来确定所更新的邻接图中的存储信息满足至少一个指示的连接状态,来确定多个建筑物中的指示的建筑物与对应于至少两种类型的房间之间的至少一个指示的连接状态的一个或更多个指定标准相匹配;以及
[0176]
通过计算设备呈现关于指示的建筑物的属性的信息,以使得能够确定与一个或更
多个指定标准的一个或更多个关系。
[0177]
a11.一种计算机实现的方法,包括:
[0178]
通过计算设备并对多个建筑物中的每一个获得关于建筑物的信息,关于建筑物的信息包括至少具有建筑物的多个房间的形状和相对位置的建筑物的楼层平面图;
[0179]
至少部分地基于建筑物的楼层平面图通过计算设备并为多个建筑物中的每一个生成表示建筑物并存储与建筑物相关联的属性的邻接图,其中邻接图具有多个节点,多个节点中的每一个与建筑物的多个房间中的一个相关联,并存储关于与建筑物相关联的对应于相关联的房间的属性中的一个或更多个属性的信息,以及其中邻接图还具有在多个节点之间的多个边缘,多个边缘中的每一个在两个节点之间,并且表示对于两个节点在相关联房间的建筑物中的邻接;
[0180]
以类似的图形节点在已学习空间中具有类似的嵌入的方式通过计算设备至少部分地基于使用图形表示学习来搜索映射函数,以将多个建筑物的邻接图中的节点映射到具有d维向量的已学习空间,来学习表示建筑物的属性子集;
[0181]
通过计算设备获得关于指示的建筑物的信息,指示的建筑物与多个建筑物分离并且具有多个房间,关于指示的建筑物的信息包括为指示的建筑物确定的楼层平面图,楼层平面图至少包括多个房间的形状和相对位置并且指示与指示的建筑物相关联的多个属性;
[0182]
通过计算设备并使用表示学习生成嵌入向量,以表示与属性子集对应的指示的建筑物的信息;
[0183]
由计算设备通过测量从生成的嵌入向量到与一个或更多个指定标准对应的附加嵌入向量的距离,来确定指示的建筑物与对应于一个或更多个属性子集的一个或更多个指定标准相匹配;以及
[0184]
通过计算设备呈现关于指示的建筑物的属性的信息,以使得能够确定与一个或更多个指定标准的一个或更多个关系。
[0185]
b01.一种具有存储的可执行软件指令和/或其他存储内容的非暂时性计算机可读介质,存储的可执行软件指令和/或其他存储内容使得一个或更多个计算系统执行自动操作以实现条款a01-a11中任一项的方法。
[0186]
b02.一种具有存储的可执行软件指令和/或其他存储内容的非暂时性计算机可读介质,存储的可执行软件指令和/或其他存储内容使得一个或更多个计算系统执行自动操作以实现基本上如本文所公开的所描述的技术。
[0187]
b03.一种具有存储内容的非暂时性计算机可读介质,存储内容使得一个或更多个计算系统执行自动操作,自动操作至少包括:
[0188]
通过一个或更多个计算系统确定关于具有多个房间的指示的建筑物的信息,关于具有多个房间的指示的建筑物的信息包括获得指示的建筑物的嵌入向量,嵌入向量被生成以表示与指示的建筑物相关联的多个属性的至少一个子集,并且嵌入向量至少部分地基于指示的建筑物的邻接信息,邻接信息包括多个房间中的每一个的至少一个属性,并且还包括指示的建筑物中彼此邻近的多个房间的对的指示;
[0189]
通过一个或更多个计算系统并且从多个其他建筑物确定与指示的建筑物对应的其他建筑物,包括:
[0190]
通过一个或更多个计算系统并为多个其他建筑物中的每一个确定指示的建筑物
的嵌入向量与和其他建筑物相关联的附加嵌入向量之间的差值的测量,以表示其他建筑物的至少一些属性;
[0191]
以及
[0192]
通过一个或更多个计算系统至少部分地基于所确定的用于所确定的其他建筑物的相关联的附加嵌入向量与指示的建筑物的嵌入向量之间的差异的测量来选择多个其他建筑物中的一个用作所确定的其他建筑物;以及
[0193]
通过一个或更多个计算系统提供关于所确定的其他建筑物的属性的信息,以使得能够确定与指示的建筑物相关联的多个属性的一个或更多个关系。
[0194]
b04.如条款b03的非暂时性计算机可读介质,其中确定关于指示的建筑物的信息包括:
[0195]
通过一个或更多个计算系统获得关于指示的建筑物的信息,关于指示的建筑物的信息包括至少部分地基于对在建筑物内的多个采集位置处采集的多个图像的视觉数据的分析而为指示的建筑物确定的楼层平面图,其中楼层平面图具有关于多个房间的信息,关于多个房间的信息至少包括多个房间的形状和多个房间的相对位置;
[0196]
通过一个或更多个计算系统并至少使用楼层平面图生成指示的建筑物的邻接信息,邻接信息包括邻接图,邻接图存储多个属性,并且具有多个节点,多个节点中的每一个与多个房间中的一个相关联,并且存储关于对应于相关联的房间的一个或更多个属性一个或更多个的信息,并且还具有多个节点之间的多个边缘,多个边缘中的每一个在两个节点之间,并且表示对于两个节点在相关联的房间的指示的建筑物中的邻接;以及
[0197]
通过一个或更多个计算系统并且至少使用邻接图来生成嵌入向量,以表示来自邻接图的与指示的建筑物的多个属性的子集相对应的信息,包括表示关于建筑物的多个房间之间的邻接的信息。
[0198]
b05.如条款b04的非暂时性计算机可读介质,其中存储内容包括软件指令,软件指令在通过一个或更多个计算系统中的至少一个执行时使至少一个计算系统执行进一步的自动操作,进一步的自动操作包括获得多个图像,其中多个图像进一步包括在建筑物外部的一个或更多个采集位置处采集的一个或更多个图像,其中选择一个其他建筑物包括在该其他建筑物的相关联的附加嵌入向量和指示的建筑物的嵌入向量之间使用相似性距离作为差异的测量来测量该其他建筑物的相似度,并且还包括基于一个或更多个其他建筑物中的每一个在所定义的阈值之上来选择该其他建筑物,以及其中提供关于所确定的其他建筑物的属性的信息包括通过一个或更多个计算机网络将关于所确定的其他建筑物的属性的信息发送到至少一个客户端计算设备以供显示。
[0199]
b06.如条款b03至b05中任一项的非暂时性计算机可读介质,其中自动操作还包括通过一个或更多个计算系统接收一个或更多个搜索标准,并且至少部分地基于一个或更多个搜索标准来识别指示的建筑物,以及其中提供关于所确定的其他建筑物的属性的信息包括提供用于呈现的搜索结果,搜索结果包括所确定的其他建筑物。
[0200]
b07.如条款b06的非暂时性计算机可读介质,其中一个或更多个搜索标准包括基于至少两种类型的房间的邻接的一个或更多个标准,其中嵌入向量包括关于指示的建筑物中的多个房间的邻接信息,以及其中用于所确定的其他建筑物的附加嵌入向量表示关于其他建筑物中的房间的邻接的信息,以及用于所确定的其他建筑物的附加嵌入向量与用于指
示的建筑物的嵌入向量之间的差异的所确定的测量至少部分地基于指示的建筑物中的多个房间的邻接以及其他建筑物中的房间的邻接。
[0201]
b08.如条款b06的非暂时性计算机可读介质,其中一个或更多个搜索标准包括基于建筑物内部的视觉属性的一个或更多个标准,其中嵌入向量包括关于指示的建筑物内部的视觉属性的信息,以及其中用于所确定的其他建筑物的附加嵌入向量表示关于其他建筑物内部的附加视觉属性的信息,以及用于所确定的其他建筑物的附加嵌入向量与用于指示的建筑物的嵌入向量之间的差异的所确定的测量至少部分地基于指示的建筑物内部的视觉属性和该其他建筑物内部的附加视觉属性。
[0202]
b09.如条款b06的非暂时性计算机可读介质,其中一个或更多个搜索标准包括基于来自建筑物的一种或多种类型的外部视图的一个或更多个标准,其中嵌入向量包括关于从指示的建筑物到其周围的视图的信息,以及其中用于所确定的其他建筑物的附加嵌入向量表示关于从其他建筑物到其周围的附加视图的信息,并且用于所确定的其他建筑物的附加嵌入向量与用于指示的建筑物的嵌入向量的差异的所确定的测量至少部分地基于从指示的建筑物到其周围的视图以及从该其他建筑物到其周围的附加视图。
[0203]
b10.如条款b03至b09中任一项的非暂时性计算机可读介质,其中自动操作还包括通过一个或更多个计算系统接收关于与用户相关联的指示的建筑物的信息,其中对至少一个其他建筑物的确定响应于信息的接收来执行,并且包括确定关于对用户个性化的所确定的其他建筑物的属性的信息,以及其中提供关于所确定的其他建筑物的属性的信息包括向用户呈现关于所确定的其他建筑物的属性的信息。
[0204]
b11.如条款b03至b10中任一项的非暂时性计算机可读介质,其中所确定的其他建筑物包括多个其他建筑物,以及其中提供关于所确定的其他建筑物的属性的信息包括通过一个或更多个计算系统至少部分地基于对多个其他建筑物的评估来确定对指示的建筑物的状况或质量或价值中的至少一个的预期评估,以及提供关于所确定的预期评估的信息。
[0205]
b12.如条款b03至b11中任一项的非暂时性计算机可读介质,其中指示的建筑物的邻接信息包括邻接图,邻接图存储多个属性,并且具有多个节点,多个节点中的每一个与多个房间中的一个相关联,并且存储关于与相关联的房间相对应的一个或更多个属性的信息,并且邻接图还具有多个节点之间的多个边缘,多个边缘中的每一个在两个节点之间,并且表示对于两个节点相关联的房间在指示的建筑物中的邻接,以及其中,自动操作还包括以相似的图形节点在所学习的空间中具有相似的嵌入这样的方式通过一个或更多个计算系统至少部分地基于使用图形表示学习来搜索映射函数以利用d维向量将邻接图中的节点映射到所学习的空间,来自动地学习来自指示的建筑物的多个属性中的一些属性的子集以包括在嵌入向量中,并且生成嵌入向量以对关于指示的建筑物的某些属性的信息进行编码。
[0206]
b13.如条款b03至b12中任一项的非暂时性计算机可读介质,其中自动操作还包括通过一个或更多个计算系统生成用于指示的建筑物的嵌入向量,包括针对多个房间中的每一个将关于对应于房间的至少一个属性以及关于指示的建筑物中的房间的邻接信息的信息并入嵌入向量中。
[0207]
b14.如条款b13的非暂时性计算机可读介质,其中生成嵌入向量还包括通过一个或更多个计算系统在嵌入向量中并入关于指示的建筑物的内部的视觉属性的信息,关于指
示的建筑物的内部的视觉属性的信息至少部分地基于对指示的建筑物的内部中采集的一个或更多个图像的分析来确定。
[0208]
b15.如条款b13的非暂时性计算机可读介质,其中生成嵌入向量还包括通过一个或更多个计算系统在嵌入向量中并入关于从指示的建筑物到其周围的视图的信息,关于从指示的建筑物到其周围的视图的信息是基于对针对指示的建筑物所采集的一个或更多个图像的分析或来自关于指示的建筑物的周围的一个或更多个公共记录的信息中的至少一个来确定的。
[0209]
b16.如条款b13的非暂时性计算机可读介质,其中生成嵌入向量还包括通过一个或更多个计算系统在嵌入向量中并入关于指示的建筑物的外部的信息,关于指示的建筑物的外部的信息至少部分地基于对从指示的建筑物的外部采集的一个或更多个图像的分析来确定。
[0210]
b17.如条款b13的非暂时性计算机可读介质,其中与指示的建筑物相关联的多个属性是可独立验证的客观属性,其中自动操作还包括由一个或更多个计算系统通过将关于指示的建筑物的信息提供给一个或更多个经过训练的机器学习模型并接收指示一个或更多个附加主观属性的输出来预测一个或更多个附加主观属性,以及其中嵌入向量的生成还包括通过一个或更多个计算系统并入嵌入向量中的关于一个或更多个附加主观属性和关于至少一些客观属性的信息。
[0211]
b18.如条款b17的非暂时性计算机可读介质,其中,一个或更多个附加主观属性包括不同于典型楼层平面图的非典型楼层平面图或开放楼层平面图或可访问楼层平面图或非标准楼层平面图中的至少一个。
[0212]
b19.如条款b13的非暂时性计算机可读介质,其中自动操作还包括通过一个或更多个计算系统通过将关于指示的建筑物的信息提供给一个或更多个经过训练的机器学习模型并接收指示多个房间的房间类型的输出来预测多个房间的房间类型,以及其中嵌入向量的生成还包括通过一个或更多个计算系统并入嵌入向量中的关于多个房间的房间类型的信息。
[0213]
b20.如条款b19的非暂时性计算机可读介质,其中,对多个房间的房间类型的预测包括:通过一个或更多个计算系统并且针对多个房间中的每一个,使用关于房间与指示的建筑物的任何其他房间的通过邻接信息指示的任何邻接的信息。
[0214]
b21.如条款b13的非暂时性计算机可读介质,其中,自动操作还包括:通过一个或更多个计算系统并针对指示的建筑物的两个房间之间的指示的建筑物中的每个邻接,通过将关于指示的建筑物的信息提供给一个或更多个经过训练的机器学习模型并接收指示边缘中的每一个的连通性状态的输出,来预测两个房间是否经由房间间墙壁开口连接的连接状态,以及其中嵌入向量的生成还包括通过一个或更多个计算系统并入在嵌入向量中的关于边缘中的每一个的连接状态的信息。
[0215]
b22.如条款b21的非暂时性计算机可读介质,其中对于指示的建筑物中在指示的建筑物的两个房间之间的每个邻接,预测连通性状态包括以下各项中的至少一项:预测两个房间之间的没有房间间墙壁开口的墙壁,或预测两个房间之间的门道,或预测两个房间之间的非门道墙壁开口,以及其中嵌入向量中并入的信息包括关于预测的墙壁或预测的门道或其他预测的非门道墙壁开口中的至少一项的信息。
[0216]
b23.如条款b13的非暂时性计算机可读介质,其中,指示的建筑物的邻接信息包括邻接图,邻接图存储多个属性,并且具有多个节点,多个节点中的每一个与多个房间中的一个相关联,并且存储关于与相关联的房间相对应的一个或更多个属性的信息,并且还具有多个节点之间的多个边缘,多个边缘中的每一个在两个节点之间,并且表示对于两个节点相关联的房间在指示的建筑物中的邻接,其中邻接图的边缘包括一个或更多个连接性边缘,每个连接性边缘表示其邻接由连接性边缘表示的两个房间经由门道或非门道墙壁开口在指示的建筑物中连接,其中一个或更多个连接性边缘各自还存储用于连接性边缘的门道或非门道墙壁开口的特性的信息,以及其中嵌入向量的生成还包括通过计算设备在嵌入向量中并入用于一个或更多个连接性边缘中的每一个的门道或非门道墙壁开口的特性的信息。
[0217]
b24.如条款b13的非暂时性计算机可读介质,其中自动操作还包括通过一个或更多个计算系统生成邻接信息,邻接信息包括生成邻接图,邻接图存储多个属性并且具有多个节点,多个节点中的每一个与多个房间中的一个相关联并且存储关于对应于相关联的房间的一个或更多个属性的信息,并且邻接图还具有多个节点之间的多个边缘,多个边缘中的每一个在两个节点之间并且表示对于这两个节点相关联的房间在指示的建筑物中的邻接,并且还具有一个或更多个附加节点,每个附加节点对应于指示的建筑物外部的外部区域或从建筑物内部到指示的建筑物外部的外部视图中的至少一个,并且还具有用于将该附加节点连接到邻接图的其他个节点的一个或更多个附加节点中的每一个的至少一个附加边缘,以及其中生成用于指示的建筑物的嵌入向量包括并入嵌入向量中的关于用于一个或更多个附加节点中的每个的外部区域或外部视图中的至少一个的信息。
[0218]
b25.如条款b03至b24中任一项的非暂时性计算机可读介质,其中自动操作还包括接收关于包括指示的建筑物和一个或更多个附加的指示的建筑物的多个建筑物的信息,以及获得一个或更多个附加的指示的建筑物中的每一个的另外的嵌入向量,其中确定差异的测量在用于附加的指示的建筑物的另外的嵌入向量与用于多个其他建筑物中的每个的附加嵌入矢量之间针对一个或更多个附加的指示的建筑物来进一步执行,以及其中选择一个或更多个其他建筑物进一步基于一个或更多个其他建筑物中的每一个的相关联的附加嵌入向量与一个或更多个附加的指示的建筑物中的每一个的另外的嵌入向量之间的差异的所确定的测量,使得一个或更多个其他建筑物的选择基于指示的建筑物的嵌入向量以及附加的指示的建筑物的另外的嵌入向量与一个或更多个其他建筑物中的每一个的相关联的附加嵌入向量的聚集差异。
[0219]
b26.一种具有存储内容的非暂时性计算机可读介质,存储内容使得一个或更多个计算系统执行自动操作,自动操作至少包括:
[0220]
通过一个或更多个计算系统并经由对多个建筑物的楼层平面图的分析来确定与一个或更多个指示的主观属性相关联的楼层平面图特征;
[0221]
通过一个或更多个计算系统并且对于包括与多个建筑物分离的一个或更多个建筑物的多个指示的建筑物中的每一个,确定用于指示的建筑物的楼层平面图是否具有与所确定的特征中的至少一些匹配的特征,以便与一个或更多个指示的主观属性中的至少一个相关联;
[0222]
通过一个或更多个计算系统从多个指示的建筑物确定建筑物,多个指示的建筑物
具有一个或更多个指示的主观属性中的至少一个指定的主观属性;以及
[0223]
通过一个或更多个计算系统提供关于所确定的建筑物的信息,以使得能够确定与至少一个指定的主观属性相关的信息。
[0224]
b27.如条款b26的非暂时性计算机可读介质,其中存储内容包括软件指令,软件指令在通过一个或更多个计算系统中的至少一个执行时使至少一个计算系统接收对于多个建筑物的楼层平面图的信息,楼层平面图包括用于每个楼层平面图的是否满足一个或更多个指示的主观属性中的每一个的一个或更多个提供的指示,以及通过至少部分地基于所提供的用于多个建筑物的楼层平面图的指示而学习楼层平面图特征来执行楼层平面图特征的确定,以及通过经通过一个或更多个计算机网络将关于所确定的建筑物的信息发送到用户的客户端计算设备以供显示来执行关于所确定的建筑物的信息的提供,其中自动操作还包括接收与至少一个指定的主观属性分开的一个或更多个搜索标准,以及其中建筑物的确定还包括确定建筑物还与一个或更多个搜索标准匹配。
[0225]
b28.如条款b26的非暂时性计算机可读介质,其中至少一个指定的主观属性包括不同于典型楼层平面图的非典型楼层平面图、或开放的楼层平面图、或可访问的楼层平面图、或非标准的楼层平面图中的至少一个。
[0226]
b29.一种具有存储内容的非暂时性计算机可读介质,存储内容使得一个或更多个计算系统执行自动操作,自动操作至少包括:
[0227]
通过一个或更多个计算系统确定关于具有多个房间的指示的建筑物的信息,包括获得指示的建筑物的邻接信息,邻接信息包括与指示的建筑物相关联的多个属性,并且还包括多个房间在指示的建筑物中的邻接指示,其中多个房间中的每一个与至少一个属性相关联;
[0228]
通过一个或更多个计算系统确定与指示的建筑物对应的其他建筑物,包括:
[0229]
通过一个或更多个计算系统确定指示的建筑物的邻接信息和包括其他建筑物的至少一些属性的其他建筑物的附加邻接信息之间的差异的测量;以及
[0230]
通过一个或更多个计算系统至少部分地基于所确定的其他建筑物的附加邻接信息与指示的建筑物的邻接信息之间的差异的测量来选择其他建筑物用作所确定的其他建筑物;以及
[0231]
提供关于所确定的其他建筑物的信息,以使得能够确定与指示的建筑物相关联的多个属性的一个或更多个关系。
[0232]
b30.如条款b29的非暂时性计算机可读介质,其中存储内容包括软件指令,软件指令在通过一个或更多个计算系统中的至少一个执行时,使至少一个计算系统通过以下步骤来执行关于指示的建筑物的信息的确定:
[0233]
获取关于指示的建筑物的信息,关于指示的建筑物的信息包括至少部分地基于在建筑物内的多个采集位置处采集的多个图像的视觉数据的分析而为指示的建筑物确定的楼层平面图,其中,该楼层平面图具有关于多个房间的信息,关于多个房间的信息至少包括多个房间的形状和相对位置;以及
[0234]
至少使用楼层平面图生成包括指示的建筑物的邻接信息的邻接图,其中邻接图具有多个节点,多个节点中的每一个与多个房间中的一个相关联并且存储关于与相关联的房间相对应的多个属性中的一个或更多个的信息,以及其中邻接图还具有多个节点之间的多
个边缘,多个边缘中的每一个在两个节点之间并且表示对于两个节点相关联的房间在指示的建筑物中的邻接;
[0235]
以及其中存储指令包括软件指令,软件指令在通过一个或更多个计算系统中的至少一个执行时使至少一个计算系统通过经由一个或更多个计算机网络将关于所确定的其他建筑物的信息发送到客户端计算设备以向用户显示来执行关于所确定的其他建筑物的信息的提供。
[0236]
b31.一种具有存储内容的非暂时性计算机可读介质,存储内容使得一个或更多个计算系统执行自动操作,自动操作至少包括:
[0237]
通过一个或更多个计算系统获得指示的建筑物的邻接信息,指示的建筑物包括与指示的建筑物相关联的多个属性,并且还包括指示的建筑物的多个房间之间的邻接的指示,其中多个房间中的每一个与关于指示的建筑物的至少一个属性相关联;
[0238]
通过一个或更多个计算系统接收至少部分地基于指示的至少两种类型的房间的邻接的一个或更多个标准;
[0239]
通过一个或更多个计算系统确定指示的建筑物与一个或更多个指定标准匹配,包括搜索邻接信息以识别指示的建筑物中的满足指示的邻接的一个或更多个邻接;以及
[0240]
通过一个或更多个计算系统提供关于指示的建筑物的信息,以使得能够确定指示的建筑物与一个或更多个指定标准的一个或更多个关系。
[0241]
b32.如条款b31的非暂时性计算机可读介质,其中,存储内容包括软件指令,软件指令在通过一个或更多个计算系统中的至少一个执行时,使至少一个计算系统通过以下步骤来执行邻接信息的获得:
[0242]
获得关于指示的建筑物的信息,指示的建筑物的信息包括至少部分地基于在指示的建筑物内的多个采集位置处采集的多个图像的视觉数据的分析而为指示的建筑物确定的楼层平面图,其中楼层平面图具有关于指示的建筑物的多个房间的信息,多个房间的信息至少包括多个房间的形状和相对位置;以及
[0243]
至少使用楼层平面图生成包括指示的建筑物的邻接信息的邻接图,其中邻接图具有多个节点,多个节点中的每一个与多个房间中的一个相关联并且存储关于与指示的建筑物相关联的对应于相关联的房间的多个属性中的一个或更多个的信息,以及其中邻接图还具有多个节点之间的多个边缘,多个边缘中的每一个在两个节点之间并且表示对于两个节点相关联的房间在指示的建筑物中的邻接,
[0244]
以及其中存储指令包括软件指令,软件指令在通过一个或更多个计算系统中的至少一个执行时使得至少一个计算系统通过经由一个或更多个计算机网络将关于指示的建筑物的信息发送到客户端计算设备以向用户显示来执行关于指示的建筑物的信息的提供。
[0245]
b33.一种具有存储内容的非暂时性计算机可读介质,存储内容使得一个或更多个计算系统执行自动操作,自动操作至少包括:
[0246]
通过一个或更多个计算系统获得关于具有多个房间的指示的建筑物的信息,指示的建筑物的信息包括指示的建筑物的内部的一个或更多个视觉属性,一个或更多个视觉属性是通过分析在内部拍摄的一个或更多个图像的视觉数据来确定的,并且还包括指示的建筑物的邻接信息,邻接信息包括与指示的建筑物相关联的多个属性,并且还包括指示的建筑物的多个房间之间的邻接的指示,其中多个房间中的每一个与关于指示的建筑物的至少
一个属性相关联,以及其中多个房间中的至少一个与指示的建筑物的与房间相关的视觉属性中的至少一个相关联;
[0247]
至少部分地基于一个或更多个房间的一个或更多个指示的视觉属性通过一个或更多个计算系统接收一个或更多个标准;
[0248]
通过一个或更多个计算系统确定指示的建筑物与一个或更多个标准匹配,包括搜索邻接信息以识别具有关联信息的多个房间中的至少一个,关联信息包括满足一个或更多个指示的视觉属性的至少一个视觉属性;以及
[0249]
通过一个或更多个计算系统提供关于指示的建筑物的信息,以使得能够确定与指示的建筑物相关联的多个属性的一个或更多个关系。
[0250]
b34.如条款b33的非暂时性计算机可读介质,其中存储内容包括软件指令,软件指令在通过一个或更多个计算系统中的至少一个执行时使至少一个计算系统通过以下步骤来执行关于指示的建筑物的信息的获得:
[0251]
获得关于指示的建筑物的信息,指示的建筑物的信息包括至少部分地基于在指示的建筑物内的多个采集位置处采集的多个图像的视觉数据的分析而为指示的建筑物确定的楼层平面图,其中楼层平面图具有关于指示的建筑物的多个房间的信息,指示的建筑物的多个房间的信息至少包括多个房间的形状和相对位置;以及
[0252]
至少使用楼层平面图生成包括指示的建筑物的邻接信息的邻接图,其中邻接图具有多个节点,多个节点中的每一个与多个房间中的一个相关联,并且存储关于与指示的建筑物相关联的对应于相关联的房间的多个属性中的一个或更多个的信息,以及其中邻接图还具有多个节点之间的多个边缘,多个边缘中的每一个在两个节点之间并且表示对于两个节点相关联的房间在指示的建筑物中的邻接,
[0253]
以及其中存储指令包括软件指令,软件指令在通过一个或更多个计算系统中的至少一个执行时使得至少一个计算系统通过经由一个或更多个计算机网络将关于指示的建筑物的信息发送到客户端计算设备以向用户显示来执行关于指示的建筑物的信息的提供。
[0254]
b35.一种具有存储内容的非暂时性计算机可读介质,存储内容使得一个或更多个计算系统执行自动操作,自动操作至少包括:
[0255]
通过一个或更多个计算系统获得关于具有多个房间的指示的建筑物的信息,指示的建筑物的信息包括指示的建筑物的邻接信息,邻接信息包括与指示的建筑物相关联的多个属性,并且还包括指示的建筑物的多个房间之间的邻接的指示,其中多个属性包括能够独立验证的关于指示的建筑物的客观属性,其中多个房间中的每一个与关于指示的建筑物的至少一个属性相关联,以及其中多个房间中的至少一个与指示的与该房间相关的建筑物的视觉属性中的至少一个相关联;
[0256]
通过一个或更多个计算系统预测指示的建筑物的一个或更多个附加主观属性,并更新指示的建筑物的邻接信息以进一步存储关于指示的建筑物的一个或更多个附加主观属性的信息;
[0257]
通过一个或更多个计算系统并在更新之后,通过搜索指示的建筑物的更新的邻接信息以确定更新的邻接信息中的存储信息满足至少一个指示的主观属性,来确定指示的建筑物与对应于至少一个指示的主观属性的一个或更多个指定标准相匹配;以及
[0258]
通过一个或更多个计算系统提供关于指示的建筑物的信息,以使得能够确定指示
的建筑物与一个或更多个指定标准的一个或更多个关系。
[0259]
b36.如条款b35的非暂时性计算机可读介质,其中存储内容包括软件指令,软件指令在通过一个或更多个计算系统中的至少一个执行时,使至少一个计算系统通过以下步骤来执行关于指示的建筑物的信息的获得:
[0260]
获得关于指示的建筑物的信息,关于指示的建筑物的信息包括至少部分地基于在指示的建筑物内的多个采集位置处采集的多个图像的视觉数据的分析而为指示的建筑物确定的楼层平面图,其中,楼层平面图具有关于指示的建筑物的多个房间的信息,关于指示的建筑物的多个房间的信息至少包括多个房间的形状和相对位置;以及
[0261]
至少使用楼层平面图生成包括指示的建筑物的邻接信息的邻接图,其中邻接图具有多个节点,多个节点中的每一个与多个房间中的一个相关联,并且存储关于与指示的建筑物相关联的对应于相关联的房间的多个属性中的一个或更多个的信息,以及其中邻接图还具有多个节点之间的多个边缘,多个边缘中的每一个在两个节点之间并且表示两个节点在指示的相关联的房间的建筑物中的邻接,
[0262]
以及其中存储指令包括软件指令,软件指令在通过一个或更多个计算系统中的至少一个执行时使得至少一个计算系统通过经由一个或更多个计算机网络将关于指示的建筑物的信息发送到客户端计算设备以向用户显示来执行关于指示的建筑物的信息的提供。
[0263]
b37.一种具有存储内容的非暂时性计算机可读介质,存储内容使得一个或更多个计算系统执行自动操作,自动操作至少包括:
[0264]
通过一个或更多个计算系统获得关于具有多个房间的指示的建筑物的信息,包括指示的建筑物的邻接信息,邻接信息包括与指示的建筑物相关联的多个属性,并且还包括指示的建筑物的多个房间之间的邻接指示,其中多个房间中的每一个与关于指示的建筑物的至少一个属性相关联,以及其中多个房间中的至少一个与指示的建筑物的与房间相关的视觉属性中的至少一个相关联;
[0265]
通过一个或更多个计算系统预测指示的建筑物中的一个或更多个房间的一个或更多个房间类型,并更新指示的建筑物的邻接信息,以进一步存储关于一个或更多个房间的一个或更多个房间类型的信息;
[0266]
通过一个或更多个计算系统并在更新之后,通过搜索指示的建筑物的更新的邻接信息以确定更新的邻接信息中的存储信息满足至少一个指示的房间类型,来确定指示的建筑物与对应于至少一个指示的房间类型的一个或更多个指定的标准相匹配;以及
[0267]
通过一个或更多个计算系统提供关于指示的建筑物的信息,以使得能够确定指示的建筑物与一个或更多个指定标准的一个或更多个关系。
[0268]
b38.如条款b37的非暂时性计算机可读介质,其中存储内容包括软件指令,软件指令在通过一个或更多个计算系统中的至少一个执行时,使至少一个计算系统通过以下步骤来执行关于指示的建筑物的信息的获得:
[0269]
获得关于指示的建筑物的信息,指示的建筑物的信息包括至少部分地基于在指示的建筑物内的多个采集位置处采集的多个图像的视觉数据的分析而为指示的建筑物确定的楼层平面图,其中,楼层平面图具有关于指示的建筑物的多个房间的信息,关于指示的建筑物的多个房间的信息至少包括多个房间的形状和相对位置;以及
[0270]
至少使用楼层平面图生成包括指示的建筑物的邻接信息的邻接图,其中邻接图具
有多个节点,多个节点中的每一个与多个房间中的一个相关联并且存储关于与指示的建筑物相关联的对应于相关联的房间的多个属性中的一个或更多个的信息,以及其中邻接图还具有多个节点之间的多个边缘,多个边缘中的每一个在两个节点之间并且表示对于两个节点相关联的房间在指示的建筑物中邻接,
[0271]
以及其中存储指令包括软件指令,软件指令在通过一个或更多个计算系统中的至少一个执行时使得至少一个计算系统通过经由一个或更多个计算机网络将关于指示的建筑物的信息发送到客户端计算设备以向用户显示来执行关于指示的建筑物的信息的提供。
[0272]
b39.一种具有存储内容的非暂时性计算机可读介质,存储内容使得一个或更多个计算系统执行自动操作,自动操作至少包括:
[0273]
通过一个或更多个计算系统获得关于具有多个房间的指示的建筑物的信息,包括指示的建筑物的邻接信息,邻接信息包括与指示的建筑物相关联的多个属性并且还包括指示的建筑物的多个房间之间的邻接指示,其中多个房间中的每一个与关于指示的建筑物的至少一个属性相关联,以及其中多个房间中的至少一个与指示的建筑物的与房间相关的视觉属性中的至少一个相关联;
[0274]
通过一个或更多个计算系统预测指示的建筑物中的两个或更多个房间之间的一个或更多个连通性状态,并更新指示的建筑物的邻接信息,以进一步存储关于两个或更多个房间的一个或更多个连通性状态的信息;
[0275]
通过一个或更多个计算系统并在更新之后,通过搜索指示的建筑物的更新的邻接信息以确定更新的邻接信息中的存储信息满足至少一个指示的连通性状态,来确定指示的建筑物与对应于至少一个指示的连通性状态的一个或更多个指定标准相匹配;以及
[0276]
通过一个或更多个计算系统提供关于指示的建筑物的信息,以使得能够确定指示的建筑物与一个或更多个指定标准的一个或更多个关系。
[0277]
b40.如条款b39的非暂时性计算机可读介质,其中存储内容包括软件指令,软件指令在通过一个或更多个计算系统中的至少一个执行时,使至少一个计算系统通过以下步骤来执行关于指示的建筑物的信息的获得:
[0278]
获得关于指示的建筑物的信息,关于指示的建筑物的信息包括至少部分地基于在指示的建筑物内的多个采集位置处采集的多个图像的视觉数据的分析而为指示的建筑物确定的楼层平面图,其中,楼层平面图具有关于指示的建筑物的多个房间的信息,关于指示的建筑物的多个房间的信息至少包括多个房间的形状和相对位置;以及
[0279]
至少使用楼层平面图生成包括指示的建筑物的邻接信息的邻接图,其中邻接图具有多个节点,多个节点中的每一个与多个房间中的一个相关联,并且存储关于与指示的建筑物相关联的对应于相关联的房间的多个属性中的一个或更多个的信息,并且其中邻接图还具有多个节点之间的多个边缘,多个边缘中的每一个在两个节点之间并且表示两个节点的相关联的房间在指示的建筑物中的邻接,
[0280]
以及其中存储指令包括软件指令,软件指令在通过一个或更多个计算系统中的至少一个执行时使得至少一个计算系统通过经由一个或更多个计算机网络将关于指示的建筑物的信息发送到客户端计算设备以向用户显示来执行关于指示的建筑物的信息的提供。
[0281]
b41.一种具有存储内容的非暂时性计算机可读介质,存储内容使得一个或更多个计算系统执行自动操作,自动操作至少包括:
[0282]
通过一个或更多个计算系统并且对于多个建筑物中的每一个,获得建筑物的邻接信息,邻接信息包括与建筑物相关联的多个属性并且还包括建筑物的多个房间之间的邻接指示,其中多个房间中的每一个与关于建筑物的至少一个属性相关联;
[0283]
通过一个或更多个计算系统并且至少部分地基于多个建筑物中的每一个的邻接信息来学习表示建筑物的属性的子集,使得类似建筑物具有关于那些类似建筑物的属性的子集的类似信息;
[0284]
通过一个或更多个计算系统为与多个建筑物分离的指示的建筑物生成嵌入向量,嵌入向量表示与属性的子集相对应的关于指示的建筑物的信息;
[0285]
通过一个或更多个计算系统确定所生成的用于指示的建筑物的嵌入向量与对应于属性的子集中的一个或更多个的一个或更多个指定标准相匹配;以及
[0286]
通过一个或更多个计算系统提供关于指示的建筑物的信息,以使得能够确定指示的建筑物与一个或更多个指定标准的一个或更多个关系。
[0287]
b42.如条款b41的非暂时性计算机可读介质,其中存储内容包括软件指令,软件指令在通过一个或更多个计算系统中的至少一个执行时,使至少一个计算系统通过以下步骤来执行指示的建筑物的嵌入向量的生成:
[0288]
获得关于指示的建筑物的信息,关于指示的建筑物的信息包括至少部分地基于在指示的建筑物内的多个采集位置处采集的多个图像的视觉数据的分析而为指示的建筑物确定的楼层平面图,其中,楼层平面图具有关于指示的建筑物的多个房间的信息,关于指示的建筑物的多个房间的信息至少包括多个房间的形状和相对位置;以及
[0289]
至少使用楼层平面图为指示的建筑物生成邻接信息,邻接信息包括与指示的建筑物相关联的多个属性并且还包括指示的建筑物的多个房间之间的邻接的指示,其中多个房间中的每一个与关于指示的建筑物的至少一个属性相关联;以及
[0290]
至少部分地基于所生成的指示的建筑物的邻接信息来执行指示的建筑物的嵌入向量的生成;
[0291]
以及其中存储指令包括软件指令,软件指令在通过一个或更多个计算系统中的至少一个执行时使得至少一个计算系统通过经由一个或更多个计算机网络将关于指示的建筑物的信息发送到客户端计算设备以向用户显示来执行关于指示的建筑物的信息的提供。
[0292]
c01.一个或更多个计算系统,包括一个或更多个硬件处理器和具有存储指令的一个或更多个存储器,存储指令在通过一个或更多个硬件处理器中的至少一个执行时使一个或更多个计算系统执行自动操作以实现条款a01至a11中的任一个的方法。
[0293]
c02.一个或更多个计算系统,包括一个或更多个硬件处理器和具有存储指令的一个或更多个存储器,存储指令在通过一个或更多个硬件处理器中的至少一个执行时使一个或更多个计算系统执行自动操作以实现基本上如本文的公开所描述的技术。
[0294]
c03.一种系统,包括:
[0295]
一个或更多个计算系统的一个或更多个硬件处理器;以及
[0296]
具有存储指令的一个或更多个存储器,存储指令在通过一个或更多个硬件处理器中的至少一个执行时使一个或更多个计算系统执行自动操作,自动操作至少包括:
[0297]
确定关于具有多个房间的指示的建筑物的信息,关于具有多个房间的指示的建筑物的信息包括获得用于指示的建筑物的嵌入向量,嵌入向量被生成以表示与指示的建筑物
相关联的多个属性的至少一个子集并且使用表示指示的建筑物并存储多个属性的邻接图,其中邻接图具有多个节点,多个节点中的每一个与多个房间中的一个相关联并且存储关于与相关联的房间相对应的一个或更多个属性的信息,以及其中邻接图还具有在多个节点之间的多个边缘,多个边缘中的每一个在两个节点之间,并且表示对于两个节点相关联的房间在指示的建筑中的邻接;
[0298]
从多个其他建筑物确定与指示的建筑物类似的至少一个其他建筑物,包括:
[0299]
为多个其他建筑物中的每一个确定指示的建筑物的嵌入向量与和其他建筑物相关联的附加嵌入向量之间的相似度,以表示其他建筑物的至少一些属性;以及
[0300]
选择多个其他建筑物中的一个或更多个,多个其他建筑物中的每一个具有与指示的建筑物的嵌入向量具有高于确定的阈值的确定的相似度的相关联的附加嵌入向量,并且使用选择的一个或更多个其他建筑物作为确定的至少一个其他建筑物;以及
[0301]
提供关于所确定的至少一个其他建筑物的属性的信息,以使得能够确定与指示的建筑物相关联的多个属性的一个或更多个关系。
[0302]
c04.如条款c03的系统,其中确定关于指示的建筑物的信息包括:
[0303]
获得关于指示的建筑物的信息,关于指示的建筑物的信息包括至少部分地基于在建筑物内的多个采集位置处采集的多个图像的视觉数据的分析为指示的建筑物确定的楼层平面图,其中,楼层平面图具有关于多个房间的信息,关于多个房间的信息至少包括多个房间的形状和相对位置;
[0304]
至少使用楼层平面图生成邻接图;以及
[0305]
至少使用邻接图生成嵌入向量,以表示来自邻接图的与指示的建筑物的多个属性的子集相对应的信息,包括表示关于建筑物的多个房间之间的邻接的信息。
[0306]
c05.如条款c03至c04中任一项的系统,还包括用户的客户端计算设备,其中存储指令包括软件指令,软件指令在通过一个或更多个计算系统中的至少一个执行时,使至少一个计算系统执行进一步的自动操作,进一步的自动操作包括至少部分地基于对在多个采集位置处采集的多个图像的视觉数据的分析来产生邻接图,多个图像与建筑物相关联并且包括具有建筑物的多个房间的多个采集位置并且还包括建筑物外部的一个或更多个采集位置,其中提供关于所确定的至少一个其他建筑物的属性的信息包括通过一个或更多个计算机网络将关于所确定的至少一个其他建筑物的属性的信息发送到客户端计算设备,以及其中自动操作还包括通过客户端计算设备接收所提供的关于所确定的至少一个其他建筑物的属性的信息,并且在客户端计算设备上显示所提供的关于所确定的至少一个其他建筑物的属性的信息,以及通过客户端计算设备向一个或更多个计算系统发送来自用户与客户端计算设备上的用户可选控件的交互的信息,以使得针对所确定的至少一个其他建筑物对客户端计算设备上显示的信息进行修改。
[0307]
c06.一种系统,包括:
[0308]
一个或更多个计算系统的一个或更多个硬件处理器;以及
[0309]
具有存储指令的一个或更多个存储器,存储指令在通过一个或更多个硬件处理器中的至少一个执行时使一个或更多个计算系统执行自动操作,自动操作至少包括:
[0310]
通过对多个建筑物的楼层平面图的分析,确定与一个或更多个指示的主观属性相关联的楼层平面图特征;
[0311]
对于包括与多个建筑物分开的一个或更多个建筑物的多个指示的建筑物中的每一个,确定用于该指示的建筑物的楼层平面图是否具有与所确定的特征中的至少一些匹配的特征,以便与一个或更多个指示的主观属性中的至少一个相关联;
[0312]
从多个指示的建筑物确定与一个或更多个搜索标准匹配的至少一个指示的建筑物,一个或更多个搜索标准包括一个或更多个指示的主观属性中的至少一个指定的主观属性;以及
[0313]
提供关于至少一个指示的建筑物的信息,以使得能够确定与一个或更多个搜索标准的一个或更多个关系。
[0314]
c07.如条款c06的系统,还包括用户的客户端计算设备,其中存储指令包括软件指令,软件指令在通过一个或更多个计算系统中的至少一个执行时使至少一个计算系统接收用于多个建筑物的楼层平面图的信息,楼层平面图的信息包括用于每个楼层平面图的是否满足一个或更多个指示的主观属性中的每一个的一个或更多个提供的指示,以及通过至少部分地基于所提供的用于多个建筑物的楼层平面图的指示而学习楼层平面图特征来执行楼层平面图特征的确定,以及通过经由一个或更多个计算机网络将关于至少一个指示的建筑物的信息发送到客户端计算装置来执行关于至少一个指示的建筑物的信息的提供,以及其中自动操作进一步包括通过客户端计算装置接收所提供的关于至少一个指示的建筑物的信息并且在客户端计算装置上显示所提供的关于至少一个指示的建筑物的信息,通过客户端计算设备将来自用户与客户端计算设备上的用户可选择控件的交互的信息发送到一个或更多个计算系统,以使得对至少一个指示的建筑物的客户端计算设备上显示的信息进行修改。
[0315]
c08.一种系统,包括:
[0316]
一个或更多个计算系统的一个或更多个硬件处理器;以及
[0317]
具有存储指令的一个或更多个存储器,存储指令在通过一个或更多个硬件处理器中的至少一个执行时使一个或更多个计算系统执行自动操作,自动操作至少包括:
[0318]
采集关于具有多个房间的指示的建筑物的信息,关于具有多个房间的指示的建筑物的信息包括表示指示的建筑物并存储与指示的建筑物相关联的多个属性的邻接图,其中邻接图具有多个节点,多个节点中的每个与多个房间中的一个相关联并存储关于对应于相关联的房间的多个属性中的一个或更多个的信息,以及其中邻接图还具有在多个节点之间的多个边缘,多个边缘中的每一个在两个节点之间并表示两个节点的相关联的房间在指示的建筑物中的邻接;
[0319]
从多个其他建筑物确定与指示的建筑物类似的至少一个其他建筑物,包括:
[0320]
为多个其他建筑物中的每一个确定指示的建筑物的邻接图与表示其他建筑物的附加邻接图之间的相似度并存储其他建筑物的至少一些属性;以及
[0321]
选择多个其他建筑物中的一个或更多个,多个其他建筑物中的每一个具有与指示的建筑物的邻接组具有确定的相似度的附加邻接图,附加邻接图的确定的相似度高于确定的阈值,以及使用所选择的一个或更多个其他建筑物作为所确定的至少一个其他建筑物;以及
[0322]
提供关于所确定的至少一个其他建筑物的信息,以使得能够确定与指示的建筑物相关联的多个属性的一个或更多个关系。
[0323]
c09.如条款c08的系统,还包括用户的客户端计算设备,其中获得关于指示的建筑物的信息还包括:
[0324]
获得关于指示的建筑物的信息,关于指示的建筑物的信息包括至少部分地基于在建筑物内的多个采集位置处采集的多个图像的视觉数据的分析为指示的建筑物确定的楼层平面图,其中,楼层平面图具有关于多个房间的信息,关于多个房间的信息至少包括多个房间的形状和相对位置;以及
[0325]
至少使用楼层平面图生成邻接图,
[0326]
以及其中存储指令包括软件指令,软件指令在通过一个或更多个计算系统中的至少一个执行时,使得至少一个计算系统通过经由一个或更多个计算机网络将关于所确定的至少一个其他建筑物的信息发送到客户端计算设备来执行关于所确定的至少一个其他建筑物的信息的提供,以及其中自动操作还包括通过客户端计算设备接收所提供的关于所确定的至少一个其他建筑物的信息,以及在客户端计算设备上显示所提供的关于所确定的至少一个其他建筑物的信息,以及通过客户端计算设备向一个或更多个计算系统发送来自用户与客户端计算设备上的用户可选控件的交互的信息,以使得针对所确定的至少一个其他建筑物对客户端计算设备上显示的信息进行修改。
[0327]
c10.一种系统,包括:
[0328]
一个或更多个计算系统的一个或更多个硬件处理器;以及
[0329]
具有存储指令的一个或更多个存储器,存储指令在通过一个或更多个硬件处理器中的至少一个执行时使一个或更多个计算系统执行自动操作,自动操作至少包括:
[0330]
对于多个建筑物中的每一个,获得关于建筑物的信息,关于建筑物的信息包括表示建筑物并且存储与建筑物相关联的多个属性的邻接图,其中邻接图具有多个节点并且存储关于与相关联的房间相对应的多个属性中的一个或更多个的信息,多个节点中的每一个与建筑物的多个房间中的一个相关联,以及其中邻接图还具有多个节点之间的多个边缘,多个边缘中的每一个在两个节点之间,并且表示对于两个节点相关联房间在建筑物中的邻接;
[0331]
接收至少部分地基于指示的至少两种类型的房间的邻接的一个或更多个搜索标准;
[0332]
从多个建筑物中确定与一个或更多个搜索标准相匹配的至少一个指示的建筑物,包括为至少一个指示的建筑物中的每个搜索邻接图以识别邻接图中表示指示的建筑物中满足指示的邻接的一个或更多个邻接的一个或更多个边缘;以及
[0333]
提供关于至少一个指示的建筑物的信息,以使得能够确定与至少一个指示的建筑物相关联的多个属性的一个或更多个关系。
[0334]
c11.如条款c10的系统,还包括用户的客户端计算设备,其中获得关于多个建筑物中的每一个的信息还包括:
[0335]
获得关于建筑物的信息,该信息包括至少部分地基于在建筑物内的多个采集位置处采集的多个图像的视觉数据的分析为建筑物确定的楼层平面图,其中,楼层平面图具有关于多个房间的信息,关于多个房间的信息至少包括多个房间的形状和相对位置;以及
[0336]
至少使用楼层平面图生成建筑物的邻接图;
[0337]
以及其中存储指令包括软件指令,软件指令在通过一个或更多个计算系统中的至
少一个执行时,使得至少一个计算系统通过经由一个或更多个计算机网络将关于至少一个指示的建筑物的信息发送到客户端计算设备来执行关于至少一个指示的建筑物的信息的提供,以及其中自动操作还包括通过客户端计算设备接收并且在客户端计算设备上显示所提供的关于至少一个指示的建筑物的信息,以及通过客户端计算设备向一个或更多个计算系统发送来自用户与客户端计算设备上的用户可选控件的交互的信息,以使得针对至少一个指示的建筑物对客户端计算设备上显示的信息进行修改。
[0338]
c12.一种系统,包括:
[0339]
一个或更多个计算系统的一个或更多个硬件处理器;以及
[0340]
具有存储指令的一个或更多个存储器,存储指令在通过一个或更多个硬件处理器中的至少一个执行时使一个或更多个计算系统执行自动操作,自动操作至少包括:
[0341]
对于多个建筑物中的每一个,获得关于建筑物的信息,关于建筑物的信息包括建筑物的内部的一个或更多个视觉属性,一个或更多个视觉属性是通过对内部中拍摄的一个或更多个图像的视觉数据进行分析而确定的,并且关于建筑物的信息还包括表示建筑物并存储与建筑物相关联的多个属性的邻接图,多个属性包括建筑物的内部的一个或更多个视觉属性,其中邻接图具有多个节点,多个节点中的每一个与建筑物的多个房间中的一个相关联,并且存储关于对应于相关联的房间的多个属性中的一个或更多个的信息,其中多个节点中的至少一个的存储信息包括建筑物的与至少一个节点的相关联的房间相关的视觉属性中的至少一个,以及其中邻接图还具有多个节点之间的多个边缘,多个边缘中的每一个在两个节点之间并且表示两个节点的相关联的房间在建筑物中的邻接;
[0342]
至少部分地基于一个或更多个房间的一个或更多个指示的视觉属性来接收一个或更多个搜索标准;
[0343]
确定多个建筑物中的至少一个指示的建筑物与一个或更多个搜索标准匹配,一个或更多个搜索标准包括针对至少一个指示的建筑物中的每一个搜索指示的建筑物的邻接图以识别指示的建筑物的多个房间中的至少一个,多个房间的关联节点具有存储信息,存储信息包括满足一个或更多个指示的视觉属性的至少一个视觉属性;以及
[0344]
提供关于至少一个指示的建筑物的信息,以使得能够确定与至少一个指示的建筑物相关联的多个属性的一个或更多个关系。
[0345]
c13.如条款c12的系统,还包括用户的客户端计算设备,其中获得关于多个建筑物中的每一个的信息还包括:
[0346]
获得关于建筑物的信息,关于建筑物的信息包括至少部分地基于在建筑物内的多个采集位置处采集的多个图像的视觉数据的分析为建筑物确定的楼层平面图,其中,楼层平面图具有关于多个房间的信息,关于多个房间的信息至少包括多个房间的形状和相对位置;以及
[0347]
至少使用楼层平面图生成建筑物的邻接图;
[0348]
以及其中存储指令包括软件指令,软件指令在通过一个或更多个计算系统中的至少一个执行时,使得至少一个计算系统通过经由一个或更多个计算机网络将关于至少一个指示的建筑物的信息发送到客户端计算设备来执行关于至少一个指示的建筑物的信息的提供,以及其中自动操作还包括通过客户端计算设备接收并且在客户端计算设备上显示所提供的关于至少一个指示的建筑物的信息,以及通过客户端计算设备向一个或更多个计算
系统发送来自用户与客户端计算设备上的用户可选控件的交互的信息,以使得针对至少一个指示的建筑物对客户端计算设备上显示的信息进行修改。
[0349]
c14.一种系统,包括:
[0350]
一个或更多个计算系统的一个或更多个硬件处理器;以及
[0351]
具有存储指令的一个或更多个存储器,存储指令在通过一个或更多个硬件处理器中的至少一个执行时使一个或更多个计算系统执行自动操作,自动操作至少包括:
[0352]
对于多个建筑物中的每一个,获得关于建筑物的信息,关于建筑物的信息包括表示建筑物并存储与建筑物相关联的多个属性的邻接图,属性包括能够独立验证的关于建筑物的客观属性,其中邻接图具有多个节点,多个节点中的每一个与建筑物的多个房间中的一个相关联,并存储关于与相关联的房间相对应的多个属性中的一个或更多个的信息,以及其中邻接图还具有在多个节点之间的多个边缘,多个边缘中的每一个在两个节点之间并且表示对于两个节点的相关联的房间在建筑中的邻接;
[0353]
为多个建筑物中的每一个预测建筑物的一个或更多个附加主观属性,并更新建筑物的邻接图以进一步存储关于建筑物的一个或更多个附加主观属性的信息;
[0354]
在更新之后,通过针对至少一个指示的建筑物中的每一个搜索指示的建筑物的更新的邻接图来确定在更新的邻接图中的存储信息满足至少一个指示的主观属性和至少一个指示的客观属性,从而确定多个建筑物中的至少一个指示的建筑物与对应于至少一个指示的主观属性和至少一个指示的客观属性的一个或更多个指定的标准相匹配;以及
[0355]
提供关于至少一个指示的建筑物的信息,以使得能够确定至少一个指示的建筑物与一个或更多个指定标准的一个或更多个关系。
[0356]
c15.如条款c14的系统,还包括用户的客户端计算设备,其中获得关于多个建筑物中的每一个的信息还包括:
[0357]
获得关于建筑物的信息,关于建筑物的信息包括至少部分地基于在建筑物内的多个采集位置处采集的多个图像的视觉数据的分析为建筑物确定的楼层平面图,其中,楼层平面图具有关于多个房间的信息,关于多个房间的信息至少包括多个房间的形状和相对位置;以及
[0358]
至少使用楼层平面图生成建筑物的邻接图;
[0359]
以及其中存储指令包括软件指令,软件指令在通过一个或更多个计算系统中的至少一个执行时,使得至少一个计算系统通过经由一个或更多个计算机网络将关于至少一个指示的建筑物的信息发送到客户端计算设备来执行关于至少一个指示的建筑物的信息的提供,以及其中自动操作还包括通过客户端计算设备接收并且在客户端计算设备上显示所提供的关于至少一个指示的建筑物的信息,以及通过客户端计算设备向一个或更多个计算系统发送来自用户与客户端计算设备上的用户可选控件的交互的信息,以使得针对至少一个指示的建筑物对客户端计算设备上显示的信息进行修改。
[0360]
c16.一种系统,包括:
[0361]
一个或更多个计算系统的一个或更多个硬件处理器;以及
[0362]
具有存储指令的一个或更多个存储器,存储指令在通过一个或更多个硬件处理器中的至少一个执行时使一个或更多个计算系统执行自动操作,自动操作至少包括:
[0363]
对于多个建筑物中的每一个,获得关于建筑物的信息,关于建筑物的信息包括表
示建筑物并且存储与建筑物相关联的多个属性的邻接图,其中邻接图具有多个节点,多个节点中的每一个与建筑物的多个房间中的一个相关联,并且存储关于与相关联的房间相对应的多个属性中的一个或更多个的信息,以及其中邻接图还具有多个节点之间的多个边缘,多个边缘中的每一个在两个节点之间,并且表示两个节点的相关联的房间在建筑物中的邻接;
[0364]
针对多个建筑物中的每一个,预测建筑物中的一个或更多个房间的一个或更多个房间类型,并更新建筑物的邻接图,以进一步存储关于建筑物中的一个或更多个房间的一个或更多个房间类型的信息;
[0365]
在更新之后,通过针对至少一个指示的建筑物中的每一个搜索指示的建筑物的更新的邻接图来确定更新的邻接图中的存储信息满足至少一个指示的房间类型,从而确定多个建筑物中的至少一个指示的建筑物与对应于至少一个指示的房间类型的一个或更多个指定的标准相匹配;以及
[0366]
提供关于至少一个指示的建筑物的信息,以使得能够确定至少一个指示的建筑物与一个或更多个指定标准的一个或更多个关系。
[0367]
c17.如条款c16的系统,还包括用户的客户端计算设备,其中,获得关于多个建筑物中的每一个的信息还包括:
[0368]
获得关于建筑物的信息,关于建筑物的信息包括至少部分地基于在建筑物内的多个采集位置处采集的多个图像的视觉数据的分析为建筑物确定的楼层平面图,其中,楼层平面图具有关于多个房间的信息,关于多个房间的信息至少包括多个房间的形状和相对位置;以及
[0369]
至少使用楼层平面图生成建筑物的邻接图;
[0370]
以及其中存储指令包括软件指令,软件指令在通过一个或更多个计算系统中的至少一个执行时,使得至少一个计算系统通过经由一个或更多个计算机网络将关于至少一个指示的建筑物的信息发送到客户端计算设备来执行关于至少一个指示的建筑物的信息的提供,以及其中自动操作还包括通过客户端计算设备接收并且在客户端计算设备上显示所提供的关于至少一个指示的建筑物的信息,以及通过客户端计算设备向一个或更多个计算系统发送来自用户与客户端计算设备上的用户可选控件的交互的信息,以使得针对至少一个指示的建筑物对客户端计算设备上显示的信息进行修改。
[0371]
c18.一种系统,包括:
[0372]
一个或更多个计算系统的一个或更多个硬件处理器;以及
[0373]
具有存储指令的一个或更多个存储器,存储指令在通过一个或更多个硬件处理器中的至少一个执行时使一个或更多个计算系统执行自动操作,自动操作至少包括:
[0374]
对于多个建筑物中的每一个,获得关于建筑物的信息,关于建筑物的信息包括表示建筑物并且存储与建筑物相关联的多个属性的邻接图,其中邻接图具有多个节点,多个节点中的每一个与建筑物的多个房间中的一个相关联,并且存储关于与相关联的房间相对应的多个属性中的一个或更多个的信息,以及其中邻接图还具有多个节点之间的多个边缘,多个边缘中的每一个在两个节点之间并且表示两个节点的相关联的房间在建筑物中的邻接;
[0375]
针对多个建筑物中的每一个,预测建筑物中的两个或更多个房间之间的一个或更
多个连通性状态,并更新建筑物的邻接图,以进一步存储关于建筑物的一个或更多个连通性状态的信息;
[0376]
在更新之后,确定多个建筑物中的至少一个指示的建筑物与对应于至少两个房间之间的至少一个指示的连通性状态的一个或更多个指定标准相匹配,通过针对至少一个指示的建筑物中的每一个搜索用于该指示的建筑物的更新的邻接图,以确定在该更新的邻接图中的存储信息满足至少一个指示的连通性状态;以及
[0377]
提供关于至少一个指示的建筑物的信息,以使得能够确定至少一个指示的建筑物与一个或更多个指定标准的一个或更多个关系。
[0378]
c19.如条款c18的系统,还包括用户的客户端计算设备,其中,获得关于多个建筑物中的每一个的信息还包括:
[0379]
获得关于建筑物的信息,关于建筑物的信息包括至少部分地基于在建筑物内的多个采集位置处采集的多个图像的视觉数据的分析为建筑物确定的楼层平面图,其中,楼层平面图具有关于多个房间的信息,关于多个房间的信息至少包括多个房间的形状和相对位置;以及
[0380]
至少使用楼层平面图生成建筑物的邻接图;
[0381]
以及其中存储指令包括软件指令,软件指令在通过一个或更多个计算系统中的至少一个执行时,使得至少一个计算系统通过经由一个或更多个计算机网络将关于至少一个指示的建筑物的信息发送到客户端计算设备来执行关于至少一个指示的建筑物的信息的提供,以及其中自动操作还包括通过客户端计算设备接收并且在客户端计算设备上显示所提供的关于至少一个指示的建筑物的信息,以及通过客户端计算设备向一个或更多个计算系统发送来自用户与客户端计算设备上的用户可选控件的交互的信息,以使得针对至少一个指示的建筑物对客户端计算设备上显示的信息进行修改。
[0382]
c20.一种系统,包括:
[0383]
一个或更多个计算系统的一个或更多个硬件处理器;以及
[0384]
具有存储指令的一个或更多个存储器,存储指令在通过一个或更多个硬件处理器中的至少一个执行时使一个或更多个计算系统执行自动操作,自动操作至少包括:
[0385]
对于多个建筑物中的每一个,获得关于建筑物的信息,关于建筑物的信息包括表示建筑物的邻接图,并且存储与建筑物相关联的多个属性,其中邻接图具有多个节点,多个节点中的每一个与建筑物的多个房间中的一个相关联,并且存储关于与相关联的房间相对应的多个属性中的一个或更多个的信息,以及其中邻接图还具有多个节点之间的多个边缘,多个边缘中的每一个在两个节点之间,并且表示两个节点的相关联的房间在建筑物中的邻接;
[0386]
至少部分地基于确定映射函数来学习表示建筑物的属性的子集,映射函数将多个建筑物的邻接图中的节点映射到学习空间,在学习空间中相似的图节点在学习空间中具有相似的嵌入;
[0387]
为多个指示的建筑物中的每一个生成嵌入向量,以表示与属性的子集对应的关于指示的建筑物的信息;
[0388]
为多个指示的建筑物中的至少一个指示的建筑物中的每一个确定用于该指示的建筑物的所生成的嵌入向量与对应于一个或更多个属性的子集中的一个或更多个的一个
或更多个指定标准相匹配;以及
[0389]
提供关于至少一个指示的建筑物的信息,以使得能够确定至少一个指示的建筑物与一个或更多个指定标准的一个或更多个关系。
[0390]
c21.如条款c20的系统,还包括用户的客户端计算设备,其中多个指示的建筑物与多个建筑物分离,以及其中获得关于多个建筑物中的每一个的信息还包括:
[0391]
获得关于建筑物的信息,关于建筑物的信息包括至少部分地基于在建筑物内的多个采集位置处采集的多个图像的视觉数据的分析为建筑物确定的楼层平面图,其中,楼层平面图具有关于多个房间的信息,关于多个房间的信息至少包括多个房间的形状和相对位置;以及
[0392]
至少使用楼层平面图生成建筑物的邻接图;
[0393]
以及其中存储指令包括软件指令,软件指令在通过一个或更多个计算系统中的至少一个执行时,使得至少一个计算系统通过经由一个或更多个计算机网络将关于至少一个指示的建筑物的信息发送到客户端计算设备来执行关于至少一个指示的建筑物的信息的提供,以及其中自动操作还包括通过客户端计算设备接收并且在客户端计算设备上显示所提供的关于至少一个指示的建筑物的信息,以及通过客户端计算设备向一个或更多个计算系统发送来自用户与客户端计算设备上的用户可选控件的交互的信息,以使得针对至少一个指示的建筑物对客户端计算设备上显示的信息进行修改。
[0394]
d01.一种计算机程序,适于当计算机程序在计算机上运行时执行条款a01至a11中的任一个的方法。
[0395]
d02.一种计算机程序,适于当计算机程序在计算机上运行时执行条款b01至b42中的任一个的自动操作。
[0396]
d03.一种计算机程序,适于当计算机程序在计算机上运行时执行条款c01至c21中的任一个的自动操作。
[0397]
这里参照根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述本公开的方面。将理解,流程图和/或框图的每个块以及流程图和/或框图中的块的组合可以由计算机可读程序指令来实现。将进一步理解,在一些实施方式中,可以以可选择的方式来提供由上面讨论的例程提供的功能,例如在更多例程之间进行拆分,或者合并成更少的例程。类似地,在一些实施方式中,所示例程可以提供比所描述的更多或更少的功能,例如当其他所示例程分别代替地缺少或包括这样的功能时,或者当所提供的功能量改变时。此外,虽然可以将各种操作示出为以特定方式(例如,串行或并行,或同步或异步)和/或以特定顺序执行,但是在其他实施方式中,可以以其他顺序和其他方式执行操作。上面讨论的任何数据结构也可以以不同的方式构造,例如通过将单个数据结构拆分成多个数据结构和/或通过将多个数据结构合并成单个数据结构。类似地,在一些实施方式中,所示的数据结构可以存储比所描述的更多或更少的信息,例如当其他所示的数据结构分别代替地缺少或包括这样的信息时,或者当存储的信息量或类型改变时。
[0398]
从上文将理解,尽管出于说明的目的本文已经描述了特定的实施例,但是可以在不脱离发明的精神和范围的情况下进行各种修改。因此,发明除了由相应的权利要求和那些权利要求所引用的元件之外不受限制。此外,虽然发明的某些方面可以在某些时间以某一权利要求的形式呈现,但是发明人以任何可用的权利要求的形式考虑了发明的各个方
面。例如,虽然仅发明的一些方面可以被叙述为在特定时间在计算机可读介质中实施,但是也可以同样地实施其他方面。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1