室内定位方法、装置、电子设备及存储介质与流程

本公开涉及人工智能
技术领域：
，特别涉及计算机视觉、图像识别、增强现实及深度学习等领域的室内定位方法、装置、电子设备及存储介质。
背景技术：
：目前，常用的室内定位方式主要包括：1)基于硬件信号源的室内定位方式，预先在待定位区域铺设信号源，利用用户的智能终端接收信号源发射的信号实现用户定位；2)基于视觉特征匹配的室内定位方式，预先对待定位区域进行扫描，采集视觉图像数据并建立高精视觉地图，并通过特征匹配等方式实现用户定位；3)基于图像识别的室内定位方式，识别采集到的图像(一帧)中的高层级语义信息，如某一商铺的标志(logo)，通过高层级语义信息在地图中进行检索等实现用户定位。其中，方式1)和方式2)的前期投入成本均较高，且运营维护成本也较高，而方式3)中，高层级语义信息很不稳定，如相似的logo可能在待定位区域的多个位置出现，即很容易出错，从而导致定位结果的准确性不高等。技术实现要素：本公开提供了室内定位方法、装置、电子设备及存储介质。一种室内定位方法，包括：获取待定位的用户利用智能终端采集的至少两帧图像，所述图像为周围环境图像，所采集的图像中至少包括两个分别位于不同图像中的不同兴趣点，并分别获取每次图像采集时所述智能终端的姿态信息；分别对采集的各图像进行图像识别，并分别获取识别出的各兴趣点的位置信息；根据各兴趣点的位置信息以及各兴趣点所在图像对应的所述姿态信息确定出所述用户的定位位置。一种室内定位装置，包括：第一获取模块、第二获取模块以及定位模块；所述第一获取模块，用于获取待定位的用户利用智能终端采集的至少两帧图像，所述图像为周围环境图像，所采集的图像中至少包括两个分别位于不同图像中的不同兴趣点，并分别获取每次图像采集时所述智能终端的姿态信息；所述第二获取模块，用于分别对采集的各图像进行图像识别，并分别获取识别出的各兴趣点的位置信息；所述定位模块，用于根据各兴趣点的位置信息以及各兴趣点所在图像对应的所述姿态信息确定出所述用户的定位位置。一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上所述的方法。一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行如以上所述的方法。一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如以上所述的方法。上述公开中的一个实施例具有如下优点或有益效果：可采集多帧图像，获取到多个兴趣点，并可综合多个兴趣点的位置信息及对应的智能终端的姿态信息确定出用户的定位位置，相比于方式1)和方式2)，可显著地降低实现成本，相比于方式3)，可综合多帧图像中的多个兴趣点的位置信息及智能终端的姿态信息等来进行定位，从而提升了定位结果的准确性等。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本公开的限定。其中：图1为本公开所述室内定位方法第一实施例的流程图；图2为本公开所述兴趣点的相对位置第一示意图；图3为本公开所述兴趣点的相对位置第二示意图；图4为本公开所述室内定位方法第二实施例的流程图；图5为本公开所述用户的定位位置示意图；图6为本公开所述室内定位装置实施例60的组成结构示意图；图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。具体实施方式以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。另外，应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。图1为本公开所述室内定位方法第一实施例的流程图。如图1所示，包括以下具体实现方式。在步骤101中，获取待定位的用户利用智能终端采集的至少两帧图像，所述图像为周围环境图像，所采集的图像中至少包括两个分别位于不同图像中的不同兴趣点，并分别获取每次图像采集时智能终端的姿态信息。在步骤102中，分别对采集的各图像进行图像识别，并分别获取识别出的各兴趣点的位置信息。在步骤103中，根据各兴趣点的位置信息以及各兴趣点所在图像对应的所述姿态信息确定出用户的定位位置。可以看出，上述方法实施例所述方案中，可采集多帧图像，获取到多个兴趣点，并可综合多个兴趣点的位置信息及对应的智能终端的姿态信息确定出用户的定位位置，相比于方式1)和方式2)，可显著地降低实现成本，相比于方式3)，可综合多帧图像中的多个兴趣点的位置信息及智能终端的姿态信息等来进行定位，从而提升了定位结果的准确性等。当需要进行定位时，用户可打开智能终端的摄像头，并利用摄像头采集多帧关于周围环境的图像，所采集的图像的具体数量可根据实际需要而定。所采集的图像中需要至少包括两个分别位于不同图像中的不同兴趣点。比如，用户位于某一商场内，可针对周围的不同店铺分别进行图像采集，从而得到多帧图像，每帧图像中可分别包括一个不同的店铺，即一个不同的兴趣点。另外，还可分别获取每次图像采集时智能终端的姿态信息，即智能终端的朝向信息。智能终端可为用户使用的手机、平板(pad)等。以手机为例，随着智能手机技术的不断发展，目前的手机中普遍具备了惯性传感器等元件。本公开所述方案中，即可利用智能终端中的惯性传感器来获取每次图像采集时智能终端的姿态信息。该方式依赖于智能终端中的现有元件即可实现，无需增加额外的实现成本等。可分别对采集到的各图像进行图像识别，从而识别出其中的兴趣点。如何识别出图像中的兴趣点不作限制，比如，可采用现有的图像识别算法识别出图像中的兴趣点，或者，也可以利用深度学习模型识别出图像中的兴趣点等。针对识别出的各兴趣点，还可分别获取其位置信息。如何获取各兴趣点的位置信息不作限制。作为一种可能的实现方式，可预先对待定位区域进行平面图(平面地图)建图，并记录平面图中包括的兴趣点及对应的位置信息，这样，针对识别出的每个兴趣点，可分别将所记录的该兴趣点的位置信息作为该兴趣点的位置信息。如何对待定位区域进行平面图建图为现有技术。通过上述方式，可方便准确地获取到所需的兴趣点的位置信息。另外，还可对识别出的各兴趣点进行校验，若根据校验结果确定任一兴趣点识别错误，则可丢弃从该兴趣点所在的图像中识别出的兴趣点。比如，若按照所述平面图，某一兴趣点与其它兴趣点的相对位置与平面图中不符，那么则可认为该兴趣点识别错误。再比如，若识别出的某一兴趣点不是平面图中包括的各兴趣点中的一个，那么也可认为该兴趣点识别错误。图2为本公开所述兴趣点的相对位置第一示意图。如图2所示，为商场一个角落的平面图，其中，兴趣点(如店铺)b位于兴趣点c的左侧。图3为本公开所述兴趣点的相对位置第二示意图。如图3所示，假设识别出的兴趣点b位于兴趣点c的右侧，那么则可认为兴趣点b识别错误，可能是将图像中的某个其它对象错误地识别为了兴趣点b。对于识别错误的兴趣点，可丢弃从该兴趣点所在的图像中识别出的兴趣点。在实际应用中，可能从该兴趣点所在的图像中识别出了一个兴趣点，即该兴趣点，也可能从该兴趣点所在的图像中识别出了多个兴趣点，无论是一个还是多个，均可丢弃。通过上述处理，过滤掉了识别出的各兴趣点中识别错误的兴趣点，从而提升了后续定位结果的准确性，保障了整体定位方案的可靠性等。针对过滤后剩下的各兴趣点，可根据各兴趣点的位置信息以及各兴趣点所在图像对应的姿态信息(智能终端的姿态信息)确定出用户的定位位置。比如，可通过三角定位方式确定出用户的定位位置。三角定位的原理是指利用2台或者2台以上的探测器在不同位置探测目标方位，然后运用三角几何原理确定目标的位置和距离，具体实现为现有技术。因此，本公开所述方案中，理论上最少可采集两帧图像，每帧图像中分别包括一个不同的兴趣点即可。但兴趣点的数量越多，后续得到的定位结果的准确性通常也就会越高，因此，可采集大于两帧图像，从而获取到大于两个兴趣点。除进行定位外，本公开所述方案中还提出，可利用智能终端中的视觉里程计(或称为视觉惯性里程计)对用户进行连续跟踪，并利用上述定位位置修正视觉里程计的误差。利用视觉里程计，可以对智能终端进行连续跟踪，即相当于是对用户进行连续跟踪。并且，在跟踪的过程中，可利用上述定位位置修正视觉里程计的误差，如可实时识别图像中的兴趣点，并可利用本公开所述方案中根据兴趣点的位置信息等确定出的定位位置来修正视觉里程计的误差，从而实现连续跟踪定位。基于上述介绍，图4为本公开所述室内定位方法第二实施例的流程图。假设本实施例中的室内为商场，兴趣点为商场中的店铺。如图4所示，包括以下具体实现方式。在步骤401中，对商场进行平面图建图。比如，可按照现有方式，逐层绘制商场的平面图。在步骤402中，记录平面图中包括的店铺及对应的位置信息。比如，可采用表一所示方式记录店铺及对应的位置信息：店铺位置信息店铺ax0,y0店铺bx1,y1店铺cx2,y2表一店铺及对应的位置信息除位置信息外，还可获取各店铺的名称、logo等信息，并对应记录。在步骤403中，获取待定位的用户利用智能终端采集的至少两帧图像，每帧图像中分别包括一个不同的店铺，并利用智能终端中的惯性传感器分别获取每次图像采集时智能终端的姿态信息。比如，用户可针对周围的不同店铺分别进行图像采集，从而得到多帧图像，每帧图像中可分别包括一个不同的店铺。在步骤404中，分别对采集的各图像进行图像识别，并根据所记录的内容分别确定出识别出的各店铺的位置信息。比如，对于识别出的某个店铺，可识别到其名称或logo等，那么可通过查询所记录的内容，确定出该店铺的位置信息。假设用户采集了3帧图像，那么可得到表二所示内容：表二识别出的各店铺及对应的位置信息和偏航角度如表二所示，智能终端的姿态信息可以是指智能终端的偏航角度。在步骤405中，根据各店铺的位置信息以及各店铺对应的姿态信息确定出用户的定位位置。比如，可根据各店铺的位置信息以及各店铺对应的姿态信息，通过三角定位方式确定出用户的定位位置。图5为本公开所述用户的定位位置示意图。如图5所示，假设从采集到的图像中识别出了店铺a、店铺b和店铺c，那么可根据店铺a、店铺b和店铺c的位置信息以及各自对应的姿态信息，通过三角定位方式确定出用户的定位位置。另外，还可利用智能终端中的视觉里程计对用户进行连续跟踪，并可利用所述定位位置修正视觉里程计的误差等。需要说明的是，对于前述的各方法实施例，为了简单描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其它顺序或者同时进行。比如，在实际应用中，可每采集一帧图像，则对该帧图像进行图像识别等处理，或者，也可在采集到所需的多帧图像后，再分别对各帧图像进行图像识别等处理。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本公开所必须的。另外，某个实施例中没有详述的部分，可以参见其它实施例中的相关说明。以上是关于方法实施例的介绍，以下通过装置实施例，对本公开所述方案进行进一步说明。图6为本公开所述室内定位装置实施例60的组成结构示意图。如图6所示，包括：第一获取模块601、第二获取模块602以及定位模块603。第一获取模块601，用于获取待定位的用户利用智能终端采集的至少两帧图像，所述图像为周围环境图像，所采集的图像中至少包括两个分别位于不同图像中的不同兴趣点，并分别获取每次图像采集时智能终端的姿态信息。第二获取模块602，用于分别对采集的各图像进行图像识别，并分别获取识别出的各兴趣点的位置信息。定位模块603，用于根据各兴趣点的位置信息以及各兴趣点所在图像对应的姿态信息确定出用户的定位位置。当需要进行定位时，用户可打开智能终端的摄像头，并利用摄像头采集多帧关于周围环境的图像，所采集的图像的具体数量可根据实际需要而定。所采集的图像中需要至少包括两个分别位于不同图像中的不同兴趣点。比如，用户位于某一商场内，可针对周围的不同店铺分别进行图像采集，从而得到多帧图像，每帧图像中可分别包括一个不同的店铺，即一个不同的兴趣点。另外，第一获取模块601还可分别获取每次图像采集时智能终端的姿态信息，即智能终端的朝向信息。比如，可利用智能终端中的惯性传感器分别获取每次图像采集时智能终端的姿态信息，即分别获取每次图像采集时智能终端中的惯性传感器获取到的智能终端的姿态信息。第二获取模块602可分别对采集到的各图像进行图像识别，从而识别出其中的兴趣点，针对识别出的各兴趣点，还可分别获取其位置信息。相应地，图6所示装置中还可进一步包括：预处理模块600，用于对待定位区域进行平面图建图，并记录平面图中包括的兴趣点及对应的位置信息等。这样，第二获取模块602可针对识别出的每个兴趣点，分别获取所记录的该兴趣点的位置信息，即将所记录的该兴趣点的位置信息作为该兴趣点的位置信息。第二获取模块602还可对识别出的各兴趣点进行校验，若根据校验结果确定任一兴趣点识别错误，则可丢弃从该兴趣点所在的图像中识别出的兴趣点。针对过滤后剩下的各兴趣点，定位模块603可根据各兴趣点的位置信息以及各兴趣点所在图像对应的姿态信息(智能终端的姿态信息)确定出用户的定位位置。比如，可通过三角定位方式确定出用户的定位位置。另外，定位模块603还可利用智能终端中的视觉里程计对用户进行连续跟踪，并可利用所述定位位置修正视觉里程计的误差。图6所示装置实施例的具体工作流程请参照前述方法实施例中的相关说明，不再赘述。总之，采用本公开装置实施例方案，可采集多帧图像，获取到多个兴趣点，并可综合多个兴趣点的位置信息及对应的智能终端的姿态信息确定出用户的定位位置，从而降低了实现成本并提升了定位结果的准确性等。本公开所述方案可应用于人工智能领域，特别涉及计算机视觉、图像识别、增强现实及深度学习等领域。人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术，人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术，人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(rom)702中的计算机程序或者从存储单元708加载到随机访问存储器(ram)703中的计算机程序，来执行各种适当的动作和处理。在ram703中，还可存储设备700操作所需的各种程序和数据。计算单元701、rom702以及ram703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。设备700中的多个部件连接至i/o接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如本公开所述的方法。例如，在一些实施例中，本公开所述的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由rom702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到ram703并由计算单元701执行时，可以执行本公开所述的方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行本公开所述的方法。本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(vps)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。当前第1页12