本地定位系统的分布式操作的制作方法与工艺

本文描述主题的实施例一般涉及用于本地定位系统远程操作的系统和方法。

背景技术：
本地定位系统（LocalPositioningSystem，即LPS）允许操作员采集LPS的物理硬件视图中物体的本地坐标测量值和图像数据。例如，在飞机上查看具体结构的检查员需要知道在飞机本地坐标系统中被定义的在结构上的一个位置，以获得与该结构相关的图表或其他信息，它们通过使用飞机自身的本地坐标系统而被存储和参考。本地定位系统（LPS）可以使用云台单元（PTU），以使摄像机指向需要本地坐标的物体的方向。激光测距仪能被用于测量到物体的距离，或算法上能够得到或导出的距离。图像数据、测量的距离数据和云台角度与已知的校准点被用于确定LPS设备相对于目标物的位置。根据已知相对位置，LPS测量值被转换到目标物坐标系统（例如，飞机或建筑物坐标）的本地坐标中。操作员通过使用键盘控制或接口设备，例如操纵杆、手柄控制器以及鼠标设备等，控制PTU、激光测距仪、摄像机设备以及其他LPS的软件操作。该LPS包括物理上与LPS的其他组件连接和组合的计算机系统。本地操作员通常物理上离LPS较近，例如，与LPS在相同的房间。如果操作员需要绕着检查位置移动到与LPS直接连接的距离之外的位置，这会出现困难。如果操作员，例如专家检查员，没有在本地位置，则需要该操作员到现场操作LPS。如果LPS计算机系统支持远程操作，则操作员能够从不同物理位置上使用该系统。例如，Windows远程桌面和Windows系统上的Citrix，以及基于Unix/Linux系统的远程登录功能，可以使远程操作员远程登录计算机系统并操作LPS的某些方面。然而，尽管这些远程登录功能允许远程用户访问LPS，但这些功能通常限制单个操作员同时操作与计算机相连的硬件和相关的控制程序。其不能使两个不同用户，例如，他们可能合作完成任务，同时使用相同的LPS。这会引起不希望的调度问题，其中如果本地用户希望使用LPS，则远程用户需要退出LPS控制应用程序，反之亦然。使用远程登录功能还可以建立管理工作，因为允许远程用户访问LPS计算机系统需要账户设置和密码管理。此外，使用这些远程登录功能要求操作员与计算机系统在桌面级交互以访问相连的LPS，增加了远程操作员的操作复杂性。另外，考虑到网络带宽，远程计算机上重叠桌面需要大量的网络资源，引入了额外的延迟，而且经常不能为远程用户呈现图像和视频的最佳质量。如果需要两个或更多LPS单元提供大型物体或具有遮挡区域的物体全覆盖，则会出现单个用户与多个LPS单元同时连接的问题，使用远程登录功能也不能解决该问题。若单个操作员希望使用远程登录功能同时操作两个或更多LPS单元，同时运行多个远程会话和控制多个LPS单元，如果不是完全不切实际，这将是很困难的，因为来自键盘、鼠标、手柄或其他接口设备的输入一次仅被分配到一个活动的应用程序中，即使能够同时呈现不同屏幕。因此，需要让多个用户同时使用LPS，或单个用户，或者不在物理硬件本地位置的多个用户同时使用多个LPS，同时有效利用网络资源。

技术实现要素：
提供了用于远程和本地操作员分布式操作本地定位系统（LPS）的系统和方法。该系统和方法允许远程和本地操作员同时使用一个或更多LPS单元。在一个实施例中，用于LPS分布式操作的方法包括：建立和与LPS相关联的远程会话管理器的网络连接；发送设备控制命令控制LPS；并提供用户接口以发送设备控制命令给LPS。该方法还包括：发送网络地址请求给远程会话管理器以获得提供来自LPS的图像的服务器的网络地址；建立到服务器的第二网络连接，以接收图像；并显示来自LPS的图像。在一个实施例中，用于LPS分布式操作的另一个方法包括：初始化与LPS相关联的远程会话管理器的网络接口；针对来自操作员的网络连接请求而收听网络接口；接受网络连接请求并建立远程会话管理器与操作员之间的网络连接；接收来自操作员的用于控制LPS的设备控制命令，并发送设备控制命令给与LPS接口的设备控制应用程序。该方法还可以包括：获得提供来自本地定位设备的图像或视频的服务器的网络地址；接收来自操作员的网络地址请求；发送网络地址给操作员；接受来自服务器端的操作员的第二网络连接，并提供来自服务器的图像给操作员。提供本地定位系统的控制给操作员的一种方法，包括：初始化与本地定位系统相关联的远程会话管理器的网络接口；针对来自操作员的网络连接请求而收听网络接口；在接收网络连接请求后，建立操作员与远程会话管理器之间的网络连接；通过网络连接接收来自操作员的设备控制命令，该设备控制命令与控制本地定位系统相关联；并发送设备控制命令给与本地定位系统有接口的设备控制应用程序。远程会话管理器启动设备控制应用程序，而设备控制应用程序通过与本地定位系统的接口控制本地定位系统的硬件功能。该方法还包括：获得与本地定位设备相关联的服务器的网络地址，该服务器提供来自本地定位设备的多个图像；接收来自操作员的服务器网络地址的请求；并发送网络地址给操作员。该方法还包括：通过网络地址上的服务器接收来自操作员的第二网络连接；通过第二网络连接给操作员提供来自服务器的多个图像。该多个图像是视频流，提供多个图像的操作包括将视频流流式地传给操作员。该网络连接使用网络套接字（networksocket）以便与远程会话管理器进程间通信。远程会话管理器与设备控制应用程序是使用网络套接字通信的分布式进程。该操作员是远程操作员，而且该网络连接通过网络被传输，并且该网络是从由本地LAN、子网、内联网和因特网组成的组中选择的，该网络支持的协议从由TCP/IP、UDP和HTTP组成的组协议中选择的。在一个实施例中，用于LPS分布式操作的系统包括本地系统和远程系统。本地系统包括与LPS的接口；与网络的连接；若干设备控制应用程序，如摄像机、云台单元或激光测距仪控制应用程序；以及远程会话管理器，远程会话管理器除了响应远程命令，还接受网络连接并将设备控制消息导向合适的设备控制应用程序。远程系统包括用于连接网络的网络接口，建立与远程会话管理器的网络连接的配置管理器，以及用于发送设备控制命令给本地系统的用户接口。该系统还包括流式传输本地定位系统的视频的视频服务器，远程会话管理器获得视频服务器的网络地址，并将该网络地址转发给配置管理器，远程视频显示器使用网络地址建立与视频服务器的连接，并显示LPS的流式视频。上述描述的特征、功能和优势能被独立地在本发明的不同实施例中实现或还可以在其他实施例中被组合，其进一步细节可参考下述说明和附图。附图说明附图描述了提供本地定位系统（LPS）分布式操作的系统和方法的各种实施例。每幅图的简要说明如下。每幅图中的相同参考号的元素表示相同或功能上相似的元素。另外，参考号最左边的参考号数字表示首次出现该参考号的附图。图1a是在分布式本地定位系统的一个实施例中，具有远程控制功能的本地定位系统的示意图；图1b是在分布式本地定位系统的一个实施例中，由一个或更多远程系统可控制的多个本地定位系统的示意图；图2是在分布式本地定位系统的一个实施例中，分布式本地定位系统的组件的示意图；图3是在分布式本地定位系统的一个实施例中，本地控制器的操作流程图；以及图4是在分布式本地定位系统的一个实施例中，远程系统的操作流程图。具体实施方式下文详细的描述实质上仅是说明性的，并非旨在限制本发明或本申请的实施例和这些实施例的使用。另外，并不意味着由在前面的技术领域、背景、概要或下文详细说明中出现的明示或暗示理论加以限制。现在参考图1a，本地定位系统（LPS100）使用云台单元（PTU102）将摄像机指向需要本地坐标的目标物110的方向。该LPS系统包括底座108，例如三脚架或其他用于放置LPS100的底座，并且底座108可以被永久固定。激光测距仪106能被用于测量从LPS100到目标物110之间的距离，或算法上能够到达或导出的距离。图像数据、测量的距离数据和云台角度与已知校准点被用于确定LPS100相对于目标物110的位置。根据已知的相对位置，LPS100测量值被转换到目标物110的坐标系统（例如飞机或建筑物坐标）的本地坐标。通过使用，例如接口，比如一个或更多电缆120或无线通信设备，LPS100与本地控制器130通信。在实施例中，电缆120是下述中的一种或更多种：USB电缆、串行电缆、电力电缆、以太网电缆，例如CAT15网络电缆、光缆等。LPS100接收来自本地控制器130的命令以控制摄像机104、激光测距仪106和PTU102。LPS发送信息给本地控制器130，如来自摄像机104的视频、图像或数据；来自激光测距仪106的距离信息；以及来自PTU102的位置信息。在实施例中，本地控制器130是具有，例如一个或更多处理器、存储器和存储设备，例如硬盘的个人计算机或PC，或本领域认可的其他计算平台。在实施例中，本地控制器包括与其他设备通信的接口154。实例接口154包括，但不限于，用于与视频摄像机104、PTUs102和激光测距仪106，以及键盘，游戏柄和其他外围设备（没显示）通信的USB和串行端口；用于与显示器（没显示）连接的VGA、DVI或HDMI端口；用于与摄像机104、PTUs102、激光测距仪106和网络150连接的无线或以太网端口。在实施例中，本地控制器130包括视频转换应用程序132、本地摄像机显示窗口134、设备控制应用程序136和远程会话管理器应用程序138。视频转换应用程序132接收来自LPS100的摄像机104的图像或视频，若需要，将这些图像或视频转换为适于显示在本地摄像机显示窗口134上或存储的格式。本地摄像机显示窗口134将视频或经处理的信息显示在显示器上（没显示）。设备控制应用程序136发送命令给PTU102、激光测距仪106和视频摄像机104，例如，打开或关闭激光测距仪106中的激光。设备控制应用程序136接收来自PTU102的位置信息；来自激光测距仪106的距离和温度；以及来自视频摄像机104的状态信息。远程会话管理器应用程序138通过网络150与远程控制器160通信。在实施例中，网络150是LAN或局域网、内联网的子网、内联网、因特网或任意其他网络连接设备的逻辑组，包括但不限于虚拟专用网络。远程计算机160上的远程操作员通过网络150与LPS100通信。在实施例中，远程计算机160包括用于设置与本地控制器130的连接和管理通信的LPS配置管理器162。远程计算机还包括为远程操作员提供操作LPS100的交互窗口的LPS用户接口显示应用程序164。除了键盘和鼠标，在实施例中，远程计算机160还包括手柄168或其他用于控制LPS100的PTU102、摄像机104和激光测距仪106的控制器。远程计算机160还包括视频服务器显示应用程序166，其显示从本地控制器130或分离的视频服务器140接收的来自摄像机104的图像或视频。在实施例中，来自LPS100的摄像机104的视频或图像被送到视频服务器140中。视频服务器140从本地控制器130卸载存储和流传输由摄像机104采集的图像和视频的功能。视频服务器140将图像或视频流式地传输到远程计算机160上的视频服务器显示应用程序166中。在实施例中，视频服务器显示应用程序166的图像和视频被显示在web浏览器应用程序中。现在参考图1b，通过使用，例如激光测距仪106，若干LPS100单元被指向一个或更多目标物110。每个LPS100被连接到本地控制器130上，虽然在实施例中，多个LPS100单元能被连接到单个本地控制器130上。服务器，比如视频服务器140，通过网络150将每个LPS100的视频或图像流式地传输到一个或更多远程计算机160中，虽然在实施例中，单个视频服务器140可被用于处理来自多个LPS单元的视频。远程计算机160通过网络150与本地系统130连接，虽然在实施例中，例如，如果网络150是局域网，或LAN，一个或更多远程计算机160可以是LPS100单元和本地控制器130的本地的计算机。每个本地控制器130可以接收来自多个远程计算机160的网络连接，以使不止一个远程计算机160实现对LPS100的同时或共享控制。每个远程系统160可以建立与多个本地控制器130的网络连接，以使单个远程计算机160实现对多个LPS100单元的同时或共享控制。这种允许任意远程计算机160与任意本地控制器130通信的任意对任意的系统结构，由应用程序组件的架构200实施。现在参考图2，本地定位系统（LPS100）的应用程序组件200的架构通过基于消息传递的进程间通信通道202或链路进行通信。在实施例中，LPS100消息传递进程是基于网络套接字（networksocket）的。这种方法使不同应用程序组件200同时运行并共同工作以实现控制LPS100的不同方面。应用程序组件200可以在相同计算机130，160，例如，多处理器计算机的分离的处理器核上的分离的进程中运行。应用程序组件200可以被分布在被网络连接在一起的多个计算机130，160上。在实施例中，一个或更多应用程序组件200在网络150中的计算机上运行。在实施例中，进程间通信通道202使用协议，例如TCP/IP，UDP，HTTP，或任意其他本领域中认为适于进程间通信的协议。这种网络化的应用程序组件200的架构通过一个或更多操作员建立了分布式操作进程，为一个或更多LPS100单元的控制提供了便利，尤其适用于当操作员不是紧邻LPS100硬件的情形。应用程序组件200为LPS100的远程操作提供了便利；允许多个操作员同时控制；实现操作员之间的控制平衡；以及允许LPS100单元的资源共享。控制可以通过操作员或自动进程执行。LPS100用户接口和设备控制由使用进程间通信通道202共同工作的分离的应用程序组件200实现。用户接口和设备控制应用程序组件200的分离提供了优于，例如，在单个PC上运行所有LPS100的应用程序组件200的益处。例如，分离的应用程序组件200使功能被分布在多个PCs上，这能够避免单个PC在重负荷时出现瓶颈。另一个不同在于分布式系统在进程之间不共享内存。这允许单个应用程序组件200被停止和重新启动而不必重新启动整个会话。这使错误恢复成为可能。如果其中一个应用程序组件200需要被重新启动，其他应用程序组件200仍然工作，并且当重新启动的应用程序组件200返回线上时重新连接。实例应用程序组件200包括在本地控制器130上运行的远程会话管理器138；在本地控制器130或分离的平台，比如独立的视频服务器140上运行的视频服务器应用程序206；用于控制LPS100的不同硬件的设备控制应用程序136；在分离的计算平台，例如远程计算机160或本地手持型或抬头型显示设备上运行的LPS配置管理器162；为计算平台提供图像或视频的视频服务器显示应用程序166；提供LPS100的远程控制的LPS用户接口显示应用程序164；以及其他基于应用程序和所需功能的处理或控制应用程序168。进程间通信通道202连接应用程序组件，该应用程序组件可以是通用计算平台上的进程，或由有线或无线网络连接的分离的计算平台上的进程。在较低级，用于LPS100的控制命令由设备控制应用程序136，通过使用网络套接字，在本地控制器130上接收。网络套接字可以支持多连接，因此为建立支持多个同时的操作员的进程提供了便利，其中，除了基本远程操作功能由单个操作员完成，两个或更多操作员可以同时操作LPS100测量系统。现参考图1a，1b和2，在一个实例中，远程操作员使用PTU102，使LPS100朝着目标物110上的不同位置移动，然后用激光测距仪106测量并使用摄像机104拍摄数码照片/视频，当其他操作员参与到相同的会话中时，还使用摄像机104或激光测距仪106的激光指针指示目标物110上感兴趣的位置。那些其他参与者（本地或远程）还可以希望取得LPS100的控制，以便为远程操作员或其他参与者显示某些信息。该过程可被用于远程训练功能的部分，允许专家操作员指导新手操作员使用LPS100，新手操作员可以在LPS100硬件的本地位置或位于另一个远程地点。这种功能的另一个潜在用途和涉及共享LPS100的情形有关。例如，在工厂设定中，一个或更多LPS100单元可在网络化的环境中被设置，并进入通用使用服务器模式，在该模式下，LPS100单元收听并响应远程请求。远程访问功能提供多个操作员使用LPS100单元，而不需要重新校准其自身的本地参考系统。在另一个可能的配置中，远程操作功能通过单个操作员实现多个LPS100单元的同时控制。这在单个LPS单元完成覆盖太大面积的测量任务的情形中非常有用。LPS100可以在本地运行，并且所有应用程序组件200在与LPS100连接的PC或本地控制器130上运行；或者LPS100远程运行，并且某些应用程序组件200在另一个PC上运行。在该上下文中，词“本地”表示应用程序组件200在测量位置。典型远程使用方案涉及控制PTU102，摄像机104和激光测距仪106，运行在“本地”PC上的应用程序组件200，或者与LPS100连接的本地控制器130，而LPS100用户接口应用程序在另一个与本地PC或本地控制器130网络连接的PC（“远程”PC，或远程计算机160）上运行。为了在远程计算机160上接收来自本地摄像机104的视频，建立分离的视频链路或通信通道202。在一个实施例中，运行在专用视频服务器140上的视频服务器应用程序206被连接到运行在本地位置上的摄像机104。视频服务器应用程序206通过通信通道202或链路使视频流式地通过网络传输，例如使用HTTP，或超文本传输协议。运行在视频服务器显示应用程序166中的视频解码器在远程位置显示视频，例如在web浏览器中。通过使用来自视频采集装置，例如摄像机104的视频流，LPS100位置（“本地”位置）的视频可由本地摄像机显示应用程序204提供。在实施例中，本地摄像机显示应用程序204包括视频转换应用程序132，例如视频解码器，以及本地摄像机显示应用程序134，比如web浏览器，本地摄像机显示应用程序204在本地控制器130或其他本地PC上运行。本地摄像机显示应用程序204可以通过通信通道202或与摄像机104的单独的连接接收来自视频服务器应用程序206的视频，并将视频本地显示在web浏览器中。现在参考图3，给出了本地控制器的操作300的流程图。在302设置LPS100的硬件和本地控制器130，例如，通过设置合适的网络和与本地控制130的其他连接和打开本地控制器130和LPS100。本地控制器130检查304以确定视频服务器应用程序206是否在运行。如果视频服务器应用程序206没有运行，本地控制器130发出信号给用户，并等待视频服务器应用程序206启动306。一旦视频服务器应用程序206运行，本地控制器130获得308视频服务器140的IP地址和其他可能的信息，例如与LPS100相关联的端口，视频服务器140运行视频服务器应用程序206。通过网络150，例如使用DHCP或动态主机控制协议，运行视频服务器应用程序206的视频服务器140的IP地址可以被预先配置或是静态的或被动态确定。在实施例中，视频服务器140的IP地址在本地控制器130中被配置；视频服务器140转发其IP地址给本地控制器130；视频服务器140的IP地址被保存在与网络150连接的DNS或域名服务器中；或者，IP地址可以通过使用ping，ARP或地址解析协议，以及视频服务器140的MAC或媒体访问控制地址被确定。在使用ping，ARP，MAC地址确定IP地址的实施例中，本地路由器或交换机152为视频服务器140和本地控制器130提供本地LAN。该实施例的确切实施取决于视频服务器140的可用功能，其可以是商业上可用的视频服务器140，或者是运行在本地控制器130或另一个PC上的视频服务器应用程序206进程。一旦本地控制器130被启动302，并且本地控制器130获得308视频服务器140或视频服务器应用程序206的IP地址，收听程序、远程会话管理器应用程序138也在本地控制器130上被启动。远程会话管理器应用程序138初始化套接字连接，并收听来自远程计算机160的请求310，例如，来自远程计算机160的启动信号。一旦远程会话管理器应用程序138被启动，操作员不需要在本地位置进行任何其体操作，而远程会话管理器138循环326直到结束328。远程会话管理器应用程序138收听程序的功能，是在套接字连接上收听远程命令314、316和318，并响应该命令或根据请求启动和停止进程。例如，如果客户端或远程计算机160请求318视频服务器140的IP地址，远程会话管理器应用程序138发送324视频服务器140的IP地址给远程计算机160。在另一个例子中，远程会话管理器应用程序138启动设备控制应用程序136。在实施例中，设备控制应用程序136包括摄像机控制应用程序、PTU控制应用程序、和/或激光控制应用程序，其统称为设备控制应用程序136。然后设备控制应用程序136进入其自身收听模式，等待客户端或远程计算机160，LPS配置管理器162通过网络套接字连接。启动314或结束316设备控制应用程序136的远程命令使远程会话管理器应用程序138收听程序启动320设备控制进程或停止322设备控制进程。例如，如果接收到启动314的远程命令，则远程会话管理器应用程序138收听程序通过启动控制PTU102、控制摄像机104或控制激光测距仪106的设备控制应用程序136以响应该启动命令。远程会话管理器应用程序138收听程序通过停止设备控制应用程序136以响应远程结束316命令。对于可选的本地摄像机显示应用程序204，类似进程可以被启动或结束。现在参考图4，给出了远程控制器操作400的流程图。在远程位置，LPS配置管理器162在远程计算机160上运行。在与本地用户共享控制的情形中，LPS配置管理器162可在本地PC、计算平台、手持设备或本地控制器130上运行。一般情况下，一个LPS配置管理器162为操作员接口的每个实例运行。操作员确定402连接到哪一个远程LPS100，并且LPS配置管理器162建立与RSM或本地控制器130上的远程会话管理器应用程序138的连接404。LPS配置管理器162查询LPS100的状态，以确定是否有设备控制应用程序136运行406，如果没有，LPS配置管理器162发送信号给本地控制器130中的远程会话管理器应用程序138，以启动设备控制应用程序136，例如，通过发送PTU启动命令给本地控制器130上的远程会话管理器应用程序138。LPS配置管理器162确定410视频服务器140的IP地址是否是已知的，若不是，LPS配置管理器162向远程会话管理器应用程序138请求412视频服务器140的IP地址，其获得308IP地址，并将IP地址返回给LPS配置管理器162。LPS配置管理器162配置416LPS用户接口显示应用程序164，使其具有适于远程、多用户，和/或多设备操作的设置。例如，如果没有LPS用户接口显示应用程序164在运行418，则LPS配置管理器162启动420LPS配置管理器162，进行LPS的远程操作。如果LPS用户接口显示应用程序164在运行418，则操作员被连接422到运行的LPS用户接口显示应用程序164上。当LPS用户接口显示应用程序164被启动时，启动信号被发送到在本地位置上收听的远程会话管理器应用程序138，以启动306视频服务器应用程序206。LPS配置管理器162启动424视频服务器显示应用程序166，使远程操作员看到来自LPS100的摄像机104的图像或流式视频。视频服务器显示应用程序166在显示应用程序中，例如web显示器中，显示图像或流式视频，显示应用程序被链接到在本地位置运行的视频服务器140或视频服务器应用程序206。远程操作员使用远程计算机160上的手柄168、键盘或其他用户接口操作LPS100。在实施例中，一个或更多远程操作员可以同时操作LPS，其中每个使用实例建立其拥有的与会话的连接。当远程操作员离开会话时，LPS配置管理器162确定428是否多个同时连接被建立，如果是，仅从会话断开430远程操作员。否则LPS配置管理器管理器162结束432会话。在某些配置中，远程映射文件系统被用于保存和共享数据文件。如果这些配置，通常网络驱动在LPS配置管理器162被启动之前被映射。不论操作员或多个操作员是共同在LPS的本地位置或者是被远程连接到LPS100上，应用程序组件200的架构的分布式本质允许所有用户拥有LPS100的系统访问和控制的相同等级。远程操作员并不限于该远程操作员与LPS100硬件距离较远的情形。例如，LPS100位于工厂的一部分，而操作员位于工厂的另一部分（更安全或更方便）。在“本地位置上的远程用户”配置的实施例中，远程操作员通过具有与PC相似的远程连接的类似智能手机的设备运行系统。此处的智能手机具有触摸屏控制元件和基于加速器/陀螺仪的运动控制，可用作视频显示和控制接口。该方法也适用于“轻量级LPS（LPSlite）”概念，其中LPS100没有摄像机，其中本地操作员使用LPS激光光斑作为可视指南。另一个变化是具有增强现实（AR）显示器的计算设备，例如，具有头部安装接收可视化信息的AR单元的智能手机。在实施例中，AR单元的头部追踪功能控制LPS定位，与智能手机控制输入或其他外围设备组合。上文描述和附图显示的本发明的实施例是权利要求范围内的若干实施例的典型特征。可预期，利用本发明公开的方法，若干其他用于本地定位系统分布式操作的系统和方法的配置可以被建立。发明人的目的在于仅由权利要求的范围限定专利从此公开的范围。