无人机和无人机控制器的组创建的方法、装置及存储介质与流程

无人机和无人机控制器的组创建的方法、装置及存储介质
交叉引用
1.本公开要求于2021年5月19日提交的第63/190,682号美国临时申请“无人机系统通信(unmanned aerial system communication)”以及于2022年5月17日提交的第17/746,720号美国申请“用于uav和uav控制器配对以及命令和控制(c2)服务质量的配置的方法和装置(method and apparatus for uav and uav controller pairing and command and control(c2)quality of service provisioning)”的优先权，其全部内容通过引用结合在本文中。
技术领域
2.本公开涉及无人机系统通信。


背景技术：

3.本文所提供的背景描述旨在整体呈现本技术的背景。在背景技术部分以及本说明书的各个方面中所描述的目前已署名的发明人的工作所进行的程度，并不表明其在本技术提交时作为现有技术，且从未明示或暗示其被承认为本技术的现有技术。
4.无人机(uav，unmanned aerial vehicle)或无人驾驶飞行器可以包括机上没有任何人类飞行员、机组人员或乘客的飞行器。uav是无人机系统(uas，unmanned aircraft system)的部件。uas可以进一步包括地面控制器和与uav通信的系统。支持无人机系统的连通性需求的通信系统正在开发中。


技术实现要素：

5.本公开的各方面提供了基于组id对uav和uav-c进行配对并且通过使用所述组id在3gpp网络下进行c2 qos配置的方法和装置。在一些示例中，对uav和uav-c进行配对的装置包括接收电路和处理电路。
6.可以在服务使能架构层(seal)架构中为一对无人机(uav)和无人机控制器(uav-c)提供组创建的方法。在该方法中，该对uav和uav-c可以由seal架构中的无人机系统应用使能(uae)服务器来确定。可以由uae服务器将针对该对uav和uav-c的组创建请求发送到seal架构的seal组管理(gm)服务器。响应于组创建请求，第一响应消息可以由uae服务器从seal gm服务器接收。可以基于第一响应消息，来创建包括该对uav和uav-c的组。该组用于服务质量(qos)管理。组创建请求可以包括与该对uav和uav-c相对应的uae客户端的身份、uav的身份和uav-c的身份。
7.在一些实施例中，组创建请求可以进一步包括uav的民航局(caa)级身份。
8.在一些实施例中，组创建请求可以进一步包括超时时段，该超时时段定义了在组创建请求被发送到seal gm服务器之后，等待来自seal gm服务器的第一响应消息的等待时间限制。
9.在该方法中，当在超时时段内没有将第一响应消息指配给uav服务器时，可以发送
另一个组创建请求。
10.在一些实施例中，第一响应消息可以进一步包括组创建结果，该组创建结果指示是否为该对uav和uav-c成功地创建了组。
11.在实施例中，响应于组创建结果指示为该对uav和uav-c成功地创建了组，第一响应消息可以包括指配给该对uav和uav-c的组身份(id)。
12.在另一实施例中，响应于组创建结果指示为该对uav和uav-c成功地创建了组，第一响应消息可以包括与该对uav和uav-c相关联的多个子组id。
13.在该方法中，基于分配的组id，由uae服务器为该对uav和uav-c执行qos管理。
14.为了执行qos管理，可以使用初始分配的网络qos设置，来为该对uav和uav-c建立直接命令和控制(c2)通信，其中uav和uav-c可以注册到网络。基于来自该对uav和uav-c的反馈信息，由uae服务器来监测该对uav和uav-c的当前网络状况。响应于直接c2通信未能满足预定义的qos要求，可以由uae服务器将qos适配请求发送到seal网络资源管理(nrm)服务器。由所述uae服务器从所述seal nrm服务器接收更新的qos要求。该对uav和uav-c的反馈信息可以包括分配给该对uav和uav-c的组id以及指示所需c2通信资源的网络资源需求。
15.在一些实施例中，基于分配给该对uav和uav-c的组id和子组id中的一个，由uae服务器监测该对uav和uav-c的当前网络状况。
16.在该方法中，可以基于更新的qos要求，来调整该对uav和uav-c的c2通信。
17.在一些实施例中，响应于接收到针对当前网络状况的该对uav和uav-c的反馈信息，可以由uae服务器将第二响应消息提供到该对uav和uav-c，其中第二响应消息可以包括指示该对uav和uav-c的直接c2通信是否满足预定义的qos要求的qos结果。
18.根据本公开的另一方面，提供了一种装置。该装置具有处理电路。处理电路可以被配置为执行以上提及的任何方法。
19.本公开的各方面还提供了一种存储指令的非易失性计算机可读介质，指令当由计算机执行时使得该计算机执行以上提及的方法中的任一种。
附图说明
20.根据以下具体实施方式和附图，所公开的主题的进一步的特征、性质和各种优点将更加显而易见，在附图中：
21.图1是根据实施例的无人机系统(100)的示意图。
22.图2是根据实施例的用于服务使能架构层(seal，service enabler architecture layer)的网络上功能模型(on-network function model)(200)。
23.图3示出了根据实施例的组创建过程(300)。
24.图4示出了根据实施例的基于组的直接命令和控制(c2)服务质量(qos，quality of service)配置的过程(400)。
25.图5示出了概述根据本公开的一些实施例的组创建过程的流程图。
26.图6是根据实施例的计算机系统的示意图。
具体实施方式
27.参考图1，无人机系统(uas，unmanned aerial system)(100)可以包括无人机
(uav，unmanned aerial vehicle)(101)和控制器(102)。控制器(102)可以使用数据链路(103)来将控制命令从控制器(102)传送到uav(101)。控制器(102)可以包括至少一个通信电路，该通信电路被配置为通过数据链路(103)、经由甚高频(vhf，very high frequency)和/或超高频(uhf，ultra-high frequency)，和/或能够进行模拟和/或数字无线电通信的其它无线技术来提供通信。控制器(102)可以控制推进单元(114)(诸如uav(101)的一个或多个电机和/或发动机)和/或模型飞行器(未描绘)的控制表面的功率水平。也可以使用类似于直升机和/或飞机的更抽象的命令，如俯仰、偏航和滚转。有经验的飞行员可以利用基本控制来操作uav(101)，而不依赖于uav(101)内部的控制信号的高级机载处理。uav(101)可以是直升机和/或任何其它飞行器的形式。
28.机载电子设计的进步允许将某些任务从人类操作者(或用户)113卸载到uav(101)本身。许多uav(诸如uav(101))可以包括一个或多个传感器(104)，所述一个或多个传感器(104)耦合到机载控制电路(105)，所述机载控制电路(105)用于感测uav(101)的姿态和加速度。机载控制电路(105)可以是具有缩小和/或不存在的用户接口的计算机系统。除了从来自控制器(102)的数据链路(103)接收的控制输入之外，由一个或多个传感器(104)获得的信息允许uav(10)保持稳定，除非从控制器(102)获得正控制输入。
29.uav(101)可以包括用于全球导航卫星系统(gnss，global navigation satellite systems)之一(诸如由美国运营的全球定位系统(gps))的接收器(106)。图1示出了可以提供通信信号(107)单个卫星(108)，以表示gnss。然而，uav(101)的接收器(106)可以接收来自gnss的通信，该gnss包括三个或更多个，并且典型地四个或更多个视线卫星，以对uav(101)在空间中的位置进行三角测量。gnss接收器(诸如接收器(106))可以相当精确地确定uav(101)在空间和时间上的位置。在uav(101)中，在许多情况下，可以通过uav(101)的附加传感器(例如，超声和/或激光雷达传感器)在最关键的垂直(例如，z)轴上增强gnss，以实现软着陆(未描绘)。包括gnss能力的uav(101)可以向用户提供“飞回起始位置(fly home)”和“自动着陆”特征。因此，在来自控制器(102)的简单命令(例如，单个按钮的按压)的基础上，或者在来自控制器的数据链路(103)丢失的情况下或有意义的控制输入的其它超时的情况下，uav(101)可以飞行到被定义为起始位置的位置。
30.uav(101)还可以包括一个或多个相机(109)。在一些情况下，uav(101)可以包括安装在万向节上(gimbal-mounted)的相机作为相机(109)之一。安装在万向节上的相机可以用于以诸如高清电视的分辨率来记录质量足以用于uav(101)的用户(113)的图片和/或视频。uav(101)可以包括覆盖一些或全部移动轴线的其它相机(110)。可以使用基于其它相机(110)的信号的机载信号处理来防止uav(101)与固定物体和移动物体碰撞。
31.在一些情况下，uav(101)可以包括作为相机(109)之一的“主”相机。“主”相机的信号可以通过数据链路(111)向人类用户(例如，用户(113))实时传送，并且显示在显示设备(112)上，所述显示设备被包括在控制器(102)中、附接到控制器(102)和/或与控制器(102)分离。数据链路(111)可以与数据链路(103)相同或不同。相应地，使用称为“第一人称视角”(fpv，first person view)的技术，uav(101)可以成功地飞出人类飞行员的视线。
32.作为技术发展的结果，uav，例如uav(101)，已经变得相当容易飞行，这又使得它们不仅受到专业uav飞行员和坚定的且富裕的爱好者的欢迎，而且也受到普通公众的欢迎。因此，与大约15年前销售的直升机模型只有几千架相比，每年销售数百万uav。同时，用户团体
的知识、熟练程度和参与度平均下降了。
33.服务使能架构层(seal，service enabler architecture layer)可以支持垂直应用(例如，uav和车联网(v2x，vehicle to everything))。用户设备(ue)和服务器上的seal功能实体可以分别被分组成一个或多个seal客户端和一个或多个seal服务器。seal可以包括一组公共服务(例如，组管理、位置管理)和参考点。seal可以向垂直应用层(val，vertical application layer)提供其服务。val可以包括val客户端(例如，uav)和val服务器。
34.图2示出了用于服务使能架构层(seal)的示例性网络上功能模型(200)。模型(200)可以用于网络资源管理，并且包括诸如3gpp网络系统(213)的3gpp无线网络上的垂直应用层(val，vertical application layer)(206)和seal(207)，以支持垂直应用(例如，uav和车联网(v2x)应用)。模型(200)被图示为包括公共应用平面和信令平面实体的功能架构。模型(200)的一组公共服务(例如，组管理、配置管理、位置管理)可以在垂直应用之间共享。
35.如图2中所示，val(206)可以包括val客户端(201)和val服务器(203)。seal(207)可以包括seal客户端(202)和seal服务器(204)。val客户端(201)和seal客户端(202)可以彼此通信以形成用户设备(212)。图2中所示的seal功能架构可以考虑支持关键任务和其它垂直应用的公共能力。
36.参考图2，val客户端(201)可以通过val-uu(205)参考点与val服务器(203)通信。val-uu(205)可以支持单播(unicast)递送模式和多播(multicast)递送模式两者。
37.用户设备(212)以及服务器上的seal功能实体可以分别分组为一个或多个seal客户端(202)和一个或多个seal服务器(204)。seal(207)可以包括一组公共服务(例如，组管理、位置管理)和参考点。seal(207)可以向val(206)提供服务。
38.一个或多个seal客户端(202)可以通过seal-uu(209)参考点与一个或多个seal服务器(204)通信。seal_uu(209)可以支持单播递送模式和多播递送模式两者。一个或多个seal客户端(202)可以通过seal-c参考点(208)向一个或多个val客户端(201)提供服务使能层支持功能。一个或多个val服务器(203)可以通过seal-s(211)参考点与一个或多个seal服务器(204)通信。一个或多个seal服务器(204)可以使用由3gpp网络系统指定的相应3gpp接口(例如，210)与底层3gpp网络系统进行通信，例如与3gpp网络系统(213)进行通信。
39.一个或多个特定的seal客户端(202)和一个或多个seal服务器(204)以及它们的特定的seal-uu(209)参考点和3gpp网络系统(213)的特定网络接口(210)可以在相应的网络上功能模型中为每个seal服务提供。
40.val客户端(201)可以提供与垂直应用(例如，uav、v2x客户端)相对应的客户端功能。val客户端(201)可以支持与一个或多个seal客户端(202)的交互。
41.val服务器(203)可以提供与垂直应用(例如，uav、v2x应用服务器)相对应的服务器端功能。
42.seal客户端(202)可以提供与特定seal服务(诸如位置管理、组管理、配置管理、身份管理、密钥管理和网络资源管理)相对应的客户端功能。一个或多个seal客户端可以支持与一个或多个val客户端的交互(201)。seal客户端还可以支持两个ue之间的与seal客户端对应的交互。例如，第一ue(例如，ue(212))的第一seal客户端(例如，seal客户端(202))可
aviation authority)级的uav id已经被分配给uav-c(301)和/或uav(303)。因此，uav-c(301)和/或uav(303)可以基于相应的caa级uav id连接到uae服务器(302)。在一些实施例中，uav-c(301)和uav(303)可以充当val客户端，诸如图2中的val客户端(201)。
55.在步骤(s306)处，uae服务器(302)可以识别该对uav(303)和uav-c(301)。例如，uae服务器(302)可以基于该对的标识符来识别该对uav(303)和uav-c(301)。例如，uae服务器可以通过与uav-c(301)和uav(303)相关联的相应3gpp ue id和/或相应caa级uav id，来识别该对uav(303)和uav-c(301)。在一些实施例中，uae服务器(302)可以充当val服务器，诸如图2中的val服务器(203)。
56.在步骤(s307)处，uae服务器(302)可以使用gm-s参考链路，向seal组管理(gm)服务器(304)发送组创建请求。例如，如果还没有为该对uav(303)和uav-c(301)分配组id，则uae服务器(302)可以通过使用gm-s参考链路向seal gm服务器(304)发送组创建请求。gm-s参考点可以支持一个或多个val服务器与组管理服务器之间的与组管理功能相关的交互。例如，gm-s参考点支持val服务器(例如，uav服务器(302))来获得与val服务(例如，uav服务)相对应的组信息。gm-s参考点可以使用http-1/http-2参考点来发送和路由组管理相关的信令。gm-s参考点可以将sip-2参考点用于订阅/通知相关信令。
57.组创建请求可以被发送到组管理服务器。在示例中，授权的val用户/ue/管理员的组管理客户端向组管理服务器发送组创建操作请求。用户或ue的身份可以被组合，并且在该组上启用的val服务的信息可以被包括在该消息中。表1示出了当组管理客户端向组管理服务器发送组创建请求时，从组管理客户端到组管理服务器的示例性数据点。表1：用于组创建请求的数据点
应当注意，“m”代表“强制的”，并且“o”代表“可选的”。val用户可以是授权用户，其可以使用val ue参与一个或多个val服务。示例性val用户可以是图1中的用户113。在实施例中，val ue id可以是与uav(303)相关联的ue id。val服务可以与uav服务或v2x服务相关联。
58.组创建可以向各个val用户提供专用val组(例如，一对uav(303)和uav-c(301))，以实现一个或多个val服务所需的通信。这可以包括由管理员或由授权用户/ue的正常组创建。组管理服务器可以支持val组内的外部组标识符，以使得seal服务器能够为val组的成员ue消耗网络暴露功能(nef，network exposure function)服务。
59.在一些实施例中，seal gm服务器(304)可以充当seal服务器，诸如图2中的seal服务器(204)。
60.在步骤(s308)处，seal gm服务器(304)可以响应于该组创建请求并且为该对uav(303)和uav-c(301)创建组id。如3gpp ts 23.434中规定的，seal gm服务器(304)可以为该对uav(303)和uav-c(301)创建一个组id。例如，在组创建期间，组管理服务器创建并且存储组的信息。组管理服务器对策略执行检查，诸如对一个或多个val组的val组成员总数的最大限制。识别3gpp核心网络处的val组的成员ue的外部组标识符可以存储在新创建的val组的配置信息中。进一步地，可以将组id返回给uae服务器(302)。该对uav(303)和uav-c(301)的组id可以充当val组id。val组id可以是val服务(例如，uav)内的唯一标识符，其表示根据val服务的一组val用户或val ue。该组val用户可以属于相同或不同的val服务提供商。val组id可以指示定义该组的val应用服务器(例如，uae服务器)。
61.在步骤(s309)处，在一些情况下，还可以由seal gm服务器(304)分别为uav(303)和uav-c(301)创建子组。
62.在(s310)处，uae服务器(302)可以将一个或多个返回的组id(诸如由seal gm服务器(304)为该对uav(303)和uav-c(301)创建的组id)用于qos管理。响应于为uav(303)和uav-c(301)创建子组，uae服务器(302)可以使用一个或多个子组id来分别管理uav(303)和uav-c(301)的qos。qos可以指管理数据流量以减少网络上的分组丢失、时延和/或抖动的任何技术。qos可以通过为网络上的特定数据类型设置优先级，来控制和管理网络资源。
63.为了支持uav(303)和uav-c(301)的组创建，可以在uae客户端(例如，uav(303)和uav-c(301))与uae服务器(302)之间提供数据点。示例性数据点可以包括表2中图示的元素。表2：用于组创建的数据点应当注意，在表2中，“m”代表“强制的”，并且“o”代表“可选的”。
64.在一些实施例中，可以在步骤(s307)处提供数据点，其中uae服务器(302)可以使用gm-s参考链路向seal gm服务器(304)发送组创建请求。表2中的uae客户端可以与uav(303)和uav-c(301)相对应。
65.可以在表3中的uae服务器(302)与uae客户端之间提供数据点作为响应。在步骤(s308)处，当seal gm服务器(304)响应该组创建请求并且为该对uav(303)和uav-c(301)创建组id时，可以获得表3中的数据点。表3：用于组创建的响应数据点
66.一旦一个或多个组id已经由seal服务器(诸如seal gm服务器(303))指配，uae服务器(302)就可以基于一个或多个组id执行qos配置。
67.参考图4，可以提供基于组的直接c2 qos配置的高级工作流(400)。
68.在步骤(s406)处，uav-c(401)可以使用初始分配的网络qos设置来与uav(402)进行直接c2通信。在一些实施例中，uav(402)和uav-c(401)两者已经分别注册到3gpp 5g网络。例如，uav(402)和uav-c(401)两者可以使用由5g网络配置和调度的用于直接c2通信的无线电资源来注册到5g网络。直接c2可以在uav-c(401)与uav(402)之间建立直接c2链路以彼此通信。
69.在步骤(s407)处，uae服务器(403)可以使用与uav(402)和uav-c(401)相关联的组id或一个或多个子组id来周期性地监测uav(402)和uav-c(401)的qos。可以基于以上提及的过程(300)创建组id或一个或多个子组id。qos包括但不限于网络带宽、时延、抖动、数据丢失率等。
70.在步骤(s408)处，在直接c2通信不满足预定义的qos要求的情况下，uae服务器(403)可以选择使用例如如3gpp ts 23.434中规定的nrm-s参考点向seal nrm服务器(405)发送qos适配请求。qos适配请求可以按组或子组来发送，这取决于uae服务器(403)如何处理组创建，诸如图3中所示的组创建。
71.在步骤(s409)处，seal nrm服务器(404)可以执行例如如3gpp ts23.434中规定的网络资源适配。在示例中，val服务器(例如，uae服务器(403))向nrm服务器(例如，nrm服务器(404))发送对于属于一个或多个val服务(例如，uas服务，v2x服务器)的一个或多个用户的网络资源适配请求，并且可以包括将具有更新的资源要求的一个或多个val ue(例如，uav-c(401)和uav(402))。该要求可以以要使用的精确资源/资源池的形式，或者是对应的val ue或val ue集合的带宽增加/减少的指示。nrm服务器处理该请求，并且对每个val ue应用/实施资源适配。nrm服务器通过使用pdu会话状态(或pdn连接性状态)的事件监测能力来检索ue ip地址，并且为每个val ue发起pcc程序。进一步地，nrm服务器向val服务器提供网络资源适配响应，提供关于网络资源适配请求的实现的信息。这将包括每个val ue或每组val ue的信息，如由val服务器的网络资源适配请求所指示的。
72.在步骤(s410)处，seal nrm服务器(404)可以向uae服务器(403)通知qos更新。因此，可以将更新的qos指配(或要求)发送到uae服务器(403)。
73.在步骤(s411)处，uas应用层可以适配更新的qos分配(或需求)(411)。uas应用层可以包括uav-c(401)、uae服务器(403)和uav(402)。相应地，uae客户端(例如，uav和uav-c)和uae服务器可以基于更新的qos需求来建立通信。例如，uae客户端和uae服务器可以基于更新的qos需求建立通信。例如，可以在val服务建立通信时，使用资源请求来建立通信。在示例中，val服务器(例如，uae服务器(403))向nrm服务器(例如，nrm服务器(404))发送对资源的请求。nrm服务器评估对网络资源的需要和资源共享的使用。nrm服务器发送包含资源请求的会话进展请求。策略和计费控制(pcc，policy and charging control)程序从sip核心本地入站/出站代理发起。会话发起协议(sip，session initiation protocol)核心本地入站/出站代理向nrm服务器发送同意消息。nrm服务器向val服务器发送资源响应。进一步地，val服务通信被建立，并且资源已经被分配。
74.为了使用之前在图3的步骤(308)处分配用于c2 qos配置的组id，可以在uae客户端与uae服务器之间提供数据点。示例性数据点可以包括表4中的元素。表4：用于c2 qos配置的数据点
75.在一些实施例中，可以在步骤(s407)处提供数据点，其中uae服务器(403)可以使用与uav(402)和uav-c(401)相关联的组id(或uas组id)或一个或多个子组id来周期性地监测uav(402)和uav-c(401)的qos。uae服务器(403)可以验证qos是否满足c2资源要求(或预定义的qos要求)，诸如带宽和/或时延等。
76.相应地，uae服务器(403)可以将数据点作为响应提供回uae客户端(例如，uav和uav-c)。示例性数据点可以包括表5中所示的元素。表5：用于c2 qos配置的响应数据点
77.图5示出了seal架构中的一对uav和uav-c的组创建过程(500)。如图5中所示，过程(500)可以从(s501)开始并且进行到(s510)。在(s510)处，可以由seal架构中的uae服务器来确定一对uav和uav-c。
78.在(s520)处，可以由uae服务器将针对该对uav和uav-c的组创建请求发送到seal架构的seal gm服务器。
79.在(s530)处，响应于组创建请求，由uae服务器从seal gm服务器接收第一响应消息。组创建请求可以包括与该对uav和uav-c相对应的uae客户端的身份、uav的身份和uav-c的身份。
80.在(s540)处，由uae服务器基于第一响应消息来创建包括该对uav和uav-c的组。组可用于服务质量(qos)管理。
81.在一些实施例中，组创建请求可以进一步包括uav的caa级身份。
82.在一些实施例中，组创建请求可以进一步包括超时时段，该超时时段定义了在组创建请求被发送到seal gm服务器之后等待来自seal gm服务器的第一响应消息的等待时间限制。
83.在过程(500)中，当在超时时段内没有将第一响应消息分配给uav服务器时，可以发送另一个组创建请求。
84.在一些实施例中，第一响应消息可以进一步包括组创建结果，该组创建结果指示是否为该对uav和uav-c成功地创建了组。
85.在实施例中，响应于组创建结果指示为该对uav和uav-c成功地创建了组，第一响应消息可以包括分配给该对uav和uav-c的组id。
86.在另一实施例中，响应于组创建结果指示为该对uav和uav-c成功地创建了组，第一响应消息可以包括与该对uav和uav-c相关联的多个子组id。
87.在过程(500)中，可以由uae服务器基于指配的组id为该对uav和uav-c执行qos管理。
88.为了执行qos管理，可以使用初始分配的网络qos设置来为该对uav和uav-c建立直接c2通信，其中uav和uav-c可以在网络中注册。可以由uae服务器基于来自该对uav和uav-c的反馈信息来监测该对uav和uav-c的当前网络状况。响应于直接c2通信未能满足预定义的qos要求，可以由uae服务器将qos适配请求发送到seal nrm服务器。可以由uae服务器从seal nrm服务器接收更新的qos要求。该对uav和uav-c的反馈信息可以包括分配给该对uav和uav-c的组id以及指示所需c2通信资源的网络资源需求。
89.在一些实施例中，可以由uae服务器基于分配给该对uav和uav-c的组id和子组id中的一个，来监测该对uav和uav-c的当前网络状况。
90.在过程(500)中，可以基于更新的qos要求，来调整该对uav和uav-c的c2通信。
91.在一些实施例中，响应于接收到针对当前网络状况的该对uav和uav-c的反馈信息，可以由uae服务器将第二响应消息提供给该对uav和uav-c，其中，第二响应消息可以包括指示该对uav和uav-c的直接c2通信是否满足预定义的qos要求的qos结果。
92.上述无人机系统通信技术可以通过使用计算机可读指令在控制器以及uav中实现为计算机软件，并物理地存储在一个或多个计算机可读存储介质中，例如一个或多个非易失计算机可读存储介质中。例如，图6示出了适于实现所公开的主题的某些实施例的计算机系统(600)。
93.所述计算机软件可通过任何合适的机器代码或计算机语言进行编码，通过汇编、编译、链接等机制创建包括指令的代码，所述指令可由处理电路例如计算机中央处理单元(cpu)，图形处理单元(gpu)等直接执行或通过译码、微代码等方式执行。
94.所述指令可以在各种类型的计算机或其组件上执行，包括例如个人计算机、平板电脑、服务器、智能手机、游戏设备、物联网设备等
95.图6所示的用于计算机系统(600)的部件本质上是示例性的，并且不旨在对实现本公开的实施例的计算机软件的使用范围或功能性提出任何限制。部件的配置也不应被解释为对计算机系统(600)的示例性实施例中所图示的任何一个部件或其部件组合具有任何依赖性或要求
96.计算机系统(600)可以包括某些人机接口输入设备。这种人机界面输入设备可以通过触觉输入(如：键盘输入、滑动、数据手套移动)、音频输入(如：声音、掌声)、视觉输入(如：手势)、嗅觉输入(未示出)，对一个或多个人类用户的输入做出响应。所述人机界面设备还可用于捕获某些媒体，气与人类有意识的输入不必直接相关，如音频(例如：语音、音乐、环境声音)、图像(例如：扫描图像、从静止影像相机获得的摄影图像)、视频(例如二维视频、包括立体视频的三维视频)。
97.输入人机接口设备可以包括以下中的一个或多个(每种仅描绘了其中一个)：键盘(601)、鼠标(602)、触控板(603),、触摸屏(610)、数据手套(没有示出)、操纵杆(605)、麦克风(606)、扫描仪(607)和相机(608)。
98.计算机系统(600)还可以包括某些人机接口输出设备。此类人机接口输出设备可
以通过例如触觉输出、声音、光和嗅觉/味觉来刺激一个或多个人类用户的感觉。此类人机接口输出设备可以包括触觉输出设备，(例如通过触摸屏(610)、数据手套(没有示出)或操纵杆(605)的触觉反馈，但是也可以有不用作输入设备的触觉反馈设备，音频输出设备(诸如：扬声器(609)、耳机(未描绘))、视觉输出设备(诸如屏幕(610)以包括crt屏幕、lcd屏幕、等离子屏幕、oled屏幕，其中每一个都具有或没有触摸屏输入功能、每一个都具有或没有触觉反馈功能——其中一些可通过诸如立体画面输出的手段输出二维视觉输出或三维以上的输出；虚拟现实眼镜(未示出)、全息显示器和放烟箱(未示出))以及打印机(未示出)。
99.计算机系统(600)还可以包括人可访问的存储设备及其相关介质，如包括具有cd/dvd的高密度只读/可重写式光盘(cd/dvd rom/rw)(620)或类似介质(621)的光学介质、拇指驱动器(622)、可移动硬盘驱动器或固体状态驱动器(623)，诸如磁带和软盘(未示出)的传统磁介质，诸如安全软件保护器(未示出)等的基于rom/asic/pld的专用设备，等等。
100.本领域技术人员还应当理解，结合当前公开的主题使用的术语“计算机可读介质”不包括传输介质、载波或其它瞬时信号。
101.计算机系统(600)还可以包括通往一个或多个通信网络(655)的接口(654)。例如，网络可以是无线的、有线的、光学的。网络还可为局域网、广域网、城域网、车载网络和工业网络、实时网络、延迟容忍网络等等。网络还包括以太网、无线局域网、蜂窝网络(gsm、3g、4g、5g、lte等)等局域网、电视有线或无线广域数字网络(包括有线电视、卫星电视、和地面广播电视)、车载和工业网络(包括canbus)等等。某些网络通常需要外部网络接口适配器，用于连接到某些通用数据端口或外围总线(649)(例如，计算机系统(600)的usb端口)；其它系统通常通过连接到如下所述的系统总线集成到计算机系统(600)的核心(例如，以太网接口集成到pc计算机系统或蜂窝网络接口集成到智能电话计算机系统)。通过使用这些网络中的任何一个，计算机系统(600)可以与其它实体进行通信。所述通信可以是单向的，仅用于接收(例如，无线电视)，单向的仅用于发送(例如can总线到某些can总线设备)，或双向的，例如通过局域或广域数字网络到其它计算机系统。上述的每个网络和网络接口可使用某些协议和协议栈。
102.上述的人机界面设备、人可访问的存储设备以及网络接口可以连接到计算机系统(600)的核心(640)。
103.核心(640)可包括一个或多个中央处理单元(cpu)(641)、图形处理单元(gpu)(642)、以现场可编程门阵列(fpga)(643)形式的专用可编程处理单元、用于特定任务(644)的硬件加速器、图形适配器(650)等。这些设备以及只读存储器(rom)(645)、随机存取存储器(646)、内部大容量存储器(例如内部非用户可存取硬盘驱动器、固态硬盘等(647))等可通过系统总线(648)进行连接。在某些计算机系统中，可以以一个或多个物理插头的形式访问系统总线(648)，以便可通过额外的中央处理单元、图形处理单元等进行扩展。外围装置可直接附接到核心的系统总线(648)，或通过外围总线(649)进行连接。在一个示例中，屏幕(610)可以连接到图形适配器(650)。外围总线的体系结构包括外部控制器接口pci、通用串行总线usb等。
104.cpu(641)、gpu(642)、fpga(643)和加速器(644)可以执行某些指令，这些指令的组合可以构成上述计算机代码。该计算机代码可以存储在rom(645)或ram(646)中。过渡数据也可以存储在ram(646)中，而永久数据可以存储在例如内部的大容量存储装置(647)中。可
以通过使用高速缓存存储器来启用对任何存储器设备的快速存储和检索，高速缓存存储器可以与一个或多个cpu(641)、gpu(642)、大容量存储装置(647)、rom(645)、ram(646)等紧密相关联。
105.所述计算机可读介质上可具有计算机代码，用于执行各种计算机实现的操作。介质和计算机代码可以是为本技术的目的而特别设计和构造的，也可以是计算机软件领域的技术人员所熟知和可用的介质和代码。
106.作为实施例而非限制，具有体系结构(600)的计算机系统，特别是核心(640)，可以作为处理器(包括cpu、gpu、fpga、加速器等)提供执行包含在一个或多个有形的计算机可读介质中的软件的功能。这种计算机可读介质可以是与上述的用户可访问的大容量存储器相关联的介质，以及具有非易失性的核心(640)的特定存储器，例如核心内部大容量存储器(647)或rom(645)。实现本技术的各种实施例的软件可以存储在这种设备中并且由核心(640)执行。根据特定需要，计算机可读介质可包括一个或一个以上存储设备或芯片。该软件可以使得核心(640)特别是其中的处理器(包括cpu、gpu、fpga等)执行本文所述的特定过程或特定过程的特定部分，包括定义存储在ram(646)中的数据结构以及根据软件定义的过程来修改这种数据结构。另外或作为替代，计算机系统可以提供逻辑硬连线或以其它方式包含在电路(例如，加速器(644))中的功能，该电路可以代替软件或与软件一起运行以执行本文所述的特定过程或特定过程的特定部分。在适当的情况下，对软件的引用可以包括逻辑，反之亦然。在适当的情况下，对计算机可读介质的引用可包括存储执行软件的电路(如集成电路(ic))，包含执行逻辑的电路，或两者兼备。本技术包括任何合适的硬件和软件组合。
107.虽然本技术已对多个示例性实施例进行了描述，但实施例的各种变更、排列和各种等同替换均属于本技术的范围内。因此应理解，本领域技术人员能够设计多种系统和方法，所述系统和方法虽然未在本文中明确示出或描述，但其体现了本技术的原则，因此属于本技术的精神和范围之内。